Gegen die Diskriminierung im Code

Künstliche Intelligenz und Algorithmen sind heutzutage allgegenwärtig, sowohl online als auch im täglichen Leben und am Arbeitsplatz – oft ohne dass wir sie bewusst wahrnehmen. Können Sie einige konkrete Beispiele nennen, wo und wie sie zum Einsatz kommen?

Estelle Pannatier: Algorithmische Systeme und Künstliche Intelligenz werden immer breiter eingesetzt, sowohl von Privaten als auch von der öffentlichen Verwaltung. Wir können zum Beispiel bei der Jobsuche mit ihnen in Kontakt kommen, wenn Algorithmen die Lebensläufe der Stellenbewerber:innen sortieren, oder wenn sie Anträge für Sozialleistungen bewerten. 

Welche Begriffe und Konzepte sollte man kennen, um das Problem der digitalen Diskriminierung richtig zu verstehen und einschätzen zu können, wie beispielsweise Algorithmus, Künstliche Intelligenz und maschinelles Lernen?

Der Begriff «KI» ist recht unscharf definiert und hat mittlerweile gewisse Marketingzüge. Unser Fokus ist breiter: Er liegt auf Systemen, die in irgendeiner Weise zur Entscheidungsfindung genutzt werden – zum Beispiel, indem sie Prognosen erstellen, Empfehlungen machen oder Entscheidungen treffen. Ob es sich dabei um regelbasierte Algorithmen oder maschinelles Lernen handelt, ist zweitranig – es geht uns bei Algorithmwatch primär um die Auswirkungen, die Systeme auf die Menschen und die Gesellschaft haben. Unser Wunsch ist, dass diese Systeme den Menschen dienen und dass sie Gerechtigkeit, Grundrechte, Demokratie, Nachhaltigkeit stärken, anstatt sie zu schwächen.

Sie haben im September ein Positionspapier* zu Künstlicher Intelligenz und Diskriminierung herausgegeben und am Donnerstag vor einer Woche einen Appell an den Bundesrat gerichtet, in dem Sie stärkere Regulierungen für den Einsatz von KI fordern. Wieso braucht es diesen Appell?

Der Bundesrat hat beim Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (Uvek) eine Auslegeordnung in Auftrag gegeben, die bis Ende Jahr den Handlungsbedarf zu KI klären soll. Wir fordern im Rahmen der zukünftigen Regulierungen rund um KI, dass der Schutz gegen Diskriminierung durch Algorithmen und KI eine der Prioritäten sein muss. Es ist wichtig, frühzeitig im Regulierungsprozess ein klares Zeichen in Richtung Bundesrat zu schicken. Über 70 Erstunterzeichner:innen aus Politik, Wissenschaft, Wirtschaft und Gesellschaft sowie über 40 Organisationen – von Amnesty International über Gewerkschaften bis Pro Juventute – unterstützen unseren Appell. Das zeigt, dass der Schutz vor Diskriminierung durch Algorithmen und KI ein dringliches gesellschaftliches Anliegen ist. 

Können Sie ein Beispiel aufzeigen, wo die Verwendung von Algorithmen konkret zu Diskriminierung führen kann?

In den Niederlanden hat zum Beispiel ein Algorithmus alleinerziehende Mütter systematisch als potenzielle Sozialbetrügerinnen eingestuft. Die Algorithmen bewerteten bestimmte Merkmale wie Elternschaft, Jugend und mangelnde holländische Sprachkenntnisse als Risikofaktoren für Betrug. Den Frauen wurden also aufgrund ihrer Elternschaft und ihres Geschlechts ein hohes Betrugsrisiko zugeschrieben – eine Einschätzung, die auf diskriminierenden Annahmen basiert und systematische Ungerechtigkeiten verstärkt. 

Warum passiert das? 

Eine der Hauptursachen für die Diskriminierung durch Algorithmen sind die verwendeten Daten. Daten sind nie neutral, sie reflektieren die gesellschaftlichen Verhältnisse und reproduzieren häufig bestehende Stereotypen. Die Repräsentativität und Qualität der Daten sind entscheidende Faktoren. Oft wird eine Voreingenommenheit des Algorithmus, «Bias» genannt, diskutiert, der jedoch in den Daten selbst begründet liegt. Aber: Selbst wenn die Daten verbessert werden, ist nicht jedes Problem gelöst. Es gibt Ursachen, die in der Modellierung des Algorithmus selbst liegen. Welche Parameter werden ausgewählt? Wie wird ein reales Problem für den Algorithmus mathematisch verständlich gemacht? Welche Kriterien werden berücksichtigt? Und auch die Anwendung des Systems kann zu Diskriminierung führen. Ein System, das ursprünglich zur Entscheidungsunterstützung gedacht war, wird in der Praxis oft als Instrument zur Entscheidungsfindung genutzt. Auch ein technisch perfektes System kann so immer noch diskriminierend eingesetzt werden.

Zwei  wichtige Stichworte, die gemäss Algorithm­watch-Positionspapier beim Einsatz von Algorithmen als Risikofaktoren für Diskriminierung gelten, sind Proxy-Variablen, und Rückkopplungsschleifen. Können Sie diese Begriffe kurz erläutern?

Proxy-Variablen sind Variablen die stellvertretend für andere Variablen eingesetzt werden, die indirekt diskriminieren können. Zum Beispiel kann ein Algorithmus statt direkt auf den sozioökonomischen Status auf die Postleitzahl zugreifen, was zu Benachteiligungen führen kann, weil diese oft mit dem Einkommen zusammenhängt. Rückkopplungsschleifen treten auf, wenn Algorithmen aus ihren eigenen Ergebnissen lernen. Diskriminierende Ergebnisse fliessen zurück in den Lernprozess und verstärken die Diskriminierung im Laufe der Zeit. Ein Beispiel ist die Polizei, die aufgrund von Algorithmen verstärkt in bestimmten Vierteln patrouilliert und aus diesem Grund mehr Verbrechen entdeckt, was die Annahmen des Algorithmus vermeintlich bestätigt.

Sie haben vorhin erwähnt, dass oft menschliche Faktoren zu Diskriminierung durch Algorithmen führen – Vorurteile desjenigen, der den Algorithmus einrichtet zum Beispiel. Könnten Algorithmen und KI auch dafür eingesetzt werden, ‹neutraler› als Menschen zu sein und Diskriminierung aktiv zu bekämpfen?

Algorithmen können dazu beitragen, Muster von Diskriminierung zu erkennen. Das Problem liegt jedoch darin, dass Algorithmen meist zur Effizienzsteigerung eingesetzt werden. Man kann nicht erwarten, dass die Bekämpfung von Diskriminierung automatisch als Nebeneffekt eintritt. Es muss das Hauptziel des Einsatzes sein, Diskriminierung zu reduzieren. 

Im Positionspapier und im Appell bemängeln Sie, dass der aktuelle Rechtsrahmen nicht zum Schutz vor algorithmischer Diskriminierung ausreiche. Wieso nicht?

Ein zentrales Problem ist, dass der Schutz vor Diskriminierung in der Schweiz hauptsächlich für öffentliche Akteure gilt. In der Schweiz gibt es, von wenigen Ausnahmen abgesehen, keine Antidiskriminierungsgesetze, die sich auf private Akteure beziehen. Gerade im Bereich der Diskriminierung durch Algorithmen und KI wiegt dies schwer, da Private in grosser Zahl algorithmische Systeme entwickeln und einsetzen, die relevante Auswirkungen auf das Leben der Menschen haben – wenn es etwa darum geht, Wohnungen zu vergeben, Versicherungsprämien zu berechnen, die Kreditwürdigkeit zu prüfen oder Arbeitsstellen zu vergeben. Ein weiteres Problem ist, dass der aktuelle Rechtsrahmen sich zu sehr auf einzelne Merkmale konzentriert und die Kombination verschiedener Merkmale, die zusammen zu Diskriminierung führen können, nicht ausreichend berücksichtigt. Das schliesst auch die Verwendung der zuvor genannten Proxy-Variablen ein, die indirekt diskriminieren. Und ein wichtiger Punkt ist auch die Durchsetzung des Diskriminierungsschutzes. Momentan müssen Betroffene selbst beweisen, dass sie diskriminiert wurden, was bei algorithmischer Diskriminierung sehr schwierig ist, weil sie sich der Diskriminierung oft selbst nicht bewusst sind oder sein können. Es fehlt ein kollektives Klagerecht, das es ermöglichen würde, solche Fälle effizienter und umfassender zu verfolgen. Ohne diese Mechanismen sind die Hürden für Betroffene viel zu hoch, um ihre Rechte wirksam durchzusetzen.

Wenn ich mich auf eine Stelle bewerbe und die Bewerbung statt von einem Algorithmus von einem Menschen bewertet wird, bin ich doch genauso wenig vor Diskriminierung geschützt. Wo liegt da der Unterschied?

Das ist ein berechtigter Punkt. Natürlich kann Diskriminierung auch durch menschliche Entscheide in Privatunternehmen stattfinden, und das ist ein wichtiges Thema. Aber es gibt besondere Herausforderungen, wenn Diskriminierung durch Algorithmen geschieht. Erstens ist die Diskriminierung durch ein algorithmisches System oft schwer erkennbar – sowohl für Betroffene als auch für Anwender:innen, weil Menschen nicht wissen, dass ein System verwendet wird, oder weil das System intransparent ist.  Zweitens kann die Diskriminierung insbesondere auch systematisch erfolgen, im System selbst verankert sein und damit eine grosse Anzahl von Menschen betreffen. Ein weiterer wichtiger Punkt ist, dass es einfacher wird, Diskriminierung zu verschleiern, wenn sie durch Maschinen erfolgt: Die Verantwortung wird oft auf die Technik abgewälzt, obwohl letztlich immer Menschen hinter den Systemen stehen. Solange der Rechtsrahmen nicht klar geregelt ist, bleibt am Ende niemand wirklich verantwortlich, und die betroffenen Personen haben keinen ausreichenden Schutz. 

Gibt es Beispiele aus anderen Ländern, in denen die Regulierung von KI und der Schutz vor Diskriminierung erfolgreich umgesetzt wurden, die der Bundesrat sich als Vorbild nehmen könnte?

Momentan gibt es noch keine vollständig eta­blierten Vorgehensweisen, die wir eins zu eins übernehmen könnten. Es gibt jedoch einige wichtige Entwicklungen, die erwähnenswert sind. In der EU bewegt sich viel in diesem Bereich. Der «AI Act» , die KI-Verordnung der EU, enthält Regelungen, die auch Diskriminierung betreffen. Ebenso gibt es in der KI-Konvention des Europarates Massnahmen, die das Thema Diskriminierung anerkennen und adressieren. Allerdings ist die Schweiz grundsätzlich hinter anderen Ländern, wenn es um den allgemeinen Diskriminierungsschutz geht. In Deutschland zum Beispiel gibt es im Gegensatz zur Schweiz einen umfassenden Diskriminierungsschutz, der auch für Private  gilt. In diesem Bereich muss die Schweiz aufholen, um einen wirksamen Schutz vor Diskriminierung durch Algorithmen und KI zu gewährleisten.

Stimmt der Eindruck, dass im Vergleich zu anderen Missständen im Bereich KI  viel in Bewegung ist?

Vor einem Jahr hat in der Schweiz kaum jemand über Diskriminierung durch KI und Algorithmen gesprochen. Es ist ermutigend, wie viel sich seither getan hat und dass das Thema jetzt öffentlich anerkannt wird. Die grössere Herausforderung liegt jedoch in der Entwicklung konkreter Massnahmen und deren Umsetzung.

Welche Rolle spielt Algorithmwatch in diesem Prozess zukünftig?

Der Appell steht jetzt zur Unterschrift offen, und wir hoffen auf breite Unterstützung aus der Bevölkerung. Wir sammeln weiterhin Unterschriften und werden den Appell bald übergeben. Es ist erfreulich, dass das Thema bereits im Parlament Gehör gefunden hat, unter anderem durch eine Motion von Nationalrat Balthasar Glättli (Grüne) zur Verschärfung des Diskriminierungsschutzes mit breiter parteiübergreifender Unterstützung. Der nächste grosse Schritt wird Ende des Jahres sein, wenn die Ergebnisse der Auslegeordnung zur KI-Regulierung des Bundesrats vorliegen. Dann wird sich zeigen, ob minimale Massnahmen ergriffen werden oder grössere Schritte zum Schutz vor Diskriminierung unternommen werden.

*Appell an den Bundesrat: Link