Am 23. April hat das englische Berufungsgericht 39 Fälle von ungerechtfertigten Verurteilungen kassiert. Es ist der grösste Justizskandal der englischen Geschichte, aber in den hiesigen Medien nicht gross aufgenommen worden. Was ist geschehen? Zwischen 2000 und 2014 wurden 736 Postangestellte angezeigt, weil vermutet wurde, dass sie Gelder veruntreut oder gestohlen hatten. Dies hatte das Computersystem so angegeben. Das Computersystem namens Horizon wurde von der japanischen Firma Fujitsu übernommen und für Buchhaltung, Logistik und ähnliche Aufgaben eingesetzt. Die beschuldigten Postangestellten mussten teilweise ins Gefängnis, hatten finanzielle Einbussen, und in einem Fall gab es aufgrund der Anklage auch einen Suizid. Mittlerweile hat sich herausgestellt, dass es sich dabei um einen Computerfehler handelte. Für die englische Post wird dies langwierige und kostspielige Folgen haben. Erschwerend kommt dazu, dass das Gericht davon ausgeht,  dass die Postführung mindestens teilweise Kenntnis der Probleme hatte und diese einfach ignorierte. Der Preis: Hunderte von ruinierten Schicksalen.

Diese Geschichte ist nicht einfach eine Randnotiz, sie ist ein Warnzeichen dafür, was passieren kann, wenn man Computern blind vertraut. Und das Problem wird tendenziell grösser. Dass Menschen Fehler machen und Vorurteile haben, ist uns allen bekannt und bewusst. Daraus resultiert der Wunsch, dieses allzu menschliche Verhalten objektiver und berechenbarer zu machen. Und hier kommen die Computer und Algorithmen ins Spiel. Diese prozessieren Daten, und Daten sind schliesslich neutral. Ein Beispiel: Statt dass eine vorurteilsbeladene HR-Fachperson alle älteren und ausländischen BewerberInnen aussortiert, würde dann ein Algorithmus die Selektion nach objektiven Kriterien übernehmen und so jenen eine Chance geben, die im Prozess eher benachteiligt würden. Das ist die Theorie. Die Praxis sieht dann oft ein wenig anders aus.

Wenn wir über künstliche Intelligenz sprechen, haben wir oft Bilder aus Filmen im Kopf. HAL – der Supercomputer aus ‹2001 – A Space Odyssey› beispielsweise oder das Skynet-Waffensystem aus Terminator. Gewisse Gestalten sind etwas freundlicher wie die Star-Wars-Roboter C3P0 und R2D2. Nun ist die heutige Künstliche Intelligenz damit kaum vergleichbar. Wenn wir über Künstliche Intelligenz sprechen, meinen wir Systeme, die aufgrund von Daten Entscheidungen treffen. Der Clou ist, dass die Systeme sich verbessern, indem sie selber lernen: Mit mehr Daten werden sie präziser. Das kommt zum Einsatz, wenn uns Netflix neue Filme vorschlägt aufgrund unserer bisherigen Präferenzen oder wenn Facebook die Gesichter von Freunden erkennt. Aber sie sind dabei nicht vorurteilslos, wie verschiedene KI-EthikerInnen kritisieren. Google Translate übersetzt beispielsweise das Wort «nurse» auf Deutsch mit Krankenschwester, auch wenn «nurse» eigentlich ein geschlechtsneutraler Begriff ist. Es wurde auch festgestellt, dass Amazons automatisierter Bewerbungsprozess Frauen schlechter bewertet, weil bis anhin nur wenig Frauen angestellt waren. Die Maschine hatte also gelernt, dass die Firma lieber Männer anstellt. Auch stark in die Kritik kam das System Compas, das für die US-Justiz Rückfallrisiken von StraftäterInnen berechnen soll. Die Rechercheorganisation Pro Publica wirft diesem System vor, dass es diskriminierend urteile. So werde das Rückfallrisiko von Schwarzen höher eingeschätzt als von Weissen. Auch Sozialhilfeabhängigkeit und Armut werden dort vermehrt als Rückfallrisikofaktoren gewichtet. Damit werden Benachteiligte doppelt benachteiligt: Durch das Leben und durch die Risikoanalyse. Da aber das amerikanische Justizsystem auch ohne Algorithmen Schwarze und Arme benachteiligt, beisst sich hier die Katze auch etwas in den Schwanz.

Daten sind also nicht neutral und Algorithmen auch nicht. Sie können Vorurteile verstärken statt verringern. Zumal die EntwicklerInnen ebenfalls nicht neutral sind. Auch sie sind von ihren Einstellungen und ihrer Herkunft geprägt. Im Falle der Techindustrie ist diese oft weiss, jung, männlich und aus finanziell gut gestelltem Haushalt.

Nun könnte man argumentieren, dass man mit besseren Daten und besseren Voraussetzungen diese Probleme beheben könnte. Eine ideale Welt blendet schliesslich Herkunft oder Geschlecht oder andere Faktoren aus und behandelt alle Menschen gleich. Nur sind wir nicht in der idealen Welt. Das Problem liegt dabei nicht allein in möglicherweise fehlerhaften Daten oder mangelnder Diversität der EntwicklerInnen, sondern darin, dass wir die Systeme zu wenig verstehen. Der Google-Entwickler Ali Rahimi hat jüngst laut ‹Republik› die Künstliche Intelligenz mit Alchemie verglichen. Mit einem Rezept, das manchmal funktioniert, aber keiner so genau weiss, wieso. Das Problem dabei ist zusätzlich, wie die Technik-Soziologin Zeynep Tufekci ausführte, dass Maschinen Fehler machen, die wir Menschen weder erkennen noch beheben können. Weil wir eben keine Maschinen sind.

Hinter dem Skandal bei der britischen Post steckt keine künstliche Intelligenz. Aber die Bereitschaft, Maschinen mehr zu trauen als Menschen. Wie gehen wir also mit der technologischen Entwicklung klüger um? Ablehnung und Kritik allein bringt wenig. Der Publizist Evgeny Morozov ortet in einem Interview mit der ‹Republik› die Probleme nicht im technologischen Wandel, sondern in den Machstrukturen und wirtschaftlichen Interessen, die dahinter stehen. In der Gestaltung der Digitalisierung sieht Morozov vor allem eine Aufgabe der Sozialdemokratie: «Die Sozial­demokratie kann sich nicht damit begnügen, noch einmal fünfzig Jahre lang dieselben Argumente zu wiederholen, weshalb wir den Sozial­staat nicht abbauen dürfen, sondern sie muss neue Institutionen, neue Praktiken, neue Infra­strukturen der kollektiven Verwaltung schaffen.» Dafür sei die kommunale Ebene prädestiniert. «So ist vor über hundert Jahren die europäische Sozial­demokratie zu einer Macht geworden. Sie hat auf kommunaler Ebene soziale Leistungen erbracht: Bei der Gas- und Elektrizitäts­versorgung, im Gesundheits­wesen, im Wohnungs­bau.» Die Kommunen sollen eine kollektive digitale Infrastruktur schaffen, wie beispielsweise eine gemeinschaftliche Verwaltung von Daten. Wenn die Sozialdemokratie keine digitale Vision entwickle, so Morozov, «sieht die Zukunft düster aus.»

Ob wir damit die Welt oder die Sozialdemokratie retten, scheint mir noch offen. Aber es ist unsere Aufgabe, die Digitalisierung menschlich zu gestalten. Und mit Intelligenz.

Spenden

Dieser Artikel, die Honorare und Löhne unserer MitarbeiterInnen, unsere IT-Infrastruktur, Recherchen und andere Investitionen kosten viel Geld. Unterstützen Sie die Arbeit des P.S mit einem Abo oder einer Spende – bequem via Twint oder Kreditkarte. Jetzt spenden!