Automatisierte biometrische Überwachung
Die NGO AlgorithmWatch Schweiz hat eine Petition mitlanciert, die das Verbot von automatisierten biometrischen Erkennungssystemen im öffentlichen Raum fordert. Sergio Scagliola spricht mit Tobias Urech von AlgorithmWatch Schweiz über die Risiken einer grossflächigen Implementierung solcher Technologien und die grundlegenden Probleme in deren Entwicklung.
Die Technologien um automatische Entscheidungsfindung respektive automated decision making sind bereits breit implementiert. In Bezug auf automatisierte Gesichtserkennung stösst die Nutzung der Technologie aber vielen sauer auf. Wo setzt man an, wenn man diese Technologie im Zaum halten will?
Tobias Urech: Zusammen mit Amnesty International Schweiz und der Digitalen Gesellschaft Schweiz wollen wir ein Verbot von automatisierter Gesichtserkennung und der automatisierten Erfassung biometrischer Daten im öffentlichen Raum der Schweizer Städte. Unsere Petition zu unterzeichnen, wäre also ein erster Ansatz. Aber: Auch wenn viele Leute ein Moratorium akzeptieren oder befürworten würden, weil sich die Gesichtserkennung weiter verbessert und optimiert, sähen wir darin Probleme. Wenn diese Technologie grossflächig implementiert ist, kann mit einem Software-Update quasi alles umgeschaltet werden. Das soll jetzt nicht nach Orwell klingen, sondern geht auf ein grundlegendes Problem der Implementierung zurück: Sobald diese stattgefunden hat, entzieht sich diese Technologie automatisch einer gewissen Kontrolle, was unter Umständen Missbrauch ermöglicht.
Bei dieser Diskussion ist oft von invasiven Überwachungsmethoden und der Verletzung von Grundrechten die Rede. Neuartige Technologie wird aber oft auch aus Prinzip kritisiert. Ist das hier auch der Fall?
Zumindest wir stehen der Technologie nicht per se kritisch gegenüber. Aber es ist ein Thema, zu dem es einen gesellschaftlichen Diskurs braucht. Es geht um die Frage, wie und wann wir neue Technologie einsetzen wollen. Algorithmen bestimmen unser Leben bereits heute, das ist nichts Neues. Sie beeinflussen unser Leben, indem sie zahlreiche Abläufe in unserem Alltag vereinfachen und verbessern. Es wäre daher weder möglich noch förderlich, alle Algorithmen per se einfach zu verbieten. Aber bei gewissen Einsätzen von Algorithmen zur automatischen Entscheidungsfindung beobachten wir aber eine grundlegende, ethische Problematik auch in Bezug auf Grundrechte – bei der Gesichtserkennung sind beispielsweise das Grundrecht auf Versammlungs- und Meinungsäusserungsfreiheit aber auch ganz generell das Thema Privatsphäre gefährdet.
Inwiefern?
Ein gutes Beispiel ist die Demonstration des vergangenen Samstags. Wenn automatisierte Gesichtserkennung implementiert ist, überlegt man sich vielleicht zweimal, ob man an eine Demo geht. Nicht nur an eine unbewilligte, sondern generell: Will ich an eine Demo gehen, wenn ich weiss, dass ich nicht nur gefilmt, sondern auch automatisch erkannt werde und meine Präsenz zurückverfolgt werden kann? Das ist auch problematisch in Bezug auf sensible Orte – wie zum Beispiel ein LGBTQIA+-Zentrum oder religiöse Gebäude, wo ein Recht auf Privatsphäre gegeben sein müsste. So würden Grundrechte verletzt, die nicht angetastet werden dürfen.
Wieso zielt die Petition aber spezifisch auf Städte?
Wir haben uns auf den städtischen Raum beschränkt, weil das Problem da am dringlichsten angegangen werden muss und auch besser zu beobachten ist: In den Städten existiert die breite Infrastruktur an Überwachungskameras bereits. Ausserdem ist es der städtische Raum, wo die meisten Menschen zusammenkommen. Das heisst natürlich noch lange nicht, dass das Verbot nur in den Städten eingeführt werden sollte.
Sind denn biometrische Daten überhaupt so zentral? Unsere digitale Identität ist schliesslich ohnehin relativ weitläufig offengelegt.
Das stimmt sicherlich teilweise, das Gesicht ist aber dennoch ein zentrales Erkennungsmerkmal einer Person. Weiter ist auch die gesetzliche Grundlage relevant: Biometrische Daten sind nach Datenschutzgesetz des Bundes besonders schützenswert – dazu gehören neben dem Gesicht auch etwa Fingerabdrücke, weil sie eben einmalig sind, bei jedem Menschen individuell. Ausserdem: Neuere Gesichtserkennungstechnologien können mittlerweile sogar Gesichter trotz medizinischer Schutzmaske oder sonstiger Verhüllung erkennen.
Genau durch die Automation dieser Systeme geht auch die Transparenz verloren. Das erzeugt Misstrauen, wenn dieser Einsatz im für unsere Augen Verborgenen geschieht. Man sieht einer Kamera ja nicht die installierte Software an. Wieso gibt es keine Transparenz?
Das ist sicher auch eine Frage des politischen Willens. Allerdings: Transparenz ist sicher wichtig, sie ist aber auch nicht die ultima ratio. Wem nützt die Offenlegung der Codes eines Systems, wenn sowieso nur eine kleine Minderheit überhaupt versteht, wie eine Programmiersprache funktioniert? Ich denke wir brauchen Lösungen, die auch von einer breiten Bevölkerung verstanden werden – ohne, dass man dafür ein Informatik-Studium braucht. Das heisst nicht, dass Transparenz unwichtig wäre.
Stossen Sie auf Widerstand mit der Forderung nach einem Verbot?
Natürlich gibt es immer Leute, die Gesichtserkennung gerne einsetzen würden, das zeigen auch Pilotversuche mit Gesichtserkennungssystemen bei Schweizer Polizeistellen. Deswegen kommt die Petition auch zu diesem Zeitpunkt: Bisher existiert keine gesetzliche Grundlage für automatische Gesichtserkennung. Sie ist weder explizit verboten noch explizit erlaubt. Wir fürchten, dass mit einzelnen Pilotversuchen solche biometrischen Überwachungssysteme quasi durch die Hintertüre eingeführt würden. Dagegen wehren wir uns mit der Forderung nach einem Verbot. Aber es ist auch nicht nur die Polizei, auch Private nutzen diese Technologie. Die Problematik, was mit den biometrischen Daten geschieht, wenn man beispielsweise mit seinem Gesicht sein Natel entsperren kann, ist eine andere – sie geht aber auf denselben, nicht gesetzlich regulierten Graubereich zurück.
BefürworterInnen der Technologie würden einwerfen, dass damit erfolgreich Verbrechen bekämpft werden könnte…
Dabei geht vergessen, dass die Überwachung jeder Person im öffentlichen Raum auf Schritt und Tritt absolut unverhältnismässig ist und eine grundlegende Abfolge in der Datenauswertung verändert wird: Man gleicht nicht mehr spezifisch nach Verdächtigen ab, sondern das System liefert vermeintlich verdächtige Personen. Ausserdem kommt es bei automatischer Gesichtserkennung immer wieder zu falsch positiven Treffern: Vor allem People of Color werden von den Systemen schlechter erkannt. Da kann es schnell vorkommen, dass jemand zu Unrecht einer Straftat bezichtigt wird. Die Technologie wirkt dabei neutral. Das Resultat, das ausgespuckt wird, wird von den AnwenderInnen nicht mehr hinterfragt Das ist in Bezug auf unsere Tendenz zu persönlicher Voreingenommenheit sehr problematisch.
…und das ist insofern im Code verankert, dass man ohnehin mit Voreingenommenheit Gesichtserkennungssysteme aufbaut?
Genau. Das ist auch das grundsätzliche Problem automatisierter Entscheidungsfindungssysteme. Sie vermitteln eine Aura des Neutralen. Hinter jedem dieser scheinbar objektiv entscheidenden Systeme steckt aber jemand, der es programmiert und unbewusst mit den eigenen Vorurteilen und denen der Gesellschaft füttert. Ausserdem spielen auch die Daten, mit welchen solche Systeme trainiert werden, eine Rolle: Verwendet man dafür nur weisse und männliche Gesichter, werden alle anderen schlechter erkannt und damit ist die Gefahr gross, dass solche Marginalisierungen direkt in eine Technologie implementiert werden und so automatisiert weiterlaufen. Man vergisst oft, dass diese Technologieanwendungen eben menschengemacht sind und deswegen fehlerhaft sein können. Und auch wenn man diese Technologie vordergründig verbessert, wird die Voreingenommenheit in der Programmierung nicht umgangen werden können. Es kann keine objektive Durchführung geben.
Das war alles doch sehr allgemein – wo könnte automatische Gesichtserkennung konkret in der Schweiz umgesetzt sein? Sie haben die Pilotversuche der Polizei angesprochen.
Die Polizeidienststellen sind da sicher im Zentrum. Bei der Kapo Aargau und St. Gallen sind Pilotversuche mit Gesichtserkennung bekannt. Was mit diesen gemacht wird, ist natürlich spekulativ, aber die Pilotversuche zeigen uns, dass es früher oder später eine Debatte und eine gesetzliche Grundlage braucht. Diese würden wir lieber früher als später führen. Was für uns aber auch wichtig ist, ist die Gegenüberstellung mit anderen Städten. Beispielsweise in London wurde automatische Gesichtserkennung grossflächig eingeführt. Gleichzeitig gibt es Städte, die sie im öffentlichen Raum verboten haben – wie beispielsweise San Francisco. Es ist eben nicht nur immer das hier gern genannte Paradebeispiel China, das diese Technologie nutzt, sondern ein Trend, der auch in allen westlichen Staaten zu diskutieren ist. Ein weiteres Problem ist auch, dass gewisse Gesichtserkennungstechnologien, wie beispielsweise die Software Clearview, die auch von der Stadtpolizei Zürich laut eigener Aussage an einer Schulung getestet wurde, mittels Scraping mit Daten gefüttert werden: Dafür wird eine riesige Anzahl von Bildern auf Social Media herunter- und in eine Datenbank geladen. Es kann gut sein, dass das eigene Gesicht bereits irgendwo in so einer Datenbank gespeichert ist, ohne dass man selbst davon weiss.
Angesichts der Annahme der ‹Polizeilichen Massnahmen zur Bekämpfung von Terrorismus› im letzten Jahr scheint das passend, dass die Pilotversuche jetzt geschehen. Zufall?
Ich denke, da ist insbesondere eine generelle, internationale Tendenz zu beobachten: Seit den Terroranschlägen des 11. Septembers 2001 sehen wir sicher eine Entwicklung, in der Grundrechte eingeschränkt werden, um eine vermeintliche Sicherheit zu wahren. Mit den neuen technologischen Möglichkeiten von Algorithmen und Systemen zur automatischen, biometrischen Datenanalyse sind die Grundrechte noch stärker gefährdet als bislang. Dagegen müssen wir einstehen und vor allem einen gesellschaftlichen Aushandlungsprozess anstreben – ich kann mir nicht vorstellen, dass es einer Mehrheit wohl dabei wäre, auf Schritt und Tritt analysiert zu werden.
…und wenn diese Aushandlung nicht geschieht, weil die Rahmenbedingungen nicht gesetzlich vorgegeben sind, wird so auch die demokratische Kompetenz ein wenig umgangen?
Das Problem ist, dass viele dieser Technologien auf den ersten Blick sehr komplex wirken und sich viele Leute die genauen Auswirkungen nicht vorstellen können. Wir müssen den Menschen eine Kompetenz mitgeben, um bei diesen wichtigen Themen mitentscheiden zu können. Denn schlussendlich sollte klar sein, dass der Mensch im Zentrum geht und nicht die Maschine. Technologie sollte der Gesellschaft dienen, die durch deren Einsatz einen sinnvollen Nutzen ziehen kann – nicht umgekehrt.
Ist die technologische Komplexität hier eine Hürde für eine breite gesellschaftliche Diskussion?
Schlussendlich ist es weniger eine technische und mehr eine ethische Frage. Man muss diese Systeme, Technologien und Programme nicht bis ins letzte Detail erklären oder den Code bis auf die Zeile verstehen, um die ethische Problematik darin zu erkennen. Die Hürde ist eher bei der Übersetzung dieser auf den ersten Blick komplexen Themen – denn die Auswirkungen sind weniger abstrakt und betreffen die Gesellschaft sehr direkt.
Transparenz: Tobias Urech war 2016 Praktikant beim P.S.
Spenden
Dieser Artikel, die Honorare und Löhne unserer MitarbeiterInnen, unsere IT-Infrastruktur, Recherchen und andere Investitionen kosten viel Geld. Unterstützen Sie die Arbeit des P.S mit einem Abo oder einer Spende – bequem via Twint oder Kreditkarte. Jetzt spenden!