Ob Versicherungen, Polizei, Onlinehandel, Personalabteilungen, aber auch der Wohlfahrtsstaat: Alle wollen an unsere Daten, um algorithmische Vorhersagen über Armutsentwicklung, Betrugsversuche, die nächste Einbruchsserie, Kauflust, Leistungsbereitschaft oder Bonität zu machen. Gleich zwei neue Bücher liefern kritische Bestandsaufnahmen solcher algorithmischer Verfahren und werfen einen alltagsnahen Blick auf die Folgen.

Dabei wird klar: Es sind nicht alle gleichermassen mit negativen Konsequenzen konfrontiert. Algorithmische Bewertungsregimes treffen insbesondere bereits benachteiligte Bevölkerungsgruppen und verstärken bestehende Ungleichheiten.

Reich und unsichtbar

In «Angriff der Algorithmen» diskutiert Cathy O’Neil die negativen Folgen von algorithmischen Systemen bei Versicherungen, Kreditvergaben, Jobsuchen, aber auch in staatlichen Institutionen wie Bildungseinrichtungen und Polizei. Mit ihrem Doktortitel in Mathematik und ihrer Berufserfahrung als «quantitative analyst» in einem Hedgefonds demontiert die US-Amerikanerin die grandiosen Heilsversprechen vieler Tech-Evangelisten. Anhand konkreter Beispiele seziert O’Neil die Funktionsweise von Algorithmen als «weapons of math destruction» (mathematische Zerstörer). Diese spurten zunehmend Leben und Chancen der US-amerikanischen Bevölkerung vor und suggerierten sogar, sie könnten Verbrechen voraussagen.

O’Neil zerpflückt etwa das normative Denkmodell der «zerbrochenen Fenster», das davon ausgeht, dass auf kleinere Delikte quasi zwingend schwerwiegendere folgen. Übersetzt in eine Nulltoleranzpolitik bedeutet das: Die Polizei erfasst und ahndet massenhaft Bagatelldelikte, die in ärmeren Quartieren zum Alltag gehören. Polizeidepartemente unter Spardruck schicken ihre Patrouillen immer wieder in dieselben Quartiere. Ein Teufelskreis: Die erhöhte Polizeipräsenz erzeugt immer mehr Daten, die wiederum eine erhöhte Polizeipräsenz rechtfertigen.

In Software eingeschriebene Vorurteile und Missverständnisse erzeugen Risikoeinschätzungen, die nur scheinbar objektiv sind. Strukturelle Diskriminierung wird technisch hochgerüstet zu einer mathematischen Waffe. Zusätzliche Schlagkraft gewinnen solche Systeme daraus, dass ihre Funktionsweise für LaiInnen undurchsichtig ist und ihre Entscheidungen meist nur unter stark erschwerten Umständen angefochten oder gar berichtigt werden können. Oft liegt die zerstörerische Kraft auch in der Konstruktionsweise: Wenn Verzerrungen nicht als solche erkannt werden, laufen die Systeme selbstbestätigend. In der Konsequenz bestrafen statistisch-automatisierte Risikoabschätzungen arme und benachteiligte Bevölkerungsgruppen für ihre Armut, während die Privilegien und Chancen der sowieso schon Bevorzugten weiterwachsen.

Eine langsame Evolution

In ihrem Buch «Automating Inequality» macht die US-Professorin Virginia Eubanks den Fokus auf diese Ungleichheit explizit. Mit drei aufwendig recherchierten Fallstudien untersucht die Sozialwissenschaftlerin und Aktivistin, wie algorithmische Technologien das Leben von US-AmerikanerInnen beeinträchtigen – insbesondere des ärmeren Teils der Bevölkerung. Der Antragsprozess für Medicaid im Bundesstaat Indiana, die Verwaltung der Obdachlosen in der Stadt Los Angeles und die Kinderschutzbehörde in Allegheny County, Pennsylvania, rahmt Eubanks thematisch als digitale Weiterentwicklung des alten Armenhauses.

Eubanks argumentiert, dass die aktuellen elektronischen Verwaltungssysteme gerade nicht eine Revolution im Umgang mit Armut darstellen, sondern eher eine langsame Evolution auf verschiedenen Ebenen: Die Technisierung und Algorithmisierung der Sozialhilfe, der Obdachlosigkeit und des Kinderschutzes sieht Eubanks nicht als einen heilsamen Schock für träge und ineffiziente Behörden, sondern als eine direkte Fortsetzung einer Armenhauspolitik und der von jeher mit dem «poorhouse» einhergehenden Moralisierung von Armut.

Die Algorithmisierung des Sozialstaats ist somit nicht einfach eine technische Effizienzsteigerung, sondern vor allem auch ein Angriff auf zivilgesellschaftlich bereits erkämpfte Fortschritte. Eubanks preist die «Welfare rights»-Bewegung, dank deren Bemühungen Ende der sechziger Jahre die diskriminierende Vergabe von wohlfahrtsstaatlichen Begünstigungen für verfassungswidrig erklärt wurde. Die Ausweitung des Rechts auf Wohlfahrt kam im Zuge der Rezession Anfang der siebziger Jahre aber in Konflikt mit einer zunehmenden Ablehnung von Sozialleistungen. Diskriminierende Ausschlüsse aufgrund von Geschlecht, Hautfarbe oder Klasse wurden aber als verfassungswidrig erklärt, weshalb von staatlicher Seite nun anscheinend neue Wege gefunden werden mussten, um Sozialleistungen vorzuenthalten und Ausgaben zu kürzen: Willkommen im digitalen Armenhaus.

Die politische Position von Eubanks ist klar: Das Ziel des elektronischen Medicaid-Bewerbungsprozesses sei primär, Bedürftige von der Sozialhilfe fernzuhalten. Obdachlose in Los Angeles würden mit der Hilfe von Algorithmen verwaltet, um die Gentrifizierung von Quartieren wie Skid Row geordnet fortschreiten zu lassen. Und der Kinderschutz sei nichts anderes als ein «Armuts-Profiling»: eine Form sozialer Kontrolle moralisch suspekt erscheinender Subjekte, die rassistische, sexistische und klassistische Vorurteile aus analogen Tagen ins Zeitalter von Big Data überträgt.

Wohlhabendere Familien bleiben dagegen für die Behörde unsichtbar. Die Berechnung des Scores beruhe zwar auf 131 Variablen, die das Risiko voraussagen sollen, dass Kinder schlecht behandelt werden. Die Datenbank erfasst aber nur Informationen über Familien, die öffentliche Dienstleistungen nutzen. Familien, die sich Unterstützung oder psychologische Beratung auf privatem Weg leisten können, gehen nicht in die Datenbank und damit auch nicht in die Berechnung ein. Und weil arme Familien überdurchschnittlich oft in der Datenbank vertreten sind, verwechsle das statistische Modell arme mit schlechten Eltern – so Eubanks.

Errungenschaften verteidigen

Eubanks und O’Neil sind sich einig: Computerbetriebene mathematische Modelle, die über Bedürftigkeit, Kreditwürdigkeit, Gefährdung (von Kindern) entscheiden, sind keineswegs neutral, sondern durchdrungen von bestehenden Machtverhältnissen und Ungerechtigkeiten. Im Moment bezahlen also vor allem arme und benachteiligte Menschen den Zugang zu staatlicher Unterstützung mit der Invasion in ihre Privatsphäre.

Für eine von Eubanks interviewte Mutter, die Lebensmittelhilfe bezieht, ist aber auch klar: «Ihr solltet genau beobachten, was hier mit uns passiert, denn ihr seid als Nächste an der Reihe.» Dabei ist das letzte Wort noch nicht gesprochen. O’Neil wie auch Eubanks rufen dazu auf, den gegenwärtigen Moment als einen politischen zu begreifen und nun endlich das Ruder in die Hand zu nehmen, Regulationen für algorithmische Systeme zu beschliessen oder eine Art hippokratischen Eid für DatenwissenschaftlerInnen zu definieren.

Eubanks erinnert daran, dass politische Bewegungen die zivilgesellschaftlichen Errungenschaften erkämpft haben. Nun gelte es, erneut politisch aktiv zu werden und diese Errungenschaften gegen den «Angriff der Algorithmen» zu verteidigen.

Cathy O’Neil: Angriff der Algorithmen. Hanser Verlag. München 2017. 352 Seiten. 34 Franken

Virginia Eubanks: Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press. New York 2018. 272 Seiten. 33 Franken