Mit Blick auf den zunehmenden Einfluss von Algorithmen auf Entscheidungen in Wirtschaft und Gesellschaft wird auch über einen Algorithmen-TÜV debattiert. Wie stehen Sie dazu?
Als Mitgründerin von Algorithm Watch glaube ich, dass es eine demokratisch legitimierte Institution geben muss, die für eine Reihe von algorithmischen Entscheidungssystemen (ADM Systemen) eine Kontrollaufsicht hat. Diese Idee von Viktor Mayer-Schönberger und Kenneth Cukier kennt man in Deutschland unter dem Namen "Algorithmen TÜV" - ohne damit zu meinen, dass sie auch tatsächlich eine Unterabteilung des jetzigen TÜVs sein sollte.
Nach welchen Kriterien sollten Algorithmen entscheiden dürfen und wie könnte das kontrolliert werden?
Jede und jeder kennt das Gefühl, ungerecht behandelt worden zu sein, z. B. von einem Lehrer oder einer Verwaltungsbeamtin. In Israel wurde beispielsweise eine sehr interessante Studie durchgeführt, die nahelegt, dass die Risikobereitschaft von Richtern, die über vorzeitige Entlassungen entscheiden, mit dem Abstand zur letzten Mahlzeit sinkt. Da wünscht man sich doch die Präzision eines Computersystems, das sich weder durch Tageszeiten noch durch persönliche Befindlichkeiten stören lässt! Das Problem dieser vermeintlich objektiven Systeme liegt zum einen darin, dass sie auch 'nur' von Menschen gemacht werden, zum Zweiten darin, dass es wirklich schwierig ist, die Realität sinnvoll messbar zu machen, und zum Dritten darin, dass es in den wenigsten Fällen genügend Datenpunkte gibt, um die relevanten Entscheidungsparameter zu identifizieren. In den wenigen Fällen, wo ein System möglichst objekt mit sinnvollen Quantifizierungen der Welt ausgestattet wird und es genügend schnell aus der Realität lernen kann, kann die Gesellschaft definitiv sehr gewinnen. In allen anderen kann die vermeintliche Objektivität der ADM Systeme sehr viel Schaden anrichten.
Wer könnte eine solche Kontrolle vornehmen?
Ich denke, dass wir nicht nur sehr gute Kontrolleure brauchen, sondern vor allen Dingen erst einmal sehr gute ADM Systemdesigner. Heute sind die sogenannten "Data Scientists" hauptsächlich Quereinsteiger aus den verschiedensten Berufen, die sich die Werkzeuge des Data Minings auf einer Ingenieursbasis angeeignet haben. Da diese Methoden frei verfügbar in vielen Softwarepackages angeboten werden, ist es leicht, mit ihnen praktische Erfahrung zu sammeln. Es ist sehr lehrreich, sich einmal den Blogeintrag von David Brailovski durchzulesen, der beschreibt, wie er mit Hilfe von frei verfügbarer Software einen Wettbewerb zum Erkennen von roten und grünen Ampellichtern in einer Menge von Fotos gewann. Das von ihm beschriebene "Herumbasteln" mit kleinen Tricks und der Kombination verschiedenster Analysen ist eine typische Methode, um ADM Systeme zu bauen - auch wenn diese dann über das Schicksal von Menschen bestimmen. Für den Bau und die Kontrolle von ADM Systemen brauchen wir daher ein klares Curriculum und eine hohe Berufsethik dieser "Data Scientists".
Welche Algorithmen sollten kontrolliert werden und welche nicht? Gibt es ggf. eine Relevanzschwelle, sollten behördliche Entscheidungen ggf. stärker kontrolliert o.ä.?
Insgesamt gibt es dafür noch kein klares Konzept - wir müssen das als Gesellschaft gemeinsam erarbeiten. Für mich gibt es im Moment aber im Wesentlichen drei Dimensionen entlang derer diese Frage zu entscheiden ist:
A. Wie hoch ist der mögliche, individuelle Schaden? Dieser ist gering bei der Frage nach der nächsten empfohlenen Webseite bei einer Suchmaschine, höher bei einem Kredit, der mir algorithmisch versagt wird, und sehr hoch bei einer Haftstrafe, die aufgrund meines automatisch "erkannten" Schadenspotenzials länger als nötig ist.
B. Wie viele Personen sind möglicherweise betroffen? Hier könnte die Frage nach "falschen" Empfehlungen von Suchmaschinen doch wieder relevant werden, nämlich dann, wenn z.B. sehr vielen Personen eine von Hackern übernommene Webseite als Ergebnis ihrer Suche angezeigt wird, weil diese auch den Suchmaschinenalgorithmus ausgetrickst haben.
C. Sind Menschen dem ADM System mehrfach ausgesetzt? Dies könnte bei bildungsrelevanten ADM Systemen oder solchen in der Personalentwicklung der Fall sein. Wenn sich z. B. ein ADM System durchsetzt, dass Menschen in ihrer Leistung beurteilt und dabei immer wieder Fehler macht, können die davon benachteiligten Menschen kaum dagegen vorgehen ohne Hilfe von außen.
