Halluzination: ein Fehler, der sich selbst verstärkt

Eine kleine Geschichte. Ich gebe einer KI eine simple Aufgabe: eine Liste mit Lagerbeständen, eine Eingabemaske, Sortierung, eine Summenspalte. Überschaubar, klar umrissen, nichts Wildes.

Dann lasse ich sie ein paar Tage weitgehend allein arbeiten, ohne dazwischenzuschauen. Als ich endlich hineinsehe, finde ich nicht meine Summenspalte. Ich finde einen Zoo aus hunderten statistischen und mathematischen Funktionen — Mittelwerte, Median, Gauß, irgendwann Fourier. Mit dem ursprünglichen Auftrag hatte das nicht mehr das Geringste zu tun. Ein Wochenbudget verbrannt.

Das war eine Halluzination — aber das Wort führt in die Irre. Es klingt nach einem einzelnen Ausrutscher, einem falschen Wort. In Wahrheit ist es etwas anderes: ein Fehler, der sich selbst verstärkt. Die KI baut auf dem auf, was sie zuvor gebaut hat. Steht da schon etwas Schiefes, wird das nächste darauf gesetzt — und das übernächste darauf. Schicht um Schicht, und jede Schicht sieht für sich genommen plausibel aus.

Genau deshalb ist Automatik ohne Zwischenkontrolle der Brandbeschleuniger. Je seltener jemand hinsieht, desto weiter läuft der Fehler, bevor er auffällt. In der Geschichte oben hätte ein einziger Blick nach dem dritten unnötigen Button gereicht, um die Aufgabe neu zu formulieren. Bei jedem menschlichen Entwicklungsteam wäre das aufgefallen. Nach ein paar Stunden vielleicht. Aber die Maschine hat 3x 24 Stunden durchgearbeitet und der Fehler hat sich selbst verstärkt, verselbstständigt. Mit jedem neuen mathematischen Tool in der Liste wurde sich die Maschine selbst sicherer, dass es genau das ist, was von ihr erwartet wird. Nach drei Tagen ist es ein Zoo gewesen.

Es steckt eine Ironie darin: Dieselbe Eigenschaft, die KI für Kunst großartig macht — ins Unerwartete abbiegen, frei assoziieren —, ist Gift für Code, wo am Ende schlicht Korrektheit zählt. Letztlich ist es ein Problem für jede Art der Verwendung zur Produktion von Arbeitsergebnissen (außer in der Kunst): Exaktheit ist Prio 1. Nach bestem Wissen und Gewissen. Nicht nach Wahrscheinlichkeit, wie es in der KI-Architektur angelegt ist. (Wichtig: Wahrscheinlichkeit hat nichts mit Zufall zu tun! Dazu später mehr.)

Der Hebel dagegen ist deshalb weder „mehr Vertrauen“ noch „mehr Tempo“. Es ist die Frage, wann und wie oft ein Mensch dazwischengeht — bevor aus einem schiefen Detail ein Zoo wird. Wo genau diese Kontrollpunkte sitzen müssen, ist die eigentliche Kunst — die zeige ich am liebsten an einem konkreten Fall. Aber dass es sie braucht, daran habe ich seit dem Button-Zoo keinen Zweifel mehr.