Halluzination (KI)
Kurzdefinition
Halluzination bedeutet, dass ein KI-Modell etwas Unwahres behauptet, in einem selbstbewussten Ton, der wie ein Fakt klingt.
Trifft ein Sprachmodell auf eine Frage, deren Antwort es eigentlich nicht kennt, lässt es das Feld nicht leer, sondern kann anhand von Mustern eine plausibel klingende, aber unwahre Antwort erzeugen. Das nennt man Halluzination, und das Erfinden einer Quelle, eines Datums, einer Zahl oder eines Zitats ist ihre häufigste Form.
Das Modell tut dies nicht absichtlich, es hat keine Möglichkeit zu erkennen, ob die eigene Ausgabe wahr oder falsch ist, der Ton bleibt gleich selbstbewusst, was den Fehler schwerer erkennbar macht.
Das Risiko einer Halluzination steigt, wenn das Modell mit veraltetem Wissen arbeitet, zu einem sehr speziellen Thema gefragt wird oder frei erzeugt, ohne sich auf eine Quelle zu stützen, siehe RAG.
Der einfachste Weg, eine Halluzination in der Praxis zu erkennen, besteht darin, jede vom Modell genannte Quelle oder jeden Link selbst zu öffnen und zu prüfen; eine erfundene Quelle existiert meist entweder gar nicht oder enthält die behauptete Angabe nicht. Jede Antwort mit Zahlen oder Daten sollten Sie erst nach einem Abgleich mit dem Originaldokument oder einem offiziellen Register veröffentlichen.
Warum es wichtig ist
Eine unkontrolliert bleibende Halluzination bedeutet, dass ein falscher Preis, eine falsche Rechtsauskunft oder eine nicht existierende Quelle bis in eine Kundennachricht oder einen veröffentlichten Text gelangen kann. Deshalb braucht jede KI-Ausgabe, vor allem mit Zahlen oder Behauptungen, weiterhin eine menschliche Prüfung.
Beispielszenario
Ein an ein Lagerverwaltungssystem angebundener Assistent schlug einen nicht existierenden Produktcode vor, als wäre er echt, das Team bemerkte es, bevor er veröffentlicht wurde.
