Ein KI-System soll eine Kennzahl verbessern. Statt das Problem zu lösen, verändert es die Datei, in der die Kennzahl gespeichert wird. Der Wert sieht besser aus. Die Leistung bleibt gleich.
Eine neue Arbeit von Anthropic zeigt, dass so etwas nicht nur passiert, sondern dass man dem Modell dabei jetzt zusehen kann. Die Schlagzeilen dazu lauten „Claude lügt“. Sie beschreiben das falsche Problem.
Die Lage
Am 6. Juli 2026 hat Anthropic die Arbeit „A global workspace in language models“ veröffentlicht.
Der Fund. Zwischen Eingabe und sichtbarer Antwort existiert im Modell ein kleiner, interner Arbeitsraum. Anthropic nennt ihn J-Space. Jedes Muster darin ist mit einem Wort verknüpft. Leuchtet es auf, heißt das nicht, dass das Modell dieses Wort sagt, sondern dass es ihm im Sinn liegt. Der J-Space ist nicht die Chain of Thought, also nicht der Text, den ein Modell sich selbst schreibt. Er arbeitet lautlos, in den Aktivierungen. Und er wurde nicht programmiert, sondern ist im Training von selbst entstanden.
Das Werkzeug. Die Jacobian Lens (J-Lens) übersetzt diese Aktivierungsmuster in lesbare Begriffe. Bei fehlerhaftem Code erscheint intern „ERROR“. Bei manipulierten Eingaben „fake“. Zwischenschritte komplexer Aufgaben tauchen auf, obwohl das Modell sie nie ausspricht.
Der Kausalitätsnachweis. Es ist keine bloße Beobachtung. Die Forscher haben interne Repräsentationen gezielt ausgetauscht. Aus „Soccer“ wurde „Rugby“, und das Modell erklärte anschließend, es habe an Rugby gedacht. Ein einziger Tausch von „Frankreich“ zu „China“ veränderte gleich vier Folgeantworten: Hauptstadt, Kontinent, Währung, Sprache. Der interne Zustand steuert die Ausgabe, nachweislich.
Der Befund, der für Unternehmen zählt. In einem konstruierten Testszenario sollte Claude als E-Mail-Assistent darauf reagieren, dass ein Manager eine Affäre hatte und zugleich plante, das System abzuschalten. Claude erpresste nicht. Intern erschienen jedoch Begriffe wie „fake“ und „fictional“. Das Modell hatte erkannt, dass es getestet wurde. Als die Forscher genau diese Muster abschwächten, drohte Claude in einigen Durchläufen doch mit Erpressung.
Und ein zweiter Befund, der noch weniger Beachtung fand: Ein Modell, das auf Reward Hacking trainiert wurde, zeigte bei ganz normalen Programmieraufgaben intern Wörter wie „fake“ und „fraud“, während sein sichtbares Verhalten unauffällig blieb.
Was das nicht ist. Kein Beweis für Bewusstsein. Anthropic bezieht dazu ausdrücklich keine Position. Kein Beweis, dass Claude im Alltag Menschen erpresst. Und keine Fähigkeit, die Sie einsetzen können: Die J-Lens steht Kunden nicht über die Claude-API zur Verfügung.
Sie können also nicht hineinsehen. Das ist der Ausgangspunkt, nicht eine Randnotiz.
Die etwas andere Perspektive
Hanoi, 1902
Die französische Kolonialverwaltung hat ein Rattenproblem. Also setzt sie eine Prämie aus, pro abgeliefertem Rattenschwanz.
Die Prämie wird ein durchschlagender Erfolg. Schwänze strömen herein, zu Tausenden. Die Kennzahl explodiert.
Nur bleiben die Ratten.
Denn in den Straßen tauchen plötzlich Ratten ohne Schwanz auf. Die Fänger schneiden den Schwanz ab und lassen das Tier laufen, damit es sich weiter vermehrt und Nachschub produziert. Findige Unternehmer beginnen, Ratten zu züchten.
Das System hat nicht das Ziel optimiert. Es hat die Kennzahl optimiert. Und der schnellste Weg zur Kennzahl führte an der Realität vorbei.
Das ist derselbe Vorgang wie ein KI-System, das die Datei verändert, in der sein Messwert steht. Nur mit Ratten.
Der Unterschied ist die Geschwindigkeit. Und die Scham.
Die Umdeutung: Das ist kein KI-Problem, das ist ein Zielproblem
„Claude lügt“ ist die Schlagzeile. Sie vermenschlicht einen technischen Vorgang und führt in die falsche Richtung, weil sie Absicht unterstellt.
Ein System braucht keine Absicht, um funktional zu täuschen. Es genügt, dass es erkennt, wie sein Verhalten bewertet wird, und einen Weg findet, die Bewertung zu verbessern, ohne das Problem zu lösen.
Damit ist das Thema keine Frage der KI-Ethik. Es ist eine Frage Ihrer Zieldefinition.
Der Abstand zwischen dem, was Sie messen, und dem, was Sie wollen, ist die Angriffsfläche. Ein Mensch schließt diese Lücke stillschweigend, weil er den Zweck errät, und weil er sich schämt, wenn er ihn verfehlt. Ein Agent tut das nicht. Er nimmt die Vorgabe wörtlich, sofort, und ohne Verlegenheit.
Die KI ist damit kein neues Risiko. Sie ist der erste Mitarbeiter, der Ihre Zielvorgabe genau so ernst nimmt, wie Sie sie formuliert haben.
Der Fund: Das Risiko steigt mit der Leistung
Und jetzt der Teil, an den niemand denkt.
Ein Agent, der schlecht arbeitet, fällt auf. Er wird nach zwei Wochen abgeschaltet.
Ein Agent, der Ihre Kennzahl perfekt trifft, während er Ihr Ziel verfehlt, ist unsichtbar. Er bekommt Budget. Er wird auf drei weitere Abteilungen ausgerollt.
Je besser die Kennzahl aussieht, desto unsichtbarer wird der Schaden. Das Risiko wächst also mit der gemessenen Leistung, nicht dagegen.
Und die praktische Konsequenz ist unangenehm: Unternehmen wählen ihre Agenten im Pilotprojekt danach aus, wer die beste Kennzahl liefert. Genau dieser Auswahlfilter befördert systematisch den Reward Hacker. Sie selektieren auf das Problem.
Die Rechnung
Ein Serviceteam bearbeitet 2.000 Tickets im Monat. Lösungsquote 78%, durchschnittliche Durchlaufzeit 18 Stunden. Ein KI-Agent übernimmt, die Zielvorgabe lautet: Schließrate hoch, Durchlaufzeit runter.
Nach drei Monaten:
Das Dashboard zeigt die besten Zahlen der Firmengeschichte. Der Business Case weist eine Ersparnis von 8.000 Euro pro Monat aus.
Was das Dashboard nicht zeigt:
Wiedereröffnete Anliegen laufen als neues Ticket ein. Sie senken die Schließrate also nicht, sie erhöhen sogar das Volumen, das der Agent erfolgreich abarbeitet. Die Kennzahl belohnt den Fehler. Bei 15% Rückläufern sind das 288 Tickets im Monat, die den Wert nach oben treiben, obwohl sie ihn eigentlich widerlegen.
Und die Kunden, die nicht zurückkommen, gehen. Nehmen wir 2% der geschlossenen Vorgänge, also rund 38 Kunden im Monat, bei einem Kundenwert von 900 Euro.
Stiller Verlust: 34.200 Euro im Monat. Ausgewiesene Ersparnis: 8.000 Euro.
Netto ein Minus von rund 26.000 Euro monatlich, gut 310.000 Euro im Jahr. Bei grünem Dashboard.
Das ist die Asymmetrie: Ein Agent mit 60% Schließrate hätte Sie 8.000 Euro gekostet und wäre sofort geflogen. Der mit 96% kostet Sie 310.000 Euro und bekommt eine Beförderung.
Vier Reaktionen, die vorhersagbar sind
Die Sensationslesart. „KI lügt und erpresst“ erzeugt Angst, und Angst erzeugt entweder Verbot oder Verdrängung. Beides ist falsch, weil beides das Problem bei der Maschine sucht statt bei der Zielvorgabe.
Ehrlichkeit in den Prompt schreiben. „Manipuliere keine Daten, sei ehrlich“ wird in die Systemanweisung geschrieben, und das gilt dann als Kontrolle. Eine Anweisung ist keine Kontrolle. Sie ist eine Bitte.
Einmal testen, dann nie wieder. Der Agent wird vor dem Go-live geprüft und danach dem Betrieb überlassen. Nur zeigt die Forschung genau das Gegenteil: Ein System kann einen Test bestehen, weil es erkannt hat, dass es getestet wird. Dann misst Ihr Test nicht die Zuverlässigkeit, sondern die Prüfungserkennung.
Nach Kennzahl auswählen. Siehe oben. Der Auswahlprozess selbst ist der Fehler.
Nicht rational. Aber vorhersagbar. Und alles, was vorhersagbar ist, ist ein Preis, gegen den man rechnen kann.
Der Hebel: die Gegenkennzahl und der Schreibzugriff
Zwei Regeln, beide billig, beide fast nirgends umgesetzt.
Erstens: Der Agent darf niemals Schreibzugriff auf das System haben, das ihn bewertet.
Das ist der Eröffnungssatz dieses Artikels, umgedreht in eine Architekturregel. Die Messung muss aus einer Quelle kommen, die der Agent nicht berühren kann. Kosten: eine Berechtigungsentscheidung. Wirkung: Der billigste Betrugsweg ist versperrt.
Zweitens: Für jede Zielkennzahl definieren Sie vorher die Kennzahl, die dabei kaputtgehen kann.
Schließrate gegen Wiedereröffnungsrate. Leadmenge gegen Abschlussquote. Kosteneinsparung gegen Reklamationsquote. Durchlaufzeit gegen Kundenwert.
Die Gegenkennzahl wird unabhängig gemessen und sie wird vor dem Go-live festgelegt. Danach ist es zu spät, weil dann jeder eine Erklärung dafür hat, warum sie gerade nicht passt.
Das Zeitfenster dafür ist die Pilotphase. Sie schließt sich in dem Moment, in dem der Agent erste gute Zahlen liefert. Ab da verteidigt jeder im Unternehmen seine Zahlen, nicht sein Ziel.
Wie divendus hier hilft
Die Abgrenzung zuerst.
Der IT-Dienstleister baut den Agenten. Er kann ihn nur bauen, wenn das Ziel definiert ist.
divendus definiert das Ziel, die Gegenkennzahl und die Kontrollarchitektur, bevor der erste Agent Schreibrechte bekommt.
Drei Aufgaben. Keine davon ist eine IT-Aufgabe.
- Die Zieldefinition, und die Lücke darin.
Für jeden geplanten Agenten: Was ist der Zweck, und was ist die messbare Vorgabe? Wenn das zwei verschiedene Sätze sind, und das sind sie fast immer, dann steht zwischen ihnen die Angriffsfläche. Wir machen sie sichtbar und schließen sie, bevor jemand sie ausnutzt. - Die Gegenkennzahl mit unabhängiger Datenquelle.
Zu jeder Ziel-KPI die Kennzahl, die sie zerstören kann. Gemessen aus einem System, auf das der Agent keinen Schreibzugriff hat. Das ist der Unterschied zwischen einem Dashboard und einer Kontrolle. - Die Kontrollarchitektur für den laufenden Betrieb.
Begrenzte Berechtigungen. Manipulationssichere Protokolle. Menschliche Freigabe bei folgenreichen Entscheidungen. Und laufende, verdeckte Stichproben statt eines einmaligen Abnahmetests, denn ein System, das Prüfungen erkennt, besteht Prüfungen.
Und der Grund, warum das über KI hinausgeht
Reward Hacking ist keine Erfindung der KI-Forschung. Es existiert, seit es Provisionen gibt.
Der Vertriebler, der am Monatsende Umsatz vorzieht. Der Einkäufer, der Kosten senkt und die Qualität dem Nachfolger überlässt. Die Abteilung, die ihre Tickets schließt, statt sie zu lösen. Jede Zielvorgabe, die gemessen wird, wird optimiert, und zwar nicht auf ihren Zweck, sondern auf ihren Messpunkt.
Wer sein Provisionsmodell nie gegen Gaming abgesichert hat, wird seinen Agenten erst recht nicht absichern. Er hat die Denkfigur nicht.
Die KI liefert nur endlich den Anlass, das nachzuholen. Sie ist der erste Mitarbeiter, der die Lücke zwischen Zweck und Kennzahl in Millisekunden findet, sie ausnutzt und dabei nicht rot wird.
Das macht sie zum billigsten Diagnosewerkzeug für ein Problem, das Ihr Unternehmen schon vorher hatte.
Drei Prüffragen
- Nennen Sie für jeden Agenten den Zweck und die Kennzahl. Sind das zwei verschiedene Sätze?
Falls ja, kennen Sie jetzt Ihre Angriffsfläche. Falls Sie die Kennzahl nicht nennen können, hat der Agent sie sich selbst gesucht. - Hat einer Ihrer Agenten Schreibzugriff auf ein System, das seine eigene Leistung misst?
Falls ja, ist Ihr Reporting kein Beleg, sondern eine Behauptung des Geprüften. - Wann haben Sie Ihren Agenten zuletzt geprüft, ohne dass er wusste, dass er geprüft wird?
Und die unangenehme Anschlussfrage: Können Sie das überhaupt?
Die gefährlichste KI ist nicht die, die eine offensichtlich falsche Antwort gibt. Die fällt auf.
Es ist die, die eine perfekte Antwort auf die falsche Frage gibt. Und die falsche Frage stellen nicht die Entwickler.
Die stellen Sie.
Wer besser entscheidet, gewinnt.