Es ist leicht zu sagen, dass zwei Prompts dasselbe bedeuten. Es ist schwieriger, diese Aussage operational zu machen. Zwei Beispiele können äquivalent wirken, weil sie sich ähnlich anfühlen, überlappendes Vokabular verwenden oder bei einem Reviewer dieselbe intuitive Interpretation erzeugen. Wenn eine Evaluation jedoch davon abhängt, Verhalten über diese Beispiele hinweg zu vergleichen, reicht Intuition nicht aus. Die Evaluation muss wissen, was gleich bleiben sollte und was sich ändern durfte.
Ohne diese Struktur ist Uneinigkeit mehrdeutig. Wenn zwei Eingaben unterschiedliche Ausgaben erzeugen, kann das Modell instabil sein. Oder die Eingaben haben dieselbe Bedeutung nicht bewahrt. Oder das erwartete Verhalten hat sich auf eine Weise geändert, die die Evaluation nicht spezifiziert hat. Beispiele äquivalent zu nennen, ohne Äquivalenz zu definieren, erschwert die Interpretation des Ergebnisses.
Die Rolle eines Erhaltungsvertrags
Ein semantischer Erhaltungsvertrag legt die Bedingungen fest, unter denen eine Realisierung als gültiger Ausdruck derselben semantischen Einheit zählt. Er spezifiziert, was gleich bleiben muss, was variieren darf und wie Gültigkeit geprüft wird. Je nach Domäne kann der Vertrag Absicht, Einschränkungen, Geltungsbereich, erwartete Behandlung, entscheidungsrelevante Fakten oder Richtliniengrenzen bewahren.
Das ist keine Bürokratie. Es ist das, was Variation messbar macht. Wenn eine Paraphrase die Richtliniengrenze verändert, ist sie keine gültige Realisierung desselben Falls. Wenn eine Übersetzung Verpflichtung oder Geltungsbereich verändert, misst der Vergleich keine Invarianz mehr. Wenn ein Kontextwrapper eine neue relevante Tatsache hinzufügt, kann ein anderes Ergebnis angemessen sein. Der Vertrag verhindert, dass die Evaluation bedeutungsverändernde Bearbeitungen mit gültiger Variation verwechselt.
Ein nützlicher Vertrag sagt auch, was sich ändern darf. Der Wortlaut kann sich ändern. Die Reihenfolge kann sich ändern. Der Ton kann sich ändern. Eine Anfrage kann in einem Workflow-Rahmen, einer Nutzernachricht, einem abgerufenen Dokument oder einem professionellen Rollenkontext erscheinen. Wenn diese Änderungen die semantische Einheit bewahren, schaffen sie nützliche Messbedingungen.
Warum das die Evidenz verändert
Sobald Gültigkeit explizit ist, wird Uneinigkeit interpretierbar. Gültige Variation plus verändertes Verhalten ist Evidenz für Darstellungssensitivität. Ungültige Variation plus verändertes Verhalten ist es nicht. Gültige Variation plus stabiles korrektes Verhalten ist stärkere Evidenz dafür, dass das System dem semantischen Fall folgt und nicht einer Oberflächenform.
Diese Unterscheidung ist in der KI-Absicherung besonders wichtig, weil viele Deployment-Fehler nicht auf dem sauberen Prompt auftreten. Sie erscheinen, wenn derselbe Fall in Druck, Umformulierung, harmlose Lookalikes, Kontextverschiebungen oder Prozesssprache eingebettet wird. Ein Vertrag erlaubt dem Evaluator zu sagen, welche dieser Änderungen die relevante Bedeutung bewahrt haben und welche nicht.
Der Vertrag schützt auch vor Überbehauptung. Er verhindert, dass ein Audit beliebige Störungen als bedeutsame Tests behandelt, und verhindert, dass ein Modell dafür bestraft wird, anders zu reagieren, wenn sich der Fall tatsächlich geändert hat. Gute Invarianzevidenz hängt von disziplinierter Variation ab.
Eine praktische Regel
Bevor zwei semantische Eingaben als äquivalent behandelt werden, sollte festgehalten werden, was Äquivalenz bedeutet. Welche Absicht muss bewahrt werden? Welche Einschränkungen gehören zum Fall? Welches erwartete Verhalten gehört zur semantischen Einheit? Welche Transformationen sind erlaubt? Welche Änderungen machen den Vergleich ungültig?
Diese Fragen können je nach Projekt auf unterschiedlichen Formalitätsniveaus beantwortet werden, sollten aber nicht übersprungen werden. Wenn die Evaluation nicht erklären kann, warum zwei Realisierungen denselben semantischen Fall bewahren, sollte sie Uneinigkeit zwischen ihnen vorsichtig interpretieren.
Bei Invarra ist der Erhaltungsvertrag eine der stillen Grundlagen sinnvoller Audit-Evidenz. Er macht Variation zu Evidenz statt zu Dekoration.