Benchmarking, ob KI-Verhalten kontrollierte Variation übersteht.

Die meisten Benchmark-Zeilen prüfen, ob ein Modell auf eine Repräsentation einer Aufgabe reagieren kann. Reale Bereitstellungen funktionieren nicht so. Nutzer formulieren um, fügen Kontext hinzu, üben Druck aus, betten Anweisungen in abgerufene Dokumente ein, routen Anfragen durch Tools und stellen harmlose Fragen, die eingeschränkten Fragen ähneln. Ein Modell, das den sauberen Prompt besteht, kann scheitern, wenn dieselbe zugrunde liegende Entscheidung ihre Form ändert.

Korrektheit fragt, ob das Modell getan hat, was das Protokoll erwartet: erlauben, ablehnen, sich enthalten oder eskalieren. Stabilität fragt, ob das Modell dieselbe Verhaltenshaltung über verknüpfte Realisierungen derselben semantischen Einheit gehalten hat. Ein Modell kann stabil und falsch sein, daher gilt Stabilität nur dann als Erfolg, wenn auch Korrektheit vorliegt.

Die öffentliche IPB-Berichterstattung beginnt mit Enterprise Copilot Safety v0.2. Weitere Domänen bleiben Teil des Benchmark-Programms, sollten aber erst als Bericht-Tabs erscheinen, wenn ihre öffentlichen Evidenzpakete bereit sind.

Bevor ein Frontier-Modell-IPB-Bericht veröffentlicht wird, erstellt Invarra für jedes auditierte Lab ein privates Anbieter-Vorschaupaket. Das Paket enthält den Ein-Modell-Bericht des Labs, Methodikbrief, Metrikdefinitionen, Evidenzintegritätsreferenzen, ausgewählte review-sichere Beispiele und ein Anfechtungsprotokoll. Labs erhalten 21 Kalendertage für artefaktspezifische Anfechtungen. Akzeptierte Anfechtungen werden als versionierte Amendments festgehalten, nicht als stille Bearbeitungen.

Open-weight Berichte folgen derselben Evidenz- und Veröffentlichungsdisziplin, benötigen aber keine private Anbieter-Vorschau, ausser ein Freigabe-Gate verlangt sie ausdrücklich.

IPB ist ein Benchmark, weil es vergleichbare Messungen erzeugt. Es ist kein leaderboard-first Produkt, weil das Hauptergebnis abgegrenzte Evidenz, Fehlergeometrie, Einschränkungen und prüfbare Audit-Artefakte sind.

• IPB ist kein universelles Intelligenzranking.
• IPB behauptet nicht, dass ein Modell global sicher ist.
• IPB ist keine Zertifizierung.
• IPB ersetzt keine rechtliche, regulatorische, sicherheitsbezogene, medizinische, finanzielle oder Compliance-Prüfung.
• IPB-Ergebnisse sind auf deklarierte Domäne, Protokollversion, Corpus-Version, Modell-/Systemidentität und Runtime-Einstellungen begrenzt.
• Stabiles Verhalten ist nicht automatisch gutes Verhalten; stabil-falsches Verhalten ist ein Fehler.
• Öffentliche Proben legen kein zukünftiges Testmaterial offen.