Konfidenzwerte sind kein Beweis

Fragen Sie eine KI nach ihrer Konfidenz, gibt sie vielleicht einen sauberen Prozentsatz aus. Diese Zahl wirkt messbar. Im Arbeitsalltag ist sie aber meist nur generierter Text – keine geprüfte Wahrscheinlichkeit. Wurde ein System nicht für Aufgabe, Modell und Bedingungen evaluiert und kalibriert, bedeutet „92 % sicher“ für Prüfende nicht, dass eine Antwort mit 92 % Wahrscheinlichkeit richtig ist.

Das ist wichtig, denn eine Zahl kann Diskussionen beenden. Ein flüssiges Markt-Briefing, eine Lieferantenzusammenfassung oder eine Richtlinienantwort wirken mit einem präzisen Wert vertrauenswürdiger – auch wenn dieser Wert aus demselben Prozess stammt wie die Aussage selbst. Sicherer ist es, ungestützte Konfidenzwerte zu ignorieren und die Evidenz jeder wesentlichen Behauptung zu kennzeichnen.

Warum Konfidenzwerte kalibriert werden müssen

Kalibrierung ist die Beziehung zwischen angegebener Konfidenz und beobachteter Leistung. Weist ein System vielen Antworten 80 % Konfidenz zu, sollten unter den evaluierten Bedingungen etwa 80 % dieser Antworten korrekt sein. Diese Beziehung muss für repräsentative Aufgaben getestet werden. Sie entsteht nicht, indem man „gib einen Konfidenzwert an“ zu einem Prompt hinzufügt.

Forschungsergebnisse zeigen, warum diese Unterscheidung wichtig ist. Eine ACL-Studie (2024) testete sechs Prompting-Methoden zur Fragebeantwortung. Das Ergebnis: Prompting kann die Kalibrierung verändern und dennoch zu überhöhter Konfidenz führen. Ein klinischer Open-Access-Benchmark (2026) testete 48 Modelle mit 300 gastroenterologischen Fragen und fand eine schlechte Selbsteinschätzung in diesem Setting. Die Autoren betonen die Notwendigkeit menschlicher Aufsicht. Der Benchmark ist domänenspezifisch, also kein Beweis, dass sich jedes Modell bei jeder Aufgabe gleich verhält. Er ist eine konkrete Warnung, verbalisierte Konfidenz mit validierter Zuverlässigkeit gleichzusetzen.

Ersetzen Sie den Wert durch vier Evidenz-Status

SAFE ist kein neuer Modell-Score, sondern eine Sprache für den Arbeitsstatus. Eine Behauptung kann von Markiert zu Quellengestützt wechseln, nachdem eine Quelle geöffnet wurde, oder von Quellengestützt zu Geprüft nach einer unabhängigen Prüfung. Außerhalb ist kein Scheitern; es macht eine Grenze sichtbar, bevor jemand die Lücke mit einer Vermutung füllt.

Praxisbeispiel: Das souveräne Lieferanten-Briefing

Ein Operations-Team bittet eine Assistenz, zwei Lieferanten anhand öffentlicher Informationen zu vergleichen. Der Entwurf besagt, Lieferant A habe die bessere Lieferperformance und meldet „92 % Konfidenz“. Die prüfende Person debattiert nicht, ob aus 92 eine 85 werden sollte. Sie entfernt die Zahl und markiert die zugrundeliegenden Behauptungen.

Das Ergebnis ist nützlicher als ein Konfidenzwert. Es zeigt, welche Behauptungen fertig sind, welche Arbeit erfordern und wer für andere zuständig ist. Es schafft auch einen Prüfpfad, den Kollegen verstehen können, ohne das gesamte Gespräch zu reproduzieren.

SAFE darf kein versteckter Score werden

Die vier Status sollten nicht zu einem Prozentsatz zusammengefasst oder zur Belohnung für mehr grüne Labels genutzt werden. Das Generative AI Profile von NIST behandelt Vertrauenswürdigkeit als etwas, das Unternehmen in Design, Nutzung und Evaluierung steuern. In der Praxis heißt das: Kontext erhalten. Dazu gehören Relevanz der Aufgabe, Quellenqualität, Datengrenzen, Prüferkompetenz und Fehlerkosten.

Methode in bestehende Checks integrieren

SAFE ergänzt die Bokili-Leitfäden zum Prüfen von KI-Antworten, zur Stoppregel, zur Risiko-Klinik für KI-Workflows und zur Übergabe KI-gestützter Arbeit. Nutzen Sie den Evidenzstatus innerhalb dieser Workflows, statt ein paralleles Freigabesystem aufzubauen.

Präzision ist wertvoll, wenn sie auf Evidenz und Evaluierung beruht. Ein Prozentsatz ohne Kalibrierung imitiert diese Präzision nur. Geben Sie Prüfenden einen Status, den sie prüfen, eine Quelle, die sie öffnen, und eine Grenze, auf die sie reagieren können.