Vor dem KI-Schwellenwert: Fehlerkosten getrennt bewerten

Ein Modell kann zu 92 % genau sein und trotzdem die falschen Fehler für Ihren Betrieb machen. Die entscheidende Frage ist nicht nur, wie oft es fehlschlägt, sondern in welche Richtung jeder Fehler geht. Ein False Accept lässt einen schlechten Fall durch. Ein False Reject stoppt einen guten Fall und verursacht Verzögerungen. Diese Ergebnisse haben selten denselben Verantwortlichen, dieselben Kosten oder dieselbe Abhilfe.

Eine Fehler-Kosten-Matrix wandelt diese Asymmetrie in eine operative Entscheidung um. Nutzen Sie sie, bevor Sie einen KI-Schwellenwert wählen, nicht nachdem ein erster Genauigkeitswert die Diskussion bereits beeinflusst hat. Die Matrix liefert keine magische Zahl. Sie macht den Kompromiss explizit genug, damit Produkt-, Betriebs-, Risiko- und Serviceverantwortliche gemeinsam eine Entscheidung treffen können.

Beginnen Sie mit der Entscheidung, nicht mit dem Ergebnis

Formulieren Sie die genaue Entscheidung, die das System beeinflusst: genehmigen oder prüfen, weiterleiten oder zurückhalten, veröffentlichen oder eskalieren. Definieren Sie dann, was „positiv“ bedeutet. Teams überspringen diesen Schritt oft und stellen später fest, dass zwei Personen „False Positive“ unterschiedlich interpretiert haben. Klare Bezeichnungen – False Accept und False Reject – machen die geschäftlichen Konsequenzen sichtbar.

Bewerten Sie beide Fehlerrichtungen, bevor Sie den Schwellenwert ändern

Das AI Risk Management Framework des NIST fordert Teams auf, potenzielle Kosten von KI-Fehlern im Verhältnis zur Risikotoleranz zu untersuchen und zu dokumentieren. Die Measure-Anleitung verlangt auch, dass False-Positive- und False-Negative-Raten im Einsatzkontext bewertet werden, anstatt einen Durchschnitt als Gesamtbild zu betrachten. Das ist der praktische Grund, zwei Fehler-Spalten beizubehalten: Ein Schwellenwert tauscht immer einen Typ gegen den anderen ein.

Praxisbeispiel: Rückerstattungs-Triage

Stellen Sie sich ein Support-Team vor, das eine KI-Route für Rückerstattungsanfragen in Betracht zieht. Fälle oberhalb eines Konfidenzschwellenwerts würden automatisch genehmigt; der Rest ginge an eine Person. Der Evaluierungssatz enthält 1.000 repräsentative Anfragen. Beim vorgeschlagenen Schwellenwert werden 18 ungültige Anfragen akzeptiert und 70 gültige Anfragen abgelehnt.

Kostet eine ungültige Genehmigung etwa 90 € für Rückerstattung, Untersuchung und Wiederherstellung, beträgt das False-Accept-Risiko 1.620 €. Kostet eine verzögerte gültige Rückerstattung etwa 12 € an Servicezeit und Goodwill, summieren sich die False Rejects auf 840 €. Dies sind Szenario-Inputs, keine universellen Preise. Die nützliche Erkenntnis ist, dass die Reduzierung der einen Anzahl die andere erhöhen kann. Ein strengerer Schwellenwert könnte 540 € bei ungültigen Rückerstattungen einsparen, während er 720 € an Überprüfungs- und Verzögerungskosten verursacht. Dieser Schritt sieht bei einer Fehlerrate besser aus, ist aber für den Betrieb schlechter.

Fügen Sie nun Konsequenzen hinzu, die schwer zu bepreisen sind. Ein vermutetes Betrugsmuster kann unabhängig vom Konfidenzlevel eine obligatorische Überprüfung erfordern. Ein schutzbedürftiger Kunde benötigt möglicherweise einen schnellen Beschwerdeweg. Die endgültige Regel kann daher einen Schwellenwert mit kategoriespezifischen Regeln kombinieren, anstatt eine einzige Zahl für jeden Fall zu erzwingen.

Verstecken Sie keine teuren Fehlerquellen

Eine einzelne Summe kann immer noch eine kleine Gruppe mit schwerwiegenden Folgen verbergen. NIST empfiehlt Messungen jenseits von Durchschnitten, damit Teams Fehlerquellen mit erheblichen Kosten finden können. Unterteilen Sie die Matrix nach Falltyp, Region, Kundengruppe oder Konsequenzniveau, wenn diese Unterteilungen die Entscheidung ändern. Halten Sie die Stichprobe groß genug, um nicht vorzugeben, dass Rauschen Gewissheit ist.

Der AI Playbook der britischen Regierung weist auf einen verwandten Punkt hin: Hohe Genauigkeit kann zu schlechtem Service führen, wenn sie Nutzer zu falschen Handlungen verleitet. Ein Schwellenwert ist daher eine operative Richtlinie, nicht nur eine Modelleinstellung. Dokumentieren Sie seinen Zweck, den Prüfverantwortlichen, die Evidenzbasis und den Auslöser für Änderungen.

Schwellenwertwahl mit dem restlichen Workflow verbinden

Ist der Schwellenwert gewählt, braucht das System weiterhin Kapazität und Herausforderung. Planen Sie die Überprüfungsarbeit ein, damit zurückgehaltene Fälle nicht zu unsichtbaren Verzögerungen werden. Kalkulieren Sie die Kosten der Ausnahme-Warteschlange, bevor die Automatisierung Kosten nachgelagert verschiebt. Bei Empfehlungen statt Klassifizierungen schreiben Sie einen Umkehrtest, der angibt, welche Evidenz die Antwort ändern würde.

Das dauerhafte Artefakt ist eine Seite: Entscheidung, vier Zellen, Konsequenzbereiche, Kandidatenschwellenwerte, Ausnahmen, Verantwortlicher und Überprüfungsdatum. Bokili-Praxis kann dieses Artefakt zu einer wiederholbaren Teamgewohnheit machen. Ziel ist nicht, jeden Fehler zu eliminieren. Es ist, den Kompromiss zu wählen, offenzulegen und zu steuern, bevor das System ihn für Sie wählt.