Eine Änderung genügt: Vorlage für Prompt-Experimente im Job

Prompts zu verbessern, ist oft ein Herumprobieren: Rolle zuweisen, Ton ändern, Beispiel einfügen, Format kürzen und mehr Details fordern – alles auf einmal. Wird das Ergebnis besser, wissen Sie nicht, warum. Wird es schlechter, wissen Sie nicht, was Sie rückgängig machen sollen. Ein kleines Prompt-Experiment ersetzt Rätselraten durch Fakten. Halten Sie Aufgabe und Quellmaterial konstant, definieren Sie den Nutzen, erstellen Sie eine Baseline, ändern Sie nur eine Anweisung und vergleichen Sie die Ergebnisse. Ziel ist nicht der „perfekte Prompt“, sondern zu lernen, welche Anweisung eine wiederkehrende Aufgabe verbessert.

Warum nur ein Prompt-Element ändern?

OpenAI beschreibt Prompting als iterativen Prozess: Prompt starten, Ergebnis prüfen, verfeinern. Google Cloud nennt Prompt Engineering testgetrieben und rät, Ziele vor dem Testen zu klären. Auch Anthropic empfiehlt, Erfolgskriterien und Testmethoden vorab zu definieren. Für die Praxis ist die einfachste Version dieser Idee ein kontrollierter Vergleich. Eine einzige Änderung liefert eine plausible Erklärung für den Unterschied.

Eine beurteilbare Aufgabe wählen

Nutzen Sie eine wiederkehrende, risikoarme Aufgabe mit klarer Quelle und menschlicher Prüfung: Notizen in ein Projekt-Update umwandeln, Aktionen aus einem Protokoll extrahieren oder eine Mitteilung für eine Zielgruppe umschreiben. Vermeiden Sie personenbezogene Daten, vertrauliches Material und Entscheidungen mit Auswirkungen auf Personen. Das Experiment testet Formulierungen, nicht, ob KI Urteilsvermögen ersetzen kann. „Besser“ muss mehr bedeuten als nur eine persönliche Präferenz.

Baseline:
Erstellen Sie anhand der freigegebenen Notizen ein wöchentliches Projekt-Update.

Version mit einer Änderung:
Erstellen Sie anhand der freigegebenen Notizen ein wöchentliches Projekt-Update. Verwenden Sie genau drei Überschriften: Fortschritt, Risiken, Nächste Schritte. Nennen Sie unter Nächste Schritte Verantwortliche und Fälligkeitsdatum nur, wenn beides in den Notizen steht. Erfinden Sie keine fehlenden Details.

Prüfen Sie beide Entwürfe mit denselben Kriterien: Jede Tatsachenbehauptung ist auf die Notizen zurückführbar, jeder Verantwortliche und jedes Datum steht in der Quelle, die drei Überschriften werden verwendet und fehlende Informationen werden nicht erraten.

Erfassen Sie das Ergebnis, nicht nur die Präferenz

Ein Prompt kann klarer klingen und trotzdem mehr Arbeit verursachen. Zählen Sie, was im geprüften Ergebnis passiert ist: Hat es die Prüfung bestanden? Wie viele Korrekturen waren nötig? Hat die geänderte Anweisung einen Fehler behoben, aber einen neuen verursacht? Wenn beide Versionen scheitern, behalten Sie die Baseline und testen Sie eine andere einzelne Änderung. Kombinieren Sie nicht mehrere unbewiesene Änderungen zu einem neuen „besten“ Prompt.

Zweites Beispiel testen vor Standardisierung

Ein erfolgreicher Input ist ein Hinweis, kein Beweis. Wiederholen Sie den Gewinner-Prompt mit einem anderen repräsentativen Beispiel. Nutzen Sie dieselben Kriterien und eine prüfende Person, die die Arbeit versteht. Wenn er sich bewährt, speichern Sie den Prompt mit einer Notiz: unterstützte Aufgabe, mögliche Inputs, menschliche Prüfschritte und Eskalationsbedingungen. Das verhindert, dass ein nützliches Ergebnis für unpassende Aufgaben kopiert wird.

Was diese Vorlage ist – und was nicht

Diese Vorlage hilft, aus Prompt-Änderungen zu lernen. Sie ist weder Modell-Benchmark noch Sicherheitstest oder Freibrief für sensible Daten. Da sich Modellverhalten ändern kann, müssen gespeicherte Prompts regelmäßig neu geprüft werden. Kriterien vor der Delegation klärt „Definition of Done“ für KI-Aufgaben. Sichere Eingaben unterstützt Eine Datengrenze für Prompts festlegen. Das Experiment verbindet beide Gewohnheiten: Erfolg definieren, eine Änderung isolieren und das tatsächliche Ergebnis prüfen.