Changer un seul élément : un modèle d’expérimentation de prompt

Améliorer un prompt relève souvent du tâtonnement : on ajoute un rôle, change le ton, insère un exemple, raccourcit le format et demande plus de détails, le tout en une seule modification. Si le résultat s'améliore, impossible de savoir pourquoi. S'il se dégrade, on ne sait que défaire. Une petite expérimentation de prompt remplace les approximations par des preuves. Conservez une tâche et une source de données sûre, définissez les attendus d'un résultat utile, exécutez une version de référence, ne changez qu'une seule instruction et comparez les deux résultats. Le but n'est pas de trouver un « prompt parfait » universel, mais d'apprendre quelle instruction améliore une tâche récurrente.

Pourquoi ne changer qu'un seul élément ?

Les guides d'OpenAI décrivent le prompting comme un processus itératif : partir d'un prompt, analyser le résultat et l'affiner. Google Cloud parle d'une ingénierie de prompts « test-driven », où objectifs et résultats attendus doivent être clairs avant tout test systématique. Anthropic conseille aussi de définir des critères de succès et une méthode de test avant d'améliorer un prompt. Au quotidien, la version la plus simple de cette idée est la comparaison contrôlée. Un seul élément modifié offre une explication plausible de la différence.

Choisissez une tâche évaluable

Prenez une tâche récurrente à faible risque, avec une source claire et une relecture humaine : transformer des notes validées en point projet, extraire les actions d'un compte rendu ou réécrire une annonce pour un public défini. Évitez les données personnelles, les informations confidentielles et les décisions ayant un impact humain. Ce test évalue la formulation, pas la capacité de l'IA à remplacer le jugement. Il faut aussi une tâche où « mieux » signifie plus que « je préfère cette version ».

Référence :
À partir des notes validées ci-dessous, rédigez un point projet hebdomadaire.

Version modifiée :
À partir des notes validées ci-dessous, rédigez un point projet hebdomadaire. Utilisez exactement trois titres : Progrès, Risques, Prochaines actions. Sous Prochaines actions, ne citez le responsable et l'échéance que s'ils figurent tous deux dans les notes. N'inventez aucun détail manquant.

Relisez les deux versions avec les mêmes critères : chaque affirmation est traçable dans les notes ; chaque responsable et date cités sont présents dans la source ; les trois titres sont utilisés ; les informations manquantes ne sont pas devinées.

Notez le résultat, pas seulement votre préférence

Un prompt peut sembler plus clair tout en générant plus de travail. Évaluez concrètement le résultat relu. A-t-il validé les critères ? Combien de corrections ont été nécessaires ? La nouvelle instruction a-t-elle supprimé une erreur pour en créer une autre ? Si les deux versions échouent, conservez la référence et testez une autre modification unique. Ne combinez pas plusieurs changements non éprouvés en un nouveau « meilleur » prompt.

Testez un second exemple avant de standardiser

Un seul succès est un indice, pas une preuve. Répétez le prompt gagnant sur un autre exemple représentatif. Utilisez les mêmes critères et un relecteur qui maîtrise le sujet. S'il reste performant, archivez le prompt avec une brève note d'utilisation : la tâche concernée, les entrées possibles, les vérifications humaines obligatoires et les cas d'escalade. Cela évite qu'un résultat utile localement soit copié pour des tâches non pertinentes.

Ce que ce modèle est — et n'est pas

Ce modèle sert à apprendre d’une modification de prompt. Ce n’est ni un benchmark entre modèles, ni un test de sécurité, ni une permission d’utiliser des données sensibles. Le comportement des modèles évolue : un prompt sauvegardé doit donc être revérifié périodiquement. Pour cadrer les critères avant de déléguer, utilisez Définir les critères de succès avant de déléguer à l’IA. Pour protéger les données d’entrée, consultez Définir une limite de données avant d’utiliser un prompt. Le test s’inscrit entre ces deux habitudes : définir le succès, isoler un changement, puis vérifier le résultat concret.