Evals : tester prompts et modèles de façon systématique

Pourquoi les evals sont nécessaires

Si vous modifiez un prompt et que la réponse suivante « semble » meilleure, vous ne savez pas encore si elle l'est vraiment, ou seulement pour cet exemple précis. Sans test systématique, l'amélioration d'un prompt reste une devinette. Les evals (abréviation d'« evaluations ») résolvent ce problème en vérifiant objectivement un changement sur de nombreux exemples à la fois.

La structure de base

Un eval se compose d'un jeu de test (plusieurs exemples d'entrée, souvent accompagnés de la réponse attendue ou de critères d'évaluation) et d'une méthode pour évaluer la sortie — correspondance exacte, vérification par règles, ou un second modèle en guise de « juge » (LLM-as-judge). Après chaque modification de prompt ou de modèle, le jeu de test est relancé et vous comparez les résultats avant/après.

Différence avec les benchmarks publics

Des benchmarks comme MMLU ou SWE-bench sont des tests génériques et externes. Les evals propres sont taillés sur mesure pour votre tâche concrète — souvent plus parlants pour votre produit, même s'ils sont plus modestes et moins connus.

Une entrée en matière pratique

Déjà 20 à 30 exemples soigneusement choisis et réalistes tirés de votre propre cas d'usage fournissent des signaux exploitables. L'important est que les cas de test couvrent de véritables cas limites et des erreurs typiques, pas seulement des cas standards simples.