Aide, mon prompt ne fonctionne pas !

Malgré vos meilleurs efforts, le LLM ne se comporte toujours pas comme prévu. Que devriez-vous essayer prochainement? Modifiez-vous la notification? Changer le modèle? Fine-tune? L'une de ces options peut être valide et il y a un ordre dans lequel essayer ces correctifs.

Principle V: Follow Prompt-Fix Escalation Ladder

(Ceci fait partie d'une série en cours de Principles of AI Engineering : voir les publications)1, à2, à3et4)

Lorsqu'un prompt ne fonctionne pas comme prévu, j'essaie les correctifs suivants par ordre de préférence:

1. Expanding and rephrasing instructions.

2. Adding examples.

3. Adding an explanation field.

4. Using a different model.

5. Breaking up a single prompt into multiple prompts.

6. Fine-tuning the model.

7. Throwing the laptop out the window in frustration.

   
   

Dans certains cas, l'ordre des choses à essayer sera différent; néanmoins, avoir un chemin par défaut permet d'économiser du temps et de préserver la capacité mentale pour le débogage.

Maintenant, regardons chaque approche.Les trois premières tombent dans le pot de Prompt Engineering et seront abordées plus en profondeur dans le prochain chapitre.Les approches Multi-prompt et Fine-tuning auront chacune des chapitres dédiés.

Lightweight Approaches

Adding Instructions

La première chose à essayer est de réexpliquer à la LLM ce qu'il faut faire via les instructions prompt. Essayez d'ajouter des directions plus claires, de réécrire ou de déplacer des instructions.

N'hésitez pas à répéter ou à réformuler les déclarations plusieurs fois dans différentes parties de la prompt - les LLM ne sont pas dérangés par la répétition.1, à2) de

Adding Examples

Les modèles d’apprentissage en contexte (exemples d’entrée-sortie) sont particulièrement importants si vous utilisez des modèles plus petits ; ceux-ci ne sont pas aussi naturellement « intelligents » et nécessitent donc beaucoup d’orientation (3) de

Exemple d’un prompt à 2 coups d’inférence (détection de langue):

Detect the language of the text and output it in the JSON format: {“language”: “name_of_language”}. If you don’t know the language, output “unknown” in the language field.

Example I:

Input: Hello

Output: {“language”: “English”}

Example II:

Input: EjnWcn

Output: {“language”: “Unknown”}

Text: {{text}}

En général, vous utiliseriez 1-3 exemples, bien que dans certains cas vous puissiez ajouter plus.4Il en va de même pour les coûts de maintenance et d’exécution.

Adding an Explanation Field

Les LLM, comme les humains, bénéficient d'avoir à expliquer leur pensée. Ajoutez un champ "explication" à votre sortie JSON et la sortie sera généralement meilleure. Cela vous aidera également à identifier pourquoi le modèle prend certaines décisions et à ajuster les instructions et les exemples.

Dans les cas où le prompt utilise la documentation interne, demandez au LLM de produire les sections de documentation qu'il utilise pour construire des réponses.5) de

Vous pouvez également essayer d’utiliser unChain-of-Thought Reasoning PromptLe défi ici sera d'extraire correctement la sortie.Vous aurez peut-être besoin d'un second prompt ou de code supplémentaire pour traiter les réponses avec le raisonnement CoT.

Changing the Model

Différents modèles excellent dans différents types de tâches.Le modèle o3 d'OpenAI excelle dans l'analyse du code, mais le bon vieux 4o a tendance à produire une meilleure écriture en dépit d'être moins cher par jeton.

Essayez souvent différents modèles pour la même tâche.Cette expérimentation fonctionne plus rapidement et plus en toute sécurité lorsque vous avez des tests automatisés et des mesures pour mesurer la «fitness» de chaque modèle pour la tâche.

Heavyweight Approaches

Chaque approche jusqu'à présent a été relativement peu coûteuse à essayer.

Breaking Up the Prompt

Si un prompt ne peut pas faire le travail - pourquoi ne pas essayer un système de deux ou plusieurs prompts? cela peut fonctionner efficacement dans certains cas; les deux approches courantes sont:

• Splitting the prompt by area of responsibility.

• Using a new prompt as a guardrail reviewing output of the previous one.

  
  

Ces deux approches sont introduites dansPartie IIIIl sera discuté plus en détail dans un chapitre suivant.

Fine-Tuning

Fine-tuning est une approche encore plus difficile que d'utiliser plusieurs prompts. Pour la plupart des problèmes, je l'utilise comme un dernier recours.

Pourquoi ai-je hésité à recommander le réglage fin dans la plupart des cas ?Le réglage fin est fondamentalement une approche d’apprentissage automatiqueAppliqué à Generative AIEn tant que tel, il nécessite la collecte d'énormes quantités de données et un ensemble complet d'outils ML en plus des outils d'IA génératifs et c'est un overhead massif à gérer pour les projets de petite à moyenne taille.

Pensez au fine-tuning lorsque :

• D’autres techniques n’ont pas réussi à atteindre cet objectif.
• Le problème est très complexe et spécialisé, et les connaissances LLM par défaut sont insuffisantes.
• Vous avez un cas d'utilisation de volume élevé et voulez économiser de l'argent en utilisant un modèle de base.
• Une faible latence est nécessaire, de sorte que plusieurs prompts ne peuvent pas être exécutés en séquence.

Conclusion

Espérons que cet article clarifie l'ordre des étapes que vous devriez prendre lorsque les prompts ne fonctionnent pas comme prévu. Tout d'abord, vous essayeriez généralement une approche d'ingénierie prompt. Si cela ne fonctionne pas, essayez de changer le modèle et de voir si cela a aidé. L'étape suivante consiste à utiliser plusieurs prompts d'interaction. Enfin, envisagez de finir si toutes les autres méthodes ont échoué.

Si vous avez apprécié cet article, abonnez-vous à plus.