Pomoć, moj prompt ne radi!

Uprkos vašim najboljim naporima, LLM se još uvijek ne ponaša kao što se očekivalo. Šta biste trebali pokušati sledeće? Da li uređujete uputstvo? Promijenite model? Fine-tune? Svaka od ovih opcija može biti valjana i postoji redoslijed u kojem možete pokušati ove ispravke.

Principle V: Follow Prompt-Fix Escalation Ladder

(Ovo je dio nastavka serije Principi AI inženjeringa: pogledajte postove1U pitanju je2U pitanju je3i4)

Kada prompt ne radi kao što se očekivalo, pokušavam sledeće ispravke po redu preferencije:

1. Expanding and rephrasing instructions.

2. Adding examples.

3. Adding an explanation field.

4. Using a different model.

5. Breaking up a single prompt into multiple prompts.

6. Fine-tuning the model.

7. Throwing the laptop out the window in frustration.

   
   

U nekim slučajevima, redoslijed stvari koje treba pokušati će biti drugačiji; međutim, imati podrazumevani put štedi vrijeme i čuva mentalnu sposobnost za debugiranje.

Sada ćemo skim preko svakog pristupa. Prva tri padaju u kutiju Prompt Engineering i bit će pokriveni u više dubine u narednom poglavlju. Multi-prompt i Fine-tuning pristupi će svaki imati posvećena poglavlja.

Lightweight Approaches

Adding Instructions

Prva stvar koju treba pokušati je ponovo objasniti LLM-u šta treba učiniti putem hitnih uputa. Pokušajte dodati jasnije smjernice, preformulirati ili premjestiti upute.

Nemojte se ustručavati da ponovite ili reformulirate izjave više puta u različitim dijelovima uputstva - LLM se ne uznemiravaju ponavljanjem.1U pitanju je2U svakom slučaju)

Adding Examples

Ukoliko je potrebno, potrebno je uzeti u obzir činjenicu da su ove metode posebno važne ako se koriste manjim modelima; one nisu prirodno „inteligentne“ pa zahtijevaju puno smjernica (3U svakom slučaju)

Primjer prompt s 2-shot Inference (Detekcija jezika):

Detect the language of the text and output it in the JSON format: {“language”: “name_of_language”}. If you don’t know the language, output “unknown” in the language field.

Example I:

Input: Hello

Output: {“language”: “English”}

Example II:

Input: EjnWcn

Output: {“language”: “Unknown”}

Text: {{text}}

Obično biste koristili 1-3 primjera, iako u nekim slučajevima možete dodati više. Postoje dokazi da performanse poboljšavaju s većim brojem primjera (4), ali takođe ima troškove održavanja i izvršenja.

Adding an Explanation Field

LLM-ovi, kao i ljudi, imaju koristi od toga da moraju objasniti svoje razmišljanje. Dodajte polje "objašnjenja" u JSON izlazu i izlazak će obično biti bolji. Ovo će vam takođe pomoći da identificirate zašto model donosi određene odluke i prilagodite upute i primjere.

U slučajevima kada uputnica koristi unutrašnju dokumentaciju - zamolite LLM da izlazi odjeljke dokumentacije koji je koristio za konstruisanje odgovora.5U svakom slučaju)

Također možete pokušati da koristiteChain-of-Thought Razumevanje promptIzazov ovde će biti ispravno izvlačenje izlaza.Možda vam je potreban drugi poziv ili dodatni kod za obradu odgovora sa CoT obrazloženjem.

Changing the Model

Različiti modeli odlični su u različitim vrstama zadataka.OpenAI-ov o3 model odličan je u analizi koda, ali dobar stari 4o ima tendenciju da proizvodi bolje pisanje uprkos tome što je jeftiniji po žetonu.Deo posla AI inženjera je da prati prednosti i slabosti dostupnih modela kako se objavljuju i ažuriraju.

Ovaj eksperiment radi brže i sigurnije kada imate automatizovane testove i mjerila za mjerenje „prilagođenosti“ svakog modela za zadatak.

Heavyweight Approaches

Svaki pristup do sada je bio relativno jeftin da pokuša.Sada ulazimo u teške popravke.

Breaking Up the Prompt

Ako jedan prompt ne može obaviti posao - zašto ne isprobati sistem od dva ili više promptova?

• Splitting the prompt by area of responsibility.

• Using a new prompt as a guardrail reviewing output of the previous one.

  
  

Oba pristupa su uvedena uDeo IIITo će se detaljnije raspravljati u narednom poglavlju.

Fine-Tuning

Fine-tuning je još teži pristup nego koristeći više pozivnica. Za većinu problema, ja ga koristim kao krajnje sredstvo.

Zašto sam oklevao da preporučim fine-tuning u većini slučajeva? Fine-tuning je u osnovi pristup strojnom učenjuPrimjenjuje se na Generative AIKao takav, to zahtijeva prikupljanje ogromnih količina podataka i čitav niz ML alata pored generativnih AI alata i to je ogroman overhead za upravljanje za male do srednje velike projekte.

Razmislite o fine-tuning kada:

• Druge tehnike nisu postigle cilj.
• Problem je vrlo složen i specijaliziran, a podrazumevano znanje LLM je nedovoljno.
• Imate veliku količinu upotrebe i želite uštedjeti novac koristeći model niže klase.
• Potrebna je niska latencija, tako da se više promptova ne može izvršiti u nizu.

Conclusion

Nadam se da ovaj članak objašnjava redoslijed koraka koje treba poduzeti kada uputstva ne rade kako je predviđeno. Prvo, obično biste isprobali uputstveni pristup. Ako to ne radi, pokušajte da prebacite model i vidite da li je to pomoglo. Sljedeći korak je korišćenje više interaktivnih uputstava. Konačno, razmotrite fino podešavanje ako su sve druge metode propale.

Ako ste uživali u ovom postu - pretplatite se za više.