Помош, мојот повик не работи!

И покрај вашите најдобри напори, LLM се уште не се однесува како што се очекуваше. Што треба да се обидете следно? Дали го уредувате повикот? Променете го моделот? Фине-таун? Секое од овие може да биде валидна опција и постои ред во кој можете да ги пробате овие поправки.

Principle V: Follow Prompt-Fix Escalation Ladder

(Ова е дел од тековната серија Принципи на АИ Инженеринг: види постови1, на2, на3и4)

Кога повикот не функционира како што се очекува, ги обидувам следниве поправки по ред на преференција:

1. Expanding and rephrasing instructions.

2. Adding examples.

3. Adding an explanation field.

4. Using a different model.

5. Breaking up a single prompt into multiple prompts.

6. Fine-tuning the model.

7. Throwing the laptop out the window in frustration.

   
   

Во некои случаи, редоследот на работите што треба да се пробаат ќе биде различен; сепак, имајќи стандарден пат заштедува време и ја зачува менталната способност за дебагирање.

Првите три паѓаат во кофата на Prompt Engineering и ќе бидат опфатени во поголема длабочина во следното поглавје.

Lightweight Approaches

Adding Instructions

Првото нешто што треба да се обиде е повторно објаснување на LLM што да се направи преку инстант инструкции. обидете се да додадете појасни насоки, рефразирање или поместување на инструкции.

Немојте да се двоумите да ги повторувате или преформулирате изјавите повеќе пати во различни делови на повикот - LLMs не се вознемируваат од повторување.1, на2) на

Adding Examples

Магистерски студии (LLMs) реагираат многу добро на учење во контекст (примери за влез и излез). Тие се особено важни ако користите помали модели; овие не се толку природно "интелигентни" па бараат многу насоки (3) на

Пример за пратка со 2-shot Inference (Детекција на јазикот):

Detect the language of the text and output it in the JSON format: {“language”: “name_of_language”}. If you don’t know the language, output “unknown” in the language field.

Example I:

Input: Hello

Output: {“language”: “English”}

Example II:

Input: EjnWcn

Output: {“language”: “Unknown”}

Text: {{text}}

Обично ќе користите 1-3 примери, иако во некои случаи може да додадете повеќе.4), но исто така и трошоците за одржување и извршување.

Adding an Explanation Field

LLMs, како и луѓето, имаат корист од тоа што треба да го објаснат своето размислување. Додадете поле "објаснување" на вашиот JSON излез и излезот обично ќе биде подобар. Ова исто така ќе ви помогне да идентификувате зошто моделот прави одредени одлуки и да ги прилагодите инструкциите и примерите.

Во случаите кога повикот користи внатрешна документација - побарајте од LLM да ги изведе деловите од документацијата што ја користеше за да ги конструира одговорите.5) на

Можете исто така да се обидете да користитеВерига на размислување Разумирање PromptЗадачата тука ќе биде правилно да го извлечете излезот.Може да ви биде потребен втор повик или дополнителен код за обработка на одговорите со CoT размислување.

Changing the Model

Различни модели се одликуваат на различни видови задачи. моделот o3 на OpenAI се одликува во анализирањето на кодот, но добрите стари 4o имаат тенденција да произведуваат подобро пишување и покрај тоа што се поевтини по токен.

Оваа експериментација работи многу побрзо и побезбедно кога имате автоматски тестови и метрики за мерење на „соодветноста“ на секој модел за задачата.

Heavyweight Approaches

Секој пристап до сега беше релативно ниска цена да се обиде.

Breaking Up the Prompt

Ако еден повик не може да ја заврши работата - зошто да не пробате систем од два или повеќе повици?

• Splitting the prompt by area of responsibility.

• Using a new prompt as a guardrail reviewing output of the previous one.

  
  

И двата пристапи се воведуваат воДел IIIи ќе бидат дискутирани во следното поглавје во повеќе детали.

Fine-Tuning

Финото прилагодување е уште потежок пристап отколку користењето на повеќе повици. За повеќето проблеми, јас го користам како последен лек.

Зошто се двоумам да препорачам фино прилагодување во повеќето случаи? Фино прилагодување е фундаментално пристап кон машинско учењеПримена на генеративниот AIКако таква, тоа бара собирање на огромни количини на податоци и целиот сет на алатки за МЛ, покрај генеративните АИ, и ова е огромен оверхеад за управување за мали до средни проекти.

Размислете за фин-тунинг кога:

• Другите техники не успеаја да ја постигнат целта.
• Проблемот е многу комплексен и специјализиран, а познавањето на LLM не е доволно.
• Имате случај за употреба со висок обем и сакате да заштедите пари со користење на модел со понизок обем.
• Потребна е ниска латенција, така што повеќе повици не можат да се извршат последователно.

Conclusion

Се надеваме дека оваа статија ја разјаснува редоследот на чекори што треба да ги преземете кога повиците не работат како што треба. Прво, обично би пробале пристап на инстант инженеринг. Ако тоа не функционира, обидете се да го промените моделот и да видите дали тоа помогна. Следниот чекор е да користите повеќе интерактивни повици. Конечно, размислете за фино прилагодување ако сите други методи не успеале.

Ако ви се допадна оваа статија - претплатете се за повеќе.