mirror of
https://github.com/dair-ai/Prompt-Engineering-Guide
synced 2024-11-10 01:13:36 +00:00
23 lines
2.5 KiB
Plaintext
23 lines
2.5 KiB
Plaintext
# Zero-Shot Prompting
|
||
Большие языковые модели (LLMs), такие как GPT-3, настроены на следование инструкциям и обучаются на больших объемах данных, поэтому они способны выполнять некоторые задачи "нулевой разметки".
|
||
|
||
Мы протестировали несколько примеров нулевой разметки в предыдущем разделе. Вот один из примеров, которые мы использовали:
|
||
|
||
Запрос:
|
||
```
|
||
Classify the text into neutral, negative or positive.
|
||
|
||
Text: I think the vacation is okay.
|
||
Sentiment:
|
||
```
|
||
|
||
Результат:
|
||
```
|
||
Neutral
|
||
```
|
||
|
||
Обратите внимание, что в данном запросе мы не предоставили модели никаких примеров текста с их классификациями, однако LLM уже понимает "настроение" - это возможности нулевой разметки в действии.
|
||
|
||
Тюнинг инструкций показал улучшение в нулевом обучении [Wei et al. (2022)](https://arxiv.org/pdf/2109.01652.pdf). Тюнинг инструкций (Instruction tuning) представляет собой концепцию донастройки моделей на наборах данных, описанных с помощью инструкций. Более того, был применен RLHF (усиление обучения на основе обратной связи от человека) [RLHF](https://arxiv.org/abs/1706.03741) для масштабирования тюнинга инструкций, при котором модель настраивается на лучшее соответствие предпочтениям людей. Это недавнее развитие позволяет моделям, таким как ChatGPT, проявлять такие возможности. Мы рассмотрим все эти подходы и методы в следующих разделах.
|
||
|
||
Когда Zero-Shot промптинг не работает, рекомендуется предоставить демонстрации или примеры в запросе, что приводит к few-shot промптингу. В следующем разделе мы это продемонстрируем. |