mirror of
https://github.com/dair-ai/Prompt-Engineering-Guide
synced 2024-11-08 07:10:41 +00:00
23 lines
2.5 KiB
Plaintext
23 lines
2.5 KiB
Plaintext
|
# Zero-Shot Prompting
|
|||
|
|
Большие языковые модели (LLMs), такие как GPT-3, настроены на следование инструкциям и обучаются на больших объемах данных, поэтому они способны выполнять некоторые задачи "нулевой разметки".
|
|||
|
|
|
|||
|
|
Мы протестировали несколько примеров нулевой разметки в предыдущем разделе. Вот один из примеров, которые мы использовали:
|
|||
|
|
|
|||
|
|
Запрос:
|
|||
|
|
```
|
|||
|
|
Classify the text into neutral, negative or positive.
|
|||
|
|
|
|||
|
|
Text: I think the vacation is okay.
|
|||
|
|
Sentiment:
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
Результат:
|
|||
|
|
```
|
|||
|
|
Neutral
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
Обратите внимание, что в данном запросе мы не предоставили модели никаких примеров текста с их классификациями, однако LLM уже понимает "настроение" - это возможности нулевой разметки в действии.
|
|||
|
|
|
|||
|
|
Тюнинг инструкций показал улучшение в нулевом обучении [Wei et al. (2022)](https://arxiv.org/pdf/2109.01652.pdf). Тюнинг инструкций (Instruction tuning) представляет собой концепцию донастройки моделей на наборах данных, описанных с помощью инструкций. Более того, был применен RLHF (усиление обучения на основе обратной связи от человека) [RLHF](https://arxiv.org/abs/1706.03741) для масштабирования тюнинга инструкций, при котором модель настраивается на лучшее соответствие предпочтениям людей. Это недавнее развитие позволяет моделям, таким как ChatGPT, проявлять такие возможности. Мы рассмотрим все эти подходы и методы в следующих разделах.
|
|||
|
|
|
|||
|
|
Когда Zero-Shot промптинг не работает, рекомендуется предоставить демонстрации или примеры в запросе, что приводит к few-shot промптингу. В следующем разделе мы это продемонстрируем.
|