You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
|
|
|
|
# Zero-Shot Prompting
|
|
|
|
|
Große LLMs (Language-Modelle) wie beispielsweise GPT-3 sind heute darauf abgestimmt, Anweisungen zu befolgen, und wurden mit großen Datenmengen trainiert. Daher sind sie in der Lage, einige Aufgaben "Zero-Shot" auszuführen.
|
|
|
|
|
|
|
|
|
|
Wir haben einige Zero-Shot-Beispiele im vorherigen Abschnitt ausprobiert. Hier ist eines der Beispiele, die wir verwendet haben:
|
|
|
|
|
|
|
|
|
|
*Prompt:*
|
|
|
|
|
```
|
|
|
|
|
Klassifizieren Sie den Text als neutral, negativ oder positiv.
|
|
|
|
|
|
|
|
|
|
Text: Ich finde den Urlaub okay.
|
|
|
|
|
Empfindung:
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
*Ausgabe:*
|
|
|
|
|
```
|
|
|
|
|
Neutral
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
Beachten Sie, dass wir im oben genannten Prompt keine Beispiele für Texte zusammen mit ihren Klassifizierungen gegeben haben, das LLM versteht "Empfindung" bereits – das sind die Zero-Shot-Fähigkeiten in Aktion.
|
|
|
|
|
|
|
|
|
|
Instruction Tuning hat sich als Verbesserung für Zero-Shot Learning erwiesen [Wei et al. (2022)](https://arxiv.org/pdf/2109.01652.pdf). Instruction Tuning ist im Wesentlichen das Konzept des Feinabstimmens von Modellen auf Datensätze, die durch Anweisungen beschrieben werden. Weiterhin wurde [RLHF](https://arxiv.org/abs/1706.03741) (Reinforcement Learning from Human Feedback) adaptiert, um das Instruction Tuning zu skalieren, wobei das Modell so ausgerichtet wird, dass es besser zu menschlichen Präferenzen passt. Diese jüngste Entwicklung treibt Modelle wie ChatGPT an. Wir werden all diese Ansätze und Methoden in den kommenden Abschnitten besprechen.
|
|
|
|
|
|
|
|
|
|
Wenn Zero-Shot nicht funktioniert, wird empfohlen, Demonstrationen oder Beispiele im Prompt bereitzustellen, was zu Few-Shot-Prompting führt. Im nächsten Abschnitt demonstrieren wir Few-Shot-Prompting.
|