You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
13 lines
1.3 KiB
Markdown
13 lines
1.3 KiB
Markdown
# Active-Prompt
|
|
|
|
import { Callout, FileTree } from 'nextra-theme-docs'
|
|
import {Screenshot} from 'components/screenshot'
|
|
import ACTIVE from '../../img/active-prompt.png'
|
|
|
|
Chain-of-thought (CoT)-Methoden basieren auf einem festen Satz von menschen-annotierten Beispielen. Das Problem dabei ist, dass diese Beispiele möglicherweise nicht die effektivsten für die unterschiedlichen Aufgaben sind. Um diesem Problem zu begegnen, schlugen [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf) kürzlich einen neuen Prompting-Ansatz vor, der als Active-Prompt bezeichnet wird, um LLMs an verschiedene aufgabenspezifische Beispiel-Prompts (mit menschengestaltetem CoT-Reasoning annotiert) anzupassen.
|
|
|
|
Unten ist eine Illustration des Ansatzes dargestellt. Im ersten Schritt wird das LLM mit oder ohne ein paar CoT-Beispiele abgefragt. *k* mögliche Antworten werden für einen Satz von Trainingsfragen generiert. Basierend auf den *k* Antworten wird eine Unsicherheitsmetrik berechnet (es wird die Uneinigkeit verwendet). Die unsichersten Fragen werden für die Annotation durch Menschen ausgewählt. Die neuen annotierten Beispiele werden dann verwendet, um jede Frage zu erschließen.
|
|
|
|
<Screenshot src={ACTIVE} alt="ACTIVE" />
|
|
Bildquelle: [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf)
|