mirror of
https://github.com/dair-ai/Prompt-Engineering-Guide
synced 2024-11-08 07:10:41 +00:00
12 lines
1.3 KiB
Plaintext
12 lines
1.3 KiB
Plaintext
|
# Active-Prompt
|
||
|
|
|
||
|
|
import { Callout, FileTree } from 'nextra-theme-docs'
|
||
|
|
import {Screenshot} from 'components/screenshot'
|
||
|
|
import ACTIVE from '../../img/active-prompt.png'
|
||
|
|
|
||
|
|
Chain-of-thought (CoT) 방식은 사람이 라벨링을 한 예제에 의존합니다. 이 방법의 문제점은 예시가 다양한 작업에 가장 효과적인 예시가 아닐 수 있다는 것입니다. 이 문제를 해결하기 위해 [Diao 외, (2023)](https://arxiv.org/pdf/2302.12246.pdf)는 최근 Active-Prompt라는 새로운 프롬프트 접근 방식을 제안하여 LLMs을 다양한 작업별 예시 프롬프트(사람이 설계한 CoT 추론으로 라벨링)에 적용했습니다.
|
||
|
|
|
||
|
|
아래는 제안 방식에 대한 개요도입니다. 첫 번째 단계는 몇 가지 CoT 예제를 포함하거나 포함하지 않고 LLM에 질문하는 것입니다. 일련의 훈련 질문에 대해 *k* 개의 가능한 답변이 생성됩니다. 불확실성 지표는 *k*개의 답변(불일치 사용)을 기반으로 계산됩니다. 가장 불확실한 질문은 사람이 라벨을 달도록 선택됩니다. 그런 다음 라벨이 달린 새로운 예시를 사용하여 각 질문을 추론합니다.
|
||
|
|
|
||
|
|
<Screenshot src={ACTIVE} alt="ACTIVE" />
|
||
|
|
Image Source: [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf)
|