Merge pull request #112 from Denny-Hwang/main
Add Korean some translated files to the ko-pages folderpull/147/head
Elvis Saravia
1 year ago
committed by
GitHub
commit
de1075847f
@ -0,0 +1,23 @@
|
||||
import type { AppProps } from 'next/app';
|
||||
import Script from 'next/script';
|
||||
import { Analytics } from '@vercel/analytics/react';
|
||||
|
||||
function MyApp({ Component, pageProps }: AppProps) {
|
||||
return (
|
||||
<>
|
||||
<Script async src="https://www.googletagmanager.com/gtag/js?id=G-ST7R3WQ353"/>
|
||||
<Script>{`
|
||||
window.dataLayer = window.dataLayer || [];
|
||||
function gtag(){dataLayer.push(arguments);}
|
||||
gtag('js', new Date());
|
||||
gtag('config', 'G-ST7R3WQ353');
|
||||
`}
|
||||
</Script>
|
||||
|
||||
<Component {...pageProps} />
|
||||
<Analytics />
|
||||
</>
|
||||
);
|
||||
}
|
||||
|
||||
export default MyApp;
|
||||
@ -0,0 +1,27 @@
|
||||
{
|
||||
"index": "Prompt Engineering",
|
||||
"introduction": "Introduction",
|
||||
"techniques": "Techniques",
|
||||
"applications": "Applications",
|
||||
"models": "Models",
|
||||
"risks": "Risks & Misuses",
|
||||
"papers": "Papers",
|
||||
"tools": "Tools",
|
||||
"notebooks": "Notebooks",
|
||||
"datasets": "Datasets",
|
||||
"readings": "Additional Readings",
|
||||
"about": {
|
||||
"title": "About",
|
||||
"type": "page"
|
||||
},
|
||||
"course":{
|
||||
"title": "Prompt Engineering Course",
|
||||
"type": "page"
|
||||
},
|
||||
"contact": {
|
||||
"title": "Contact ↗",
|
||||
"type": "page",
|
||||
"href": "https://twitter.com/dair_ai",
|
||||
"newWindow": true
|
||||
}
|
||||
}
|
||||
@ -0,0 +1,11 @@
|
||||
# About
|
||||
|
||||
프롬프트 엔지니어링 가이드는 [DAIR.AI](https://github.com/dair-ai)의 프로젝트 입니다. 이 프로젝트는 연구자와 실무자를 대상으로 프롬프트 엔지니어링에 대해 교육하는 것을 목표로 합니다.
|
||||
|
||||
DAIR.AI는 AI연구, 교육 및 기술의 민주화를 목표로 합니다. 우리의 사명은 다음 세대의 AI 혁신가와 크리에이터를 지원하는 것입니다.
|
||||
|
||||
우리 커뮤니티에 기여하는 것을 환영합니다. Edit 버튼을 찾아보세요.
|
||||
|
||||
라이센스 정보 [here](https://github.com/dair-ai/Prompt-Engineering-Guide#license).
|
||||
|
||||
우리는 다음의 오픈 소스 [OpenAI CookBook](https://github.com/openai/openai-cookbook), [Pretrain, Prompt, Predict](http://pretrain.nlpedia.ai/), [Learn Prompting](https://learnprompting.org/)와 그 외의 오픈소스에서 영감을 받았습니다.
|
||||
@ -0,0 +1,9 @@
|
||||
# Prompting Applications
|
||||
|
||||
import { Callout } from 'nextra-theme-docs'
|
||||
|
||||
이 장에서는 프롬프트 엔지니어링을 사용하여 유용하고 고급 작업을 수행할 수 있는 몇 가지 흥미로운 고급 방법을 다룹니다.
|
||||
|
||||
<Callout emoji="⚠️">
|
||||
This section is under heavy development.
|
||||
</Callout>
|
||||
@ -0,0 +1,9 @@
|
||||
# Prompt Engineering Course
|
||||
|
||||
2023년 5월에 Sphere와 제휴하여 ["Prompting Engineering for LLMs"](https://www.getsphere.com/cohorts/prompt-engineering-for-llms?source=promptingguide) 강좌를 제공합니다.
|
||||
|
||||
이 실습 과정은 대규모 언어 모델의 어플리케이션을 효과적으로 구축하기 위해 실제 세계에서 사용되는 모든 최신 프롬프트 엔지니어링 기법과 도구를 가르치기 위해 고안되었습니다.
|
||||
|
||||
프롬프트 엔지니어링 기술을 한 단계 더 발전시키고 싶다면 이 과정을 적극 추천합니다.
|
||||
|
||||
이 과정은 수료증이 발급되는 과정입니다.
|
||||
@ -0,0 +1,12 @@
|
||||
# Datasets
|
||||
#### (이름순 정렬)
|
||||
|
||||
- [Anthropic's Red Team dataset](https://github.com/anthropics/hh-rlhf/tree/master/red-team-attempts), [(paper)](https://arxiv.org/abs/2209.07858)
|
||||
- [Awesome ChatGPT Prompts](https://huggingface.co/datasets/fka/awesome-chatgpt-prompts)
|
||||
- [DiffusionDB](https://github.com/poloclub/diffusiondb)
|
||||
- [Midjourney Prompts](https://huggingface.co/datasets/succinctly/midjourney-prompts)
|
||||
- [P3 - Public Pool of Prompts](https://huggingface.co/datasets/bigscience/P3)
|
||||
- [PartiPrompts](https://parti.research.google)
|
||||
- [Real Toxicity Prompts](https://allenai.org/data/real-toxicity-prompts)
|
||||
- [Stable Diffusion Dataset](https://huggingface.co/datasets/Gustavosta/Stable-Diffusion-Prompts)
|
||||
- [WritingPrompts](https://www.reddit.com/r/WritingPrompts)
|
||||
@ -0,0 +1,9 @@
|
||||
# Prompt Engineering Guide
|
||||
|
||||
프롬프트 엔지니어링은 다양한 어플리케이션과 연구 주제에 언어 모델(LMs)을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 비교적 새로운 분야입니다. 프롬프트 엔지니어링 기술은 대규모 언어 모델(LLMs)의 기능과 한계를 더 잘 이해하는 데 도움이 됩니다.
|
||||
|
||||
연구자들은 프롬프트 엔지니어링을 사용하여 질의응답 및 산술 추론과 같은 일반적이고 복잡한 작업에서 LLMs의 역량을 향상시킵니다. 개발자는 프롬프트 엔지니어링을 사용하여 LLMs 및 기타 도구와 인터페이스하는 강력하고 효과적인 프롬프트 기술을 설계합니다.
|
||||
|
||||
프롬프트 엔지니어링은 단순히 프롬프트를 설계하고 개발하는 것만이 아닙니다. 프롬프트 엔지니어링은 LLMs과 상호 작용하고 개발하는데 유용한 다양한 스킬과 기법을 포함합니다. 프롬프트 엔지니어링은 LLMs과 인터페이스하고, 빌드하고, LLMs의 기능을 이해하는데 중요한 기술입니다. 신속한 엔지니어링을 사용하여 LLMs의 안전성을 개선하고 도메인 지식 및 외부 도구로 LLMs을 보강하는 등 새로운 기능을 구축할 수 있습니다.
|
||||
|
||||
LLMs을 사용한 개발에 대한 높은 관심덕에 프롬프트 엔지니어링과 관련된 모든 최신 논문, 학습 가이드, 모델, 강의, 참고 자료, 새로운 LLM 기능 및 도구가 포함된 이 새로운 프롬프트 엔지니어링 가이드를 만들었습니다.
|
||||
@ -0,0 +1,7 @@
|
||||
# Introduction
|
||||
|
||||
프롬프트 엔지니어링은 다양한 어플리케이션과 연구 주제에 언어 모델(LMs)을 효율적으로 사용할 수 있도록 프롬프트를 개발하고 최적화하는 비교적 새로운 분야입니다. 프롬프트 엔지니어링 기술은 대규모 언어 모델(LLMs)의 기능과 한계를 더 잘 이해하는 데 도움이 됩니다. 연구자들은 프롬프트 엔지니어링을 사용하여 질문 답변 및 산술 추론과 같은 일반적이고 복잡한 다양한 작업에서 LLMs의 역량을 향상시킵니다. 개발자는 프롬프트 엔지니어링을 사용하여 LLMs 및 기타 도구와 인터페이스하는 강력하고 효과적인 프롬프트 기술을 설계합니다.
|
||||
|
||||
이 가이드는 프롬프트의 기본 사항을 다루며 프롬프트를 사용하여 대규모 언어 모델(LLMs)과 상호 작용하고 지시하는 방법에 대한 개략적인 아이디어를 제공합니다.
|
||||
|
||||
모든 예제는 달리 명시되지 않는 한 `text-davinci-003`(OpenAI의 플레이그라운드 사용)으로 테스트되었습니다. 기본 구성, 즉 `temperature=0.7` 및 `top-p=1`을 사용합니다.
|
||||
@ -0,0 +1,9 @@
|
||||
# Models
|
||||
|
||||
import { Callout } from 'nextra-theme-docs'
|
||||
|
||||
이 장에서는 몇 가지 최신 언어 모델과 이 모델들이 최신의 첨단 프롬프트 엔지니어링 기법을 효과적으로 적용하는 방법을 다룹니다. 또한 few-shot prompting, zero-shot prompting, and chain-of-thought prompting과 같은 다양한 작업 및 프롬프트 설정에 대한 이러한 모델의 기능에 대해서도 다룹니다. 이러한 기능을 이해하는 것은 모델들의 한계를 이해하고 효과적으로 사용하는데 중요합니다.
|
||||
|
||||
<Callout emoji="⚠️">
|
||||
This section is under heavy development.
|
||||
</Callout>
|
||||
@ -0,0 +1,11 @@
|
||||
# Prompt Engineering Notebooks
|
||||
|
||||
프롬프트 엔지니어링을 시작하는 데 도움이 되는 주피터 노트북 예제 모음입니다. 계속 추가될 예정입니다!
|
||||
|
||||
| Description | Notebook |
|
||||
| :------------ | :---------: |
|
||||
|`openai` and `LangChain` 라이브러리를 사용하여 다양한 유형의 일반적인 작업을 수행하는 방법 알아보기|[Getting Started with Prompt Engineering](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-lecture.ipynb)|
|
||||
|언어 모델과 함께 Python 인터프리터를 사용하여 일반적인 작업을 해결하기 위한 목적으로 코드를 사용하는 방법 알아보기.|[Program-Aided Language Model](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-pal.ipynb)|
|
||||
|'openai` 라이브러리를 사용하여 ChatGPT API를 호출하는 방법에 대해 자세히 알아보기.|[ChatGPT API Intro](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-intro.ipynb)|
|
||||
|`LangChain` 라이브러리를 사용하여 ChatGPT 기능을 사용하는 방법 알아보기 |[ChatGPT API with LangChain](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-langchain.ipynb)|
|
||||
|방어 조치(defensive measures)를 포함한 적대적(adversarial) 프롬프트에 대해 알아보기.|[Adversarial Prompt Engineering](https://github.com/dair-ai/Prompt-Engineering-Guide/blob/main/notebooks/pe-chatgpt-adversarial.ipynb)|
|
||||
@ -0,0 +1,178 @@
|
||||
# Papers
|
||||
|
||||
이 장에서는 몇 가지 최신 언어 모델과 이 모델들이 최신의 첨단 프롬프트 엔지니어링 기법을 효과적으로 적용하는 방법을 다룹니다. 또한 few-shot prompting, zero-shot prompting, and chain-of-thought prompting과 같은 다양한 작업 및 프롬프트 설정에 대한 모델의 기능에 대해서도 다룹니다. 이러한 기능을 이해하는 것은 이러한 모델의 한계를 이해하고 효과적으로 사용하는 방법을 이해하는 데 중요합니다. 다음은 프롬프트 엔지니어링에 관한 최신 문서(배포 날짜별 정렬)입니다. 매일 새로운 논문이 업데이트됩니다. 매주 위의 가이드에 이러한 논문의 요약을 추가하고 있습니다.
|
||||
|
||||
## Overviews
|
||||
|
||||
- [A Survey of Large Language Models](https://arxiv.org/abs/2303.18223) (April 2023)
|
||||
- [Nature Language Reasoning, A Survey](https://arxiv.org/abs/2303.14725) (Mar 2023)
|
||||
- [Augmented Language Models: a Survey](https://arxiv.org/abs/2302.07842) (Feb 2023)
|
||||
- [A Survey for In-context Learning](https://arxiv.org/abs/2301.00234) (Dec 2022)
|
||||
- [Towards Reasoning in Large Language Models: A Survey](https://arxiv.org/abs/2212.10403) (Dec 2022)
|
||||
- [Reasoning with Language Model Prompting: A Survey](https://arxiv.org/abs/2212.09597) (Dec 2022)
|
||||
- [Emergent Abilities of Large Language Models](https://arxiv.org/abs/2206.07682) (Jun 2022)
|
||||
- [A Taxonomy of Prompt Modifiers for Text-To-Image Generation](https://arxiv.org/abs/2204.13988) (Apr 2022)
|
||||
- [Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing](https://arxiv.org/abs/2107.13586) (Jul 2021)
|
||||
|
||||
## Approaches
|
||||
|
||||
- [CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society](https://arxiv.org/abs/2303.17760) (Mar 2023)
|
||||
- [Self-Refine: Iterative Refinement with Self-Feedback](https://arxiv.org/abs/2303.17651v1) (Mar 2023)
|
||||
- [kNN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference](https://arxiv.org/abs/2303.13824) (Mar 2023)
|
||||
- [Visual-Language Prompt Tuning with Knowledge-guided Context Optimization](https://arxiv.org/abs/2303.13283) (Mar 2023)
|
||||
- [Fairness-guided Few-shot Prompting for Large Language Models](https://arxiv.org/abs/2303.13217) (Mar 2023)
|
||||
- [Context-faithful Prompting for Large Language Models](https://arxiv.org/abs/2303.11315) (Mar 2023)
|
||||
- [Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning](https://arxiv.org/abs/2303.10475) (Mar 2023)
|
||||
- [UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation](https://arxiv.org/abs/2303.08518) (Mar 2023)
|
||||
- [Model-tuning Via Prompts Makes NLP Models Adversarially Robust](https://arxiv.org/abs/2303.07320) (Mar 2023)
|
||||
- [Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer](https://arxiv.org/abs/2303.03922) (March 2023)
|
||||
- [CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification](https://arxiv.org/abs/2303.03628) (March 2023)
|
||||
- [Larger language models do in-context learning differently](https://arxiv.org/abs/2303.03846) (March 2023)
|
||||
- [OpenICL: An Open-Source Framework for In-context Learning](https://arxiv.org/abs/2303.02913) (March 2023)
|
||||
- [Dynamic Prompting: A Unified Framework for Prompt Tuning](https://arxiv.org/abs/2303.02909) (March 2023)
|
||||
- [Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning](https://arxiv.org/abs/2303.02861) (March 2023)
|
||||
- [Effectiveness of Data Augmentation for Prefix Tuning with Limited Data](https://arxiv.org/abs/2303.02577) (March 2023)
|
||||
- [Mixture of Soft Prompts for Controllable Data Generation](https://arxiv.org/abs/2303.01580) (March 2023)
|
||||
- [Prompt, Generate, then Cache: Cascade of Foundation Models makes Strong Few-shot Learners](https://arxiv.org/abs/2303.02151) (March 2023)
|
||||
- [How Robust is GPT-3.5 to Predecessors? A Comprehensive Study on Language Understanding Tasks](https://arxiv.org/abs/2303.00293) (March 2023)
|
||||
- [Can ChatGPT Understand Too? A Comparative Study on ChatGPT and Fine-tuned BERT](https://arxiv.org/pdf/2302.10198.pdf) (Feb 2023)
|
||||
- [EvoPrompting: Language Models for Code-Level Neural Architecture Search](https://arxiv.org/abs/2302.14838) (Feb 2023)
|
||||
- [In-Context Instruction Learning](https://arxiv.org/abs/2302.14691) (Feb 2023)
|
||||
- [Chain of Hindsight Aligns Language Models with Feedback](https://arxiv.org/abs/2302.02676) (Feb 2023)
|
||||
- [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023)
|
||||
- [Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data](https://arxiv.org/abs/2302.12822) (Feb 2023)
|
||||
- [Active Prompting with Chain-of-Thought for Large Language Models](https://arxiv.org/abs/2302.12246) (Feb 2023)
|
||||
- [More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models](https://arxiv.org/abs/2302.12173) (Feb 2023)
|
||||
- [A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT](https://arxiv.org/abs/2302.11382) (Feb 2023)
|
||||
- [Guiding Large Language Models via Directional Stimulus Prompting](https://arxiv.org/abs/2302.11520) (Feb 2023)
|
||||
- [How Does In-Context Learning Help Prompt Tuning?](https://arxiv.org/abs/2302.11521) (Feb 2023)
|
||||
- [Scalable Prompt Generation for Semi-supervised Learning with Language Models](https://arxiv.org/abs/2302.09236) (Feb 2023)
|
||||
- [Bounding the Capabilities of Large Language Models in Open Text Generation with Prompt Constraints](https://arxiv.org/abs/2302.09185) (Feb 2023)
|
||||
- [À-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting](https://arxiv.org/abs/2302.07994) (Feb 2023)
|
||||
- [GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks](https://arxiv.org/abs/2302.08043) (Feb 2023)
|
||||
- [The Capacity for Moral Self-Correction in Large Language Models](https://arxiv.org/abs/2302.07459) (Feb 2023)
|
||||
- [SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains](https://arxiv.org/abs/2302.06868) (Feb 2023)
|
||||
- [Evaluating the Robustness of Discrete Prompts](https://arxiv.org/abs/2302.05619) (Feb 2023)
|
||||
- [Compositional Exemplars for In-context Learning](https://arxiv.org/abs/2302.05698) (Feb 2023)
|
||||
- [Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery](https://arxiv.org/abs/2302.03668) (Feb 2023)
|
||||
- [Multimodal Chain-of-Thought Reasoning in Language Models](https://arxiv.org/abs/2302.00923) (Feb 2023)
|
||||
- [Large Language Models Can Be Easily Distracted by Irrelevant Context](https://arxiv.org/abs/2302.00093) (Feb 2023)
|
||||
- [Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models](https://arxiv.org/abs/2302.00618) (Feb 2023)
|
||||
- [Progressive Prompts: Continual Learning for Language Models](https://arxiv.org/abs/2301.12314) (Jan 2023)
|
||||
- [Batch Prompting: Efficient Inference with LLM APIs](https://arxiv.org/abs/2301.08721) (Jan 2023)
|
||||
- [Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP](https://arxiv.org/abs/2212.14024) (Dec 2022)
|
||||
- [On Second Thought, Let's Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning](https://arxiv.org/abs/2212.08061) (Dec 2022)
|
||||
- [Constitutional AI: Harmlessness from AI Feedback](https://arxiv.org/abs/2212.08073) (Dec 2022)
|
||||
- [Successive Prompting for Decomposing Complex Questions](https://arxiv.org/abs/2212.04092) (Dec 2022)
|
||||
- [Large Language Models are reasoners with Self-Verification](https://arxiv.org/abs/2212.09561v1) (Dec 2022)
|
||||
- [Discovering Language Model Behaviors with Model-Written Evaluations](https://arxiv.org/abs/2212.09251) (Dec 2022)
|
||||
- [Structured Prompting: Scaling In-Context Learning to 1,000 Examples](https://arxiv.org/abs/2212.06713) (Dec 2022)
|
||||
- [PAL: Program-aided Language Models](https://arxiv.org/abs/2211.10435) (Nov 2022)
|
||||
- [Large Language Models Are Human-Level Prompt Engineers](https://arxiv.org/abs/2211.01910) (Nov 2022)
|
||||
- [Ignore Previous Prompt: Attack Techniques For Language Models](https://arxiv.org/abs/2211.09527) (Nov 2022)
|
||||
- [Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods](https://arxiv.org/abs/2210.07321) (Nov 2022)
|
||||
- [Teaching Algorithmic Reasoning via In-context Learning](https://arxiv.org/abs/2211.09066) (Nov 2022)
|
||||
- [Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference](https://arxiv.org/abs/2211.11875) (Nov 2022)
|
||||
- [Ask Me Anything: A simple strategy for prompting language models](https://paperswithcode.com/paper/ask-me-anything-a-simple-strategy-for) (Oct 2022)
|
||||
- [Recitation-Augmented Language Models](https://arxiv.org/abs/2210.01296) (Oct 2022)
|
||||
- [ReAct: Synergizing Reasoning and Acting in Language Models](https://arxiv.org/abs/2210.03629) (Oct 2022)
|
||||
- [Prompting GPT-3 To Be Reliable](https://arxiv.org/abs/2210.09150) (Oct 2022)
|
||||
- [Decomposed Prompting: A Modular Approach for Solving Complex Tasks](https://arxiv.org/abs/2210.02406) (Oct 2022)
|
||||
- [Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought](https://arxiv.org/abs/2210.01240v3) (Oct 2022)
|
||||
- [Evaluating the Susceptibility of Pre-Trained Language Models via Handcrafted Adversarial Examples](https://arxiv.org/abs/2209.02128) (Sep 2022)
|
||||
- [Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning](https://arxiv.org/abs/2209.14610) (Sep 2022)
|
||||
- [Promptagator: Few-shot Dense Retrieval From 8 Examples](https://arxiv.org/abs/2209.11755) (Sep 2022)
|
||||
- [Atlas: Few-shot Learning with Retrieval Augmented Language Models](https://arxiv.org/abs/2208.03299) (Nov 2022)
|
||||
- [DocPrompting: Generating Code by Retrieving the Docs](https://arxiv.org/abs/2207.05987) (July 2022)
|
||||
- [On the Advance of Making Language Models Better Reasoners](https://arxiv.org/abs/2206.02336) (June 2022)
|
||||
- [Large Language Models are Zero-Shot Reasoners](https://arxiv.org/abs/2205.11916) (May 2022)
|
||||
- [Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations](https://arxiv.org/abs/2205.11822) (May 2022)
|
||||
- [MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning](https://arxiv.org/abs/2205.00445) (May 2022)
|
||||
- [PPT: Pre-trained Prompt Tuning for Few-shot Learning](https://aclanthology.org/2022.acl-long.576/) (Mqy 2022)
|
||||
- [Toxicity Detection with Generative Prompt-based Inference](https://arxiv.org/abs/2205.12390) (May 2022)
|
||||
- [Learning to Transfer Prompts for Text Generation](https://arxiv.org/abs/2205.01543) (May 2022)
|
||||
- [The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning](https://arxiv.org/abs/2205.03401) (May 2022)
|
||||
- [A Taxonomy of Prompt Modifiers for Text-To-Image Generation](https://arxiv.org/abs/2204.13988) (Apr 2022)
|
||||
- [PromptChainer: Chaining Large Language Model Prompts through Visual Programming](https://arxiv.org/abs/2203.06566) (Mar 2022)
|
||||
- [Self-Consistency Improves Chain of Thought Reasoning in Language Models](https://arxiv.org/abs/2203.11171) (March 2022)
|
||||
- [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155)
|
||||
- [Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?](https://arxiv.org/abs/2202.12837) (Feb 2022)
|
||||
- [Chain of Thought Prompting Elicits Reasoning in Large Language Models](https://arxiv.org/abs/2201.11903) (Jan 2022)
|
||||
- [Show Your Work: Scratchpads for Intermediate Computation with Language Models](https://arxiv.org/abs/2112.00114) (Nov 2021)
|
||||
- [AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts](https://arxiv.org/abs/2110.01691) (Oct 2021)
|
||||
- [Generated Knowledge Prompting for Commonsense Reasoning](https://arxiv.org/abs/2110.08387) (Oct 2021)
|
||||
- [Multitask Prompted Training Enables Zero-Shot Task Generalization](https://arxiv.org/abs/2110.08207) (Oct 2021)
|
||||
- [Reframing Instructional Prompts to GPTk's Language](https://arxiv.org/abs/2109.07830) (Sep 2021)
|
||||
- [Design Guidelines for Prompt Engineering Text-to-Image Generative Models](https://arxiv.org/abs/2109.06977) (Sep 2021)
|
||||
- [Making Pre-trained Language Models Better Few-shot Learners](https://aclanthology.org/2021.acl-long.295) (Aug 2021)
|
||||
- [Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity](https://arxiv.org/abs/2104.08786) (April 2021)
|
||||
- [BERTese: Learning to Speak to BERT](https://aclanthology.org/2021.eacl-main.316) (April 2021)
|
||||
- [The Power of Scale for Parameter-Efficient Prompt Tuning](https://arxiv.org/abs/2104.08691) (April 2021)
|
||||
- [Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm](https://arxiv.org/abs/2102.07350) (Feb 2021)
|
||||
- [Calibrate Before Use: Improving Few-Shot Performance of Language Models](https://arxiv.org/abs/2102.09690) (Feb 2021)
|
||||
- [Prefix-Tuning: Optimizing Continuous Prompts for Generation](https://arxiv.org/abs/2101.00190) (Jan 2021)
|
||||
- [Learning to Generate Task-Specific Adapters from Task Description](https://arxiv.org/abs/2101.00420) (Jan 2021)
|
||||
- [Making Pre-trained Language Models Better Few-shot Learners](https://arxiv.org/abs/2012.15723) (Dec 2020)
|
||||
- [Learning from Task Descriptions](https://aclanthology.org/2020.emnlp-main.105/) (Nov 2020)
|
||||
- [AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts](https://arxiv.org/abs/2010.15980) (Oct 2020)
|
||||
- [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165) (May 2020)
|
||||
- [How Can We Know What Language Models Know?](https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00324/96460/How-Can-We-Know-What-Language-Models-Know) (July 2020)
|
||||
- [Scaling Laws for Neural Language Models](https://arxiv.org/abs/2001.08361) (Jan 2020)
|
||||
|
||||
## Applications
|
||||
|
||||
- [Assessing Language Model Deployment with Risk Cards]() (April 2023)
|
||||
- [Enhancing Large Language Models with Climate Resources](https://arxiv.org/abs/2304.00116) (March 2023)
|
||||
- [BloombergGPT: A Large Language Model for Finance](https://arxiv.org/abs/2303.17564) (March 2023)
|
||||
- [Medical Intervention Duration Estimation Using Language-enhanced Transformer Encoder with Medical Prompts](https://arxiv.org/abs/2303.17408) (March 2023)
|
||||
- [Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes](https://arxiv.org/abs/2303.15846) (March 2023)
|
||||
- [TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs](https://arxiv.org/abs/2303.16434) (March 2023)
|
||||
- [Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning](https://arxiv.org/abs/2303.16445) (March 2023)
|
||||
- [Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses](https://arxiv.org/abs/2303.15587) (March 2023)
|
||||
- [Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning](https://arxiv.org/abs/2303.14375) (March 2023)
|
||||
- [Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation](https://arxiv.org/abs/2303.15413) (March 2023)
|
||||
- [Zero-shot Model Diagnosis](https://arxiv.org/abs/2303.15441#) (March 2023)
|
||||
- [Prompting Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages](https://arxiv.org/abs/2303.13592) (March 2023)
|
||||
- [SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization](https://arxiv.org/abs/2303.13035) (March 2023)
|
||||
- [Large Language Models and Simple, Stupid Bugs](https://arxiv.org/abs/2303.11455) (March 2023)
|
||||
- [Can Generative Pre-trained Transformers (GPT) Pass Assessments in Higher Education Programming Courses?](https://arxiv.org/abs/2303.09325) (Mar 2023)
|
||||
- [SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models](https://arxiv.org/abs/2303.08896) (Mar 2023)
|
||||
- [Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification](https://arxiv.org/abs/2303.07142) (March 2023)
|
||||
- [ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction](https://arxiv.org/abs/2303.05063) (March 2023)
|
||||
- [MathPrompter: Mathematical Reasoning using Large Language Models](https://arxiv.org/abs/2303.05398) (March 2023)
|
||||
- [Prompt-Based Learning for Thread Structure Prediction in Cybersecurity Forums](https://arxiv.org/abs/2303.05400) (March 2023)
|
||||
- [Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting](https://arxiv.org/abs/2303.03199) (March 2023)
|
||||
- [Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering](https://arxiv.org/abs/2303.01903) (March 2023)
|
||||
- [Soft Prompt Guided Joint Learning for Cross-Domain Sentiment Analysis](https://arxiv.org/abs/2303.00815) (March 2023)
|
||||
- [SpeechPrompt v2: Prompt Tuning for Speech Classification Tasks](https://arxiv.org/abs/2303.00733) (March 2023)
|
||||
- [Goal Driven Discovery of Distributional Differences via Language Descriptions](https://arxiv.org/abs/2302.14233) (Feb 2023)
|
||||
- [Navigating the Grey Area: Expressions of Overconfidence and Uncertainty in Language Models](https://arxiv.org/abs/2302.13439) (Feb 2023)
|
||||
- [TabGenie: A Toolkit for Table-to-Text Generation](https://arxiv.org/abs/2302.14169) (Feb 2023)
|
||||
- [SGL-PT: A Strong Graph Learner with Graph Prompt Tuning](https://arxiv.org/abs/2302.12449) (Feb 2023)
|
||||
- [Few-Shot Table-to-Text Generation with Prompt-based Adapter](https://arxiv.org/abs/2302.12468) (Feb 2023)
|
||||
- [Language Models Are Few-shot Learners for Prognostic Prediction](https://arxiv.org/abs/2302.12692) (Feb 2023)
|
||||
- [STA: Self-controlled Text Augmentation for Improving Text Classifications](https://arxiv.org/abs/2302.12784) (Feb 2023)
|
||||
- [Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback](https://arxiv.org/abs/2302.12813) (Feb 2023)
|
||||
- [How Generative AI models such as ChatGPT can be (Mis)Used in SPC Practice, Education, and Research? An Exploratory Study](https://arxiv.org/abs/2302.10916) (Feb 2023)
|
||||
- [Grimm in Wonderland: Prompt Engineering with Midjourney to Illustrate Fairytales](https://arxiv.org/abs/2302.08961) (Feb 2023)
|
||||
- [LabelPrompt: Effective Prompt-based Learning for Relation Classification](https://arxiv.org/abs/2302.08068) (Feb 2023)
|
||||
- [Language Model Crossover: Variation through Few-Shot Prompting](https://arxiv.org/abs/2302.09236) (Feb 2023)
|
||||
- [Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition](https://arxiv.org/abs/2302.08102) (Feb 2023)
|
||||
- [The Capacity for Moral Self-Correction in Large Language Models](https://arxiv.org/abs/2302.07459) (Feb 2023)
|
||||
- [Prompting for Multimodal Hateful Meme Classification](https://arxiv.org/abs/2302.04156) (Feb 2023)
|
||||
- [PLACES: Prompting Language Models for Social Conversation Synthesis](https://arxiv.org/abs/2302.03269) (Feb 2023)
|
||||
- [Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation](https://arxiv.org/abs/2302.01441) (Feb 2023)
|
||||
- [Crawling the Internal Knowledge-Base of Language Models](https://arxiv.org/abs/2301.12810) (Jan 2023)
|
||||
- [Legal Prompt Engineering for Multilingual Legal Judgement Prediction](https://arxiv.org/abs/2212.02199) (Dec 2022)
|
||||
- [Investigating Prompt Engineering in Diffusion Models](https://arxiv.org/abs/2211.15462) (Nov 2022)
|
||||
- [Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering](https://arxiv.org/abs/2209.09513v2) (Sep 2022)
|
||||
- [Conversing with Copilot: Exploring Prompt Engineering for Solving CS1 Problems Using Natural Language](https://arxiv.org/abs/2210.15157) (Oct 2022)
|
||||
- [Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black Magic?](https://arxiv.org/abs/2210.14699) (Oct 2022)
|
||||
- [Plot Writing From Scratch Pre-Trained Language Models](https://aclanthology.org/2022.inlg-main.5) (July 2022)
|
||||
- [Survey of Hallucination in Natural Language Generation](https://arxiv.org/abs/2202.03629) (Feb 2022)
|
||||
|
||||
## Collections
|
||||
|
||||
- [Chain-of-Thought Papers](https://github.com/Timothyxxx/Chain-of-ThoughtsPapers)
|
||||
- [Papers with Code](https://paperswithcode.com/task/prompt-engineering)
|
||||
- [Prompt Papers](https://github.com/thunlp/PromptPapers#papers)
|
||||
@ -0,0 +1,11 @@
|
||||
# Risks & Misuses
|
||||
|
||||
import { Callout } from 'nextra-theme-docs'
|
||||
|
||||
우리는 이미 잘 만들어진 프롬프트가 few-shot learning and chain-of-thought prompting과 같은 기법을 사용하여 다양한 작업에 얼마나 효과적인지 보았습니다. LLMs을 기반으로 실제 어플리케이션을 구축할 때 언어 모델과 관련된 오용, 위험 및 안전 관행에 대해 생각하는 것이 중요해졌습니다.
|
||||
|
||||
이 장에서는 프롬프트 삽입과 같은 기술을 통해 LLMs의 몇 가지 위험과 오용을 강조하는 데 중점을 둡니다. 또한 유해한 행동을 지적하고, 효과적인 프롬프트 기술을 통해 이를 잠재적으로 완화할 수 있는 방법을 강조합니다. 그 밖에도 일반화 가능성, 보정, 편향성, 사회적 편견, 사실성 등 다양한 주제를 다룹니다.
|
||||
|
||||
<Callout emoji="⚠️">
|
||||
This section is under heavy development.
|
||||
</Callout>
|
||||
@ -0,0 +1,5 @@
|
||||
# Prompting Techniques
|
||||
|
||||
이쯤 되면 프롬프트를 개선하여 다양한 작업에서 더 나은 결과를 얻는 것이 도움이 된다는 것이 분명해졌을 것입니다. 이것이 바로 프롬프트 엔지니어링의 기본 개념입니다.
|
||||
|
||||
기본적인 예제는 재미있었지만, 이 장에서는 더 복잡하고 흥미로운 작업을 수행할 수 있는 고급 프롬프트 엔지니어링 기법을 다룹니다.
|
||||
@ -0,0 +1,14 @@
|
||||
{
|
||||
"zeroshot": "Zero-shot Prompting",
|
||||
"fewshot": "Few-shot Prompting",
|
||||
"cot": "Chain-of-Thought Prompting",
|
||||
"consistency": "Self-Consistency",
|
||||
"knowledge": "Generate Knowledge Prompting",
|
||||
"ape": "Automatic Prompt Engineer",
|
||||
"activeprompt": "Active-Prompt",
|
||||
"dsp": "Directional Stimulus Prompting",
|
||||
"react": "ReAct",
|
||||
"multimodalcot": "Multimodal CoT",
|
||||
"graph": "Graph Prompting"
|
||||
}
|
||||
|
||||
@ -0,0 +1,12 @@
|
||||
# Active-Prompt
|
||||
|
||||
import { Callout, FileTree } from 'nextra-theme-docs'
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import ACTIVE from '../../img/active-prompt.png'
|
||||
|
||||
Chain-of-thought (CoT) 방식은 사람이 라벨링을 한 예제에 의존합니다. 이 방법의 문제점은 예시가 다양한 작업에 가장 효과적인 예시가 아닐 수 있다는 것입니다. 이 문제를 해결하기 위해 [Diao 외, (2023)](https://arxiv.org/pdf/2302.12246.pdf)는 최근 Active-Prompt라는 새로운 프롬프트 접근 방식을 제안하여 LLMs을 다양한 작업별 예시 프롬프트(사람이 설계한 CoT 추론으로 라벨링)에 적용했습니다.
|
||||
|
||||
아래는 제안 방식에 대한 개요도입니다. 첫 번째 단계는 몇 가지 CoT 예제를 포함하거나 포함하지 않고 LLM에 질문하는 것입니다. 일련의 훈련 질문에 대해 *k* 개의 가능한 답변이 생성됩니다. 불확실성 지표는 *k*개의 답변(불일치 사용)을 기반으로 계산됩니다. 가장 불확실한 질문은 사람이 라벨을 달도록 선택됩니다. 그런 다음 라벨이 달린 새로운 예시를 사용하여 각 질문을 추론합니다.
|
||||
|
||||
<Screenshot src={ACTIVE} alt="ACTIVE" />
|
||||
Image Source: [Diao et al., (2023)](https://arxiv.org/pdf/2302.12246.pdf)
|
||||
@ -0,0 +1,26 @@
|
||||
# Automatic Prompt Engineer (APE)
|
||||
|
||||
import { Callout, FileTree } from 'nextra-theme-docs'
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import APE from '../../img/APE.png'
|
||||
import APECOT from '../../img/ape-zero-shot-cot.png'
|
||||
|
||||
<Screenshot src={APE} alt="APE" />
|
||||
Image Source: [Zhou et al., (2022)](https://arxiv.org/abs/2211.01910)
|
||||
|
||||
[Zhou et al., (2022)](https://arxiv.org/abs/2211.01910)은 명령의 자동 생성 및 선택을 위한 프레임워크인 자동 프롬프트 엔지니어(APE)를 제안합니다. 명령 생성 문제는 LLM을 사용하여 솔루션 후보를 생성하고 검색하는 블랙 박스 최적화 문제로 취급되는 자연어 합성으로 해결됩니다.
|
||||
|
||||
첫 번째 단계에는 태스크 명령어 후보를 생성하기 위한 출력 데모가 제공되는 대규모 언어 모델(추론 모델)이 포함됩니다. 이러한 후보 솔루션은 검색 절차를 안내합니다. 명령은 대상 모델을 사용하여 수행되며 계산된 평가 점수에 따라 최적의 명령이 선택됩니다.
|
||||
|
||||
APE는 사람이 설계한 "Let's think step by step" 프롬프트보다 더 우수한 zero-shot CoT 프롬프트(아래)를 찾아냈습니다. ([Kojima et al., 2022](https://arxiv.org/abs/2205.11916)).
|
||||
|
||||
"Let's work this out in a step by step way to be sure we have the right answer."라는 프롬프트는 CoT 추론을 유도하여 MultiArith와 GSM8K의 벤치마크에서 성능을 향상시켰습니다:
|
||||
|
||||
<Screenshot src={APECOT} alt="APECOT" />
|
||||
Image Source: [Zhou et al., (2022)](https://arxiv.org/abs/2211.01910)
|
||||
|
||||
이 논문에서는 프롬프트를 자동으로 최적화하는 아이디어인 프롬프트 엔지니어링과 관련된 중요한 주제를 다룹니다. 이 페이지에서는 이 주제에 대해 더 자세히 설명하지는 않고, 관련된 중요한 논문을 아래에 소개합니다:
|
||||
|
||||
- [AutoPrompt](https://arxiv.org/abs/2010.15980) - 경사 유도 검색(gradient-guided search)을 기반으로 다양한 일련의 작업에 대한 프롬프트를 자동으로 만드는 방법을 제안.
|
||||
- [Prefix Tuning](https://arxiv.org/abs/2101.00190) - NLG 문제에서 학습 가능한 연속 접두사를 앞에 붙이는 미세 튜닝에 대한 가벼운 대안 제시.
|
||||
- [Prompt Tuning](https://arxiv.org/abs/2104.08691) - 역전파를 통해 소프트 프롬프트를 학습하는 매커니즘 제안.
|
||||
@ -0,0 +1,77 @@
|
||||
# Self-Consistency
|
||||
|
||||
프롬프트 엔지니어링을 위한 더 진보된 기술 중 하나로 Self-Consistency가 있습니다. [Wang et al. (2022)](https://arxiv.org/pdf/2203.11171.pdf)에서 제안한 Self-Consistency는 "CoT 프롬프트에 사용되는 naive greedy 디코딩을 대체하는 것"을 목표로 합니다. 이 아이디어는 몇 번의 CoT를 통해 여러 가지 다양한 추론 경로를 샘플링하고, 여러 세대를 거쳐 가장 일관된 답을 선택하는 것입니다. 이는 산술 및 상식적인 추론이 필요한 작업에서 CoT 프롬프트의 성능을 향상시키는 데 도움이 됩니다.
|
||||
|
||||
다음의 산술 추론에 대한 예제를 살펴봅시다:
|
||||
|
||||
*Prompt:*
|
||||
```
|
||||
제가 6살이었을 때 제 동생은 제 나이의 절반이었습니다. 지금
|
||||
저는 70살이고 여동생은 몇 살인가요?
|
||||
```
|
||||
|
||||
*Output:*
|
||||
```
|
||||
35
|
||||
```
|
||||
|
||||
결과가 틀렸습니다. Self-Consistency를 이용해 이 문제를 어떻게 개선할 수 있을까요? 한번 해봅시다. [Wang et al. 2022] 논문의 (Table 17) 예제를 이용할 겁니다:
|
||||
|
||||
*Prompt:*
|
||||
```
|
||||
질문: 숲에는 15그루의 나무가 있습니다. 숲의 일꾼들이 오늘 숲에 나무를 심을 것입니다. 나무 심기가 끝나면
|
||||
21그루의 나무가 있을 것입니다. 오늘 숲 일꾼들은 몇 그루의 나무를 심었나요?
|
||||
답변: 15그루로 시작합니다. 나중에 나무가 21그루가 됩니다. 그 차이는 그들이 심은 나무의 수일 것입니다.
|
||||
따라서 그들은 21 - 15 = 6그루의 나무를 심었어야 합니다. 정답은 6입니다.
|
||||
|
||||
질문: 주차장에 3대의 차량이 있고 2대의 차량이 더 도착하면 주차장에 몇 대의 차량이 있나요?
|
||||
답변: 주차장에 이미 3대의 차량이 있습니다. 2대가 더 도착합니다. 이제 3 + 2 = 5대의 차량이 있습니다. 정답은 5입니다.
|
||||
|
||||
질문: 레아는 초콜릿을 32개, 여동생은 42개를 먹었습니다. 둘이 35개를 먹었다면 총 몇 개가 남았나요?
|
||||
답변: 레아는 초콜릿 32개, 레아의 여동생은 42개를 먹었습니다. 즉, 원래 32개 + 42개 = 74개의
|
||||
초콜릿이 있었습니다. 35개를 먹었습니다. 따라서 총 74 - 35 = 39개의 초콜릿이 남아 있습니다. 정답은 39입니다.
|
||||
|
||||
질문: 제이슨은 막대 사탕을 20개 먹었습니다. 그는 데니에게 막대 사탕을 주었습니다. 이제 제이슨은 막대사탕 12개를 가지고 있습니다. 제이슨은 데니에게
|
||||
몇 개의 막대 사탕을 데니에게 주었습니까?
|
||||
답변: 제이슨은 막대 사탕 20개를 가지고 있었습니다. 이제 제이슨은 12개만 가지고 있으므로, 나머지는 데니에게 주었을 것입니다. 제이슨이 데니에게 준 막대사탕의
|
||||
20 - 12 = 8개의 막대 사탕을 데니에게 주었어야 합니다. 정답은 8개입니다.
|
||||
|
||||
질문: 숀은 장난감이 다섯 개 있습니다. 크리스마스에 숀은 엄마와 아빠로부터 각각 두 개의 장난감을 받았습니다. 숀은 지금 몇 개의 장난감을
|
||||
숀은 지금 몇 개의 장난감을 가지고 있습니까?
|
||||
답변: 숀은 장난감이 5개입니다. 엄마로부터 2개를 받았으므로 5 + 2 = 7개의 장난감을 가지고 있습니다. 그리고 아빠한테서 2개를 더 받았어요.
|
||||
총 7 + 2 = 9 개의 장난감을 가지고 있습니다. 정답은 9입니다.
|
||||
|
||||
질문: 서버실에는 9대의 컴퓨터가 있었습니다. 월요일부터 목요일까지 매일 5대의 컴퓨터가 더 설치되었습니다.
|
||||
월요일부터 목요일까지. 현재 서버실에는 몇 대의 컴퓨터가 있나요?
|
||||
답변: 월요일부터 목요일까지 4일간입니다. 매일 5대의 컴퓨터가 추가되었습니다. 즉, 총 4 * 5 =
|
||||
20대의 컴퓨터가 추가되었습니다. 처음에는 9대의 컴퓨터가 있었으므로 이제 9 + 20 = 29대의 컴퓨터가 있습니다.
|
||||
정답은 29입니다.
|
||||
|
||||
질문: 마이클은 58개의 골프 공을 가지고 있었습니다. 화요일에 그는 23개의 골프 공을 잃었습니다. 수요일에 2개를 더 잃었습니다. 그가 수요일에 가지고 있던
|
||||
수요일이 끝났을 때 그가 가지고 있던 골프 공은 몇 개였습니까?
|
||||
답변: 마이클은 처음에 58개의 공을 가지고 있었습니다. 화요일에 23개를 잃어버렸으므로 그 이후에는 58 - 23 = 35개의 공을 가지고 있습니다. On
|
||||
수요일에 2개를 더 잃어버렸으므로 이제 35 - 2 = 33개의 공을 가지고 있습니다. 정답은 33입니다.
|
||||
|
||||
질문: 올리비아는 23달러를 가지고 있습니다. 그녀는 각각 3달러에 베이글 5개를 샀습니다. 올리비아에게 남은 돈은 얼마입니까?
|
||||
답변: 올리비아는 각각 3달러에 베이글 5개를 샀습니다. 이것은 그녀가 5달러를 썼다는 것을 의미합니다.
|
||||
|
||||
질문: 제가 6살이었을 때 제 동생은 제 나이의 절반이었습니다. 지금 저는 70살인데 언니는 몇 살인가요?
|
||||
답변:
|
||||
```
|
||||
|
||||
*출력 1:*
|
||||
```
|
||||
제가 6살이었을 때 누나는 제 나이의 절반이었으므로 3살이었어요. 이제 저는 70살이므로 누나는 70 - 3 = 67살입니다. 정답은 67입니다.
|
||||
```
|
||||
|
||||
*출력 2:*
|
||||
```
|
||||
화자가 6살이었을 때 누나는 화자의 절반 나이인 3살이었습니다. 이제 화자가 70살이 되었으므로 누나는 70 - 3 = 67살이 됩니다. 정답은 67입니다.
|
||||
```
|
||||
|
||||
*출력 3:*
|
||||
```
|
||||
내가 6살이었을 때 누나는 내 나이의 절반이었으므로 3살이고, 이제 나는 70살이므로 누나는 70/2 = 35살입니다. 정답은 35입니다.
|
||||
```
|
||||
|
||||
최종 정답을 계산하는 데는 몇 가지 단계가 필요하지만(자세한 내용은 논문에서 확인), 간단하게 설명하기 위해 이미 다수의 정답이 나타나고 있으므로 이 정답이 최종 정답이 되는 것을 확인할 수 있습니다.
|
||||
@ -0,0 +1,92 @@
|
||||
# Chain-of-Thought Prompting
|
||||
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import COT from '../../img/cot.png'
|
||||
import ZEROCOT from '../../img/zero-cot.png'
|
||||
|
||||
|
||||
## Chain-of-Thought (CoT) Prompting
|
||||
|
||||
<Screenshot src={COT} alt="COT" />
|
||||
|
||||
Image Source: [Wei et al. (2022)](https://arxiv.org/abs/2201.11903)
|
||||
|
||||
[Wei et al. (2022)](https://arxiv.org/abs/2201.11903)에서 소개된 생각의 사슬(CoT) 프롬프트는 중간 추론 단계를 통해 복잡한 추론을 가능하게 합니다. 이를 단답형 프롬프트와 결합하면 응답하기 전에 추론이 필요한 복잡한 작업에서 더 나은 결과를 얻을 수 있습니다.
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
집합 {4, 8, 9, 15, 12, 2, 1}에서 홀수를 모두 더하면 짝수입니다.
|
||||
답변: 홀수(9, 15, 1)를 모두 더하면 25가 됩니다. 위의 명제는 거짓입니다.
|
||||
|
||||
집합 {17, 10, 19, 4, 8, 12, 24}에서 홀수를 모두 더하면 짝수입니다.
|
||||
답변: 홀수(17, 19)를 모두 더하면 36이 됩니다. 위의 명제는 참입니다.
|
||||
|
||||
집합 {16, 11, 14, 4, 8, 13, 24}에서 홀수를 모두 더하면 짝수입니다.
|
||||
답변: 홀수(11, 13)를 모두 더하면 24가 됩니다. 위의 명제는 참입니다.
|
||||
|
||||
집합 {17, 9, 10, 12, 13, 4, 2}에서 홀수를 모두 더하면 짝수입니다.
|
||||
답변: 홀수(17, 9, 13)를 모두 더하면 39가 됩니다. 위의 명제는 거짓입니다.
|
||||
|
||||
집합 {15, 32, 5, 13, 82, 7, 1}에서 홀수를 모두 더하면 짝수입니다.
|
||||
답변:
|
||||
```
|
||||
|
||||
*출력:*
|
||||
```
|
||||
홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 됩니다. 위의 명제는 거짓입니다.
|
||||
```
|
||||
|
||||
와우! 추론 단계를 추가했을 때 완벽한 결과를 볼 수 있습니다. 사실 더 적은 수의 예제, 즉 하나의 예제만 추가해도 이 과제를 해결할 수 있습니다:
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
이 그룹의 홀수는 4, 8, 9, 15, 12, 2, 1과 같이 짝수로 합산됩니다.
|
||||
A: 홀수(9, 15, 1)를 모두 더하면 25가 됩니다. 정답은 거짓입니다.
|
||||
|
||||
이 그룹의 홀수는 15, 32, 5, 13, 82, 7, 1과 같이 짝수로 합산됩니다.
|
||||
A:
|
||||
```
|
||||
|
||||
*출력:*
|
||||
```
|
||||
홀수(15, 5, 13, 7, 1)를 모두 더하면 41이 됩니다. 답은 False입니다.
|
||||
```
|
||||
|
||||
논문의 저자들은 위와 같은 결과가 충분히 큰 LLM에서만 발생하는 특성이라고 주장한다는 점을 명심하세요.
|
||||
|
||||
## Zero-shot COT Prompting
|
||||
|
||||
<Screenshot src={ZEROCOT} alt="Zero-shot COT" />
|
||||
|
||||
Image Source: [Kojima et al. (2022)](https://arxiv.org/abs/2205.11916)
|
||||
|
||||
최근에 나온 아이디어 중 하나로 zero-shot CoT가 있습니다. [zero-shot CoT](https://arxiv.org/abs/2205.11916) (Kojima et al. 2022) 원래의 프롬프트에 "단계적으로 생각하자"를 추가하는 것이 핵심입니다. 간단한 문제를 풀고 모델이 어떻게 작동하는지 살펴봅시다:
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
저는 시장에 가서 사과 10개를 샀습니다. 사과 2개를 이웃에게 주고 2개를 수리공에게 주었습니다. 그리고 사과 5개를 더 사서 1개는 제가 먹었습니다. 저는 몇 개의 사과를 가지고 있었나요?
|
||||
```
|
||||
|
||||
*출력:*
|
||||
```
|
||||
사과 11개
|
||||
```
|
||||
|
||||
정답이 틀렸습니다! 위에서 제안한 프롬프트로 시도해 보겠습니다.
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
저는 시장에 가서 사과 10개를 샀습니다. 저는 사과 2개를 이웃에게 주고 2개를 수리공에게 주었습니다. 그리고 사과 5개를 더 사서 1개는 제가 먹었습니다. 사과가 몇 개나 남았나요?
|
||||
|
||||
차근차근 생각해 봅시다.
|
||||
```
|
||||
|
||||
*출력:*
|
||||
```
|
||||
먼저 사과 10개로 시작했습니다.
|
||||
이웃에게 2개, 수리공에게 2개를 나누어 주었으므로 사과가 6개가 남았습니다.
|
||||
그런 다음 사과 5개를 더 사서 이제 사과가 11개가 되었습니다.
|
||||
마지막으로 사과 1개를 먹었으므로 사과 10개가 남게 됩니다.
|
||||
```
|
||||
|
||||
이 간단한 프롬프트가 위와 같은 문제에 효과적이라는 점이 인상적입니다. 프롬프트에 사용할 예제가 너무 많지 않을 때 특히 유용합니다.
|
||||
@ -0,0 +1,16 @@
|
||||
# Directional Stimulus Prompting
|
||||
|
||||
import { Callout, FileTree } from 'nextra-theme-docs'
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import DSP from '../../img/dsp.jpeg'
|
||||
|
||||
[Li et al., (2023)](https://arxiv.org/abs/2302.11520) 에서는 원하는 요약을 생성하는 데 있어 LLM을 더 잘 설명하는 새로운 프롬프트 기법을 제안합니다.
|
||||
|
||||
조정 가능한 정책 LM은 자극/힌트를 생성하도록 훈련됩니다. LLMs을 최적화하기 위해 RL을 더 많이 사용하고 있습니다.
|
||||
|
||||
아래 그림은 Directional Stimulus 프롬프트가 표준 프롬프트와 어떻게 비교되는지 보여줍니다. 정책 LM은 블랙박스 frozen LLM을 안내하는 힌트를 생성하기 위해 작게 최적화될 수 있습니다.
|
||||
|
||||
<Screenshot src={DSP} alt="DSP" />
|
||||
Image Source: [Li et al., (2023)](https://arxiv.org/abs/2302.11520)
|
||||
|
||||
전체 예제는 곧 제공될 예정입니다!
|
||||
@ -0,0 +1,109 @@
|
||||
# Few-Shot Prompting
|
||||
|
||||
대규모 언어 모델은 뛰어난 zero-shot 기능을 보여주지만, 복잡한 작업에서는 여전히 개선이 필요합니다. Few-shot 프롬프트는 프롬프트에서 데모를 제공하여 모델이 더 나은 성능을 발휘하도록 유도하는 문맥 내 학습을 가능하게 하는 기술로 사용할 수 있습니다. 이 데모는 모델이 응답을 생성하기를 원하는 후속 예제에 대한 조건부 역할을 합니다.
|
||||
|
||||
[Touvron et al. 2023](https://arxiv.org/pdf/2302.13971.pdf)에 따르면 모델이 충분한 크기로 커졌을 때 [(Kaplan et al., 2020)](https://arxiv.org/abs/2001.08361)에 처음으로 few-shot 속성이 나타났습니다.
|
||||
|
||||
[Brown et al. 2020](https://arxiv.org/abs/2005.14165)에 제시된 예제를 통해 few-shot 프롬프트를 시연해 보겠습니다. 이 예제에서는 문장에서 새로운 단어를 올바르게 사용하는 것이 과제입니다.
|
||||
|
||||
*Prompt:*
|
||||
```
|
||||
"whatpu"는 탄자니아에 서식하는 작은 털복숭이 동물입니다. whatpu를 사용하는 문장의 예
|
||||
라는 단어를 사용하는 문장의 예입니다:
|
||||
우리는 아프리카를 여행하고 있었는데 아주 귀여운 whatpu를 보았습니다.
|
||||
"farduddle"을 한다는 것은 정말 빠르게 위아래로 점프한다는 뜻입니다. farduddle을 사용하는 문장의 예
|
||||
를 사용하는 문장의 예입니다:
|
||||
```
|
||||
|
||||
*Output:*
|
||||
```
|
||||
게임에서 이겼을 때 우리 모두는 farduddle를 시작했습니다.
|
||||
```
|
||||
|
||||
게임에서 이겼을 때, 우리는 모델이 하나의 예시(예, 1-shot)만 제공함으로써 어떻게든 과제를 수행하는 방법을 학습했음을 관찰할 수 있습니다. 더 어려운 과제의 경우 예시(예, 3-shot, 5-shot, 10-shot, etc.)를 늘려가며 실험해 볼 수 있습니다.
|
||||
|
||||
[Min et al. (2022)](https://arxiv.org/abs/2202.12837)의 연구 결과에 따라, 다음은 few-shot을 사용할 때 시연/예시를 위한 몇 가지 팁입니다:
|
||||
|
||||
- "레이블 공간과 데모에서 지정한 입력 텍스트의 분포는 (개별 입력에 대해 레이블이 올바른지 여부와 관계없이) 모두 중요합니다."
|
||||
- 사용하는 형식도 성능에 중요한 역할을 하며, 무작위 레이블만 사용하더라도 레이블이 전혀 없는 것보다 훨씬 낫습니다.
|
||||
- 추가 결과에 따르면 라벨의 실제 분포에서 (균일한 분포 대신) 무작위 라벨을 선택하는 것도 도움이 됩니다.
|
||||
|
||||
몇 가지 예를 살펴보겠습니다. 먼저 무작위 레이블이 있는 예제(즉, 부정 및 긍정 레이블이 입력에 무작위로 할당됨)를 시도해 보겠습니다:
|
||||
|
||||
*Prompt:*
|
||||
```
|
||||
정말 멋지네요! // 부정
|
||||
이건 나쁘다! // 긍정
|
||||
와우 그 영화 정말 멋졌어요! // 긍정
|
||||
정말 끔찍한 쇼였어! //
|
||||
```
|
||||
|
||||
*Output:*
|
||||
```
|
||||
부정
|
||||
```
|
||||
|
||||
레이블이 무작위로 지정되었음에도 불구하고 여전히 정답을 얻을 수 있습니다. 형식도 그대로 유지한 것도 도움이 됩니다. 실제로 추가 실험을 통해 우리가 실험하고 있는 최신 GPT 모델은 무작위 형식에도 더 강력해지고 있는 것으로 보입니다. 예시:
|
||||
|
||||
*Prompt:*
|
||||
```
|
||||
긍정적 이거 멋지다!
|
||||
이것은 나쁘다! 부정적
|
||||
와우, 그 영화 정말 멋졌어요!
|
||||
긍정
|
||||
정말 끔찍한 쇼였어! --
|
||||
```
|
||||
|
||||
*Output:*
|
||||
```
|
||||
부정
|
||||
```
|
||||
|
||||
위의 형식에는 일관성이 없지만 모델은 여전히 올바른 레이블을 예측했습니다. 다양한 프롬프트의 변형을 포함하여 더 다양하고 복잡한 작업에서도 이러한 결과가 유지되는지 확인하기 위해 더 철저한 분석을 수행해야 합니다.
|
||||
|
||||
### Limitations of Few-shot Prompting
|
||||
|
||||
일반적인 few-shot 프롬프트는 많은 작업에 효과적이지만, 특히 복잡한 추론 작업을 처리할 때는 여전히 완벽한 기술은 아닙니다. 그 이유를 설명해 보겠습니다. 다음 작업을 제공했던 이전 예제를 기억하시나요?
|
||||
|
||||
```
|
||||
이 집합{15, 32, 5, 13, 82, 7, 1}에서 홀수를 모두 더하면 짝수이다.
|
||||
|
||||
A:
|
||||
```
|
||||
|
||||
이 작업을 다시 시도하면 모델이 다음과 같이 출력합니다:
|
||||
|
||||
```
|
||||
네, 이 집합의 홀수를 모두 더하면 짝수인 107입니다.
|
||||
```
|
||||
|
||||
이는 정답이 아니며, 이러한 시스템의 한계를 보여줄 뿐만 아니라 더 발전된 프롬프트 엔지니어링이 필요하다는 것을 보여줍니다.
|
||||
|
||||
몇 가지 예를 추가하여 몇 번의 질문으로 프롬프트가 결과를 개선하는지 확인해 보겠습니다.
|
||||
|
||||
*Prompt:*
|
||||
```
|
||||
이 집합 {4, 8, 9, 15, 12, 2, 1}에서 홀수의 합은 짝수입니다.
|
||||
A: 답은 거짓입니다.
|
||||
|
||||
이 집합 {17, 10, 19, 4, 8, 12, 24}에서 홀수의 합은 짝수입니다.
|
||||
A: 정답은 참입니다.
|
||||
|
||||
이 집합 {16, 11, 14, 4, 8, 13, 24}에서 홀수의 합은 짝수입니다.
|
||||
A: 답은 참입니다.
|
||||
|
||||
이 집합 {17, 9, 10, 12, 13, 4, 2}에서 홀수의 합은 짝수입니다.
|
||||
A: 답은 거짓입니다.
|
||||
|
||||
이 집합 {15, 32, 5, 13, 82, 7, 1}에서 홀수의 합은 짝수입니다.
|
||||
A:
|
||||
```
|
||||
|
||||
*Output:*
|
||||
```
|
||||
답은 참입니다.
|
||||
```
|
||||
|
||||
작동하지 않았습니다. 이러한 유형의 추론 문제에 대해 신뢰할 수 있는 답변을 얻으려면 몇 번의 프롬프트만으로는 충분하지 않은 것 같습니다. 위의 예는 작업에 대한 기본 정보를 제공합니다. 자세히 살펴보면 우리가 소개한 작업 유형에는 몇 가지 추론 단계가 더 포함되어 있습니다. 즉, 문제를 여러 단계로 나누고 이를 모델에 시연하면 도움이 될 수 있습니다. 최근에는 더 복잡한 산술, 상식, 상징적 추론 작업을 처리하기 위해 [chain-of-thought (CoT) prompting](https://arxiv.org/abs/2201.11903) 가 대중화되었습니다.
|
||||
|
||||
전반적으로 예제를 제공하는 것이 특정 문제를 해결하는 데 유용한 것으로 보입니다. zero-shot 프롬프트와 few-shot 프롬프트가 만족할 만한 답변을 주지 못한 경우 모델이 학습한 내용이 해당 작업을 잘 수행하기에 충분하지 않다는 의미일 수 있습니다. 이때부터 모델을 미세 조정하거나 고급 프롬프트 기법을 실험해 보는 것이 좋습니다. 다음에는 많은 인기를 얻고 있는 chain-of-thought 프롬프트라는 인기 있는 프롬프트 기법 중 하나에 대해 이야기하겠습니다.
|
||||
@ -0,0 +1,5 @@
|
||||
# GraphPrompts
|
||||
|
||||
[Liu et al., 2023](https://arxiv.org/abs/2302.08043)에서는 다운스트림 작업의 성능을 개선하기 위해 그래프를 위한 새로운 프롬프트 프레임워크인 GraphPrompt를 소개합니다.
|
||||
|
||||
더 많은 예제가 곧 추가될 예정입니다!
|
||||
@ -0,0 +1,92 @@
|
||||
# Generated Knowledge Prompting
|
||||
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import GENKNOW from '../../img/gen-knowledge.png'
|
||||
|
||||
<Screenshot src={GENKNOW} alt="GENKNOW" />
|
||||
|
||||
Image Source: [Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf)
|
||||
|
||||
LLM은 계속해서 개선되고 있으며, 인기 있는 기법 중 하나로 모델이 더 정확한 예측을 할 수 있도록 지식이나 정보를 통합하는 방법이 있습니다.
|
||||
|
||||
비슷한 아이디어를 사용하여 예측을 하기 전에 지식을 생성하는 데에도 모델을 사용할 수 있을까요? 이것이 바로 [Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf) -- 의 논문에서 시도한 것, 즉 프롬프트의 일부로 사용할 지식을 생성하는 것입니다. 특히 상식적인 추론과 같은 작업에 얼마나 도움이 될까요?
|
||||
|
||||
간단한 예제 프롬프트를 살펴보겠습니다:
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
골프의 목적중 하나는 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다. 예, 아니오?
|
||||
```
|
||||
|
||||
*출력:*
|
||||
```
|
||||
예.
|
||||
```
|
||||
|
||||
이러한 유형의 실수는 세상에 대한 더 많은 지식이 필요한 작업을 수행하는 데 있어 LLM의 한계를 드러냅니다. 지식 생성을 통해 이 문제를 어떻게 개선할 수 있을까요?
|
||||
|
||||
먼저 몇 가지 "지식"을 생성합니다:
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
입력: 그리스는 멕시코보다 큽니다.
|
||||
지식: 그리스는 약 131,957 평방 킬로미터이고, 멕시코는 약 1,964,375 평방 킬로미터로 멕시코가 그리스보다 1,389% 더 큽니다.
|
||||
|
||||
입력: 안경은 항상 김이 서립니다.
|
||||
지식: 안경 렌즈에는 땀, 호흡 및 주변 습도에서 나오는 수증기가 차가운 표면에 닿아 식은 다음 작은 액체 방울로 변하여 안개처럼 보이는 막을 형성할 때 응결이 발생합니다. 특히 외부 공기가 차가울 때는 호흡에 비해 렌즈가 상대적으로 차가워집니다.
|
||||
|
||||
입력: 물고기는 생각할 수 있습니다.
|
||||
지식: 물고기는 보기보다 훨씬 더 똑똑합니다. 기억력과 같은 많은 영역에서 물고기의 인지 능력은 인간이 아닌 영장류를 포함한 '고등' 척추동물과 비슷하거나 그 이상입니다. 물고기의 장기 기억력은 복잡한 사회적 관계를 추적하는 데 도움이 됩니다.
|
||||
|
||||
입력: 평생 담배를 많이 피우면 폐암에 걸릴 확률이 정상보다 높다는 것은 일반적인 결과입니다.
|
||||
지식: 평생 동안 하루 평균 담배를 한 개비 미만으로 꾸준히 피운 사람은 비흡연자보다 폐암으로 사망할 위험이 9배 높았습니다. 하루에 한 개비에서 열 개비 사이의 담배를 피운 사람들은 폐암으로 사망할 위험이 비흡연자보다 거의 12배 높았습니다.
|
||||
|
||||
입력: 돌은 조약돌과 같은 크기입니다.
|
||||
지식: 조약돌은 퇴적학의 우든-웬트워스 척도에 따라 입자 크기가 4~64밀리미터인 암석 덩어리입니다. 자갈은 일반적으로 과립(직경 2~4밀리미터)보다는 크고 자갈(직경 64~256밀리미터)보다는 작은 것으로 간주됩니다.
|
||||
|
||||
입력: 골프의 목적중 하나는 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다.
|
||||
지식:
|
||||
```
|
||||
|
||||
*지식 1:*
|
||||
```
|
||||
골프의 목적은 최소의 스트로크로 전체 홀을 플레이하는 것입니다. 골프 라운드는 일반적으로 18홀로 구성됩니다. 각 홀은 표준 골프 코스에서 라운드 중 한 번씩 플레이됩니다. 각 스트로크는 1점으로 계산되며 총 스트로크 수를 사용하여 게임의 승자를 결정합니다.
|
||||
```
|
||||
|
||||
*지식 2:*
|
||||
```
|
||||
골프는 경쟁하는 선수(또는 골퍼)가 여러 종류의 클럽을 사용하여 가장 적은 수의 스트로크로 코스에 있는 전체 홀에 공을 치는 정밀한 클럽 앤 볼 스포츠입니다. 목표는 각 홀에서 기록한 총 타수를 합산하여 계산되는 최저 점수로 코스를 완주하는 것입니다. 가장 낮은 점수를 기록한 플레이어가 게임에서 승리합니다.
|
||||
```
|
||||
|
||||
[Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf)의 논문에서 제공한 프롬프트를 사용하고 있습니다.
|
||||
|
||||
다음 단계는 지식을 통합하고 예측을 얻는 것입니다. 답변 형식을 안내하기 위해 질문을 QA 형식으로 재구성했습니다.
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
질문: 골프의 목적중 하나는 다른 사람보다 더 높은 총점을 얻기 위해 노력하는 것입니다. 예, 아니오?
|
||||
|
||||
지식: 골프의 목적은 최소의 스트로크로 전체 홀을 플레이하는 것입니다. 골프 라운드는 일반적으로 18홀로 구성됩니다. 각 홀은 표준 골프 코스에서 라운드 중 한 번씩 플레이됩니다. 각 스트로크는 1점으로 계산되며 총 스트로크 수를 사용하여 게임의 승자를 결정합니다.
|
||||
|
||||
설명하고 답하십시오:
|
||||
```
|
||||
|
||||
*정답 1(매우 높은 신뢰도):*
|
||||
```
|
||||
아니요, 골프의 목적은 다른 사람보다 더 높은 점수를 얻는 것이 아닙니다. 오히려 가장 적은 수의 스트로크로 전체 홀을 플레이하는 것이 목표입니다. 총 스트로크 수는 총 점수가 아니라 게임의 승자를 결정하는 데 사용됩니다.
|
||||
```
|
||||
|
||||
```
|
||||
질문: 골프의 목적중 하나는 다른 사람보다 더 높은 총점을 얻기 위해 노력하는 것입니다. 예, 아니오?
|
||||
|
||||
지식: 골프는 경쟁하는 선수(또는 골퍼)가 여러 종류의 클럽을 사용하여 가장 적은 수의 스트로크로 코스에 있는 전체 홀에 공을 치는 정밀한 클럽 앤 볼 스포츠입니다. 목표는 각 홀에서 기록한 총 타수를 합산하여 계산되는 최저 점수로 코스를 완주하는 것입니다. 가장 낮은 점수를 기록한 플레이어가 게임에서 승리합니다.
|
||||
|
||||
설명하고 답하세요:
|
||||
```
|
||||
|
||||
*정답 2(낮은 신뢰도)*
|
||||
```
|
||||
예, 골프의 목적중 하나는 다른 사람보다 더 높은 점수를 얻기 위해 노력하는 것입니다. 각 플레이어는 각 홀에서 기록한 총 타수를 합산하여 계산되는 가장 낮은 점수로 코스를 완주하려고 합니다. 가장 낮은 점수를 얻은 플레이어가 게임에서 승리합니다.
|
||||
```
|
||||
|
||||
이 예제는 정말 흥미로운 결과를 보여줍니다. 첫 번째 답변에서는 모델이 매우 신뢰도가 높았지만, 두 번째 답변에서는 그렇지 않았습니다. 데모 목적으로 프로세스를 단순화했지만 최종 정답에 도달할 때 고려해야 할 몇 가지 세부 사항이 더 있습니다. 자세한 내용은 논문을 참조하세요.
|
||||
@ -0,0 +1,15 @@
|
||||
# Multimodal CoT Prompting
|
||||
|
||||
import { Callout, FileTree } from 'nextra-theme-docs'
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import MCOT from '../../img/multimodal-cot.png'
|
||||
|
||||
[Zhang et al. (2023)](https://arxiv.org/abs/2302.00923)은 최근 멀티모달 CoT 프롬프트 접근 방식을 제안했습니다. 기존의 CoT는 언어 양식에 중점을 둡니다. 반면, 멀티모달 CoT는 텍스트와 이미지를 2단계 프레임워크에 통합합니다. 첫 번째 단계에서는 멀티모달 정보를 기반으로 근거를 생성합니다. 그 다음에는 두 번째 단계인 답변 추론이 이어지며, 이 단계에서는 생성된 정보를 활용하여 답변을 도출합니다.
|
||||
|
||||
멀티모달 CoT 모델(1B)은 ScienceQA 벤치마크에서 GPT-3.5보다 성능이 뛰어났습니다.
|
||||
|
||||
<Screenshot src={MCOT} alt="MCOT" />
|
||||
Image Source: [Zhang et al. (2023)](https://arxiv.org/abs/2302.00923)
|
||||
|
||||
더 읽어볼 것:
|
||||
- [Language Is Not All You Need: Aligning Perception with Language Models](https://arxiv.org/abs/2302.14045) (Feb 2023)
|
||||
@ -0,0 +1,14 @@
|
||||
# ReAct
|
||||
|
||||
import { Callout, FileTree } from 'nextra-theme-docs'
|
||||
import {Screenshot} from 'components/screenshot'
|
||||
import REACT from '../../img/react.png'
|
||||
|
||||
[Yao et al., 2022](https://arxiv.org/abs/2210.03629)에서는 LLM을 사용하여 추론 추적과 작업별 액션을 인터리브 방식으로 생성하는 프레임워크를 소개했습니다. 추론 추적을 생성하면 모델이 실행 계획을 유도, 추적, 업데이트하고 예외를 처리할 수 있습니다. 실행 단계에서는 지식 기반이나 환경과 같은 외부 소스와 인터페이스하고 정보를 수집할 수 있습니다.
|
||||
|
||||
ReAct 프레임워크를 사용하면 LLMs이 외부 도구와 상호 작용하여 보다 신뢰할 수 있고 사실적인 대응으로 이어지는 추가 정보를 검색할 수 있습니다.
|
||||
|
||||
<Screenshot src={REACT} alt="REACT" />
|
||||
Image Source: [Yao et al., 2022](https://arxiv.org/abs/2210.03629)
|
||||
|
||||
전체 예제는 곧 제공될 예정입니다!
|
||||
@ -0,0 +1,21 @@
|
||||
# Zero-Shot Prompting
|
||||
대량의 데이터를 학습하고 지침을 따르도록 튜닝된 오늘날의 머신러닝은 zero-shot으로 작업을 수행할 수 있습니다. 이전 장에서 몇 가지 zero-shot 예제를 시도해 보았습니다. 다음은 우리가 사용한 예제 중 하나입니다:
|
||||
|
||||
*프롬프트:*
|
||||
```
|
||||
텍스트를 중립, 부정 또는 긍정으로 분류합니다.
|
||||
|
||||
텍스트: 휴가는 괜찮을 것 같아요.
|
||||
감정:
|
||||
```
|
||||
|
||||
*출력:*
|
||||
```
|
||||
중립
|
||||
```
|
||||
|
||||
위의 프롬프트에서는 모델에 예제를 제공하지 않았습니다. 이는 zero-shot으로 동작된 것을 알 수 있습니다.
|
||||
|
||||
명령어 튜닝(Instruction tuning)은 zero-shot 학습을 개선한다고 다음의 논문에서 보고되었습니다. [Wei et al. (2022)](https://arxiv.org/pdf/2109.01652.pdf). 명령어 튜닝은 본질적으로 명령어를 통해 설명된 데이터 세트에 대한 모델을 미세 조정하는 개념입니다. 또한, [RLHF](https://arxiv.org/abs/1706.03741) (사람의 피드백을 통한 강화 학습)는 모델이 사람이 원하는 결과에 더 잘 맞도록 조정되는 명령어 튜닝을 확장하는 데 사용되었습니다. 이러한 개발 방식은 ChatGPT와 같은 모델에서 사용되었습니다. 다음 장에서 이러한 모든 접근 방식과 방법에 대해 설명하겠습니다.
|
||||
|
||||
zero-shot이 동작하지 않는 경우에는 프롬프트에 데모나 예시를 제공하여 few-shot으로 프롬프트를 유도하는 것이 좋습니다. 다음 장에서는 zero-shot 프롬프트에 대한 데모를 보여드리겠습니다.
|
||||
@ -0,0 +1,41 @@
|
||||
# Tools & Libraries
|
||||
#### (이름순 정렬)
|
||||
|
||||
- [AI Test Kitchen](https://aitestkitchen.withgoogle.com)
|
||||
- [betterprompt](https://github.com/krrishdholakia/betterprompt)
|
||||
- [ChatGPT Prompt Generator](https://huggingface.co/spaces/merve/ChatGPT-prompt-generator)
|
||||
- [ClickPrompt](https://github.com/prompt-engineering/click-prompt)
|
||||
- [DreamStudio](https://beta.dreamstudio.ai)
|
||||
- [DUST](https://dust.tt)
|
||||
- [Dyno](https://trydyno.com)
|
||||
- [EmergentMind](https://www.emergentmind.com)
|
||||
- [EveryPrompt](https://www.everyprompt.com)
|
||||
- [GPT Index](https://github.com/jerryjliu/gpt_index)
|
||||
- [GPTTools](https://gpttools.com/comparisontool)
|
||||
- [hwchase17/adversarial-prompts](https://github.com/hwchase17/adversarial-prompts)
|
||||
- [Interactive Composition Explorer](https://github.com/oughtinc/ice)
|
||||
- [LangChain](https://github.com/hwchase17/langchain)
|
||||
- [Lexica](https://lexica.art)
|
||||
- [loom](https://github.com/socketteer/loom)
|
||||
- [Metaprompt](https://metaprompt.vercel.app/?task=gpt)
|
||||
- [OpenAI Playground](https://beta.openai.com/playground)
|
||||
- [OpenICL](https://github.com/Shark-NLP/OpenICL)
|
||||
- [OpenPrompt](https://github.com/thunlp/OpenPrompt)
|
||||
- [OpenPlayground](https://nat.dev/)
|
||||
- [Playground](https://playgroundai.com)
|
||||
- [Prodia](https://app.prodia.com/#/)
|
||||
- [Prompt Base](https://promptbase.com)
|
||||
- [Prompt Engine](https://github.com/microsoft/prompt-engine)
|
||||
- [Prompt Generator for OpenAI's DALL-E 2](http://dalle2-prompt-generator.s3-website-us-west-2.amazonaws.com)
|
||||
- [Promptable](https://promptable.ai)
|
||||
- [PromptInject](https://github.com/agencyenterprise/PromptInject)
|
||||
- [Prompts.ai](https://github.com/sevazhidkov/prompts-ai)
|
||||
- [Promptmetheus](https://promptmetheus.com)
|
||||
- [PromptPerfect](https://promptperfect.jina.ai/)
|
||||
- [Promptly](https://trypromptly.com/)
|
||||
- [PromptSource](https://github.com/bigscience-workshop/promptsource)
|
||||
- [Promptist](https://promptist.herokuapp.com/)
|
||||
- [Scale SpellBook](https://scale.com/spellbook)
|
||||
- [sharegpt](https://sharegpt.com)
|
||||
- [ThoughtSource](https://github.com/OpenBioLink/ThoughtSource)
|
||||
- [Visual Prompt Builder](https://tools.saxifrage.xyz/prompt)
|
||||
Loading…
Reference in New Issue