mirror of
https://github.com/dair-ai/Prompt-Engineering-Guide
synced 2024-11-19 21:25:35 +00:00
Merge pull request #39 from bik1111/03_Model
Improve the traslation of the models part(flan,gpt-4) by the reviews …
This commit is contained in:
commit
4f245b19a1
91
package-lock.json
generated
91
package-lock.json
generated
@ -10,7 +10,6 @@
|
|||||||
"license": "MIT",
|
"license": "MIT",
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
"@vercel/analytics": "^0.1.11",
|
"@vercel/analytics": "^0.1.11",
|
||||||
"axios": "^1.4.0",
|
|
||||||
"next": "^13.0.6",
|
"next": "^13.0.6",
|
||||||
"nextra": "latest",
|
"nextra": "latest",
|
||||||
"nextra-theme-docs": "latest",
|
"nextra-theme-docs": "latest",
|
||||||
@ -678,21 +677,6 @@
|
|||||||
"astring": "bin/astring"
|
"astring": "bin/astring"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
"node_modules/asynckit": {
|
|
||||||
"version": "0.4.0",
|
|
||||||
"resolved": "https://registry.npmjs.org/asynckit/-/asynckit-0.4.0.tgz",
|
|
||||||
"integrity": "sha512-Oei9OH4tRh0YqU3GxhX79dM/mwVgvbZJaSNaRk+bshkj0S5cfHcgYakreBjrHwatXKbz+IoIdYLxrKim2MjW0Q=="
|
|
||||||
},
|
|
||||||
"node_modules/axios": {
|
|
||||||
"version": "1.4.0",
|
|
||||||
"resolved": "https://registry.npmjs.org/axios/-/axios-1.4.0.tgz",
|
|
||||||
"integrity": "sha512-S4XCWMEmzvo64T9GfvQDOXgYRDJ/wsSZc7Jvdgx5u1sd0JwsuPLqb3SYmusag+edF6ziyMensPVqLTSc1PiSEA==",
|
|
||||||
"dependencies": {
|
|
||||||
"follow-redirects": "^1.15.0",
|
|
||||||
"form-data": "^4.0.0",
|
|
||||||
"proxy-from-env": "^1.1.0"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/bail": {
|
"node_modules/bail": {
|
||||||
"version": "2.0.2",
|
"version": "2.0.2",
|
||||||
"resolved": "https://registry.npmjs.org/bail/-/bail-2.0.2.tgz",
|
"resolved": "https://registry.npmjs.org/bail/-/bail-2.0.2.tgz",
|
||||||
@ -821,17 +805,6 @@
|
|||||||
"resolved": "https://registry.npmjs.org/color-name/-/color-name-1.1.3.tgz",
|
"resolved": "https://registry.npmjs.org/color-name/-/color-name-1.1.3.tgz",
|
||||||
"integrity": "sha512-72fSenhMw2HZMTVHeCA9KCmpEIbzWiQsjN+BHcBbS9vr1mtt+vJjPdksIBNUmKAW8TFUDPJK5SUU3QhE9NEXDw=="
|
"integrity": "sha512-72fSenhMw2HZMTVHeCA9KCmpEIbzWiQsjN+BHcBbS9vr1mtt+vJjPdksIBNUmKAW8TFUDPJK5SUU3QhE9NEXDw=="
|
||||||
},
|
},
|
||||||
"node_modules/combined-stream": {
|
|
||||||
"version": "1.0.8",
|
|
||||||
"resolved": "https://registry.npmjs.org/combined-stream/-/combined-stream-1.0.8.tgz",
|
|
||||||
"integrity": "sha512-FQN4MRfuJeHf7cBbBMJFXhKSDq+2kAArBlmRBvcvFE5BB1HZKXtSFASDhdlz9zOYwxh8lDdnvmMOe/+5cdoEdg==",
|
|
||||||
"dependencies": {
|
|
||||||
"delayed-stream": "~1.0.0"
|
|
||||||
},
|
|
||||||
"engines": {
|
|
||||||
"node": ">= 0.8"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/comma-separated-tokens": {
|
"node_modules/comma-separated-tokens": {
|
||||||
"version": "2.0.3",
|
"version": "2.0.3",
|
||||||
"resolved": "https://registry.npmjs.org/comma-separated-tokens/-/comma-separated-tokens-2.0.3.tgz",
|
"resolved": "https://registry.npmjs.org/comma-separated-tokens/-/comma-separated-tokens-2.0.3.tgz",
|
||||||
@ -897,14 +870,6 @@
|
|||||||
"url": "https://github.com/sponsors/wooorm"
|
"url": "https://github.com/sponsors/wooorm"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
"node_modules/delayed-stream": {
|
|
||||||
"version": "1.0.0",
|
|
||||||
"resolved": "https://registry.npmjs.org/delayed-stream/-/delayed-stream-1.0.0.tgz",
|
|
||||||
"integrity": "sha512-ZySD7Nf91aLB0RxL4KGrKHBXl7Eds1DAmEdcoVawXnLD7SDhpNgtuII2aAkg7a7QS41jxPSZ17p4VdGnMHk3MQ==",
|
|
||||||
"engines": {
|
|
||||||
"node": ">=0.4.0"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/dequal": {
|
"node_modules/dequal": {
|
||||||
"version": "2.0.3",
|
"version": "2.0.3",
|
||||||
"resolved": "https://registry.npmjs.org/dequal/-/dequal-2.0.3.tgz",
|
"resolved": "https://registry.npmjs.org/dequal/-/dequal-2.0.3.tgz",
|
||||||
@ -1068,38 +1033,6 @@
|
|||||||
"resolved": "https://registry.npmjs.org/focus-visible/-/focus-visible-5.2.0.tgz",
|
"resolved": "https://registry.npmjs.org/focus-visible/-/focus-visible-5.2.0.tgz",
|
||||||
"integrity": "sha512-Rwix9pBtC1Nuy5wysTmKy+UjbDJpIfg8eHjw0rjZ1mX4GNLz1Bmd16uDpI3Gk1i70Fgcs8Csg2lPm8HULFg9DQ=="
|
"integrity": "sha512-Rwix9pBtC1Nuy5wysTmKy+UjbDJpIfg8eHjw0rjZ1mX4GNLz1Bmd16uDpI3Gk1i70Fgcs8Csg2lPm8HULFg9DQ=="
|
||||||
},
|
},
|
||||||
"node_modules/follow-redirects": {
|
|
||||||
"version": "1.15.2",
|
|
||||||
"resolved": "https://registry.npmjs.org/follow-redirects/-/follow-redirects-1.15.2.tgz",
|
|
||||||
"integrity": "sha512-VQLG33o04KaQ8uYi2tVNbdrWp1QWxNNea+nmIB4EVM28v0hmP17z7aG1+wAkNzVq4KeXTq3221ye5qTJP91JwA==",
|
|
||||||
"funding": [
|
|
||||||
{
|
|
||||||
"type": "individual",
|
|
||||||
"url": "https://github.com/sponsors/RubenVerborgh"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"engines": {
|
|
||||||
"node": ">=4.0"
|
|
||||||
},
|
|
||||||
"peerDependenciesMeta": {
|
|
||||||
"debug": {
|
|
||||||
"optional": true
|
|
||||||
}
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/form-data": {
|
|
||||||
"version": "4.0.0",
|
|
||||||
"resolved": "https://registry.npmjs.org/form-data/-/form-data-4.0.0.tgz",
|
|
||||||
"integrity": "sha512-ETEklSGi5t0QMZuiXoA/Q6vcnxcLQP5vdugSpuAyi6SVGi2clPPp+xgEhuMaHC+zGgn31Kd235W35f7Hykkaww==",
|
|
||||||
"dependencies": {
|
|
||||||
"asynckit": "^0.4.0",
|
|
||||||
"combined-stream": "^1.0.8",
|
|
||||||
"mime-types": "^2.1.12"
|
|
||||||
},
|
|
||||||
"engines": {
|
|
||||||
"node": ">= 6"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/get-stream": {
|
"node_modules/get-stream": {
|
||||||
"version": "3.0.0",
|
"version": "3.0.0",
|
||||||
"resolved": "https://registry.npmjs.org/get-stream/-/get-stream-3.0.0.tgz",
|
"resolved": "https://registry.npmjs.org/get-stream/-/get-stream-3.0.0.tgz",
|
||||||
@ -2527,25 +2460,6 @@
|
|||||||
}
|
}
|
||||||
]
|
]
|
||||||
},
|
},
|
||||||
"node_modules/mime-db": {
|
|
||||||
"version": "1.52.0",
|
|
||||||
"resolved": "https://registry.npmjs.org/mime-db/-/mime-db-1.52.0.tgz",
|
|
||||||
"integrity": "sha512-sPU4uV7dYlvtWJxwwxHD0PuihVNiE7TyAbQ5SWxDCB9mUYvOgroQOwYQQOKPJ8CIbE+1ETVlOoK1UC2nU3gYvg==",
|
|
||||||
"engines": {
|
|
||||||
"node": ">= 0.6"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/mime-types": {
|
|
||||||
"version": "2.1.35",
|
|
||||||
"resolved": "https://registry.npmjs.org/mime-types/-/mime-types-2.1.35.tgz",
|
|
||||||
"integrity": "sha512-ZDY+bPm5zTTF+YpCrAU9nK0UgICYPT0QtT1NZWFv4s++TNkcgVaT0g6+4R2uI4MjQjzysHB1zxuWL50hzaeXiw==",
|
|
||||||
"dependencies": {
|
|
||||||
"mime-db": "1.52.0"
|
|
||||||
},
|
|
||||||
"engines": {
|
|
||||||
"node": ">= 0.6"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"node_modules/mri": {
|
"node_modules/mri": {
|
||||||
"version": "1.2.0",
|
"version": "1.2.0",
|
||||||
"resolved": "https://registry.npmjs.org/mri/-/mri-1.2.0.tgz",
|
"resolved": "https://registry.npmjs.org/mri/-/mri-1.2.0.tgz",
|
||||||
@ -2859,11 +2773,6 @@
|
|||||||
"resolved": "https://registry.npmjs.org/protocols/-/protocols-2.0.1.tgz",
|
"resolved": "https://registry.npmjs.org/protocols/-/protocols-2.0.1.tgz",
|
||||||
"integrity": "sha512-/XJ368cyBJ7fzLMwLKv1e4vLxOju2MNAIokcr7meSaNcVbWz/CPcW22cP04mwxOErdA5mwjA8Q6w/cdAQxVn7Q=="
|
"integrity": "sha512-/XJ368cyBJ7fzLMwLKv1e4vLxOju2MNAIokcr7meSaNcVbWz/CPcW22cP04mwxOErdA5mwjA8Q6w/cdAQxVn7Q=="
|
||||||
},
|
},
|
||||||
"node_modules/proxy-from-env": {
|
|
||||||
"version": "1.1.0",
|
|
||||||
"resolved": "https://registry.npmjs.org/proxy-from-env/-/proxy-from-env-1.1.0.tgz",
|
|
||||||
"integrity": "sha512-D+zkORCbA9f1tdWRK0RaCR3GPv50cMxcrz4X8k5LTSUD1Dkw47mKJEZQNunItRTkWwgtaUSo1RVFRIG9ZXiFYg=="
|
|
||||||
},
|
|
||||||
"node_modules/pseudomap": {
|
"node_modules/pseudomap": {
|
||||||
"version": "1.0.2",
|
"version": "1.0.2",
|
||||||
"resolved": "https://registry.npmjs.org/pseudomap/-/pseudomap-1.0.2.tgz",
|
"resolved": "https://registry.npmjs.org/pseudomap/-/pseudomap-1.0.2.tgz",
|
||||||
|
@ -19,7 +19,6 @@
|
|||||||
"homepage": "https://github.com/shuding/nextra-docs-template#readme",
|
"homepage": "https://github.com/shuding/nextra-docs-template#readme",
|
||||||
"dependencies": {
|
"dependencies": {
|
||||||
"@vercel/analytics": "^0.1.11",
|
"@vercel/analytics": "^0.1.11",
|
||||||
"axios": "^1.4.0",
|
|
||||||
"next": "^13.0.6",
|
"next": "^13.0.6",
|
||||||
"nextra": "latest",
|
"nextra": "latest",
|
||||||
"nextra-theme-docs": "latest",
|
"nextra-theme-docs": "latest",
|
||||||
|
@ -23,7 +23,7 @@ import FLAN11 from "../../img/flan-11.png";
|
|||||||
**파인튜닝 절차:**
|
**파인튜닝 절차:**
|
||||||
|
|
||||||
- 1,800개의 작업을 지시사항으로 모델을 파인튜닝 하는 데 활용했습니다.
|
- 1,800개의 작업을 지시사항으로 모델을 파인튜닝 하는 데 활용했습니다.
|
||||||
- 예시가 있는 경우와 없는 경우, CoT(Chain of Tought)가 있는 경우와 그렇지 않은을 때 모두 적용했습니다.
|
- 예시가 있는 경우와 없는 경우, CoT(Chain of Tought)가 있는 경우와 그렇지 않은 경우 모두 적용했습니다.
|
||||||
|
|
||||||
Finetuning 및 Held-out 작업은 다음과 같습니다:
|
Finetuning 및 Held-out 작업은 다음과 같습니다:
|
||||||
|
|
||||||
@ -34,7 +34,7 @@ Finetuning 및 Held-out 작업은 다음과 같습니다:
|
|||||||
- 지시에 따른 파인튜닝은 작업의 수와 모델의 크기와 함께 향상될 수 있습니다; 이는 작업의 수와 모델의 크기를 더욱 확장해야 함을 시사합니다.
|
- 지시에 따른 파인튜닝은 작업의 수와 모델의 크기와 함께 향상될 수 있습니다; 이는 작업의 수와 모델의 크기를 더욱 확장해야 함을 시사합니다.
|
||||||
- CoT 데이터셋을 파인튜닝에 추가하면 추론 작업에서 우수한 성능을 보여줍니다.
|
- CoT 데이터셋을 파인튜닝에 추가하면 추론 작업에서 우수한 성능을 보여줍니다.
|
||||||
- Flan-PaLM은 다국어 능력을 향상했습니다.; one-shot TyDiQA에서 14.9%; under-represented languages 산술적 추론에서 8.1% 개선을 보였습니다.
|
- Flan-PaLM은 다국어 능력을 향상했습니다.; one-shot TyDiQA에서 14.9%; under-represented languages 산술적 추론에서 8.1% 개선을 보였습니다.
|
||||||
- Plan-PaLM은 또한 확장할 수 있(open-ended)는 생성 질문에서도 우수한 성능을 보여주며, 이는 사용성이 향상한 것을 알 수 있는 좋은 지표입니다
|
- Plan-PaLM은 또한 확장할 수 있는(open-ended) 생성 질문에서도 우수한 성능을 보여주며, 이는 사용성이 향상된 것을 알 수 있는 좋은 지표입니다.
|
||||||
- Responsible AI (RAI) 벤치마크에서도 성능을 향상했습니다.
|
- Responsible AI (RAI) 벤치마크에서도 성능을 향상했습니다.
|
||||||
- Flan-T5 instruction tuned 모델은 강력한 퓨샷(few-shot) 성능을 보여주며, T5(Text-to-Text Transfer Transformer)와 같은 사전 훈련된 모델(public checkpoint)보다 뛰어난 성능을 보여줍니다.
|
- Flan-T5 instruction tuned 모델은 강력한 퓨샷(few-shot) 성능을 보여주며, T5(Text-to-Text Transfer Transformer)와 같은 사전 훈련된 모델(public checkpoint)보다 뛰어난 성능을 보여줍니다.
|
||||||
|
|
||||||
@ -63,7 +63,7 @@ CoT 파인튜닝은 BIG-Bench(Beyond the limitation Game Benchmark) 작업에서
|
|||||||
<Screenshot src={FLAN5} alt="FLAN5" />
|
<Screenshot src={FLAN5} alt="FLAN5" />
|
||||||
이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)
|
이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)
|
||||||
|
|
||||||
아래는 제로샷(zero-shot) 프롬프팅에 대한 더 많은 예시입니다. 이는 제로샷 환경에서 PaLM이 반복 및 지시에 응답하지 못하는 문제가 있지만, Flan-PaLM은 잘 수행할 수 있음을 보여줍니다. 퓨샷 예제를 사용 시 이러한 오류를 줄일 수 있습니다.
|
아래는 제로샷 프롬프팅에 대한 더 많은 예시입니다. 이는 제로샷 환경에서 PaLM이 반복 및 지시에 응답하지 못하는 문제가 있지만, Flan-PaLM은 잘 수행할 수 있음을 보여줍니다. 퓨샷 예시를 사용 시 이러한 오류를 줄일 수 있습니다.
|
||||||
|
|
||||||
<Screenshot src={FLAN7} alt="FLAN7" />
|
<Screenshot src={FLAN7} alt="FLAN7" />
|
||||||
이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)
|
이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416)
|
||||||
|
@ -42,7 +42,7 @@ GPT-4 API는 현재 텍스트 입력만 지원하지만, 앞으로 이미지 입
|
|||||||
명령은 다음과 같습니다:
|
명령은 다음과 같습니다:
|
||||||
|
|
||||||
```
|
```
|
||||||
조지아와 서아시아의 하루평균 육류 소비량의 합은 얼마야? 답변을 제공하기 전에 단계별 추론을 제공해줘.
|
조지아와 서아시아의 하루 평균 육류 소비량의 합은 얼마야? 답변을 제공하기 전에 단계별 추론을 제공해줘.
|
||||||
```
|
```
|
||||||
|
|
||||||
"단계별 추론을 제공해줘"라는 지시문이 모델을 단계별 설명 상태로 진입하도록 유도하는 것에 주목합니다.
|
"단계별 추론을 제공해줘"라는 지시문이 모델을 단계별 설명 상태로 진입하도록 유도하는 것에 주목합니다.
|
||||||
@ -136,7 +136,7 @@ TruthfultQA 벤치마크에서, RLHF(Reinforcement Learning from Human Feedback)
|
|||||||
|
|
||||||
<Screenshot src={GPT46} alt="GPT46" />
|
<Screenshot src={GPT46} alt="GPT46" />
|
||||||
|
|
||||||
답은 `엘비스 프레슬리(Elvis Presley)`입니다. 이는 이러한 모델이 일부 사용 사례에 대해 얼마나 취약한지를 강조합니다. GPT-4를 다른 외부 지식과 결합하여 정확성을 향상하거나, 우리가 여기에서 배운 맥락적 학습(in-conext learning)이나 생각의 사슬 프롬프팅과 같은 기술을 사용하여 결과의 정확성을 높이는 것은 흥미로울 것입니다.
|
답은 `엘비스 프레슬리(Elvis Presley)`여야 합니다. 이는 이러한 모델이 일부 사용 사례에 대해 얼마나 취약한지를 강조합니다. GPT-4를 다른 외부 지식과 결합하여 정확성을 향상하거나, 우리가 여기에서 배운 맥락적 학습(in-conext learning)이나 생각의 사슬 프롬프팅과 같은 기술을 사용하여 결과의 정확성을 높이는 것은 흥미로울 것입니다.
|
||||||
|
|
||||||
한번 시도해보겠습니다. "단계적으로 생각해(Think step-by-step)"라는 지시를 추가했습니다. 아래는 그 결과입니다:
|
한번 시도해보겠습니다. "단계적으로 생각해(Think step-by-step)"라는 지시를 추가했습니다. 아래는 그 결과입니다:
|
||||||
|
|
||||||
|
Loading…
Reference in New Issue
Block a user