From ee4641271894890b3de1c4902e282fc49db898b3 Mon Sep 17 00:00:00 2001 From: bik1111 Date: Wed, 26 Jul 2023 22:05:56 +0900 Subject: [PATCH] Improve the traslation of models.kr.mdx and flan.kr.mdx files based on the reviews by letsbe-x reviewers --- package-lock.json | 91 +++++++++++++++++++++++++++++++++++++++ package.json | 1 + pages/models/flan.kr.mdx | 8 ++-- pages/models/gpt-4.kr.mdx | 12 +++--- 4 files changed, 102 insertions(+), 10 deletions(-) diff --git a/package-lock.json b/package-lock.json index 0a98a09..a65a2fb 100644 --- a/package-lock.json +++ b/package-lock.json @@ -10,6 +10,7 @@ "license": "MIT", "dependencies": { "@vercel/analytics": "^0.1.11", + "axios": "^1.4.0", "next": "^13.0.6", "nextra": "latest", "nextra-theme-docs": "latest", @@ -677,6 +678,21 @@ "astring": "bin/astring" } }, + "node_modules/asynckit": { + "version": "0.4.0", + "resolved": "https://registry.npmjs.org/asynckit/-/asynckit-0.4.0.tgz", + "integrity": "sha512-Oei9OH4tRh0YqU3GxhX79dM/mwVgvbZJaSNaRk+bshkj0S5cfHcgYakreBjrHwatXKbz+IoIdYLxrKim2MjW0Q==" + }, + "node_modules/axios": { + "version": "1.4.0", + "resolved": "https://registry.npmjs.org/axios/-/axios-1.4.0.tgz", + "integrity": "sha512-S4XCWMEmzvo64T9GfvQDOXgYRDJ/wsSZc7Jvdgx5u1sd0JwsuPLqb3SYmusag+edF6ziyMensPVqLTSc1PiSEA==", + "dependencies": { + "follow-redirects": "^1.15.0", + "form-data": "^4.0.0", + "proxy-from-env": "^1.1.0" + } + }, "node_modules/bail": { "version": "2.0.2", "resolved": "https://registry.npmjs.org/bail/-/bail-2.0.2.tgz", @@ -805,6 +821,17 @@ "resolved": "https://registry.npmjs.org/color-name/-/color-name-1.1.3.tgz", "integrity": "sha512-72fSenhMw2HZMTVHeCA9KCmpEIbzWiQsjN+BHcBbS9vr1mtt+vJjPdksIBNUmKAW8TFUDPJK5SUU3QhE9NEXDw==" }, + "node_modules/combined-stream": { + "version": "1.0.8", + "resolved": "https://registry.npmjs.org/combined-stream/-/combined-stream-1.0.8.tgz", + "integrity": "sha512-FQN4MRfuJeHf7cBbBMJFXhKSDq+2kAArBlmRBvcvFE5BB1HZKXtSFASDhdlz9zOYwxh8lDdnvmMOe/+5cdoEdg==", + "dependencies": { + "delayed-stream": "~1.0.0" + }, + "engines": { + "node": ">= 0.8" + } + }, "node_modules/comma-separated-tokens": { "version": "2.0.3", "resolved": "https://registry.npmjs.org/comma-separated-tokens/-/comma-separated-tokens-2.0.3.tgz", @@ -870,6 +897,14 @@ "url": "https://github.com/sponsors/wooorm" } }, + "node_modules/delayed-stream": { + "version": "1.0.0", + "resolved": "https://registry.npmjs.org/delayed-stream/-/delayed-stream-1.0.0.tgz", + "integrity": "sha512-ZySD7Nf91aLB0RxL4KGrKHBXl7Eds1DAmEdcoVawXnLD7SDhpNgtuII2aAkg7a7QS41jxPSZ17p4VdGnMHk3MQ==", + "engines": { + "node": ">=0.4.0" + } + }, "node_modules/dequal": { "version": "2.0.3", "resolved": "https://registry.npmjs.org/dequal/-/dequal-2.0.3.tgz", @@ -1033,6 +1068,38 @@ "resolved": "https://registry.npmjs.org/focus-visible/-/focus-visible-5.2.0.tgz", "integrity": "sha512-Rwix9pBtC1Nuy5wysTmKy+UjbDJpIfg8eHjw0rjZ1mX4GNLz1Bmd16uDpI3Gk1i70Fgcs8Csg2lPm8HULFg9DQ==" }, + "node_modules/follow-redirects": { + "version": "1.15.2", + "resolved": "https://registry.npmjs.org/follow-redirects/-/follow-redirects-1.15.2.tgz", + "integrity": "sha512-VQLG33o04KaQ8uYi2tVNbdrWp1QWxNNea+nmIB4EVM28v0hmP17z7aG1+wAkNzVq4KeXTq3221ye5qTJP91JwA==", + "funding": [ + { + "type": "individual", + "url": "https://github.com/sponsors/RubenVerborgh" + } + ], + "engines": { + "node": ">=4.0" + }, + "peerDependenciesMeta": { + "debug": { + "optional": true + } + } + }, + "node_modules/form-data": { + "version": "4.0.0", + "resolved": "https://registry.npmjs.org/form-data/-/form-data-4.0.0.tgz", + "integrity": "sha512-ETEklSGi5t0QMZuiXoA/Q6vcnxcLQP5vdugSpuAyi6SVGi2clPPp+xgEhuMaHC+zGgn31Kd235W35f7Hykkaww==", + "dependencies": { + "asynckit": "^0.4.0", + "combined-stream": "^1.0.8", + "mime-types": "^2.1.12" + }, + "engines": { + "node": ">= 6" + } + }, "node_modules/get-stream": { "version": "3.0.0", "resolved": "https://registry.npmjs.org/get-stream/-/get-stream-3.0.0.tgz", @@ -2460,6 +2527,25 @@ } ] }, + "node_modules/mime-db": { + "version": "1.52.0", + "resolved": "https://registry.npmjs.org/mime-db/-/mime-db-1.52.0.tgz", + "integrity": "sha512-sPU4uV7dYlvtWJxwwxHD0PuihVNiE7TyAbQ5SWxDCB9mUYvOgroQOwYQQOKPJ8CIbE+1ETVlOoK1UC2nU3gYvg==", + "engines": { + "node": ">= 0.6" + } + }, + "node_modules/mime-types": { + "version": "2.1.35", + "resolved": "https://registry.npmjs.org/mime-types/-/mime-types-2.1.35.tgz", + "integrity": "sha512-ZDY+bPm5zTTF+YpCrAU9nK0UgICYPT0QtT1NZWFv4s++TNkcgVaT0g6+4R2uI4MjQjzysHB1zxuWL50hzaeXiw==", + "dependencies": { + "mime-db": "1.52.0" + }, + "engines": { + "node": ">= 0.6" + } + }, "node_modules/mri": { "version": "1.2.0", "resolved": "https://registry.npmjs.org/mri/-/mri-1.2.0.tgz", @@ -2773,6 +2859,11 @@ "resolved": "https://registry.npmjs.org/protocols/-/protocols-2.0.1.tgz", "integrity": "sha512-/XJ368cyBJ7fzLMwLKv1e4vLxOju2MNAIokcr7meSaNcVbWz/CPcW22cP04mwxOErdA5mwjA8Q6w/cdAQxVn7Q==" }, + "node_modules/proxy-from-env": { + "version": "1.1.0", + "resolved": "https://registry.npmjs.org/proxy-from-env/-/proxy-from-env-1.1.0.tgz", + "integrity": "sha512-D+zkORCbA9f1tdWRK0RaCR3GPv50cMxcrz4X8k5LTSUD1Dkw47mKJEZQNunItRTkWwgtaUSo1RVFRIG9ZXiFYg==" + }, "node_modules/pseudomap": { "version": "1.0.2", "resolved": "https://registry.npmjs.org/pseudomap/-/pseudomap-1.0.2.tgz", diff --git a/package.json b/package.json index b0599f2..d7c41ac 100644 --- a/package.json +++ b/package.json @@ -19,6 +19,7 @@ "homepage": "https://github.com/shuding/nextra-docs-template#readme", "dependencies": { "@vercel/analytics": "^0.1.11", + "axios": "^1.4.0", "next": "^13.0.6", "nextra": "latest", "nextra-theme-docs": "latest", diff --git a/pages/models/flan.kr.mdx b/pages/models/flan.kr.mdx index 15489f5..5fac09a 100644 --- a/pages/models/flan.kr.mdx +++ b/pages/models/flan.kr.mdx @@ -18,7 +18,7 @@ import FLAN11 from "../../img/flan-11.png"; 이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416) -이 논문은 [지시에 따른 파인튜닝](https://arxiv.org/pdf/2109.01652.pdf)의 스케일링에서의 장점을 알아보며 다양한 모델(PaLM, T5)과 프롬프팅 셋업(zero-shot, few-shot, CoT), 벤치마크(MMLU, TyDiQA)에서 어떻게 성능을 개선하는지를 다룹니다. 이는 다음과 같은 측면에서 탐구되었습니다: 작업 수의 스케일링 (1,800개의 작업), 모델 크기의 스케일링 및 생각의 사슬(Chain of Tought) 데이터의 파인튜닝 (9개의 데이터셋 사용). +이 논문은 [지시에 따른 파인튜닝](https://arxiv.org/pdf/2109.01652.pdf)의 스케일링에서의 장점을 알아보며 다양한 모델(PaLM, T5)과 프롬프팅 설정(zero-shot, few-shot, CoT), 벤치마크(MMLU, TyDiQA)에서 어떻게 성능을 개선하는지를 다룹니다. 이는 다음과 같은 측면에서 탐구되었습니다: 작업 수의 스케일링 (1,800개의 작업), 모델 크기의 스케일링 및 생각의 사슬(Chain of Tought) 데이터의 파인튜닝 (9개의 데이터셋 사용). **파인튜닝 절차:** @@ -31,10 +31,10 @@ Finetuning 및 Held-out 작업은 다음과 같습니다: ## 기능 및 주요 결과(Capabilities & Key Results) -- Instruction finetuning은 작업의 수와 모델의 크기와 함께 향상될 수 있습니다; 이는 작업의 수와 모델의 크기를 더욱 확장해야 함을 시사합니다. +- 지시에 따른 파인튜닝은 작업의 수와 모델의 크기와 함께 향상될 수 있습니다; 이는 작업의 수와 모델의 크기를 더욱 확장해야 함을 시사합니다. - CoT 데이터셋을 파인튜닝에 추가하면 추론 작업에서 우수한 성능을 보여줍니다. - Flan-PaLM은 다국어 능력을 향상했습니다.; one-shot TyDiQA에서 14.9%; under-represented languages 산술적 추론에서 8.1% 개선을 보였습니다. -- Plan-PaLM은 또한 확장 할 수 있(open-ended)는 생성 질문에서도 우수한 성능을 보여주며, 이는 사용성이 향상한 것을 알 수 있는 좋은 지표입니다 +- Plan-PaLM은 또한 확장할 수 있(open-ended)는 생성 질문에서도 우수한 성능을 보여주며, 이는 사용성이 향상한 것을 알 수 있는 좋은 지표입니다 - Responsible AI (RAI) 벤치마크에서도 성능을 향상했습니다. - Flan-T5 instruction tuned 모델은 강력한 퓨샷(few-shot) 성능을 보여주며, T5(Text-to-Text Transfer Transformer)와 같은 사전 훈련된 모델(public checkpoint)보다 뛰어난 성능을 보여줍니다. @@ -68,7 +68,7 @@ CoT 파인튜닝은 BIG-Bench(Beyond the limitation Game Benchmark) 작업에서 이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416) -아래는 다양하며 도전적인 확장성 있는 질문에 Flan-PALM 모델이 더 많은 제로샷 성능을 보여즐 수 있다는 몇 가지 예시입니다: +아래는 다양하며 도전적인 확장성 있는 질문에 Flan-PALM 모델이 더 많은 제로샷 성능을 보여 즐 수 있다는 몇 가지 예시입니다: 이미지 출처: [Scaling Instruction-Finetuned Language Models](https://arxiv.org/abs/2210.11416) diff --git a/pages/models/gpt-4.kr.mdx b/pages/models/gpt-4.kr.mdx index afe751b..c1a6f20 100644 --- a/pages/models/gpt-4.kr.mdx +++ b/pages/models/gpt-4.kr.mdx @@ -27,13 +27,13 @@ import GPT48 from "../../img/gpt4-8.png"; -GPT-4는 미국 변호사 자격시험(Bar Exam) 시뮬레이션에서 상위 10%의 점수를 이뤘습니다. 또한 MMLU나 HellaSwag와 같은 다양한 어려운 벤치마크에서도 인상적인 결과를 보여줬습니다. +GPT-4는 미국 변호사 자격시험(Bar Exam) 시뮬레이션에서 상위 10%의 점수를 이뤘습니다. 또한 MMLU나 HellaSwag와 같은 다양하고 어려운 벤치마크에서도 인상적인 결과를 보여줬습니다. OpenAI는 GPT-4가 적대적 테스트 프로그램(Adversarial Testing Program)과 ChatGPT로부터 얻은 교훈을 통해 향상되었으며, 이는 사실성, 조정 가능성, 정렬성 측면에서 더 나은 결과를 이끌었다고 주장합니다. ## 시각 능력(Vision Capabilities) -GPT-4 API는 현재 텍스트 입력만 지원하지만, 앞으로 이미지 입력 기능 역시 지원할 계획이 있습니다. OpenAI는 GPT-3.5 (ChatGPT를 구동하는 모델)와 비교해, GPT-4가 보다 신뢰성이 높고 창의적이며, 더 복잡한 작업을 위한 미묘한 지시를 처리할 수 있다고 주장합니다. GPT-4는 다양한 언어에 걸쳐 성능을 향상했습니다. +GPT-4 API는 현재 텍스트 입력만 지원하지만, 앞으로 이미지 입력 기능 역시 지원할 계획이 있습니다. OpenAI는 GPT-3.5 (ChatGPT를 구동하는 모델)와 비교해, GPT-4가 더욱 신뢰성이 높고 창의적이며, 더 복잡한 작업을 위한 미묘한 지시를 처리할 수 있다고 주장합니다. GPT-4는 다양한 언어에 걸쳐 성능을 향상했습니다. 이미지 입력 기능은 아직 공개적으로 이용할 수 없지만, 퓨샷(few-shot)과 생각의 사슬(chain-of-thought) 프롬프팅 기법을 활용하여 이미지 관련 작업 성능을 향상할 수 있습니다. @@ -72,7 +72,7 @@ GPT-4 API는 현재 텍스트 입력만 지원하지만, 앞으로 이미지 입 ## GPT-4 조종하기(Steering GPT-4) -실험 가능한 한 가지 분야는 `system` 메시지를 통해 모델이 특정한 톤과 스타일로 답변을 제공하는 능력입니다. 이것은 개인화를 가속화하고 특정 사용 사례에 대해 정확하고 더욱 정밀한 결과를 얻을 수 있습니다. +실험할 수 있는 한 가지 분야는 `system` 메시지를 통해 모델이 특정한 톤과 스타일로 답변을 제공하는 능력입니다. 이것은 개인화를 가속화하고 특정 사용 사례에 대해 정확하고 더욱 정밀한 결과를 얻을 수 있습니다. 예를 들어, 실험에 사용할 데이터를 생성하는 AI 조력자를 만들고자 합니다. 우리는 `system` 메시지를 사용하여 모델이 특정 스타일로 데이터를 생성하도록 조종할 수 있습니다. @@ -132,17 +132,17 @@ TruthfultQA 벤치마크에서, RLHF(Reinforcement Learning from Human Feedback) -다음은 실패 사례 예시입니다: +다음은 실패 사례입니다: 답은 `엘비스 프레슬리(Elvis Presley)`입니다. 이는 이러한 모델이 일부 사용 사례에 대해 얼마나 취약한지를 강조합니다. GPT-4를 다른 외부 지식과 결합하여 정확성을 향상하거나, 우리가 여기에서 배운 맥락적 학습(in-conext learning)이나 생각의 사슬 프롬프팅과 같은 기술을 사용하여 결과의 정확성을 높이는 것은 흥미로울 것입니다. -한 번 시도해보겠습니다. "단계적으로 생각해(Think step-by-step)"라는 지시를 추가했습니다. 아래는 그 결과입니다: +한번 시도해보겠습니다. "단계적으로 생각해(Think step-by-step)"라는 지시를 추가했습니다. 아래는 그 결과입니다: -이 접근 방식은 충분히 테스트하지 않았기 때문에 얼마나 신뢰할 수 있을지 또는 일반화할 수 있는지는 알 수 없습니다. 이 가이드의 독자분들이 추가로 실험해볼 수 있는 부분입니다. +이 접근 방식은 충분히 테스트하지 않았기 때문에 얼마나 신뢰할 수 있을지 또는 일반화할 수 있는지는 알 수 없습니다. 이 가이드의 독자분들이 추가로 실험해 볼 수 있는 부분입니다. 또 다른 방법은 모델이 단계별로 답변을 제공하도록 하고 답변을 할 수 없다면 "답을 모르겠습니다."라고 출력하도록 `system` 메시지를 조종하는 방법입니다. 또한 온도(temperature)를 0.5로 변경하여 모델이 답변에 더 자신감을 가지도록 하였습니다. 다시 한번, 이것을 얼마나 잘 일반화 할 수 있는지는 보다 많은 검증이 필요하다는 것을 기억해 주시길 바랍니다. 우리는 이러한 예시를 서로 다른 기술과 기능을 결합하여 결과를 개선하는 방법을 보여주기 위해 제공합니다.