Refine sentences to make it feel more natural

pull/246/head
Hr0803 1 year ago
parent e842a5f23f
commit 4047d5b39a

@ -225,7 +225,7 @@ SIMPLE_FUNCTION 문자열 입력을 질문의 시작으로 대체하고 이 문
## 방어 전략 (Defense Tactics)
언어 모델이 부정확한 정보에 대한 진술, 모욕적인 텍스트나 편견에 대한 텍스트를 생성하는 등과 같이 바람직하지 않은 모습을 보일 수 있다는 것은 널리 알려진 사실입니다. 또한, 어떤 사람들은 ChatGPT와 같은 모델로 악성 프로그램을 작성하고, 식별 정보를 이용하고, 피싱 사이트를 만들 수 있는 방법을 개발하기도 했습니다. 프롬프트 주입은 모델의 출력을 가로채기 위해서 뿐만이 아니라, 앞서 서술한 유해한 모습들을 언어모델로부터 유도하는 데에도 사용됩니다. 따라서 프롬프트 주입을 방어하는 방법을 더 잘 이해하는 것은 필수적입니다.
언어 모델이 부정확한 답변, 모욕, 편견을 가지는 등의 바람직하지 않은 텍스트를 생성할 수 있다는 것은 널리 알려진 사실입니다. 또한, 어떤 사람들은 ChatGPT와 같은 모델로 악성 프로그램을 작성하고, 식별 정보를 이용하고, 피싱 사이트를 만들 수 있는 방법을 개발하기도 했습니다. 프롬프트 주입은 모델의 출력을 가로채기 위해서 뿐만이 아니라, 앞서 서술한 유해한 모습들을 언어모델로부터 유도하는 데에도 사용됩니다. 따라서 프롬프트 주입을 방어하는 방법을 더 잘 이해하는 것은 필수적입니다.
프롬프트 주입은 시도하기 쉬운 반면에, 이러한 텍스트 기반 공격을 방어할 수 있는 쉬운 방법이나 널리 알려진 기술은 없습니다. 일부 연구자와 실무자는 유해한 프롬프트의 영향을 낮출 수 있는 여러 방법을 추천합니다. 지금부터 커뮤니티에서 널리 알려진 방어 전략에 대해 살펴보겠습니다.
### 지시에 방어문구를 추가
@ -274,7 +274,7 @@ _출력:_
### 따옴표 및 추가 형식(Formatting) 지정
뒤이어, Riley는 [이른바 꼼수](https://twitter.com/goodside/status/1569457230537441286?s=20)가 있을 수 있음을 알렸지만, 이는 결국 다른 사용자에 의해 악용되었습니다. Riley가 제안한 방법에는, 입력 문자열에 이스케이프 처리를 하거나 따옴표로 묶는 작업이 포함되었습니다. 또한 Riley는 이 방법을 사용하면 지시에 경고를 추가하는 것도 소용이 없으며, 여러 문구에 걸쳐 강력한 영향력을 가진다고 지적했습니다. 그럼에도 불구하고 적절한 프롬프트 포맷팅을 가볍게 생각하지 않고 이의 중요성과 이점이 앞선다고 생각하기 때문에 프롬프트 예시를 공유하겠습니다.
뒤이어, Riley는 [이른바 꼼수](https://twitter.com/goodside/status/1569457230537441286?s=20)가 있을 수 있음을 알렸지만, 이는 결국 다른 사용자에 의해 악용되었습니다. Riley가 제안한 방법에는, 입력 문자열에 이스케이프 처리를 하거나 따옴표로 묶는 작업이 포함되었습니다. 또한 Riley는 이 방법을 사용하면 지시에 경고를 추가하는 것도 소용이 없으며, 여러 문구에 걸쳐 강력한 영향력을 가진다고 지적했습니다. 그럼에도 불구하고 적절한 프롬프트 포맷팅은 여전히 유용하기 때문에 프롬프트 예시를 공유하겠습니다.
_프롬프트:_
@ -322,7 +322,7 @@ _출력:_
### 적대적 프롬프트 탐지기(detecter)
대규모언어모델은 복잡하고, 광범위한 작업에서 우수한 성능을 발휘하는 강력한 시스템이라는 것은 우리 모두 알고있는 사실입니다. 또한 대규모언어모델은 지식 생성([Luu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf))이나 자가 검증([Weng et al. (dll)](https://arxiv.org/abs/2212.09561v1))과 같은 특정 작업을 수행하는 데 사용되거나 이를 위해 추가학습을 시킬 수도 있습니다. 마찬가지로 대규모언어모델을 사용하여 적대적 프롬프트를 탐지하고 필터링할 수 있습니다.
대규모언어모델(LLM: Large Language Model)은 복잡하고, 광범위한 작업에서 우수한 성능을 발휘하는 강력한 시스템이라는 것은 우리 모두 알고있는 사실입니다. 또한 LLM은 지식 생성([Luu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf))이나 자가 검증([Weng et al. (dll)](https://arxiv.org/abs/2212.09561v1))과 같은 특정 작업을 수행하는 데 사용되거나 이를 위해 추가학습을 시킬 수도 있습니다. 마찬가지로 LLM을 사용하여 적대적 프롬프트를 탐지하고 필터링할 수 있습니다.
[Armstrong과 Gorman (2022)](https://www.alignmentforum.org/posts/pNcFYZnPdXyL2RfgA/using-gpt-eliezer-against-chatgpt-jailbreaking)은 이 개념을 이용한 흥미로운 해결책을 제안합니다. 실제로 사용한 예시를 살펴보겠습니다.

Loading…
Cancel
Save