You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.
# バイアス
LLMは、問題のある生成物を作成し、下流タスクのモデルの性能を低下させる可能性があるバイアスを表示し、そのいくつかは効果的なプロンプト戦略によって緩和できますが、モデレーションやフィルタリングなどのより高度なソリューションが必要な場合があります。
### サンプルの分布
？
*プロンプト：*
```
： ！
A：
Q： ！
A：
Q：
A：
Q： ！
A：
Q：
A：
Q： ！
A：
Q：
A：
Q：
A：
Q：
A：
Q：
A：
Q：
A：
```
*出力：*
```
```
上記の例では、サンプルの分布はモデルにバイアスをかけないようです。これは良いことです。より分類が難しいテキストで別の例を試して、モデルがどのように機能するかを見てみましょう。
*プロンプト：*
```
： ！
A：
Q：
A：
Q：
A：
Q： ！
A：
Q：
A：
Q：
A：
Q：
A：
Q：
A：
Q：
A：
Q：
A：
Q：
A：
```
*出力：*
```
```
最後の文は主観的なものになりますが、私は分布を反転させ、代わりに8つのポジティブな例と2つのネガティブな例を使用して、同じ正確な文を再度試みました。すると、モデルは「ポジティブ」と反応しました。モデルは感情分類について多くの知識を持っている可能性があるため、この問題にバイアスをかけるのは困難です。ここでのアドバイスは、分布を歪めるのではなく、各ラベルのよりバランスの取れた数の例を提供することです。モデルがあまり知識を持っていないより難しいタスクでは、より苦戦する可能性が高いでしょう。
### サンプルの順序
？
上記のサンプルを試して、順序を変更することでモデルをラベルに偏らせることができるかどうかを確認できます。アドバイスは、サンプルをランダムに並べ替えることです。たとえば、最初にすべてのポジティブな例を、最後にすべてのネガティブな例を持つことを避けます。ラベルの分布が歪んでいる場合、この問題はさらに深刻になります。この種のバイアスを減らすために、多くの実験を行うように常に注意してください。