You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
|
|
|
|
|
# バイアス
|
|
|
|
|
|
|
|
|
|
|
|
LLMは、問題のある生成物を作成し、下流タスクのモデルの性能を低下させる可能性があるバイアスを表示し、そのいくつかは効果的なプロンプト戦略によって緩和できますが、モデレーションやフィルタリングなどのより高度なソリューションが必要な場合があります。
|
|
|
|
|
|
|
|
|
|
|
|
### サンプルの分布
|
|
|
|
|
|
few-shot学習を実行する場合、サンプルの分布はモデルのパフォーマンスに影響を与えたり、モデルにバイアスをかけたりするのでしょうか？ ここでは、簡単なテストを行うことができます。
|
|
|
|
|
|
|
|
|
|
|
|
*プロンプト：*
|
|
|
|
|
|
```
|
|
|
|
|
|
Q：私は今までで最高のニュースを聞きました！
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：仕事で昇給しました！
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：私が今日達成したことにとても誇りに思っています。
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：今日は最高の日です！
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：週末をとても楽しみにしています。
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：私は今までで最高のプレゼントをもらいました！
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：今とても幸せです。
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：私はこんなに素晴らしい家族を持っていて幸せです。
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：外の天気はとても陰気です。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：私はとても悪いニュースを聞きました。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：それは酸っぱい味がしました。
|
|
|
|
|
|
A：
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
*出力：*
|
|
|
|
|
|
```
|
|
|
|
|
|
ネガティブ
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
上記の例では、サンプルの分布はモデルにバイアスをかけないようです。これは良いことです。より分類が難しいテキストで別の例を試して、モデルがどのように機能するかを見てみましょう。
|
|
|
|
|
|
|
|
|
|
|
|
*プロンプト：*
|
|
|
|
|
|
```
|
|
|
|
|
|
Q：ここの食べ物は美味しいです！
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：このコースワークにはもう疲れました。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：試験に落ちたことを信じられません。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：今日は素晴らしい日でした！
|
|
|
|
|
|
A：ポジティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：この仕事が嫌いです。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：ここのサービスはひどいです。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：人生にフラストレーションを感じています。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：一休みできないのが悩みです。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：この食事はまずいです。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：上司が大嫌いです。
|
|
|
|
|
|
A：ネガティブ
|
|
|
|
|
|
|
|
|
|
|
|
Q：私は何かを感じています。
|
|
|
|
|
|
A：
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
*出力：*
|
|
|
|
|
|
```
|
|
|
|
|
|
ネガティブ
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
最後の文は主観的なものになりますが、私は分布を反転させ、代わりに8つのポジティブな例と2つのネガティブな例を使用して、同じ正確な文を再度試みました。すると、モデルは「ポジティブ」と反応しました。モデルは感情分類について多くの知識を持っている可能性があるため、この問題にバイアスをかけるのは困難です。ここでのアドバイスは、分布を歪めるのではなく、各ラベルのよりバランスの取れた数の例を提供することです。モデルがあまり知識を持っていないより難しいタスクでは、より苦戦する可能性が高いでしょう。
|
|
|
|
|
|
|
|
|
|
|
|
### サンプルの順序
|
|
|
|
|
|
few-shot学習を実行する場合、順序はモデルのパフォーマンスに影響を与えたり、モデルにバイアスをかけたりするのでしょうか？
|
|
|
|
|
|
|
|
|
|
|
|
上記のサンプルを試して、順序を変更することでモデルをラベルに偏らせることができるかどうかを確認できます。アドバイスは、サンプルをランダムに並べ替えることです。たとえば、最初にすべてのポジティブな例を、最後にすべてのネガティブな例を持つことを避けます。ラベルの分布が歪んでいる場合、この問題はさらに深刻になります。この種のバイアスを減らすために、多くの実験を行うように常に注意してください。
|
