|
|
# 知識生成プロンプティング
|
|
|
|
|
|
import {Screenshot} from 'components/screenshot'
|
|
|
import GENKNOW from '../../img/gen-knowledge.png'
|
|
|
|
|
|
<Screenshot src={GENKNOW} alt="GENKNOW" />
|
|
|
|
|
|
画像ソース：[Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf)
|
|
|
|
|
|
LLMは引き続き改良されており、より正確な予測を行うために知識や情報を組み込む能力を持つことが一般的なテクニックの1つです。
|
|
|
|
|
|
同様の考え方を使用して、モデルを使用して予測を行う前に知識を生成することもできますか？ それが[Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf)の論文で試みられていることです。つまり、共通の理解推論などのタスクにおいて、これがどの程度役立つでしょうか？
|
|
|
|
|
|
単純なプロンプトを試してみましょう。
|
|
|
|
|
|
*プロンプト：*
|
|
|
```
|
|
|
ゴルフの一部は、他の人よりも高いポイント総数を得ようとすることです。「はい」か「いいえ」か？
|
|
|
```
|
|
|
|
|
|
*出力：*
|
|
|
```
|
|
|
はい。
|
|
|
```
|
|
|
|
|
|
この種の間違いは、より多くの世界の知識を必要とするタスクを実行するためのLLMの制限を示しています。これをどのように知識生成で改善するとよいでしょう？
|
|
|
|
|
|
最初に、いくつかの「知識」を生成します。
|
|
|
|
|
|
*プロンプト：*
|
|
|
```
|
|
|
入力：ギリシャはメキシコよりも大きい。
|
|
|
知識：ギリシャは約131,957平方キロメートルであり、メキシコは約1,964,375平方キロメートルであり、メキシコはギリシャよりも1,389％大きい。
|
|
|
|
|
|
入力：眼鏡は常に曇ります。
|
|
|
知識：冷たい表面に汗、呼気、および周囲の湿度から水蒸気が着陸し、冷却されて液体の微小な滴に変化して、あなたが霧として見るフィルムを形成すると、眼鏡レンズに結露が生じます。あなたのレンズは、特に外気が寒い場合、あなたの呼気に比べて比較的冷たくなります。
|
|
|
|
|
|
入力：魚は考えることができる。
|
|
|
知識：魚は出現よりも知能が高い。記憶などの多くの分野で、魚の認知能力は、非人間の霊長類を含む「より高い」脊椎動物と同等またはそれ以上です。魚の長期記憶は、彼らが複雑な社会的関係を追跡するのを助けます。
|
|
|
|
|
|
入力：一生にたくさんのタバコを吸うことの共通の影響の1つは、肺がんの発生率が高くなることです。
|
|
|
知識：生涯にわたり平均して1日に1本未満のタバコを吸った人は、非喫煙者に比べて肺がんで死亡するリスクが9倍高かった。一日あたり1〜10本のタバコを吸った人の中で、肺がんで死亡するリスクは、非喫煙者の約12倍高かった。
|
|
|
|
|
|
入力：岩と小石は同じ大きさです。
|
|
|
知識：小石は、堆積学のUdden-Wentworthスケールに基づく4〜64ミリメートルの粒子サイズを持つ岩塊です。小石は、一般的に粒度（直径2〜4ミリメートル）よりも大きく、コブル（直径64〜256ミリメートル）よりも小さいと見なされます。
|
|
|
|
|
|
入力：ゴルフの一部は、他の人よりも高いポイント総数を得ようとすることです。
|
|
|
知識：
|
|
|
```
|
|
|
|
|
|
*知識1：*
|
|
|
```
|
|
|
ゴルフの目的は、できるだけ少ない打数で一連のホールをプレイすることです。通常、ゴルフのラウンドは18ホールで構成されます。1回のホールは、標準のゴルフコースに1回プレイされます。各打数は1ポイントとしてカウントされ、総打数がゲームの勝者を決定するために使用されます。
|
|
|
```
|
|
|
|
|
|
*知識2：*
|
|
|
```
|
|
|
ゴルフは、競技者（またはゴルファー）が多種多様なクラブを使用して、できるだけ少ない打数でコースの一連のホールにボールを打ち込む精密なクラブ＆ボールスポーツです。目標は、各ホールでの総打数を合計した最低スコアでコースを完走することです。最低スコアを出したプレイヤーがゲームに勝ちます。
|
|
|
```
|
|
|
|
|
|
[Liu et al. 2022](https://arxiv.org/pdf/2110.08387.pdf)の論文で提供されたプロンプトを使用しています。
|
|
|
|
|
|
次のステップは、知識を統合して予測を得ることです。回答形式に質問を再フォーマットしました。
|
|
|
|
|
|
*プロンプト：*
|
|
|
```
|
|
|
質問：ゴルフの一部は、他の人よりも高いポイント総数を得ようとすることです。「はい」か「いいえ」？
|
|
|
|
|
|
知識：ゴルフの目的は、できるだけ少ない打数で一連のホールをプレイすることです。通常、ゴルフのラウンドは18ホールで構成されます。1回のホールは、標準のゴルフコースに1回プレイされます。各打数は1ポイントとしてカウントされ、総打数がゲームの勝者を決定するために使用されます。
|
|
|
|
|
|
説明と回答：
|
|
|
```
|
|
|
|
|
|
*回答1（自信が非常に高い）：*
|
|
|
```
|
|
|
いいえ、ゴルフの目的は他の人よりも高いポイント総数を得ることではありません。むしろ、目的はできるだけ少ない打数で一連のホールをプレイすることです。総打数がゲームの勝者を決定するために使用されますが、ポイントの総数ではありません。
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
```
|
|
|
質問：ゴルフの一部は、他の人よりも高い得点を取ることです。「はい」か「いいえ」か？
|
|
|
|
|
|
知識：ゴルフは、競技者（またはゴルファー）が多種多様なクラブを使用して、できるだけ少ない打数でコースの一連のホールにボールを打ち込む精密なクラブアンドボールのスポーツです。目標は、各ホールで打たれた総打数を合計して計算される最低スコアでコースを完了することです。最低スコアを出したプレイヤーが勝利します。
|
|
|
|
|
|
説明と回答：
|
|
|
```
|
|
|
|
|
|
*回答2（自信はかなり低い）：*
|
|
|
```
|
|
|
はい、ゴルフの一部は、他の人よりも高い得点を取ることです。各プレイヤーは、各ホールで打たれた総打数を合計して計算される最低スコアでコースを完了しようとします。最低スコアを出したプレイヤーが勝利します。
|
|
|
```
|
|
|
|
|
|
この例では、非常に興味深いことが起こりました。最初の回答では、モデルは非常に自信を持っていましたが、2番目ではそうではありませんでした。デモンストレーションの目的でプロセスを簡素化していますが、最終的な回答に到達する際に考慮すべき詳細がいくつかあります。詳細については、論文をご覧ください。 |