remove duplicated image

pull/502/head
kaakaa 3 weeks ago
parent 49ef74c3bf
commit 5cb2e0a7cb

@ -9,9 +9,6 @@ import RAG from "../../img/rag.png";
Meta AI の研究者は、このような知識集約型のタスクに対処するために、[RAGRetrieval Augmented Generation](https://ai.meta.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models/)と呼ばれる手法を考案しました。RAG は情報検索コンポーネントとテキスト生成モデルを組み合わせたものです RAG はファインチューニングが可能で、モデル全体の再トレーニングを必要とせず、効率的な方法で内部の知識を変更することができます。
<Screenshot src={RAG} alt="RAG" />
Image Source: [Lewis ら (2021)](https://arxiv.org/pdf/2005.11401.pdf)
RAG は入力を受け取り、ソース(例えばウィキペディア)が与えられた関連/証拠立てる文書の集合を検索します。文書は文脈として元の入力プロンプトと連結され、最終的な出力を生成するテキストジェネレータに供給されます。これにより RAG は、事実が時間とともに変化するような状況にも適応できます。LLM のパラメトリック知識は静的であるため、これは非常に有用です。RAG は言語モデルが再学習を回避することを可能にし、検索ベースの(文章)生成によって信頼性の高い出力を生成するための最新情報へのアクセスを可能にします。
Lewis ら2021は、RAG のための汎用的なファインチューニングのレシピを提案しました。事前に訓練された seq2seq モデルがパラメトリックメモリとして使用され、ウィキペディアの密なベクトルインデックスが(ニューラルで事前に訓練された retriever を使用してアクセスされた)ノンパラメトリックメモリとして使用されます。以下は、このアプローチがどのように機能するかの概要です:

Loading…
Cancel
Save