From 5cb2e0a7cb71e8f6d21c1af75a8b1b4f2d962c5c Mon Sep 17 00:00:00 2001 From: kaakaa Date: Sun, 16 Jun 2024 23:02:22 +0900 Subject: [PATCH] remove duplicated image --- pages/techniques/rag.jp.mdx | 3 --- 1 file changed, 3 deletions(-) diff --git a/pages/techniques/rag.jp.mdx b/pages/techniques/rag.jp.mdx index 47d2450..889b045 100644 --- a/pages/techniques/rag.jp.mdx +++ b/pages/techniques/rag.jp.mdx @@ -9,9 +9,6 @@ import RAG from "../../img/rag.png"; Meta AI の研究者は、このような知識集約型のタスクに対処するために、[RAG（Retrieval Augmented Generation）](https://ai.meta.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models/)と呼ばれる手法を考案しました。RAG は情報検索コンポーネントとテキスト生成モデルを組み合わせたものです RAG はファインチューニングが可能で、モデル全体の再トレーニングを必要とせず、効率的な方法で内部の知識を変更することができます。 - -Image Source: [Lewis ら (2021)](https://arxiv.org/pdf/2005.11401.pdf) - RAG は入力を受け取り、ソース（例えばウィキペディア）が与えられた関連/証拠立てる文書の集合を検索します。文書は文脈として元の入力プロンプトと連結され、最終的な出力を生成するテキストジェネレータに供給されます。これにより RAG は、事実が時間とともに変化するような状況にも適応できます。LLM のパラメトリック知識は静的であるため、これは非常に有用です。RAG は言語モデルが再学習を回避することを可能にし、検索ベースの(文章)生成によって信頼性の高い出力を生成するための最新情報へのアクセスを可能にします。 Lewis ら（2021）は、RAG のための汎用的なファインチューニングのレシピを提案しました。事前に訓練された seq2seq モデルがパラメトリックメモリとして使用され、ウィキペディアの密なベクトルインデックスが（ニューラルで事前に訓練された retriever を使用してアクセスされた）ノンパラメトリックメモリとして使用されます。以下は、このアプローチがどのように機能するかの概要です：