社内の規程やマニュアルについて生成AIに質問すると、もっともらしいが根拠のない答えが返ってくることがある。モデルが社内の文書を知らないためだ。この問題に対して、質問のたびに関係する文書を検索し、その内容を根拠として生成AIに答えさせる仕組みがRAG(Retrieval-Augmented Generation、検索拡張生成)である。
RAGは、社内データでAIを「学習させる」方法ではない。モデルはそのままで、回答のたびに検索した文書を渡す。だから文書を更新して索引に反映すれば、モデルを学習し直さなくても答えに使える。ただし、検索で正しい文書を拾えなければ、どれほど性能の高いモデルでも正しく答えられない。
- RAGは、質問に関係する文書を検索し、その内容を根拠に生成AIが回答する仕組みである。2020年にFacebook AI Researchなどの研究者が論文で提案した
- モデルを学習し直すファインチューニングとは別物である。文書が少なければ、検索せずに全部をプロンプトに入れる方法もある
- 社内RAGの精度は、検索の精度と回答の精度に分けて測る。どちらで外れているかが分かれば、直す場所が決まる
- 社内で使うときは、利用者が読めない文書を検索の段階で除く権限の設計が欠かせない。デジタル庁のガイドラインも、検索精度の確保と参照権限の設定を対策の例に挙げている
本記事は、元の論文と各社の公式ドキュメント、公的機関の資料を2026年11月5日に確認した内容で書いている。
この記事の対象読者
主な読者は、社内の規程、マニュアル、問い合わせ履歴などを生成AIで検索できるようにしたい情報システム部門やDX推進部門の担当者である。RAGを導入したものの回答の精度が上がらず、何から直せばよいか分からない開発の担当者にも向けている。
RAGとは(要点3行)
- 質問のたびに社内の文書を検索し、見つかった内容を根拠として生成AIに回答させる仕組み
- 文書を更新するたびにモデルを学習し直す必要はなく、索引に反映すれば回答に使える
- 精度は検索と回答の2段で決まる。検索で正しい文書を拾えなければ、回答も外れる
RAGの仕組み
RAGは、事前の準備と、質問への回答の2段で動く。
| 段階 | 工程 | 中身 |
|---|---|---|
| 準備 | 取り込み | PDF、Word、社内Wiki、問い合わせ履歴などからテキストを取り出す |
| 準備 | 分割 | 長い文書を、検索しやすい大きさの断片(チャンク)に分ける |
| 準備 | 埋め込み | 各チャンクを、意味の近さを計算できる数値の列(ベクトル)に変換する |
| 準備 | 索引 | ベクトルと本文、文書の権限や更新日などの情報を一緒に保存する |
| 回答 | 検索 | 質問に近いチャンクを探す。利用者が読めない文書はここで除く |
| 回答 | 並べ替え | 検索結果を、質問との関連の強さで並べ直す(リランク) |
| 回答 | 生成 | 上位のチャンクを生成AIに渡し、その内容を根拠に回答させる。出典の文書を示す |
検索の方式は1つではない。単語の一致で探すキーワード検索と、意味の近さで探すベクトル検索があり、両方を並行して実行して結果を統合する方式はハイブリッド検索と呼ばれる。MicrosoftのAzure AI Searchの公式ドキュメントは、製品コード、専門用語、日付、人名のような語はキーワード検索のほうが強いと説明している。
RAGという名前は、2020年のNeurIPSで発表されたLewisらの論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」に由来する。Facebook AI Research、ユニバーシティ・カレッジ・ロンドン(UCL)、ニューヨーク大学の研究者による論文で、事前学習したモデルの知識と、外部から検索する知識を組み合わせて文章を生成する方法を提案した。
「学習させる」との違い|ファインチューニング・長いコンテキストとの使い分け
「社内データをAIに学習させる」という説明をよく見かけるが、一般的な社内RAGは、生成モデルを追加で学習させずに作れる。総務省と経済産業省の「AI事業者ガイドライン(第1.2版)」も、ファインチューニングのような追加学習とは別に、推論の段階で「RAG等を介して外部知識を補完した情報」を使うものとして位置づけている。両者は排他ではなく、回答の形式をファインチューニングでそろえたうえで、知識はRAGで渡すという併用もできる。
| 方法 | 何をするか | 向いている場面 | 注意点 |
|---|---|---|---|
| RAG | 回答のたびに文書を検索してモデルに渡す | 社内文書のように量が多く、頻繁に更新される知識を使わせる | 検索で正しい文書を拾えないと答えられない |
| 長いコンテキスト | 文書を検索せず、全部をプロンプトに入れる | 文書の量が少ない場合 | 量が増えると費用と応答時間が増える |
| ファインチューニング | モデルを追加で学習させる | 回答の形式や口調、特定の作業のやり方をそろえる | 知識の更新のたびに学習し直す必要がある |
Anthropicは2024年9月の技術記事で、知識ベースが20万トークン(約500ページ)より小さければ、RAGを使わずに全部をプロンプトに入れればよいと書いている。OpenAIの精度改善のガイドも、モデルに足りない知識を補う方法(RAG)と、出力の形式や推論のしかたをそろえる方法(ファインチューニング)を分けて扱っている。約500ページは英語の文書を前提にした目安で、日本語の文書では1ページあたりのトークン数が変わる。利用者が閲覧できる範囲の文書に絞ったうえで、実際のトークン数が、指示文や質問、回答の分を足してもモデルの上限に収まるなら、RAGを作る前に全部を渡す方法を試す価値がある。
社内RAGで回答がずれる5つの原因
RAGの回答が外れるとき、原因はモデルだけでなく、その手前の工程にもある。
| 原因 | 起きること | 典型的な例 |
|---|---|---|
| 1. 文書そのもの | 古い版と新しい版が混在し、古いほうを根拠に答える | 改定前の規程が共有フォルダに残っている |
| 2. 分割 | 答えに必要な前提が別のチャンクに切り離される | 表の見出しと中身が別のチャンクになり、数字の意味が分からない |
| 3. 検索 | 正しい文書が上位の検索結果に入らない | 型番や略語での質問を、意味の検索だけで探している |
| 4. 渡し方 | 渡した資料の中ほどにある情報を見落とす | 検索結果を多く渡しすぎて、答えが埋もれる |
| 5. 生成 | 検索結果にない内容を補って答える | 「規程にはない」と答えるべき質問に、一般論で答える |
4つ目について、Liuらの研究「Lost in the Middle」(TACL、2024年)は、関連する情報が渡した文脈の先頭か末尾にあるときに精度が最も高く、中ほどにあると下がる傾向を報告している。検索結果を多く渡せば安心というわけではない。
なお、複数の文書をまたぐ関係や、「全部で何件か」のような集計を求める質問は、断片を探して返すRAGが苦手とする型である。こうした質問への対応は、ナレッジグラフの記事で扱っている。
RAGの精度の測り方
RAGの精度は、検索と回答に分けて測る。まとめて「正しく答えたか」だけを見ると、外れたときにどこを直せばよいかが分からない。
評価用の質問セットを作る
最初に、実際に寄せられる質問を集め、それぞれに、回答の根拠になる箇所(どの文書のどの部分か)と正解の回答を付けた評価用の質問セットを作る。問い合わせ履歴や、現場の担当者がよく受ける質問から選ぶとよい。「規程に書かれていない」ことが正解になる質問も入れておくと、根拠のない回答を見つけられる。
検索の評価
検索の評価では、回答に必要な箇所を含むチャンクが上位の検索結果に入っているかを測る。たとえば、根拠が文書の中にある質問について、上位5件に根拠の箇所が含まれる割合を出す。「規程に書かれていない」ことが正解の質問はこの母数から外し、回答の評価の側で、正しく「見つからない」と答えた割合として別に数える。文書単位で数えると、正しい規程集の関係ないページを拾っても成功に数えてしまうため、箇所の単位で確かめる。ここで落ちている質問は、生成のモデルを替えても直らない。
回答の評価
RAGの評価手法RAGAS(Esら、EACL 2024)は、回答が渡した文脈に忠実か(Faithfulness)、質問に答えているか(Answer Relevance)、渡した文脈が質問に必要な情報に絞られているか(Context Relevance)の3つの観点を示している。このうち3つ目は検索の側の観点である。回答の評価では、RAGASの前の2つに、正解の回答との照合を加えた次の3つを見るとよい(編集部の整理)。
| 観点 | 確かめること | 外れていたときに疑う場所 |
|---|---|---|
| 根拠への忠実さ | 回答の内容が、検索結果に書かれているか | 指示文、モデル |
| 質問への回答 | 聞かれたことに答えているか | 指示文、質問の言い換え |
| 正解との一致 | 正解の回答と内容が合っているか | 検索、渡す件数 |
主要なクラウドには評価の機能もある。AWSのAmazon Bedrockには、検索だけを評価する方式と、検索と生成をまとめて評価する方式がある。MicrosoftのFoundryには、回答が根拠に沿っているか(Groundedness)や、検索結果の順位の質を測る評価機能がある。どの道具を使う場合でも、評価用の質問セットは自社で作る必要がある。
行政の調達の資料にも、測り方が載っている。デジタル庁の「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」(2026年6月12日決定)は、調達チェックシートの対策例として、RAGを使う生成AIシステムでの十分な検索精度の確保と、出力と検索結果の関連性・一貫性のスコアの測定を挙げている。対策例への準拠は必須ではなく、必要なものを選んで調達仕様書に盛り込む位置づけである。
精度を上げる打ち手
評価で外れた場所が分かったら、その工程を直す。主な打ち手を工程ごとにまとめる。
| 工程 | 打ち手 | 効く場面 |
|---|---|---|
| 文書 | 古い版を除き、更新日や部署などの情報を付ける | 版の混在、部署ごとに異なる規程 |
| 分割 | 見出しや表の単位で分ける。各チャンクに文書名や章の情報を添える | 前提が切り離されて意味が通らない |
| 検索 | キーワード検索とベクトル検索を併用する(ハイブリッド検索) | 型番、略語、固有名詞での質問 |
| 並べ替え | リランクで上位の質を上げ、渡す件数を絞る | 関係の薄い結果が上位に混ざる |
| 生成 | 検索結果にないときは「見つからない」と答えさせ、出典を示させる | 根拠のない補足、一般論での回答 |
効果の大きさの例として、Anthropicの2024年の実験がある。各チャンクに文書全体の中での位置づけを短く添えてから埋め込みを作る方法(Contextual Retrieval)で、上位20件に必要な情報が入らない割合が5.7%から3.7%に下がった(35%減)。同じ工夫をキーワード検索にも使うと2.9%(49%減)、さらにリランクを組み合わせると1.9%(67%減)まで下がった。数字は当時のモデルとデータでの結果だが、分割と検索の工夫で検索の失敗を大きく減らせることを示している。
権限と安全の設計
社内RAGの重大なリスクの一つは、利用者が本来読めない文書の内容が回答に混ざることである。たとえば人事の評価資料が検索対象に入っていると、一般の社員の質問への回答に、その内容が引用されかねない。
対策の基本は、文書の閲覧権限を索引にも持たせ、検索の段階で利用者が読める文書だけに絞ることだ。MicrosoftのAzure AI Searchは、文書単位のアクセス制御として4つの方式を用意している。
- 正式提供されているのは、利用者やグループのIDで検索結果を絞るセキュリティフィルター
- 元のファイルの権限情報を取り込む方式(ストレージのACL、Microsoft Purviewの秘密度ラベル、SharePointの権限)は、2026年11月5日の確認ではプレビューの段階にある
同じドキュメントは注意点を2つ挙げている。元のシステムで権限を変えても、検索結果に反映されるのは索引へ同期した後になる。また、文書をチャンクに分ける場合は、各チャンクにも権限の情報を持たせないと、チャンク単位では絞り込まれない。
OWASPの「Top 10 for LLM Applications 2025」は、こうしたリスクを「Vector and Embedding Weaknesses(ベクトルと埋め込みの弱点)」としてまとめ、対策の最初に、細かいアクセス制御と、権限を考慮したベクトルストアを挙げている。OWASPは2026年8月に改訂版も公開した。デジタル庁のガイドラインも、RAG用のデータとデータストアへの参照権限を、利用者や役割に応じて適切に設定することを対策の例に挙げている。
もう1つの注意点は、検索した文書に書かれた指示にAIが従ってしまう問題である。Greshakeらの研究(2023年)は、検索されそうなデータに指示を仕込むことで、生成AIを使ったアプリの動きを外から操作できることを示した。社外のWebページや、誰でも書き込める社内Wikiを検索対象に入れる場合は、検索結果を「指示」ではなく「資料」として扱うよう、指示文と出力の確認で備える。
社内RAGの導入の進め方
ここまでを踏まえた進め方の例を示す。期間は、対象の文書が数千件程度の場合の目安である。
| 段階 | 期間の目安 | やること |
|---|---|---|
| 1. 対象を決める | 2週間 | 対象の業務と文書を1つに絞る。文書の量が少なければ、全部をプロンプトに入れる方法を先に試す |
| 2. 文書と権限を整える | 2〜4週間 | 古い版を除き、文書ごとの閲覧権限と更新日を整理する |
| 3. 評価用の質問セットを作る | 2週間 | 実際の質問を50〜100件集め、回答の根拠になる箇所と正解の回答を付ける |
| 4. 作って測る | 4〜6週間 | 検索と回答を分けて測り、外れた工程を直す。目標の値に届いたら一部の利用者に公開する |
| 5. 運用する | 継続 | 回答への評価と、答えられなかった質問を記録し、文書の追加と質問セットの更新を続ける |
FDXの支援
FDXはAX(AI Transformation)の実装パートナーとして、業務の分解から実装・現場定着・運用移管までを対応領域とする。社内RAGでは、検索の仕組みを作る前に、どの業務のどの文書を対象にし、誰に何を読ませてよいかを決めることを重視する。
- 1Day AIアセスメント:業務ごとにAIで代替できるかを判定し、データの所在とAIに渡してよい情報の区分を整理する
- 1Day FDE:FDE(Forward Deployed Engineer)が週1日常駐し、午前はツールの設定や自動化を現場の隣で実装し、午後は運用手順を現場に引き継ぐ
- FDX Tools:FDXが検証・実装してきたAI機能のカタログ
どの業務から社内RAGを始めるべきかを相談したい場合はお問い合わせから、まず自社の状況を確かめたい場合はAX診断からどうぞ。
よくある質問(FAQ)
Q1. RAGとは何か?
A. RAG(Retrieval-Augmented Generation、検索拡張生成)は、質問に関係する文書を検索し、その内容を根拠として生成AIに回答させる仕組みである。2020年のNeurIPSで発表されたLewisらの論文に由来する。文書を更新するたびにモデルを学習し直す必要はなく、索引に反映すれば回答に使える。
Q2. RAGとファインチューニングは何が違うのか?
A. RAGは回答のたびに文書を検索してモデルに渡す方法で、モデル自体を変えなくても使える。ファインチューニングはモデルを追加で学習させる方法である。両者は併用もできる。頻繁に更新される社内の知識を使わせるならRAG、回答の形式や口調、作業のやり方をそろえたいならファインチューニングが向く。
Q3. 社内RAGの精度はどう測るのか?
A. 検索と回答に分けて測る。実際の質問に、回答の根拠になる箇所と正解の回答を付けた評価用の質問セットを作り、検索では根拠の箇所を含むチャンクが上位に入っているか、回答では検索結果に忠実か、質問に答えているか、正解と合っているかを確かめる。検索で落ちている質問は、生成のモデルを替えても直らない。
Q4. RAGの精度が上がらないときは何から直すべきか?
A. まず、外れているのが検索か回答かを切り分ける。検索で落ちているなら、文書の版の整理、分割の単位、キーワード検索との併用、リランクを見直す。回答で外れているなら、検索結果にないときは「見つからない」と答えさせる指示や、渡す件数を見直す。
Q5. 社内RAGで情報漏えいを防ぐには?
A. 文書の閲覧権限を索引にも持たせ、検索の段階で利用者が読める文書だけに絞る。チャンクに分ける場合は、各チャンクにも権限の情報を持たせる。元のシステムで権限を変えたときに、索引への同期がいつ行われるかも確かめておく。
Q6. 文書が少ない場合もRAGは必要か?
A. 必要ないこともある。Anthropicは、知識ベースが20万トークン(約500ページ)より小さければ、RAGを使わずに全部をプロンプトに入れればよいとしている。ページ数は英語の文書での目安なので、日本語の文書は実際のトークン数で確かめる。利用者が閲覧できる文書に、指示文や質問、回答の分を足したトークン数がモデルの上限に収まるなら、まず全部を渡す方法を試し、量が増えてからRAGに移る判断もできる。
次に読むべき記事
- ナレッジグラフとは?作り方とAIに使わせる設計:RAGが苦手な、関係や集計を問う質問への対応
- Company Brain(カンパニーブレイン)とは?企業のAI知識基盤:RAGを含む全社の知識基盤の構想
- オントロジーとは?意味・ナレッジグラフとの違い・AIでの作り方:社内の用語と概念の整理
- MCPとは?MCPサーバーの仕組みと企業導入の権限設計:AIアプリを社内システムにつなぐ規格と権限
- AIガバナンスと実装セキュリティ|6つの制御点:権限・入力の信頼境界・監査ログの全社設計
まとめ
- RAG(検索拡張生成)は、質問に関係する文書を検索し、その内容を根拠に生成AIが回答する仕組みである
- 文書の更新のたびにモデルを学習させ直す必要はない。文書が少なければ、全部をプロンプトに入れる方法も選べる
- 回答のずれの多くは、文書、分割、検索、渡し方、生成のどこかで起きる
- 精度は検索と回答に分けて測る。評価用の質問セットは自社で作る
- 打ち手は外れた工程に合わせる。ハイブリッド検索、リランク、チャンクへの文脈の付与で検索の失敗を減らせる
- 権限は検索の段階で絞る。チャンクにも権限を持たせ、索引への同期の時期を確かめる
出典・参考文献
- Patrick Lewis ほか「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」(NeurIPS 2020)
- 総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(令和8年3月31日。推論におけるRAGの位置づけ。2026年11月5日確認)
- デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン」(DS-920、2026年6月12日決定。RAGの検索精度、関連性・一貫性のスコア、参照権限の設定。2026年11月5日確認)
- Anthropic「Introducing Contextual Retrieval」(2024年9月19日。検索の失敗率の改善と、20万トークン未満の知識ベースの扱い)
- OpenAI「Optimizing LLM accuracy」(RAGとファインチューニングの使い分け。2026年11月5日確認)
- Microsoft Learn「Hybrid Search Overview - Azure AI Search」(キーワード検索とベクトル検索の併用。2026年11月5日確認)
- Microsoft Learn「Document-Level Access Control - Azure AI Search」(文書単位のアクセス制御の4つの方式、権限の同期、チャンクへの権限の付与。2026年11月5日確認)
- AWS「Evaluate the performance of RAG sources using Amazon Bedrock evaluations」(検索のみの評価と、検索と生成の評価。2026年11月5日確認)
- Microsoft Learn「Retrieval-Augmented Generation (RAG) Evaluators for Generative AI」(Groundedness、文書検索の評価。2026年11月5日確認)
- Shahul Es ほか「RAGAs: Automated Evaluation of Retrieval Augmented Generation」(EACL 2024 System Demonstrations)
- Nelson F. Liu ほか「Lost in the Middle: How Language Models Use Long Contexts」(TACL、2024年)
- OWASP GenAI Security Project「LLM08:2025 Vector and Embedding Weaknesses」(2026年11月5日確認)
- OWASP GenAI Security Project「OWASP GenAI LLM Top 10 2026」(2026年8月3日)
- Kai Greshake ほか「Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection」(2023年)
※ 英語資料からの引用・要約は編集部による翻訳である。回答がずれる5つの原因、精度を上げる打ち手の表、導入の進め方の表は、公開情報とFDXの支援経験を踏まえた編集部の整理であり、特定の製品の機能を保証するものではない。各製品の機能と提供状況は変わるため、導入時に公式ドキュメントで確認されたい。