社内文書をAIエージェントで活かす｜RAGの肝は権限と出典
社内のマニュアルや規程をAIに読み込ませれば、社員の質問に答えてくれます。ただし、その答えが「見てよい人」にだけ返り、「どの文書に基づくか」を示せるかは、別の話です。
社内文書をAIエージェントで活かす仕組み「RAG」は、検索の精度だけでなく、誰にどの文書を根拠として返すか（権限）と、その答えがどの文書に基づくか（出典）を設計したときに、はじめて業務で使える仕組みになります。本記事は、RAGの仕組み、Microsoft 365 の標準機能と Azure 上の独自RAGの使い分け、そして権限と出典の設計を、Microsoftの公式情報をもとに実務目線で解説します。
「社内のマニュアルや過去の資料を、AIで探して答えられるようにしたい」というご相談を、複数の企業様からいただきます。本記事は「企業におけるAIエージェント活用の始め方」で紹介した「社内の知識と問い合わせに答える」使い方を、一歩踏み込んで解説する続編です。
目次
株式会社ロクシアシステムズは、福岡と東京を拠点に、全国のお客様へ Microsoft 365・Azure の導入支援と、AIの業務活用（AIプライベート）の支援を提供しているIT企業です。
RAGとは｜AIが社内文書を調べてから答える仕組み
RAG（Retrieval-Augmented Generation、検索拡張生成）とは、生成AIが回答をつくる前に、社内文書などの情報源から質問に関係する箇所を検索し、その内容を根拠に回答させる仕組みです。生成AIが学習済みの知識だけで答えるのに対し、RAGは「調べてから答える」ため、社内固有のルールや最新の手順に沿った回答ができます。
| 観点 | 生成AIだけで答える | RAGで答える |
|---|---|---|
| 答えの根拠 | モデルが学習した一般的な知識 | 検索で見つけた社内文書の該当箇所 |
| 社内固有の情報 | 知らない。もっともらしく推測してしまうことがある | 読み込ませた文書の範囲で答えられる |
| 情報の更新 | モデルが変わらない限り反映されない | 文書を更新し、索引に反映すれば答えに反映される |
| 根拠の確認 | どこから来た答えかを確かめにくい | どの文書に基づくかを出典として示せる |
RAGが得意なこと、不得意なこと
Microsoftは Copilot Studio におけるRAGの解説で、RAGが向いているのは事実を問う質問への回答や、規程・FAQの要約であり、文書全体の比較、規程への適合性の評価、長い文書にまたがる複雑な推論には向かないと説明しています。
- 得意な質問
「経費精算の締め日はいつか」「この設備の点検手順は」のように、答えが文書のどこかに書かれている質問 - 不得意な質問
「2つの契約書の違いをすべて挙げて」「この申請が社内規程に違反していないか判定して」のように、文書全体を突き合わせたり、判断を下したりする質問
RAGは万能ではありません。まず「どの文書で、どんな質問に答えさせたいか」を決めることが、導入の出発点になります。
RAGの仕組み｜取り込みから、出典付きの回答まで
社内文書のRAGは、文書を検索できる形にしておく「取り込み」と、質問に答える「回答」の2つの流れでできています。
1. 取り込み：文書を「探せる形」にして索引に入れる
SharePoint やファイルサーバーなどにある文書を読み込み、検索しやすい大きさの断片（チャンク）に分割し、意味の近さで検索できる形式（ベクトル）に変換して、索引（インデックス）に登録します。Azure AI Search では、この分割とベクトル化を取り込みの過程で自動的に行う「統合ベクター化」が使えます。このとき、文書ごとに「誰が見てよいか」の情報もあわせて持たせておくことが、後で説明する権限トリミングの前提になります。
2. 検索：質問に関係する箇所を探す
利用者の質問に対し、キーワードでの検索と意味の近さでの検索を同時に行い、結果を統合する「ハイブリッド検索」が一般的です。Azure AI Search では、上位の検索結果を意味の観点で並べ替える「セマンティックランカー」も使えます。文書と言い回しが違う質問でも、関係する箇所を拾いやすくなります。
3. 生成：見つけた箇所だけを根拠に答え、出典を示す
検索で見つかった箇所を生成AIに渡し、それだけを根拠に回答をつくらせます。回答には、どの文書に基づくかを出典として添えます。根拠が見つからないときは「分かりません」と答えさせるのが原則です。
なお、Microsoftは新しくRAGを実装する場合、生成AIが検索の計画を立てて複数の情報源を調べる「エージェント型検索（agentic retrieval）」から始めることを推奨しています。一方で、その機能の一部はプレビュー段階にあり、一般提供（GA）の機能だけで構成したい場合は、ハイブリッド検索とセマンティックランカーを組み合わせた従来型の構成が適するとしています。Azure AI Search は、Microsoft Foundry のナレッジ機能「Foundry IQ」の検索基盤でもあります。
Microsoft 365 Copilotで足りる場面、独自のRAGが要る場面
社内文書をAIで活かす方法は、Azure 上に独自のRAGを組むことだけではありません。Microsoft 365 Copilot（現 Microsoft Copilot）は、利用者が閲覧権限を持つ SharePoint・OneDrive・Teams・メールなどの情報を根拠に回答します。まず「いまある仕組みで足りるか」を確かめることが、遠回りに見えて近道です。
| 方法 | 向いている場面 | 権限の効き方 | 留意点 |
|---|---|---|---|
| Microsoft 365 Copilot | 文書が SharePoint・OneDrive・Teams・メールにあり、利用者が Copilot のライセンスを持っている | 利用者本人の閲覧権限の範囲でのみ根拠にする | 利用者ごとのライセンスが必要 |
| Microsoft 365 Copilot コネクタ | 社外のサービスや社内の別システムにある文書も、Copilot から探せるようにしたい | 取り込む項目ごとにアクセス権を設定できる | 件数を数える質問や、複数の条件を組み合わせた質問は苦手と公式に記載 |
| Copilot Studio のエージェント | 特定の業務に絞った問い合わせ窓口をつくりたい | SharePoint などは利用者の認証で検索し、権限の範囲に絞り込む | Copilot のライセンスを持たない利用者の利用は、利用量に応じた課金になる |
| Azure AI Search による独自のRAG | 検索の方式を調整したい、基幹システムのデータと組み合わせたい、自社のアプリや現場の端末に組み込みたい | アプリ側で権限トリミングを設計・実装する | 設計と運用の手間がかかる |
このほか、自社のアプリから Microsoft 365 上の文書をRAGに使いたい場合は、利用者の権限で絞り込んだ検索結果を返す「Microsoft 365 Copilot Retrieval API」という選択肢もあります。
そのうえで、次のような場面では、Microsoft 365 の標準機能だけでは届きにくくなります。
- 「この条件に当てはまる文書は何件あるか」「該当する文書を一覧にして」のように、件数・一覧・条件での絞り込みを求める質問
- Copilot のライセンスを持たない社員や現場の端末から、多くの人が使う場面
- 文書と、基幹システムのような構造化されたデータを組み合わせて答えたい場面
- 文書の分割の仕方や検索の方式を、実際の質問で評価しながら調整したい場面
前の2つは、SharePoint のナレッジやコネクタの検索での非対応事項、ライセンスを持たない利用者の課金として、Microsoftの公式情報に書かれている事実です。後の2つは、設計上の一般的な判断です。
肝①データ準備｜文書を「探せる形」に整える
RAGの答えの質は、検索の仕組みより先に、読み込ませる文書の状態で決まります。「企業におけるAIエージェント活用の始め方」でも触れたとおり、成否を分けるのはツールより「データの準備」です。
| よくある文書の状態 | 起きること | 手当て |
|---|---|---|
| 古い版と最新版が混在している | 古い手順を根拠に答えてしまう | 対象のフォルダーを最新版に絞り、版の管理ルールを決める |
| 見出しがなく、長い文章が続く | 分割した断片の意味が取りにくく、関係する箇所を拾い損ねる | 見出しを付ける。文書の構造を読み取って分割する |
| 紙やスキャン画像のPDFしかない | 文字が読めず、検索の対象にならない | AI-OCRで文字を読み取り、構造を整えてから取り込む |
| 表に大事な情報がある | 行と列の対応が崩れ、誤って伝わる | 表の構造を保ったまま読み取る |
| 誰が見てよいかが整理されていない | 権限トリミングの前提が作れない | 公開範囲を整理し、フォルダーやグループの単位をそろえる |
文書の分割について、Microsoftは512トークンの大きさと25%の重なりを出発点とし、実際の質問で評価しながら調整するよう示しています。Azure AI Search には、文書のレイアウトを読み取り、見出しの単位で分割する機能も用意されています。紙の帳票やスキャン画像の読み取りは「AI-OCRとは」で、文書や音声を構造的に整理する仕組みは「Azure Content Understanding とは」で解説しています。
肝②権限トリミング｜見てよい人にだけ根拠を返す
社内文書のRAGで最も注意すべきなのが権限です。人事評価や原価のように一部の人しか見てはいけない文書を索引に入れたとき、AIがそれを根拠に誰にでも答えてしまえば、仕組みそのものが情報漏洩の経路になります。質問した人が閲覧してよい文書だけを検索の対象にすることを「権限トリミング（セキュリティトリミング）」と呼びます。
権限の効き方は、どの方法でRAGを組むかによって異なります。公式情報で確認できる内容は次のとおりです。
| 構成 | 権限の効き方 |
|---|---|
| Microsoft 365 Copilot | 利用者が少なくとも閲覧権限を持つ情報だけを根拠にする |
| Copilot Studio × SharePoint・OneDrive | 利用者本人の認証で検索し、読み取り権限のある内容だけを返す |
| Copilot Studio × Azure AI Search | 接続が利用者の認証を引き継がないため、権限トリミングは行われない |
| Azure AI Search で独自に構築 | 文書にグループなどの情報を持たせ、検索時に絞り込む方式が一般提供。SharePoint などのアクセス権を取り込んで自動で絞り込む機能は、プレビュー段階 |
見落としやすい3つの点
- Copilot Studio から Azure AI Search を参照する構成
索引に入れた文書は、エージェントを使える全員に対して回答の根拠になり得ます。全員が見てよい文書だけを入れる、対象者ごとにエージェントと索引を分ける、といった設計が必要です。 - 絞り込みの情報は、本人確認ではない
Azure AI Search の一般提供の方式は、文書に持たせたグループ名などの文字列で絞り込むもので、それ自体が本人確認をするわけではありません。「この利用者はどのグループに属するか」を、アプリ側で正しく判定して渡す必要があります。 - 権限の変更は、すぐには反映されない
元の文書で権限を変えても、索引に反映されるのは取り込みが再実行された後です。異動や退職に伴う権限の変更を、どの間隔で反映するかを決めておきます。
エージェントが「利用者の権限」で動くのか「エージェント自身の権限」で動くのかという、もう一段深い権限の設計は「AIエージェントに「権限」をどう与え、統制するか」で、秘密度ラベルなどによる情報保護は「Microsoft Purviewで情報漏洩と内部不正を止める」で解説しています。
この章の要点
- 権限の効き方は構成によって違う。「Microsoftの製品で作ったから、権限は守られる」とは限らない
- 全員に見せてよい文書と、限られた人だけの文書は、索引をつくる段階から分けて考える
- 権限の変更が索引に反映されるまでの時間差を、運用で手当てする
肝③出典と、「分からない」と答えさせる設計
生成AIは、根拠が足りないときでも、もっともらしい答えをつくってしまうことがあります（ハルシネーション）。RAGはこれを減らすための仕組みですが、設計をしなければ防げません。
出典を必ず示す
回答には、根拠にした文書の名前や該当箇所へのリンクを添えます。利用者が元の文書で確かめられることが、AIの答えを業務で使うための前提です。Copilot Studio では回答に引用が付き、Azure AI Search で独自に組む場合も、出典を返せるよう索引とアプリを設計します。
根拠がなければ「分からない」と答えさせる
Microsoftは、取得した情報だけを事実の根拠とし、情報が足りなければ「提供された情報源からは見つからない」と答え、情報源にない事実を付け加えないよう、システムメッセージで指示する例を示しています。Copilot Studio にも、ナレッジに基づかない回答を抑える設定があります。ただし公式情報でも、この設定で一般的な知識の利用を完全に防げるとは保証されていません。
実際の質問で評価し続ける
設定だけに頼らず、想定される質問と正しい答え、その根拠の文書をまとめた「評価用の質問集」を用意し、回答と出典が正しいかを定期的に確かめます。文書の追加や改訂のたびに評価し直すことで、答えの質を保てます。
よくある失敗
| 失敗 | 起きること | 避け方 |
|---|---|---|
| 社内の文書を丸ごと読み込ませる | 古い版や無関係な文書が根拠になり、答えがぶれる | 対象の業務と文書を絞って始める |
| 権限を考えずに索引をつくる | 見てはいけない人に、文書の中身を答えてしまう | 構成ごとに権限の効き方を確かめ、索引の段階で分ける |
| 出典を示さない | 利用者が答えを確かめられず、使われなくなる | 出典の表示を必須にする |
| つくって終わりにする | 文書の更新とともに、答えの質が落ちていく | 評価用の質問集で定期的に確かめる |
| 提供終了が決まった方式で新しくつくる | 近いうちに移行の手間が発生する | 最新の公式情報で提供状況を確かめる |
最後の点は、たとえば Azure OpenAI の「On Your Data」が当てはまります。Microsoftは2026年10月14日での提供終了を案内しており、移行先として Foundry Agent Service と Foundry IQ を示しています。
弊社の支援｜権限と出典を前提に、社内文書のRAGを設計する
弊社は、Microsoft 365 と Azure の導入支援の知見をもとに、社内文書をAIエージェントで活かす仕組みを、お客様の環境と業務に合わせて設計・構築しています。
- いまある仕組みで足りるかの見極め
Microsoft 365 Copilot や Copilot Studio で足りる場面では、独自のRAGを無理に組むことはおすすめしません。文書の置き場所、使う人、質問の型から、適した方法をご提案します。 - 権限と出典を前提にした設計
選ぶ構成で権限がどう効くかを確かめ、見てよい人にだけ根拠を返す設計と、出典を必ず示す回答の設計を行います。 - お客様専用の環境で構築
独自のRAGが適する場合は、お客様専用の Azure 環境に、東日本（Japan East）リージョンを基本として構築します。生成AIの処理場所は、お客様のデータの取り扱い要件に合わせて選定します。 - 自社のAzure環境での技術検証
弊社は自社の Azure 環境（東日本リージョン）に、Azure AI Search の統合ベクター化による索引を構築し、Microsoft 365 の外にあるデータを想定した合成データで、文書と言い回しが重ならない質問でも関係する文書を上位に取得できることを確認しています。
また、お客様専用のセキュアなAI基盤SaaSサービス「AIプライベート」の一つである「AI-Enhanceプライベート」も、お客様の業務ノウハウや過去の実績をAIが読み込み、計画づくりに活かす仕組みです。AIエージェントの導入支援は「AIエージェント導入支援（Copilot Studio）」を、実際の文書で試したい場合は「無料トライアル」をご覧ください。
導入の進め方｜小さく始めて、評価しながら広げる
- 対象の業務と文書を決める
社内規程、設備の手順書、ITの問い合わせなど、質問の多い業務から対象の文書を絞ります。 - 想定の質問と正しい答えを集める
現場で実際に出ている質問と、正しい答え、その根拠の文書を集め、評価用の質問集にします。 - 方法と権限の設計を決める
Microsoft 365 の標準機能で足りるか、独自のRAGが要るかを判断し、選ぶ構成での権限の効き方を確かめます。 - 無料トライアルで確かめる
限られた文書と利用者で動かし、答えと出典の正しさを評価用の質問集で確かめます。 - 対象を広げる
評価の結果を見ながら文書と利用者を段階的に広げ、定期的な評価を運用に組み込みます。
よくあるご質問
こちらをクリックして「よくある質問」を表示
Microsoft 365 Copilot を導入していれば、独自のRAGは不要ですか？
文書が SharePoint や OneDrive などにあり、利用者が Copilot のライセンスを持っている場合は、まず Copilot で足りるかを確かめることをおすすめします。件数や条件で絞り込む質問、ライセンスを持たない多くの利用者、基幹システムのデータとの組み合わせ、自社のアプリへの組み込みなどが必要な場合に、独自のRAGを検討します。
AIが、見てはいけない文書の内容を答えてしまうことはありませんか？
構成によります。Microsoft 365 Copilot や、Copilot Studio から SharePoint を参照する場合は、利用者の権限の範囲で根拠が絞り込まれます。一方、Copilot Studio から Azure AI Search を参照する構成では権限トリミングが行われないため、索引に入れる文書の範囲を設計で決める必要があります。導入の前に、選ぶ構成で権限がどう効くかを確かめることが大切です。
社内文書が、生成AIの学習に使われることはありますか？
Microsoftは、Microsoft 365 Copilot のプロンプトや応答、Microsoft Graph 経由でアクセスされるデータを、基盤となる大規模言語モデルの学習に使わないと公表しています。Microsoft Foundry で提供される Azure OpenAI のモデルについても、プロンプト、生成結果、埋め込みを、お客様の許可や指示なく基盤モデルの学習に使わないとしています。
回答の精度はどのくらいですか？
一律の数値はお示しできません。答えの質は、文書の状態、分割の仕方、検索の方式、質問の型によって大きく変わります。弊社では、お客様の実際の文書と想定の質問で評価用の質問集をつくり、答えと出典の正しさを確かめてから、導入をご判断いただいています。
紙の文書やスキャンしたPDFも使えますか？
使えます。ただし画像のままでは文字を検索できないため、AI-OCRで文字を読み取り、見出しや表の構造を整えてから取り込みます。読み取りの誤りはそのまま答えの誤りにつながるため、重要な文書は読み取り結果を確認する工程も設けます。
SharePoint のアクセス権を、Azure AI Search にそのまま引き継げますか？
Azure AI Search には、SharePoint のアクセス権を取り込み、検索時に自動で絞り込む機能がありますが、現時点ではプレビュー段階です。一般提供の範囲で構成する場合は、文書にグループの情報を持たせ、アプリ側で利用者のグループを判定して絞り込む方式を採ります。どちらの場合も、権限の変更が索引に反映されるまでの時間差に注意が必要です。
社内文書をAIで活かす方法の選び方や、権限・出典の設計のご相談は、お問い合わせよりお気軽にご連絡ください。いまお使いの環境と文書を拝見したうえで、標準機能で足りる範囲と、独自の仕組みが必要な範囲を率直にお伝えします。
参考（一次情報）：Microsoft Learn の Azure AI Search に関する解説（RAGの概要とエージェント型検索、ハイブリッド検索、セマンティックランカー、文書単位のアクセス制御、文書の分割）／Copilot Studio に関する解説（RAGのガイダンス、ナレッジと権限）／Microsoft 365 Copilot に関する解説（データ・プライバシーとセキュリティ、Copilot コネクタ、Retrieval API）／Azure OpenAI に関する解説（データの取り扱い、安全なシステムメッセージの例、On Your Data の提供終了）
関連サービス・関連コラム
- 関連サービス：AIエージェント導入支援（Copilot Studio）
- 関連サービス：AI-Enhanceプライベート
- 関連サービス：Microsoft 365 導入支援
- 関連コラム：企業におけるAIエージェント活用の始め方
- 関連コラム：AIエージェントに「権限」をどう与え、統制するか
- 関連コラム：Microsoft Purviewで情報漏洩と内部不正を止める
- 関連コラム：増える社内『シャドーAI』を統制する
- 関連コラム：Azure Content Understanding とは
- 関連コラム：Azure内で利用可能なAIモデルの進化
- 資料ダウンロード：企業におけるAIエージェント活用の始め方
まずは無料トライアルで、効果をご確認ください
「AIプライベート」は短期・低コストで試せます。帳票入力（AI-OCR）や電話受注（AI-Voice）の自動化、Azure/Microsoft 365・DXのご相談まで、お気軽にどうぞ。
