今回は Copilot Studioを使ったRAG（Retrieval-Augmented Generation）で、SharePointナレッジを使った際の精度検証を行い、その結果をまとめたレポートを公開します。
※この検証は2025年8月～9月時点のCopilot Studioを使っています。
※検証条件、Copilot Studioの仕様変更等により、結果が変化する可能性があります。詳細な検証内容は、pdfのレポートをご確認ください。
ファイルアップロードの精度検証は、以下の記事をご参考ください。
【2025年8月】Copilot Studioを使ったRAGを実現する際のナレッジ登録方法の違いによる精度検証レポート
今回は Copilot Studioを使ったRAG（Retrieval-Augmented Generation）の精度検証 を行い、...
Contents
背景
Copilot Studioを使ってSharePointの社内ナレッジを活用する際、以下のような点が不明瞭でした。
- SharePointファイルで、ファイルアップロードと同程度の回答精度が得られるか
- 指示文やナレッジの説明文のベストプラクティス
- 複数SharePointファイルをナレッジ登録する際の、適切なナレッジ登録方法
そこで今回、サンプルナレッジと想定質問を用意し、形式や登録方法ごとの精度を比較しました。
検証内容と主な結果
１．SharePointファイル vs ファイルアップロード
- （結論）定期的な更新がないファイルの場合、ファイルアップロードでナレッジ登録するのがよい。
- （結果）ファイルアップロードに比べ、SharePointファイルをナレッジとした場合、回答精度の有意な低下がみられた。
- （考察）おそらく、ファイルアップロードに比べ、SharePointファイルをナレッジとした場合は、インデックス化の精度が低いと思われる。
２．指示文やナレッジ説明文のベストプラクティス
- （結論）SharePointファイルナレッジの場合、指示文をできる限りシンプルに、短くし、回答が得られない場合の分岐なども実装した方が良い。
- （結果）SharePointファイルをナレッジとした場合、指示文を短くシンプルにすると、回答率（回答を生成してくれる確率）が向上した。
- （考察）指示文が複雑で、制限を厳しく記載すると、根拠がやや曖昧な回答が生成された際にブロックされ、最終的な回答が得られない確率が高まると思われる。
３．複数ファイルの適切なナレッジ登録方法
- （結論）複数の関連ファイルをナレッジ登録して質問したい場合、1つのSharePointフォルダにファイルを格納し、SharePointフォルダを1つのナレッジとして登録するのが効率的である。
- （結果）SharePointの複数の関連ファイルをナレッジ登録する場合、1ファイルずつ個別に登録した場合と、1つのSharePointフォルダで登録した場合で、回答精度に有意差は出なかった。
- （考察）SharePointファイルを個別にナレッジ登録する場合と、SharePointフォルダで登録する場合で、インデックス化の精度に有意な違いはない。
ただし、ファイル数やページ数が増えた場合に変化する可能性がある。
公開資料
今回の検証の詳細な資料を公開しています。
組織内での精度検証等に役立てていただければと思います。
今後の課題
今後、以下の検証をしていきたい。
- 大規模ナレッジでの検証：
今回検証で使ったナレッジは、ページ数もファイル数も少なったが、さらに規模の大きいナレッジとなった場合に、同様の結果が得られるか。 - Copilot Studio構築のベストプラクティスの検証：
特に規模の大きいナレッジを対象とした場合、ナレッジの登録方法、トピックやエージェントの分け方等を含めたCopilot Studio構築のベストプラクティスを探る。
