Copilot StudioのSharePointナレッジが回答しないときの切り分け

Copilot StudioのSharePoint無回答を検索・user権限・source選択・保護・認証の層に分け、根拠を確認して復旧します。

AIものさし編集部

Copilot StudioへSharePointを追加しても回答が出ない場合、最初に「文書が存在する」「利用者が検索できる」「agentがそのsourceを使う」「内容を回答へ使える」を分けます。Knowledge画面のReadyだけでは、特定の利用者の質問へ根拠が返ることまで保証しません。

本稿はSharePoint knowledgeの診断手順です。tenantへの接続、検索実行、再index、scope・共有・暗号化・agent設定の変更は実施していません。比較する文書や質問は架空の設計例で、回答成功を実測した記事ではありません。

agentと質問、sourceの種類を固定する

agent ID、environment、公開バージョン、質問したuserとchannel、source URL、文書IDを記録します。agent-level knowledgeか、topicのgenerative answers nodeか、site URL・list等のどの方式かを確認します。別の環境や同名agentのテストを比較しないようにします。

表は横にスクロールできます

確認したい層証拠まだ断定しないこと
原資料現行文書の場所と内容indexへ反映済み
利用者の検索同一userの検索結果makerなら全員使える
source選択agent/node設定とfilter追加した全sourceを毎回使う
内容の利用形式・保護・対象条件Readyなら本文抽出可能
回答引用と実際の主張何か返れば正しい

公式troubleshooting(新しいタブで開く)は、検索、権限、保護、認証設定、ファイル条件、filter、moderationを別の原因として挙げています。最初からscopeや全文書の権限を広げず、一つの検証文書と質問に絞って確認します。

同じ利用者が原資料を開け、検索できるかを見る

利用者が文書の正確なpathを開けるかを確認し、その文書に固有の語でSharePoint検索に現れるかを比べます。makerのaccountでは見えるが、利用者では見えない場合、同じ検索条件の比較になっていません。外部・guestの条件も別に扱います。

公開直後や移動直後なら、検索indexやsource linkの時系列を確認します。rename前のURLを参照していないかも見ます。index未反映の疑いがあっても、管理者へ確認せずsite全体の再indexや大量移動を繰り返しません。文書のバージョン、更新時刻、検索結果を対応させます。

SharePoint knowledgeの公式説明(新しいタブで開く)は、利用者に許可された内容だけを返し、権限不足がno responseとして現れることを説明しています。errorがないことを、権限が十分な証拠にしないようにします。

source選択と、実際のfilter値を確認する

agent-levelのsource filterと、topic側のSearch only selected sourcesを別々に読みます。対象sourceがそのnodeで選ばれているか、Title・Author・更新日等の条件で外れていないか、変数が想定した値へ解決されるかを確認します。画面に表示された変数名だけでは、実行時の値は分かりません。

無関係な文書まで返るようにfilterをすべて外す方法では、必要な業務範囲を保てません。元の条件、期待する対象、対象外にしたい文書を記録し、検証環境で最小の差分だけを確認します。対象外や権限外の質問に答えないことも受入条件にします。

ファイル形式・保護・認証方式を分ける

ファイルを人が開けても、agentが本文を抽出できる条件とは限りません。形式、page構成、サイズ、利用license・検索方式による上限を、該当する公式source方式で確認します。upload ファイルの上限をSharePoint経由の上限へ流用しません。

暗号化付きlabel、DKE、password保護などの文書では、一覧がReadyでも回答根拠に使えない場合があります。保護を外して解決するのではなく、対象の保護条件を管理者へ伝えます。公開してよい代替資料を作る場合も、原資料の共有・保護を引き継ぐ必要を別に判断します。

表は横にスクロールできます

観察次に確認避ける対応
利用者だけ検索不可原資料の権限とindex全員へ読取付与
特定ファイルだけ無回答形式・保護・上限暗号化を一括解除
特定nodeだけ無回答source選択とfilteragentを再作成
channelだけ失敗user認証と対応channel認証なしへ変更
errorなく無回答telemetryと選択経路不明な答えを補完

認証設定では、利用方式に必要なapp registration、scope、同意と、利用者のresource権限を区別します。restricted search等のtenant方針が関係する場合も、scopeを足して回避できると考えません。必要な設定と拒否された層を管理者が確認できる形にします。

回答の有無だけでなく、引用と対象外を検証する

許可された検証では、一つの非機密文書に根拠がある質問、根拠がない質問、権限が異なるuser、対象外文書を分けます。回答が出た場合は、引用が実際の文書・バージョンへ対応し、主張を支えているかを読みます。一般知識の回答を、SharePoint取得成功と数えません。

無回答が続く場合は、source選択、検索結果、認証状態、保護条件を一層ずつ記録します。moderation等は利用できるtelemetryで確認し、全logや文書内容を外部supportへ丸ごと送らず、agent/conversation IDと安全な再現条件を渡します。

変更前のsource URLとfilter、認証方式を残し、失敗した差分だけを戻せるようにします。完了記録には、取得できた根拠、利用user/channel、対象外にした範囲、未確認のファイル条件を残します。無回答を文章生成で埋めず、どの境界で止まるかを説明できる状態にします。