Copilot StudioへSharePointを追加しても回答が出ない場合、最初に「文書が存在する」「利用者が検索できる」「agentがそのsourceを使う」「内容を回答へ使える」を分けます。Knowledge画面のReadyだけでは、特定の利用者の質問へ根拠が返ることまで保証しません。
本稿はSharePoint knowledgeの診断手順です。tenantへの接続、検索実行、再index、scope・共有・暗号化・agent設定の変更は実施していません。比較する文書や質問は架空の設計例で、回答成功を実測した記事ではありません。
目次
agentと質問、sourceの種類を固定する
agent ID、environment、公開バージョン、質問したuserとchannel、source URL、文書IDを記録します。agent-level knowledgeか、topicのgenerative answers nodeか、site URL・list等のどの方式かを確認します。別の環境や同名agentのテストを比較しないようにします。
表は横にスクロールできます
| 確認したい層 | 証拠 | まだ断定しないこと |
|---|---|---|
| 原資料 | 現行文書の場所と内容 | indexへ反映済み |
| 利用者の検索 | 同一userの検索結果 | makerなら全員使える |
| source選択 | agent/node設定とfilter | 追加した全sourceを毎回使う |
| 内容の利用 | 形式・保護・対象条件 | Readyなら本文抽出可能 |
| 回答 | 引用と実際の主張 | 何か返れば正しい |
公式troubleshooting(新しいタブで開く)は、検索、権限、保護、認証設定、ファイル条件、filter、moderationを別の原因として挙げています。最初からscopeや全文書の権限を広げず、一つの検証文書と質問に絞って確認します。
同じ利用者が原資料を開け、検索できるかを見る
利用者が文書の正確なpathを開けるかを確認し、その文書に固有の語でSharePoint検索に現れるかを比べます。makerのaccountでは見えるが、利用者では見えない場合、同じ検索条件の比較になっていません。外部・guestの条件も別に扱います。
公開直後や移動直後なら、検索indexやsource linkの時系列を確認します。rename前のURLを参照していないかも見ます。index未反映の疑いがあっても、管理者へ確認せずsite全体の再indexや大量移動を繰り返しません。文書のバージョン、更新時刻、検索結果を対応させます。
SharePoint knowledgeの公式説明(新しいタブで開く)は、利用者に許可された内容だけを返し、権限不足がno responseとして現れることを説明しています。errorがないことを、権限が十分な証拠にしないようにします。
source選択と、実際のfilter値を確認する
agent-levelのsource filterと、topic側のSearch only selected sourcesを別々に読みます。対象sourceがそのnodeで選ばれているか、Title・Author・更新日等の条件で外れていないか、変数が想定した値へ解決されるかを確認します。画面に表示された変数名だけでは、実行時の値は分かりません。
無関係な文書まで返るようにfilterをすべて外す方法では、必要な業務範囲を保てません。元の条件、期待する対象、対象外にしたい文書を記録し、検証環境で最小の差分だけを確認します。対象外や権限外の質問に答えないことも受入条件にします。
ファイル形式・保護・認証方式を分ける
ファイルを人が開けても、agentが本文を抽出できる条件とは限りません。形式、page構成、サイズ、利用license・検索方式による上限を、該当する公式source方式で確認します。upload ファイルの上限をSharePoint経由の上限へ流用しません。
暗号化付きlabel、DKE、password保護などの文書では、一覧がReadyでも回答根拠に使えない場合があります。保護を外して解決するのではなく、対象の保護条件を管理者へ伝えます。公開してよい代替資料を作る場合も、原資料の共有・保護を引き継ぐ必要を別に判断します。
表は横にスクロールできます
| 観察 | 次に確認 | 避ける対応 |
|---|---|---|
| 利用者だけ検索不可 | 原資料の権限とindex | 全員へ読取付与 |
| 特定ファイルだけ無回答 | 形式・保護・上限 | 暗号化を一括解除 |
| 特定nodeだけ無回答 | source選択とfilter | agentを再作成 |
| channelだけ失敗 | user認証と対応channel | 認証なしへ変更 |
| errorなく無回答 | telemetryと選択経路 | 不明な答えを補完 |
認証設定では、利用方式に必要なapp registration、scope、同意と、利用者のresource権限を区別します。restricted search等のtenant方針が関係する場合も、scopeを足して回避できると考えません。必要な設定と拒否された層を管理者が確認できる形にします。
回答の有無だけでなく、引用と対象外を検証する
許可された検証では、一つの非機密文書に根拠がある質問、根拠がない質問、権限が異なるuser、対象外文書を分けます。回答が出た場合は、引用が実際の文書・バージョンへ対応し、主張を支えているかを読みます。一般知識の回答を、SharePoint取得成功と数えません。
無回答が続く場合は、source選択、検索結果、認証状態、保護条件を一層ずつ記録します。moderation等は利用できるtelemetryで確認し、全logや文書内容を外部supportへ丸ごと送らず、agent/conversation IDと安全な再現条件を渡します。
変更前のsource URLとfilter、認証方式を残し、失敗した差分だけを戻せるようにします。完了記録には、取得できた根拠、利用user/channel、対象外にした範囲、未確認のファイル条件を残します。無回答を文章生成で埋めず、どの境界で止まるかを説明できる状態にします。
