社内AIが改定前の規程や古いマニュアルを参照する原因を整理。文書の版・適用日・責任者、検索データの更新、受入テストから、使い続けられるナレッジ管理の進め方を解説します。
社内AIの回答が古いとき、最初に確認すること
社内AIに質問すると、改定前の申請ルールや、すでに廃止した商品の説明が返ってくる。こうした問題では、AIモデルを変更する前に「どの文書を根拠に答えたか」を確認します。元の資料が古いのか、検索用データの更新が遅れているのか、取得した資料を回答へ正しく反映できていないのかで、改善する場所が変わるためです。
RAGは、関連する資料を検索して、その内容を生成AIの回答に利用する仕組みです。Google Cloudの解説でも、回答の質には適切な根拠を取得することが重要とされています。RAGを導入しただけで、社内の資料が自動的に整理され、常に最新版だけを参照できるわけではありません。
まずは、業務でよく使う質問を少数選び、質問文、回答、参照文書、文書の版、回答時刻を記録します。「間違っている」という報告を、調査できる情報へ変えるところから始めましょう。
更新日だけでなく、適用日と文書の責任者を持つ
ファイルの更新日時が新しいことと、その内容が現在の業務に適用されることは別です。たとえば、来月から有効になる規程を今日アップロードした場合、今日の申請に使うルールと、来月の申請に使うルールを区別する必要があります。これは説明のための架空の例ですが、料金表や製品仕様でも同じ問題が起こります。
文書台帳には、少なくとも次の情報を整理します。項目を増やすだけでなく、誰が入力し、変更を承認するかまで決めることが大切です。
- 文書IDと版番号：ファイル名が変わっても同じ資料を追跡する
- 適用開始日・終了日：いつの業務に使える内容かを示す
- 状態：下書き、承認済み、公開中、廃止を区別する
- 責任者：内容の正しさと改定を判断する担当を定める
- 閲覧範囲：部署や役割に応じた参照条件を記録する
過去の問い合わせを調べるために旧版を保存する場合も、現在の案内に使う資料とは検索条件を分けます。単純に旧ファイルをすべて削除する方法では、履歴の確認が難しくなります。
元資料・検索データ・回答の更新を分けて確認する
文書管理フォルダに新しい資料を置いても、検索サービスへの反映が完了しているとは限りません。資料を分割したデータや検索インデックスを別に管理する構成では、追加・変更・削除の反映を確認します。MicrosoftのAzure AI Search公式資料でも、元データの変更とインデックスの同期、文書単位の更新や削除が扱われています。
ここから先は、製品に依存しない運用設計の提案です。文書ID、元資料の版、取込処理の結果、検索可能になった時刻を対応付けて記録すると、どの段階で止まったかを調べやすくなります。取込処理の「成功件数」だけで完了とせず、実際の質問で新しい根拠が取得されることまで確認します。
- 変更：新版を取り込んだ後、旧版の断片が現在の検索結果に残らないか
- 削除・廃止：元資料だけでなく検索用データにも反映されるか
- 権限変更：検索と回答の両方で、新しい閲覧条件が適用されるか
- 障害：更新に失敗したとき、担当者へ通知して再実行できるか
回答を再利用するキャッシュを設けている場合は、その更新条件も確認します。重要な規程の改定では、未確認の古い内容を回答し続けるより、更新確認中と案内して人の窓口へつなぐ運用も検討します。
受入テストは「最新版で答えたか」まで見る
開発を依頼するときは、画面の動作確認に加え、文書が変わったときの試験を発注範囲へ含めます。反映時間の許容値は一律に決めず、業務への影響と更新頻度から合意します。日々変わる手順書と、年に一度見直す案内では、必要な運用が異なります。
- 改定前後で同じ質問をし、回答内容と引用先の版を照合する
- 将来適用の資料を登録し、現在と将来の質問を区別できるか試す
- 同名の旧資料が残る状態で、誤った根拠を選ばないか確認する
- 取込失敗を起こし、通知・再実行・再確認まで担当者が実施する
- 廃止や閲覧範囲の変更が、検索結果にも反映されるか試す
判定では、文章が自然かだけでなく、正しい根拠が取得されたか、適用日を取り違えていないか、根拠がない場合に回答を控えられるかを見ます。テストは架空の資料で作り、変更のたびに繰り返せる形で残します。
よくある質問と、相談前に用意する情報
Q. AIモデルを高性能なものに変えれば直りますか？古い資料しか取得できない状態では、モデルの変更だけで解決するとは限りません。元資料、検索、回答生成を分けて原因を確認します。
Q. 最初から全社の文書を整理する必要がありますか？まずは一つの業務と、責任者が分かる資料に範囲を絞る方法があります。問い合わせが多い質問、現在の正本、改定頻度、更新が遅れた場合の影響を共有すると、必要な開発と運用を整理できます。
RAGの基本は社内文書AIの導入前に整理したいこと、閲覧条件の確認は社内文書AIの権限テストもご覧ください。文書の取込・検索・更新運用まで含めた検証は、For fのAI・データ分析支援でご相談いただけます。
参考資料：Google Cloud：What is Retrieval-Augmented Generation (RAG)?／Microsoft Learn：Update or rebuild an index in Azure AI Search。2026年10月23日確認。