社内FAQボット誤答率23%を放置しないために非技術者でも週5分でできるAI精度チェック術

社内FAQボットが誤答率23%のまま3ヶ月稼働し続けた実例をもとに、AI専任ゼロの中小企業でも非技術担当者が週1回・5分で誤答を検出できる具体的な確認手順を解説します。

TL;DR

• AIが「正常稼働中」のログを出しながら、実際の回答は23%が誤答だった事例が存在する。ログ上の成功≠正しい出力。
• 非技術担当者でも週1回・5分の「抜き打き正答率チェック」で誤答傾向を早期発見できる。
• チェックシートを10問用意し、正答率80%を割ったら即エスカレーション、という運用ルールを先に決めておくことが鍵。

---

ある中小企業で起きた「見えない誤答」の実態

従業員40名の製造業A社（仮名）は、2024年初頭に社内向けFAQボットを導入しました。就業規則・経費精算・有休申請の手順など約120問をAIに学習させ、月額費用は約2万8,000円。「HR担当1名の問い合わせ対応を週5時間削減できた」と導入3ヶ月後に社内報告が上がりました。

ところが同時期、現場から「ボットに聞いたら交通費の上限が1万円って言われたけど、本当に合ってる？」という声が経営層に届きます。実際の規定は1万5,000円。担当者が全回答を抜き打ちで確認したところ、120問中28問（誤答率23.3%）で間違った内容を回答していたことが判明しました。

しかもボットの管理画面には「応答成功率99.8%」と表示されていました。

---

なぜ「ログ上の成功」は信用できないのか

「応答成功率」とは、AIがエラーを出さずに文章を返せたかどうかの指標です（技術用語でいう「APIの正常応答率」）。内容が正しいかどうかとは無関係です。

A社のケースで起きていたことを整理すると：

| 管理画面の表示 | 実態 |

|---|---|

| 応答成功率 99.8% | 文章としての出力は正常 |

| ユーザー満足度 ★4.1 | 誤答に気づかず「ありがとう」と送っていた |

| 誤答率 （計測なし）| 実測すると 23.3% |

「AIが自信満々に間違える」のは仕様上の特性です。AIは確信度の高低にかかわらず、流暢な文章で回答を返します。従業員が「断言してくれた」と信じてしまうのは自然な反応です。これを社内で検出するには、人間による定期的な正解確認が唯一の方法です。

---

週1回・5分でできる「抜き打き正答率チェック」の手順

以下は、A社が誤答発覚後に導入した運用手順を汎用化したものです。AI専任担当者がいなくても実施できます。

ステップ1：「正解チェックシート」を先に作る（初回のみ・約60分）

FAQの質問リストから、答えが一意に決まる質問を10〜15問選びます。選定基準は以下の3つ：

1. 社内規定など「正解が文書で確認できる」もの

2. 数字や固有名詞が含まれるもの（「交通費の上限はいくらですか」など）

3. 過去に問い合わせが多かったもの（ログがあれば参照）

選んだ質問と、その正解を記載したスプレッドシートを作成します。これが正解チェックシートです。作成は初回のみ。規定改定時に更新する運用にします。

ステップ2：週1回、ランダムに5問を選んでボットに質問する（約3分）

毎週決まった曜日（例：月曜朝）に、チェックシートから5問をランダムに選び、実際にボットへ質問します。ランダム性が重要で、「いつも同じ5問」では偏りが出ます。簡単な方法は、スプレッドシートの乱数関数（=RAND()）で並べ替えて上位5問を取ることです。

ステップ3：回答を正解と照合し、正答率を記録する（約2分）

ボットの回答を正解と突き合わせ、合否をチェックシートに記録します。判定基準はシンプルに：

• 数字・固有名詞が一致している → ○
• 数字・固有名詞が異なる、または「わかりません」と回答 → ×
• 回答が曖昧で判断できない → △（要確認フラグ）

5問中何問正解かを記録し、正答率（正解数÷5×100）を毎週同じシートに積み上げます。

ステップ4：正答率80%を割ったらエスカレーション（即日対応）

5問中4問正解（正答率80%）を維持基準とします。80%を下回った週は、その週のうちにFAQボットの提供ベンダーまたは社内の導入担当者に連絡し、原因確認を依頼します。

エスカレーションの基準は事前に文書で決めておくことが重要です。「誰が・何を・いつまでに確認するか」が曖昧だと、異常に気づいても動けません。

---

運用コストの試算

このチェック作業にかかる実コストを概算すると：

• 担当者の作業時間：週5分 × 月4回 ＝ 月20分
• 時給換算（時給2,000円想定）：月約660円
• 初回チェックシート作成：60分 ＝ 約2,000円（一度きり）

対してA社が誤答放置で被ったリスクを後から試算したところ、交通費誤案内によって3ヶ月間で約18名が誤った上限額で申請していた可能性があり、差額の精算処理と従業員への告知対応に担当者が延べ4時間を要しました（時給換算で約8,000円相当）。

月660円の確認コストで、こうした事後対応を防げる可能性があります。

---

よくある落とし穴と回避法

「正解が変わったときにシートを更新し忘れる」

規定改定のたびにチェックシートも更新するよう、規定改定フローの中に「FAQチェックシート更新」を手順として明記しておきます。

「担当者が変わると誰もやらなくなる」

Googleスプレッドシートで共有し、週次の記録が途切れたら翌週のミーティングで確認する習慣をつけます。属人化防止のため、担当者は1人ではなく「主担当＋副担当」の2名体制が望ましいです。

「AIが学習・更新されて突然回答が変わる」

ベンダーがモデルを更新した直後は正答率が変動しやすいため、更新通知が来たら翌日に臨時チェックを行うルールを追加しておくと安心です。

---

まとめ：「動いている」と「正しく動いている」は別の話

AIツールの管理画面が「正常」を示していても、それは出力の正確さを保証しません。非技術担当者が現場で確認できる唯一の方法は、正解を持った人間が定期的に抜き打きで確認することです。

週1回・5分・月660円の確認作業は、AI導入後に最も見落とされやすい「品質監視」の最小単位です。ボットを入れたらそれで終わり、ではなく、チェックシートの作成と正答率記録の習慣化が、AI活用の土台になります。

Aha. では引き続き、AI専任のいない現場で実際に起きた失敗と、その検出・回避法を数字とともに届けていきます。