生成AI研修の効果測定｜業務で使われたかを確かめる5つの指標
生成AI研修の効果を、受講率や満足度だけで終わらせず、実務での利用、確認品質、共有、業務改善へつなげて測る5つの指標を解説します。研修後に使われる手順と、次回の改善判断を残すための進め方も紹介します。
生成AI研修のあとに残る数字が、受講率とアンケート満足度だけになっていないでしょうか。どちらも確認する価値はあります。ただ、その数字だけでは、研修の翌週に提案書の下書きが変わったのか、会議メモの確認漏れが減ったのか、現場が安全に使えているのかは分かりません。研修の効果測定は、受講した事実を数える仕事ではなく、仕事の中に使える型が残ったかを確かめる仕事です。
独立行政法人情報処理推進機構のデジタルスキル標準は、全てのビジネスパーソン向けのDXリテラシー標準と、DXを推進する人材向けのDX推進スキル標準を分けています。生成AI研修でも、全員に同じ成果を求めるより、使う人、確認する管理職、社内で型を整える推進担当で見る項目を変えた方が、次の改善につながります。
1．効果測定で最初に見るのは受講率ではない
受講率は、研修を届けられたかを見る運営指標です。満足度は、説明や演習が受け入れられたかを見る手掛かりです。どちらもゼロにはできませんが、研修の目的が業務での利用なら、そこで評価を終えるのは早すぎます。満足度が高くても、翌日から開く資料や確認方法が決まっていなければ、元の仕事へ戻ります。
最初に決めるべきは、誰のどの業務を変えたいのかです。例えば営業部の提案書なら、公開情報の整理、構成案の作成、固有名詞と数値の確認という工程に分けます。AIに任せる下書きと、人が根拠を確認する工程を分けておくと、研修後に何を観察すればよいかが見えます。
全社導入の成果を一度に測ろうとすると、数字の意味がぼやけます。初回は、同じ頻度で繰り返す1業務を選び、数人で試す方がよいでしょう。使う前後の成果物と作業の流れを比べれば、研修内容、プロンプト、確認表のどこを直すべきか判断できます。
- 対象業務：誰が何を作る仕事か
- 利用範囲：AIへ渡す情報と渡さない情報
- 最終確認：誰が何と照合するか
- 比較時点：研修前、研修直後、実務で試した後
2．指標1：実務で使われた回数と継続率を見る
一つ目は、研修で扱った型が実際の仕事で使われた回数です。ただし、AIツールを開いた回数だけを数えても、成果物につながったかは分かりません。議事録なら、決定事項・担当者・期限を含む議事録の下書きに使った回数を数えます。提案書なら、構成案や公開情報の整理に使った回数を残します。
続けて見るのは継続率です。研修当週に一度試した人が、次の週にも同じ型を使ったかを確認します。利用が止まった場合は、本人の意欲だけを原因にしません。入力に使える資料が見つからない、出力を確認する時間が増えた、上司の確認基準がないなど、仕事の設計に原因があることもあります。
数字を増やすために利用を義務化すると、コピーしただけの利用記録が増えます。現場が自分で選んで使える、頻度の高い1業務から始める方が、次の部署へ渡せる実例になります。
3．指標2：作業時間は確認時間とセットで比べる
二つ目は、作業時間です。生成AIで下書きが早くなっても、固有名詞、日付、数値、引用元を直す時間が増えれば、仕事全体が速くなったとは言えません。作成時間だけを記録せず、確認と修正にかかった時間も同じ表へ書きます。
比べる単位は、1か月の合計より1件の仕事が向いています。例えば、同じ形式の会議メモを3件ほど選び、従来の作り方とAIを使った作り方で、下書き、確認、修正、共有までにかかった時間を記録します。件数が少ない段階では、削減率を大きく見せるより、どの工程が短くなり、どの工程が増えたかを読む方が安全です。
時間が短くならなかったから失敗、とは限りません。確認の手順が見えるようになり、以前は見落としていた記載漏れを防げたなら、その結果は残します。短縮と品質を別の指標で置くと、急いで人の確認を外す判断を避けられます。
4．指標3：確認で見つかった修正内容を分類する
三つ目は、確認で見つかった修正の中身です。「修正があった」とだけ記録しても、研修を直す材料にはなりません。事実誤認、元資料にない記述、固有名詞の表記ゆれ、社内の言い回しとの不一致、情報を入力してはいけないケースなど、原因別に分けます。
この記録は、生成AIを評価するためだけのものではありません。研修の演習で説明が足りなかったのか、プロンプトの型が曖昧だったのか、元資料が整っていないのかを切り分ける材料になります。特に顧客向け文書や公開コンテンツでは、根拠の確認を省かないことを、研修の到達基準に含めます。
総務省と経済産業省のAI事業者ガイドライン第1.2版は、AIを開発・提供・利用する各主体がリスクを認識し、必要な対応を考えるための資料です。社内研修でも、便利な操作例と同じ時間を使い、入力の可否、出力の確認、迷った時の相談先を演習します。確認で止めた事例は、次回の教材に入れる価値があります。
5．指標4：使える型がチームに共有されたかを見る
四つ目は、個人の工夫が他の人も使える型になったかです。研修後に一人だけが上手に使えても、異動や繁忙で止まれば会社の力になりません。残したいのは、長いプロンプト集ではありません。対象業務、入力する資料、出力の形、確認項目、完成例を1セットにした短い手順です。
共有の有無は、フォルダにファイルがあるかでは判断しません。別の担当者が同じ手順で一度試し、どこで迷ったかを確認します。説明なしで再現できない場合は、手順の前提が抜けています。現場の固有名詞や判断を全部AIへ渡すような型なら、安全面も見直します。
IPAが示すDSSは、個人の学習だけでなく企業の人材確保・育成の指針です。研修を一回のイベントで閉じず、使える手順を共有し、推進担当が更新する流れまで設けると、学習を業務の仕組みへ移せます。
6．指標5：次に止めること・広げることを決める
五つ目は、測定結果を次の判断へ使えたかです。効果測定の表を作っても、会議で眺めるだけでは定着しません。月に一度でも、対象業務を続ける、プロンプトを直す、利用範囲を狭める、別の部署で試す、いったん止める、のどれかを決めます。
広げる条件も先に置きます。例えば、複数人が同じ型を使えたこと、外部へ出す前の確認者が決まったこと、入力してよい情報の例があること、修正内容が次の教材へ反映されたことです。ツールの利用回数が増えたことだけを横展開の条件にすると、確認責任が追いつかないまま範囲だけが広がります。
DOONは、法人向け生成AI研修で、受講後に使う業務を決め、成果物と確認表を残し、実務で試した結果を次の改善へつなげる進め方を取ります。研修の評価で迷う時は、立派なKPIを増やす前に、次の週に誰がどの仕事で使ったかを聞くところから始めてください。そこに、直すべき仕事の流れが出てきます。
よくある質問
- 生成AI研修の満足度アンケートだけでは不十分ですか？
- 満足度は研修内容や進行を改善する大切な材料ですが、実務への定着は判断できません。研修後に対象業務で使われた回数、継続利用、確認と修正にかかった時間、残った手順を合わせて見ます。満足度が高くても使われない場合は、業務との接続や上司の確認基準を見直します。
- 生成AI研修の効果測定は何人から始めればよいですか？
- 全社へ一斉に広げる前に、同じ業務を担当する少人数で始めると比較しやすくなります。人数よりも、対象業務、入力できる情報、完成物を確認する人を決めることが先です。使った結果と止まった理由を残してから、次の部署へ広げます。
- 作業時間が短くならなければ研修は失敗ですか？
- すぐに失敗とは決めません。下書きは速くなっても、確認の工程が初めは増えることがあります。事実確認や情報管理の抜けを防げたなら、その品質面も記録します。時間が増えた理由を、入力資料、プロンプト、確認表、業務自体のどこにあるか分けて改善します。
- 生成AI研修のKPIは部署ごとに変えるべきですか？
- 変えます。営業の提案書、総務の社内文書、管理職のレビューでは、成果物と確認責任が違うためです。ただし全社共通で、入力してよい情報、出力の確認方法、相談先はそろえます。共通ルールと部署別の実務指標を分けると、比較と運用の両方がしやすくなります。