MEDIA

AIの効果測定は、月1回・3つの業務だけ。
研修50回超の現場の測り方【シート付き】

AI研修の現場から 公開 更新

ホーム> Salon de AI メディア> AI研修の現場から> AIの効果測定は、月1回・3つの業務だけ。研修50回超の現場の測り方【シート付き】

AI導入の効果測定を調べると、4段階評価、KPI設計、投資対効果の算出式。難しい言葉が並びます。

結論から言うと、中小企業の効果測定に、そうした理論はいりません。測るのは、3つの業務の「時間」だけ。月1回で十分です。

わたしたちはこれまで50回以上、中小企業の現場で生成AI研修を実施してきました。あわせて、自社の業務でも同じ測り方を続けています。

「議事録づくりが3時間から5分になった」「月末の経理処理が1日から30分になった」。わたしたちがこう言い切れるのは、導入前の時間を測って残していたからです。

この記事では、その測り方を順番どおりに書きます。最後に、そのまま使える効果測定シートも公開します。

なぜ「時間」だけ測ればいいのか

効果測定の目的は、立派な報告書を作ることではありません。「続けるか、直すか、やめるか」を決めることです。

その判断に使える数字の条件は2つ。誰が測っても同じになること。そして、導入前と比べられることです。

時間はこの2つを満たします。議事録に3時間かかっていたか、5分で終わったかは、誰が見ても同じです。

一方、よく使われる「満足度アンケート」は、どちらも満たしません。研修直後の満足度が高くても、3ヶ月後に業務で使われているとは限らないからです。

品質の向上やミスの減少も、効果には違いありません。ただ、測るのに手間がかかります。まずは時間だけで始めて、物足りなくなってから足せば十分です。

効果測定でやりがちな3つの失敗

先に、失敗のほうから書きます。わたしたちが研修先でよくお聞きするのは、この3つです。

1. 全部の業務を測ろうとする

効果を正確に出そうとして、AIに関わる業務のすべてを測定対象にする。これが一番多いつまずきです。

測ること自体が新しい仕事になり、2ヶ月目には誰も記録しなくなります。測定は、続かなければ意味がありません。

2. 満足度アンケートで済ませる

研修後のアンケートで「役に立った」が9割。それで効果測定を終えてしまうケースです。

「良かった」と「使っている」は別のものです。感想は、業務の時間を1分も減らしません。

3. 1ヶ月で「効果なし」と判定する

導入して1ヶ月、時間があまり減っていないから効果なし。この判定は早すぎます。

使い方が手になじんで、時間が目に見えて減り始めるまでの早さには、人によって差があります。判定は3ヶ月後。1ヶ月後の数字は「途中経過」として見てください。

失敗1
全部を測ろうとする
起きること
測ること自体が新しい仕事になり、続かなくなる
こうする
対象は3つの業務だけに絞る
失敗2
満足度で済ませる
起きること
「良かった」と「使っている」は別のもの
こうする
感想ではなく業務の時間を測る
失敗3
1ヶ月で判定する
起きること
なじむ前の数字で「効果なし」と決めてしまう
こうする
判定は3ヶ月後。1ヶ月後は途中経過
図1 効果測定でやりがちな3つの失敗と、その対策

測るのは3つの業務だけ——選び方は棚卸しで決まっている

測定の対象は、3つの業務に絞ります。

どの3つを選ぶか。AI導入のときに「まずこの業務から」と選んだ3つを、そのまま測ればいいのです。新しく選び直す必要はありません。

まだ業務を選んでいない段階なら、先に業務の棚卸しをおすすめします。業務棚卸しの記事で、1時間で3つに絞るためのシートを公開しています。

「3つ以外の業務でも効果が出ているのに、もったいない」と感じるかもしれません。それでいいのです。3つの数字がきちんと取れていれば、続けるかどうかの判断には足ります。

測り方は4ステップ——導入前・1ヶ月後・3ヶ月後

STEP1:導入前に、今の時間をメモする

一番大事なステップです。AIを使い始める前に、選んだ3業務の「今の時間」を書き残してください。

精度は要りません。「議事録:1本あたり約3時間」「月末の経理処理:まる1日」。この程度のメモで十分です。

導入前の時間は、あとからは思い出せません。ここを飛ばすと、どれだけ効果が出ても「なんとなく楽になった」としか言えなくなります。

STEP2:AIを使い始める

研修やルールづくりを経て、選んだ業務でAIを使い始めます。この間、特別な記録は要りません。

使い始める前のルールづくりは、社内ルールの記事でA4一枚のテンプレートを公開しています。

STEP3:1ヶ月後に、同じ業務の時間を測る

1ヶ月たったら、同じ3業務の時間を測ります。かかった時間を、1回分だけ測れば十分です。

ここで見るのは、効果の大きさではありません。「そもそも使われているか」です。時間がまったく変わっていなければ、使われていない可能性が高い。確かめ方は、あとの章で書きます。

STEP4:3ヶ月後にもう一度測って、判定する

3ヶ月後に同じ測り方をして、導入前と比べます。ここが判定のタイミングです。

わたしたちの「議事録3時間→5分」も「月末経理1日→30分」も、この形で確かめた数字です。議事録の具体的な手順は、議事録の記事に書いています。

STEP 1
導入前に時間をメモ
選んだ3業務の今の時間を書き残す。精度は不要
STEP 2
AIを使い始める
研修とルールを整えて業務で使う。特別な記録は不要
STEP 3
1ヶ月後に同じ業務を測る
見るのは「使われているか」。数字は途中経過でよい
STEP 4
3ヶ月後に測って判定
導入前と比べて、続けるか直すかを決める
かける手間は、月1回・3業務ぶんのメモだけ
図2 効果測定の4つのステップ

そのまま使える:効果測定シート

わたしたちが使っている項目を、そのまま表にしたものです。表計算ソフトで作れば十分です。数字は記入例です。

業務名 導入前 1ヶ月後 3ヶ月後 月に減った時間 浮いた時間で何をしたか
議事録づくり 1本 約3時間 1本 約40分 1本 約5分 約12時間 会議の翌日に共有できるようになった
月末の経理処理 まる1日 半日 約30分 約7時間 請求書の確認に時間を回せた
問い合わせメールの下書き 1通 約20分 1通 約10分 1通 約5分 約5時間 返信が当日中になった

最後の列「浮いた時間で何をしたか」を、必ず入れてください。

時間の削減だけを報告すると、「では、その浮いた時間はどこへ行ったのか」という問いに答えられません。減った時間の行き先まで書けて、はじめて効果の説明になります。

金額に換算するときの注意

経営会議に出すために、削減時間を金額へ換算したくなります。「月24時間×時給2,000円で、月4.8万円ぶんの削減」という形です。

換算自体は、して構いません。ただし、その金額ぶん人件費が減るわけではないことは、報告の場で言い添えてください。社員の勤務時間そのものは変わらないからです。

実際の価値は、浮いた時間で何をしたかのほうにあります。金額は目安、時間の行き先が本体。この順番で報告すると、経営側との話が噛み合います。

数字が動かなかったときの見方

3ヶ月測って、時間がほとんど減っていない。このとき「AIには効果がなかった」と結論づけるのは、たいてい間違いです。

わたしたちが見てきた範囲では、数字が動かない原因のほとんどは、AIの性能ではなく「使われていないこと」です。

まず、その業務でAIが実際に使われているかを、担当の方に聞いてください。使われていなければ、道具ではなく定着の問題です。

社員がAIを使わない原因と対処は、社員がAIを使わない3つの原因の記事で詳しく書いています。

使われているのに時間が減らない場合は、業務の選び方が合っていない可能性があります。その業務はいったん対象から外し、棚卸しに戻って選び直してください。

よくあるご質問

何ヶ月測り続ければいいですか?

3ヶ月で一区切りです。判定のあとは、半年に1回ほど同じシートを更新すれば十分です。

対象の3業務で効果が確かめられたら、次の3業務を選んで、同じことを繰り返します。

測る時間が正確ではないのですが、大丈夫ですか?

大丈夫です。この測定の目的は、続けるかどうかの判断であって、正確な証明ではありません。

「約3時間が約5分になった」が分かれば、判断には十分です。分単位の正確さよりも、導入前に測ってあることのほうが、ずっと大事です。

効果が出なかったら、研修が失敗だったということですか?

すぐには、そうとは言えません。前の章のとおり、まず「使われているか」を確かめてください。

使われていて、業務の選び方も合っているのに時間が減らないなら、そのときはやり方を見直す判断材料になります。それが分かること自体が、測定の成果です。

品質やミスの数は、測らなくていいのですか?

余裕が出てきたら、足してください。ただ、最初から欲張ると測定が続きません。

時間の測定が3ヶ月続いてから、2つ目の指標を足す。この順番をおすすめします。

まとめ:導入前の1行のメモが、すべての出発点

AIの効果測定で大事なことは、3つに集約されます。

  • 測るのは3つの業務の時間だけ——月1回のメモで足りる。判定は3ヶ月後
  • 導入前の時間を必ず残す——あとからは思い出せない
  • 数字が動かなければ、まず「使われているか」——道具より先に、定着を確かめる

わたしたちの研修では、どの業務から始めるかの選び方から、この記事の測り方まで、導入後に自分たちで効果を確かめられるようになるための考え方をお伝えしています。

研修の内容はサービスページをご覧ください。

「うちの業務なら何を測ればいいのか」を知りたい方は、無料相談でご一緒します。お気軽にどうぞ。

「研修だけ」で終わらせない生成AI導入を、
しっかり伴走します。

まずは無料の業務棚卸しから。貴社の課題に合わせて、必要な研修だけをご提案します。