メインコンテンツへスキップ

Knowledge

マーケティングAI

AIO計測(効果測定)のやり方|何を・どのAIで・何回測るか。4つの層で整理する

株式会社プリファード
AIO計測(効果測定)のやり方|何を・どのAIで・何回測るか。4つの層で整理する

AIO の計測は、①AI に読まれているか ②回答で使われているか ③回答が正しいか ④サイトへの来訪と問い合わせにつながっているか、の4つの層に分けて測ります。SEO の検索順位のような1つの数字はありません。決めた質問を、決めた AI に、毎月同じ条件で何回か聞き、その割合の変化を見るのが基本です。

この記事は株式会社プリファードが書いています。当社は AIO の改修を受けるとともに、AI の回答を定点で測る仕組み(Kirico の AI回答モニタリング)を自社で作って使っています。

4つの層と、それぞれの測り方

層測るものどこで測るか頻度の目安
① 読まれているかAI のクローラーがサイトに来ているか、止めていないかCDN・サーバーのアクセスログ、robots.txt・WAF の設定月1回、設定を変えたとき
② 使われているか想定質問で自社の名前が出る割合(言及率)、自社のページが出典に使われる割合(引用率)各 AI に質問して記録(手作業かツール)月1回〜週1回
③ 正しいか回答に含まれる誤り(古い料金、終わったサービス、違う所在地など)の件数②と同じ回答を読んで確認②と同時
④ つながっているかAI からの来訪、問い合わせ・資料請求GA4、Search Console、問い合わせフォームの項目月1回

上の層ほど早く動き、下の層ほど遅れて表れます。改修した翌月に④が動かなくても、失敗とは限りません。まずは①〜③が動いているかを見ます。

① 読まれているか:クローラーの到達

アクセスログの user-agent で、主な AI のクローラーが来ているかを確かめます。用途がそれぞれ違うので、まとめて止めたり許可したりしないことが大切です。

提供元user-agent用途(各社の公開情報より)
OpenAIOAI-SearchBotChatGPT の検索に表示するため
OpenAIGPTBotモデルの学習のため
OpenAIChatGPT-User利用者の操作に応じてページを見に来る
AnthropicClaude-SearchBot / ClaudeBot / Claude-User検索の品質向上 / 学習 / 利用者の質問に応じた取得
PerplexityPerplexityBot / Perplexity-User検索結果への表示 / 利用者の質問に応じた取得

Google の AI による概要は、通常の Googlebot がクロールしたページを使います。Google 専用の AI クローラーを探す必要はありません。

② 使われているか:言及率と引用率

質問を決める

お客様が AI に聞きそうな質問を20〜50本ほど決めます。偏りを防ぐため、次の3種類を混ぜます。

  • 自社の強みに直結する質問(例:「〇〇に対応している△△の会社は?」)
  • 業界一般の質問(例:「△△の費用の相場は?」「△△の選び方は?」)
  • お客様の立場からの質問(例:「中小企業が△△を始めるときに注意することは?」)

何回聞くか

AI の回答は、同じ質問でも聞くたびに変わります。1回の結果で判断すると、たまたま出た・出なかったに振り回されます。1つの質問を同じ AI に複数回聞き、出た回数の割合で記録します。比べるときは、質問文・AI の種類・回数・Web 検索の有無をそろえます。

何を記録するか

  • 自社の名前が出たか(言及)
  • 自社のページが出典として示されたか(引用)、どのページか
  • 競合のどこが出たか、何番目に出たか
  • AI がよく出典に使っている他社のサイト・記事(次の打ち手の手がかりになる)

③ 正しいか:誤りの件数

多くの計測は「出たか」だけを見ますが、BtoB では「出たけれど間違っている」ほうが問題になることがあります。古い料金や終わったサービスを答えられると、問い合わせの段階で行き違いが起きるからです。回答を読んで、誤りを「料金」「対象範囲」「会社情報」などに分けて件数を記録し、元になっているページや PDF を突き止めます。

④ つながっているか:来訪と問い合わせ

  • Google の AI による概要:Search Console の検索タイプ「ウェブ」にまとめて集計されます。AI による概要だけを切り分けた数字は出ません。
  • ChatGPT・Perplexity など:GA4 で参照元から確認できます。ChatGPT は参照リンクに utm_source=chatgpt.com を付けています。手順はChatGPT・AI 検索からの流入を GA4 で測る方法にまとめています。
  • 問い合わせ:フォームに「何で当社を知りましたか」の選択肢として「ChatGPT などの AI」を入れておくと、来訪を経ずに名前だけ覚えて来た人も拾えます。

AI の回答はクリックを伴わないことが多いため、来訪の数字は小さく出がちです。来訪が少ないことは「使われていない」ことを意味しません。②・③と合わせて見ます。

手作業か、ツールか

質問が10本程度で月1回なら、手作業でも回ります。質問が増える、複数の AI で毎週見る、競合と比べる、となると、記録の手間と聞き方のぶれが大きくなるので、ツールで自動化したほうが確実です。当社の Kirico の AI回答モニタリングは、言及率・引用率・競合比較・回答の原文を、同じ条件で定点計測します。

まず何から始めるか

  1. AIO診断(無料)で、①の「止めていないか」を確かめる
  2. 質問を20本決め、ChatGPT と Google の AI による概要で今の答えを記録する(これが基準になる)
  3. GA4 に AI の参照元を分けて見る設定を入れる
  4. 改修したら、同じ質問・同じ条件で測り直す

測った結果をどう改修につなげるかは、AIO改善の進め方で整理しています。

計測の設計から毎月の測り直し、改修までをまとめて任せたい場合は、AIO計測・改善のサービスをご覧ください。

#AIO#AIO計測#効果測定#LLMO#KPI#AI検索#GA4

Related services

Related articles

Contact

Let's talk

You can talk to us before requirements are finished.

We can start by sorting what to do first. We run businesses ourselves, so the conversation stays about labor and ops. Consultation and estimates are free.

Online meetings / reply by next business day / free consult & estimate

  1. 01

    Talk to us

    Via the form or online. Requirements do not need to be fixed.

  2. 02

    Hearing

    We learn how you work today and sort out where to start.

  3. 03

    Plan and quote

    We propose scope, timeline, and cost. Free up to this point.