メインコンテンツへスキップ

Knowledge

マーケティングAI

AIO計測(効果測定)のやり方|何を・どのAIで・何回測るか。4つの層で整理する

株式会社プリファード
AIO計測(効果測定)のやり方|何を・どのAIで・何回測るか。4つの層で整理する

AIO の計測は、①AI に読まれているか ②回答で使われているか ③回答が正しいか ④サイトへの来訪と問い合わせにつながっているか、の4つの層に分けて測ります。SEO の検索順位のような1つの数字はありません。決めた質問を、決めた AI に、毎月同じ条件で何回か聞き、その割合の変化を見るのが基本です。

この記事は株式会社プリファードが書いています。当社は AIO の改修を受けるとともに、AI の回答を定点で測る仕組み(Kirico の AI回答モニタリング)を自社で作って使っています。

4つの層と、それぞれの測り方

層測るものどこで測るか頻度の目安
① 読まれているかAI のクローラーがサイトに来ているか、止めていないかCDN・サーバーのアクセスログ、robots.txt・WAF の設定月1回、設定を変えたとき
② 使われているか想定質問で自社の名前が出る割合(言及率)、自社のページが出典に使われる割合(引用率)各 AI に質問して記録(手作業かツール)月1回〜週1回
③ 正しいか回答に含まれる誤り(古い料金、終わったサービス、違う所在地など)の件数②と同じ回答を読んで確認②と同時
④ つながっているかAI からの来訪、問い合わせ・資料請求GA4、Search Console、問い合わせフォームの項目月1回

上の層ほど早く動き、下の層ほど遅れて表れます。改修した翌月に④が動かなくても、失敗とは限りません。まずは①〜③が動いているかを見ます。

① 読まれているか:クローラーの到達

アクセスログの user-agent で、主な AI のクローラーが来ているかを確かめます。用途がそれぞれ違うので、まとめて止めたり許可したりしないことが大切です。

提供元user-agent用途(各社の公開情報より)
OpenAIOAI-SearchBotChatGPT の検索に表示するため
OpenAIGPTBotモデルの学習のため
OpenAIChatGPT-User利用者の操作に応じてページを見に来る
AnthropicClaude-SearchBot / ClaudeBot / Claude-User検索の品質向上 / 学習 / 利用者の質問に応じた取得
PerplexityPerplexityBot / Perplexity-User検索結果への表示 / 利用者の質問に応じた取得

Google の AI による概要は、通常の Googlebot がクロールしたページを使います。Google 専用の AI クローラーを探す必要はありません。

② 使われているか:言及率と引用率

質問を決める

お客様が AI に聞きそうな質問を20〜50本ほど決めます。偏りを防ぐため、次の3種類を混ぜます。

  • 自社の強みに直結する質問(例:「〇〇に対応している△△の会社は?」)
  • 業界一般の質問(例:「△△の費用の相場は?」「△△の選び方は?」)
  • お客様の立場からの質問(例:「中小企業が△△を始めるときに注意することは?」)

何回聞くか

AI の回答は、同じ質問でも聞くたびに変わります。1回の結果で判断すると、たまたま出た・出なかったに振り回されます。1つの質問を同じ AI に複数回聞き、出た回数の割合で記録します。比べるときは、質問文・AI の種類・回数・Web 検索の有無をそろえます。

何を記録するか

  • 自社の名前が出たか(言及)
  • 自社のページが出典として示されたか(引用)、どのページか
  • 競合のどこが出たか、何番目に出たか
  • AI がよく出典に使っている他社のサイト・記事(次の打ち手の手がかりになる)

③ 正しいか:誤りの件数

多くの計測は「出たか」だけを見ますが、BtoB では「出たけれど間違っている」ほうが問題になることがあります。古い料金や終わったサービスを答えられると、問い合わせの段階で行き違いが起きるからです。回答を読んで、誤りを「料金」「対象範囲」「会社情報」などに分けて件数を記録し、元になっているページや PDF を突き止めます。

④ つながっているか:来訪と問い合わせ

  • Google の AI による概要:Search Console の検索タイプ「ウェブ」にまとめて集計されます。AI による概要だけを切り分けた数字は出ません。
  • ChatGPT・Perplexity など:GA4 で参照元から確認できます。ChatGPT は参照リンクに utm_source=chatgpt.com を付けています。手順はChatGPT・AI 検索からの流入を GA4 で測る方法にまとめています。
  • 問い合わせ:フォームに「何で当社を知りましたか」の選択肢として「ChatGPT などの AI」を入れておくと、来訪を経ずに名前だけ覚えて来た人も拾えます。

AI の回答はクリックを伴わないことが多いため、来訪の数字は小さく出がちです。来訪が少ないことは「使われていない」ことを意味しません。②・③と合わせて見ます。

手作業か、ツールか

質問が10本程度で月1回なら、手作業でも回ります。質問が増える、複数の AI で毎週見る、競合と比べる、となると、記録の手間と聞き方のぶれが大きくなるので、ツールで自動化したほうが確実です。当社の Kirico の AI回答モニタリングは、言及率・引用率・競合比較・回答の原文を、同じ条件で定点計測します。

まず何から始めるか

  1. AIO診断(無料)で、①の「止めていないか」を確かめる
  2. 質問を20本決め、ChatGPT と Google の AI による概要で今の答えを記録する(これが基準になる)
  3. GA4 に AI の参照元を分けて見る設定を入れる
  4. 改修したら、同じ質問・同じ条件で測り直す

測った結果をどう改修につなげるかは、AIO改善の進め方で整理しています。

計測の設計から毎月の測り直し、改修までをまとめて任せたい場合は、AIO計測・改善のサービスをご覧ください。

#AIO#AIO計測#効果測定#LLMO#KPI#AI検索#GA4

この記事に関連するサービス

同じトピックの記事

Contact

Let's talk

要件が固まっていなくても、相談できます。

「何から手をつけるべきか」の整理から始められます。 自社でも事業を運営しているので、工数や運用を踏まえた現実的なご提案ができます。相談・見積もりは無料です。

オンラインMTG対応 / 最短翌営業日返信 / 相談・見積もり無料

  1. 01

    ご相談

    フォームかオンラインで。要件が固まっていなくて構いません。

  2. 02

    ヒアリング・整理

    いまの業務と困りごとを伺い、何から手をつけるかを整理します。

  3. 03

    進め方とお見積もり

    範囲・期間・費用の目安をお出しします。ここまで無料です。