AIO対策の効果の測り方|3つのAIに同じ質問を繰り返して数える

公開日:

AIO対策の効果は、1回の質問では判断できません。フォワードXの1,650回答の計測では、名前が出た会社の44%が5回中1回だけでした。質問の数・聞く回数・AIの選び方、記録する3つの数字、結果の読み方を解説します。

AIO対策の効果を判断するには、ChatGPT・Gemini・Claudeのそれぞれに同じ質問を何度も入力し、自社の名前が出た回答の数を比べます。同じ質問でもAIの答えは毎回異なるため、1回聞いただけでは、対策が効いたかどうかは判断できません。

実際に、フォワードXの計測では、同じAIに同じ質問を5回入力して名前が出た会社のうち、44%は5回中1回しか名前が出ていませんでした。

この記事では、フォワードXが自社で続けている計測の数字をもとに、AIの答えがどのくらい変わるのかを紹介します。あわせて、計測の条件と記録する数字、結果の読み方、毎月の報告でそろえる項目も解説します。

AIの答えは聞くたびに変わる

AIO対策を始めると、ChatGPTに自社のことを聞き、名前が出るかを見る担当者は少なくありません。しかし、同じ質問でも、AIの答えは毎回同じにはなりません。ここでは、フォワードXの2026年10月末の計測から、答えがどのくらい変わるのかを解説します。

5回聞いて1回しか名前が出ない会社が多い

計測では、AIO対策の依頼先を探す質問を、一般の企業向けに30問、採用向けに40問、士業向けに40問、合わせて110問用意しました。1問につき3つのAIに5回ずつ聞き、合計1,650の回答を集めています。

質問とAIの組み合わせごとに、5回のうち1回でも名前が出た会社を数えると、のべ3,806社でした。そのうち44%の1,677社は5回中1回しか名前が出ず、5回とも出たのは10%の371社だけでした。つまり、一度名前が出ても、毎回出るとは限りません。

フォワードXでも、名前が出た38の組み合わせのうち19は5回中1回だけで、5回とも出たのは1つでした。このように、1回目に名前が出なかった会社が次の回には出ることがあり、反対に、1回目に出た会社が次の回には出ないこともあります。

1回の答えに並ぶ会社は、5回分の半分以下

1回の答えで名前が挙がる会社は平均5.1社でしたが、同じAIに同じ質問を5回入力し、どれか1回でも名前が出た会社を合わせると、平均11.5社になりました。

AIごとに見ると、ChatGPTは1回4.2社に対して5回で9.9社、Geminiは4.2社に対して11.3社、Claudeは6.8社に対して13.4社でした。どのAIでも、5回分の会社の数は1回分の2〜2.7倍に増えています。

つまり、1回の答えは、AIが候補にしている会社の一部を切り取ったものにすぎません。その1回の答えだけで競合を決めると、実際に比べられている会社の半分以上を見落とすことになります。

読まれるサイトも毎回入れ替わる

AIは答える前にウェブ検索で情報を集め、見つけたページを読んで答えを組み立てます。読まれたサイトは1回で平均6.0でしたが、同じ質問の5回分を合わせると17.3になります。5回とも読まれたサイトは平均0.7と、1つに届きませんでした。

検索キーワードも毎回同じではなく、キーワードを記録できたChatGPTとClaudeは、5回で8〜9種類を使っていました。5回とも同じだった例はほとんどありません。キーワードが違えば、読まれるページや、そこに載っている会社も入れ替わります。

また、Googleは、AIによる概要とAIモードでは、1つの質問を関連する複数の検索に分けて調べる手法を使う場合があると説明しています。

AI による概要と AI モードは、「クエリ ファンアウト」手法を使う場合があります。これは、関連する複数のサブトピックやデータソースに対して検索を実行し、それをもとに回答を組み立てる手法です。

出典:Google 検索セントラル|AI 機能とウェブサイト

3つのAIのうち1つにしか名前が出ない会社が半数以上

答えに出る会社は、聞くたびに変わるだけでなく、AIによっても異なります。質問ごとに会社の名前を出したAIの数を数えると、1つのAIだけが名前を出した例が56%を占め、3つのAIすべてで名前が出たのは17%でした。

フォワードXでも、名前が出た34の質問のうち30は、名前を出したのが1つのAIだけでした。同じ質問でも、ChatGPTでは名前が出るのに、GeminiやClaudeでは出ない状態は珍しくありません。

そのため、どのAIで自社の名前が出ているかを知るには、それぞれに聞く必要があります。1つのAIだけで測った結果を、AI検索全体の結果として扱うのは避けましょう。

効果を測る前に決める3つの条件

このように答えが毎回変わるうえ、計測の条件まで異なっていては、数字の増減が対策によるものか判断できません。ここでは、計測を始める前に決めておく3つの条件を解説します。

質問の数と選び方

質問は、顧客が依頼先や相談先を探すときにAIへ入力しそうな文を、事業の分野ごとに用意しましょう。フォワードXでは、一般の企業向け・採用向け・士業向けの3つの分野に分け、30〜40問ずつで測っています。

分野別に見ると、採用向けと士業向けでは、フォワードXの名前が出た回答の割合が、一般の企業向けの3倍以上でした。このように、選ぶ質問によって数字は大きく異なり、一般の企業向けだけでは採用や士業での表示状況は見えません。

また、質問は社名を入れずに依頼先を探す文を中心に選びます。社名を入れた質問は、自社がどう説明されるかを見るためのものなので、名前が出た回答の数とは分けて数えましょう。

1つの質問を繰り返す回数

フォワードXは、1つの質問を同じAIに5回入力して測っています。5回のうち1回でも名前が出た組み合わせで、1回分の答えだけを見て名前が見つかる割合は平均44%でした。2回分では66%、3回分では80%、4回分では91%に上がりました。

つまり、1回だけでは名前が出る会社の半分以上を見落としますが、繰り返すほど見落としは減ります。手作業で測る場合も、1つの質問につき3回以上は聞き、「3回中何回出たか」の形で残しておきましょう。

繰り返すときは、毎回新しいチャットを開くことも条件の1つです。同じチャットの中で続けて聞くと、前の質問と答えが次の答えに影響することがあります。

3つのAIで測る理由

AIごとの違いも見逃せません。フォワードXの名前が出た回答は、Claudeが最も多く、ChatGPTの2倍、Geminiの3倍近くありました。ChatGPTだけで測っていたら、名前が出た回答の3割も把握できなかったことになります。

同じ会社の名前が5回とも出た組み合わせの割合は、Claudeが16%、ChatGPTが9%、Geminiが3%でした。特にGeminiは5回中1回だけの組み合わせが53%を占め、聞くたびに並ぶ会社が大きく入れ替わります。

どのAIを使うかは、顧客によって異なります。そのため、3つのAIを同じ条件で測り、数字はAIごとに分けて残すのが基本です。

記録する3つの数字

計測の条件が決まったら、毎回同じ数字を記録します。ただし、名前が出たかどうかだけでは、数字が増減した理由までは説明できません。ここでは、AIO対策の効果を判断するために記録する3つの数字を解説します。

名前が出た回答の数

1つ目は、すべての回答のうち、自社の名前が出た回答の数と割合です。110問を3つのAIに5回ずつ聞けば1,650回答になり、そのうち何回答に名前が出たかを数えます。

あわせて、1回でも名前が出た質問の数も記録します。回答の数が増えても、名前が出る質問が同じ数問に偏っていれば、対策の効果は一部の分野にとどまっていると読めます。

AIが読んだ自社のページ

2つ目は、AIが答える前に読んだページに、自社サイトのページが含まれていた回答の数です。名前が出た数に加えて、読まれたページも見ることで、自社サイトのどのページが答えの材料になっているかを把握できます。

なお、名前が出た回答と、自社のページが読まれた回答は、同じ数にはなりません。ChatGPTは、フォワードXのページを読んだ14回答すべてで名前を出したのに対し、Geminiが名前を出したのは、ページを読んだ32回答のうち12回答にとどまりました。

一方、ClaudeはフォワードXのページを1度も読まずに、38回答で名前を出しています。その38回答では、どれも外部サイトの比較記事を読んでいました。このように、自社のページと外部のページのどちらが材料になっているかによって、次に直すべきページは異なります。

関連記事:ChatGPTに紹介されるサービスページの書き方

名前に添えられた説明

3つ目は、名前と一緒に書かれた説明です。名前が出ていても、サービスの内容や対象、料金の説明が誤っていれば、候補として選ばれることにはつながりません。

そのため、説明はAIの答えの文をそのまま写して残します。見るのは、「どのような会社として紹介されたか」「対象・料金・強みは正しいか」「他の会社と取り違えていないか」の3点です。誤りがあれば、どのページの情報がもとになったのかをたどりましょう。

さらに、月ごとに説明文を並べれば、サイトに書き足した情報が答えに使われ始めたかどうかも見えてきます。名前が出た回答の数が変わらない月でも、説明が正しくなっていれば、対策は前に進んでいると判断してよいでしょう。

結果の読み方

数字がそろっても、読み方を誤ると、効いていない対策を続けたり、効いている対策をやめたりすることになります。ここでは、計測の結果を読むときの3つの注意点を解説します。

1回分の増減では判断しない

たとえば、1つの質問で名前が出た回数が5回中2回から翌月に3回へ増えても、それだけで対策が効いたとはいえません。同じ条件で聞いても、その程度の差は答えのばらつきの範囲内で起こるためです。

判断するときは、1問ずつではなく、分野ごとに質問をまとめた合計の数を見ます。対策の対象にした質問と、対象にしていない質問も分けて比べ、対象にした質問の数字だけが伸びていれば、対策の効果と考えてよいでしょう。

また、数字の変化は2〜3か月の流れで見るのが基本です。フォワードXのAIO支援でも、2〜3か月ほどで成果が見え始める例が多くあります。

自社だけでなく競合の数字も並べる

自社の名前が出た回答が増えても、競合の名前が出た回答も同じように増えていれば、自社の立ち位置は変わっていません。AIが答えに挙げる会社の数そのものが増えただけ、という場合もあります。

そこで、同じ回答の中で競合の名前が出た数も一緒に数えましょう。自社と競合の名前が出た回数の合計のうち、自社の回数が占める割合を出せば、競合との差を数字で把握できます。

比べる競合は、1回の答えではなく、5回分の答えに出た会社から選びます。1回の答えに並ぶ会社は、5回分の半分以下にとどまるためです。

AIの更新の前後は分けて比べる

さらに、AIのモデルが更新されると、同じ質問でも更新前とは異なる答えが返ってくることがあります。検索の回数や読むページ、1回の答えに挙げる会社の数も、更新の前後で同じとは限らないため、更新をはさむと、対策をしていない会社の数字も動きます。

そこで、計測の記録には、日付とあわせて、わかる範囲でAIのモデル名を残しておきましょう。モデルが変わった月は、変わる前の数字と同じ表で単純に比べず、更新の後の数字を新しい基準として扱います。

フォワードXでも、計測の記録にモデル名を残し、モデルが変わった月の前後は分けて比べています。そのうえで、対策していない質問の数字も同じ方向に動いていれば、更新の影響と読むのが自然です。

毎月の報告でそろえる項目

毎月の報告は、同じ項目と形でまとめておけば、前の月と比べられます。項目が月ごとに違っていては、数字の増減が対策によるものか、記録の仕方によるものか区別できません。ここでは、毎月の報告でそろえておく4つの項目を解説します。

使った質問と回数の記録

まず、使った質問の一覧、AIの種類、1つの質問を繰り返した回数、計測した日を報告の最初に載せます。質問の文が変わると、AIが検索に使うキーワードや、答えに並ぶ会社も変わることがあるためです。

質問を足したり入れ替えたりした月は、その質問を分けて記録します。前の月と同じ質問だけで比べた数字と、新しい質問を含めた数字を並べておけば、増減の理由を説明できます。

AIごとの内訳

名前が出た回答の数は、合計だけでなく、3つのAIごとの内訳も必要です。AIごとに答えの材料にするページが違うため、合計が同じでも、内訳によって次に打つ手は異なります。

たとえば、ChatGPTで自社のページが読まれていなければ、サービスページの情報を見直します。一方、GeminiやClaudeで名前が出なければ、外部の比較記事に自社の情報が載っているかを調べましょう。

読まれたページと説明の変化

また、AIが読んだページは、自社のページと外部のページに分けて一覧にします。どの比較記事や解説記事が繰り返し読まれているかがわかれば、掲載を依頼する外部サイトの優先順位を決められます。

あわせて、名前に添えられた説明文を前の月の文と並べて載せましょう。名前が出た回答の数だけでは、サイトに書き足した料金や事例が説明に反映されたかどうかまではわかりません。

サイトへの訪問と問い合わせの件数

さらに、AIの答えの数字に加え、AI経由の訪問数と問い合わせの件数も同じ報告に載せます。名前が出る回数が増えても、訪問や問い合わせにつながっていなければ、事業の成果とはいえません。

訪問数は、GA4などのアクセス解析でAI経由のものを分けて数えます。一方、問い合わせは、自社を知ったきっかけを尋ねる項目をフォームに設け、選択肢にAIを加えておけば数えられます。

関連記事:広告費が上がった・紹介頼みの会社が、AI検索から問い合わせを増やす方法

AIO対策の効果測定ならフォワードX

効果測定を判断の材料にするには、質問の設計や数え方、報告の形を決め、毎月続けることが必要です。フォワードXのAIO支援では、競合との比較を含む現状分析から施策の実行、効果検証、月次の報告までを一貫して担います。強みは次の4つです。

自社でも110問×3つのAI×5回で測っている

この記事で紹介した数字は、フォワードXが自社の表示状況を知るために行っている計測の結果です。AIO対策の依頼先を探す110問を3つのAIに5回ずつ聞き、名前が出た回答や読まれたページに加え、答える前に検索したキーワードまで記録しています。

この計測で、何回聞けば見落としが減るのか、AIごとにどれだけ結果が異なるのかを、自社の数字で確かめてきました。その知見を、支援先の質問の設計と計測の条件づくりに活かしています。

詳しくはこちら

SOVで、推奨されている度合いを数値で示す

フォワードXの競合分析・SOV分析では、AIにどのくらい推奨されているかを、SOV(シェア・オブ・ボイス)という数値で示します。狙った質問の答えで、自社と競合の名前がそれぞれどの程度挙がるかを、同じ基準で比べるための数字です。

さらに、どの質問で自社の名前が出ているかを調べるプロンプト分析も行い、その結果をもとに、今後どの質問に対策するべきかを決めます。

詳しくはこちら

月次レポートで、流入・参照・引用・推奨率を報告する

ベーシック(月15万円・税抜)とプロフェッショナル(月30万円・税抜)の2つのプランでは、参照・引用・推奨のそれぞれにKPIを設定します。AIからの流入数と、参照・引用・推奨率の状況は、月1回のレポートで数値にして報告します。

定例ミーティングも月1回です。レポートの数字をもとに進捗を共有し、競合の動きも見ながら翌月の施策を提案します。数字を見るだけで終わらせず、次に直すページや作る記事まで決められるのが特徴です。

詳しくはこちら

無料診断でも、プロンプト分析とSOV分析まで受けられる

AIO対策をまだ始めていない段階でも、0円の無料診断で今の表示状況を数字で把握できます。無料診断では、競合1社との比較に加えて、プロンプト分析とSOV分析を行い、その結果をもとにした改善案まで提示します。

対策の前に一度測っておきましょう。その数字が、後で効果を比べるときの基準になるためです。どの質問で競合に後れを取っているかがわかれば、最初に直すページも絞り込めます。

無料診断の申し込みはこちら

AIO対策の効果測定についてよくある質問

測り始めると、用意する質問の数や、聞くときの環境について迷うことがあります。ここでは、AIO対策の効果測定についてよく寄せられる質問に答えます。

質問は何問くらい用意すればいい?

用意する質問に決まった数はありません。ただし、1問ごとの結果はばらつくため、分野ごとに複数の質問を用意し、合計で見ることが前提です。フォワードXの計測では、分野ごとに30〜40問を使っています。

手作業で始めるなら、顧客から実際に受ける相談をもとに、分野ごとに10問ほど用意し、毎月同じ質問で続けましょう。

自分のアカウントで聞いた答えでも測れる?

自分のアカウントでも測れますが、パーソナライズの影響を受けない状態で聞く必要があります。OpenAIは、メモリが有効な場合、ChatGPTが記憶した情報をもとに検索キーワードを作ることがあると説明しています。

メモリが有効な場合、ChatGPT は関連する詳細情報を使用して、より有用な検索クエリを作成することがあります。

出典:OpenAI|ChatGPT のメモリ

担当者のアカウントには、自社について調べた会話が残っていることが多く、顧客が聞いたときとは異なる答えになりかねません。この点について、OpenAIは、一時チャットを始める前に、メモリなどを使わない「パーソナライズなし」を選べると案内しています。

一時チャットを開始する前に、既存のメモリ、カスタム指示、プラグインを使用するかどうかを選択できます。使用しない場合は、「パーソナライズなし」を選択してください。

出典:OpenAI|ChatGPT のメモリ

計測では、この設定を選んだうえで、毎回新しい一時チャットを始めましょう。

名前が出る回数が増えたのに、問い合わせが増えないのはなぜ?

理由は主に3つです。名前に添えられた説明が自社の強みを伝えていない場合、比較の中で選ばれる理由が弱い場合、AIからサイトに来た人が問い合わせまで進まない場合です。

まずは、説明文とAI経由の訪問数を見ます。訪問が増えていなければ説明と比較の材料を、訪問は増えているのに問い合わせが増えなければサイトの導線を見直しましょう。名前が出始めてから、効果が問い合わせの数に表れるまでには、一定の期間が必要です。

ツールを使わずに手作業で測ってもいい?

手作業でも、質問・AI・回数・日付をそろえれば測れます。スプレッドシートに、名前が出たかどうかと説明文を記録していくことで、月ごとに比べられます。

ただし、10問を3つのAIに5回ずつ聞くだけでも150回答です。読まれたページまで記録すると、手間はさらに大きくなります。質問の数を増やすなら、自動で記録を集める仕組みがなければ、毎月続けるのは難しいでしょう。

まとめ

AIO対策の効果は、1回の答えではなく、同じ質問を3つのAIに繰り返し入力し、名前が出た回答の数で判断します。フォワードXの計測では、名前が出た会社の44%は5回中1回だけで、1回の答えに並ぶ会社は5回分の半分以下でした。

計測前に質問・回数・AIの3つの条件を決め、名前が出た回答の数、読まれた自社のページ、名前に添えられた説明を毎月同じ形で記録しましょう。そのうえで、競合の数字と並べて読みます。AIの更新をはさむ月は、前後を分けて比べることが欠かせません。

今の自社の表示状況は、フォワードXの無料診断で、プロンプト分析とSOV分析を通して数字で把握できます。

AIO無料診断

AI検索での自社の見え方、
確認してみませんか?

  • AI検索での
    表示状況を分析
  • 競合との比較
  • 改善ポイントを
    ご提案

この記事の執筆・監修

フォワードX株式会社 AIO編集部

AIO・SEO・生成AI領域の専門チームが執筆・監修しています。

関連記事

MENU
トップへ戻る