LP広告を3日間回した。クリックは8件。コンバージョンは0件だった。「このLPは刺さらない」と判断して、別のクリエイティブに切り替えた。 ——でも本当に、そう言えたのだろうか。
この記事は、実務での見落としを防ぐ視点を提供します。統計学的な正確性の保証ではなく、分析結果を使う際のリスクを洗い出すことを目的としています。
たとえばCVR（コンバージョン率）が2%のLP（ランディングページ）があるとします。
100人訪問して、2人が申し込む計算です。
では、8人しか来なかった日はどうなるでしょうか。
「2%の確率で起きること」が8回の試行でゼロ回になるのは、不思議なことではありません。
むしろ確率的に起きやすいことです。（約85%は0申し込みになる計算）
にもかかわらず、「8クリックで0件 = ダメなLP」と判断して差し替えてしまう。
逆もあります。10クリックで2コンバージョン。「CVR 20%！これはいける！」と予算を増やす。
でも10人のうちたまたま購買意欲の高い2人が続いて来ただけで、100人規模で計測したらCVR 5%だったりします。
数字が「たまたま」なのか「実力」なのかを区別するには、一定量のデータが必要です。これは直感と逆行することが多く、
「もう十分見た」と思っているタイミングで、まだデータが足りていないことがよくあります。
サンプルサイズを手計算するのは手間がかかりますが、AIに確認することはできます。
以下のようなプロンプトで聞いてみてください。
LPの改善をしています。現在のデータを確認してください。
・現在のクリック数：[件数]
・コンバージョン数：[件数]
・目標CVR（改善後に達成したいコンバージョン率）：[%]
このデータは判断するのに十分なサンプル数ですか？
また、信頼できる結論を出すには最低何件のクリックが必要か、
具体的な数字で教えてください。
目標CVRがわからない場合は「現状CVRよりも2〜3%改善したい」と書いても構いません。
AIが「最低200クリック必要です」と返してきたとします。
現在が80クリックであれば、まだ判断の時期ではありません。
「50クリックで感触がよかったから」と早期に止める判断は、
そのLPが持っていた可能性を見逃しているかもしれないです。
ここで大事なのは、施策を始める前に静観ラインを決めておくことです。
この判断基準を事前に持っておくと、途中で数字に揺さぶられて早期停止・早期拡大を繰り返すループから抜け出せます。AIに計算してもらった「最低件数」が、そのラインの根拠になります。
上司が統計を知らない場合や、予算のわりにクリックが集まらない場合、こういった状況は実際よくあります。
そのときは、事情を正直に伝えたうえで、
どちらかの合意を取ることが先決です。
それ以降は「〇〇クリックに達したら報告する」という基準をあらかじめ共有しておくと、
途中で止めるか続けるかで揉めることが減ります。
分析結果の数字の読み方でもっと詳しく確認したい場合は、統計用語の逆引き辞書をご覧ください。
「サンプルサイズ」「統計的有意差」など、会議で使いやすいビジネス表現に翻訳しています。
この分析をAIでリスク確認する（無料）→ AIチェックを試す
次に困ったとき、すぐに答えが見つかるように
新着記事はXで発信しています。