「p値が0.05を切りました。有意差があります」 そう報告した後、上司から「で、差ってどれくらいあるの？」と返ってきた経験はないでしょうか。 p値が0.05を切ることと、「この分析を意思決定に使っていい」は、別の話なんですよね。この記事では、「有意差あり」の後に何を確認すればいいかを整理します。
この記事は、実務での見落としを防ぐ視点を提供します。統計学的な正確性の保証ではなく、分析結果を使う際のリスクを洗い出すことを目的としています。
p値とは「この結果が、何の効果もない状況から偶然生じる確率」を示します。
p=0.03 なら「効果がゼロなのに、これほどの差が偶然生じる確率は3%」という意味です。
3%で起こるということは、逆数を計算すると （1/0.03 ≒ 33 より）、
33回に1回しか起こらない状況であるということです。
ここで2つ注意点があります。
差が「ある」ことしか言っていない
少し難しいですが、p値が小さくても、その差が「実務上、意味のある大きさ」かどうかは示しません。
サンプル数が大きければ、極めて小さな差でも有意になります。もしも売上が0.1%改善しただけでも、
データが十分に多ければp<0.05になる、ということです。それで、去年よりも成長しています！と言えるでしょうか。
「正しい分析からの結果」かは保証しない
そもそも集めたデータに誤差があったり、見落とした要素があっても、
計算上のp値は出ます。「有意だから正しい」ではないんですよね。
p値がある程度小さくなったことで「意思決定の根拠ができた」と判断しがちです。
でも実際は、p値は「次のチェックに進む許可証」くらいの位置づけです。
効果量（影響の大きさ）や信頼区間（多くは95%以上の確率で違いがあると言える値の範囲）を見て初めて、
差の大きさと安定性が分かります。
「統計的に有意差がありました」と報告すると、視座の高い上司の方であれば多くの場合
「で、どれくらい差があるの？うちの事業では意味があるの？」と返ってきます。
p値の数字だけだと、上司にとって判断材料になりにくいんです。
0.05という基準は、実は20世紀初頭に統計学者フィッシャーが「大体の目安」として
提案したものが慣習として広まったにすぎません。分野によっては0.01や0.001が標準で、
医薬品の臨床試験では0.05では不十分とされることもあります。
0.049と0.051の間に本質的な違いはなく、
どちらも「境界線上の結果」として同じように慎重に扱う方が現実的です。
p値が閾値を下回った後、以下を確認してから報告に使います。
① 効果量は十分か
難しい言葉が出てきてすみません。効果量については今後記事に書くつもりですが、
現状はぜひAIに聞いていただければと思います。
Cohen's d や相関係数 r など、差の「大きさ」を測る指標を「効果量」といいます。
p値が小さくても効果量が小さければ、実務上の影響はあまりないかもしれません。
「統計的に有意」と「ビジネスとして意味がある差」は別の問いなのです。
② 信頼区間の幅は
これも難しいと感じる方が多いかもしれません。効果量と同様、いずれ記事を出しますが、
一旦は各自のAIをご活用ください。この95%信頼区間が極端に広い場合、
推定自体の精度が低い状態です。差の方向は正しくても、どれくらいの差かが不確かなままになります。
③ サンプルはどこから取ったか
特定の期間・店舗・ユーザー属性に偏っていないかを確認します。
偏りがあると、別の集団や状況には適用できない結論になってしまいます。
④ 何回検定したか
今回のおような比較を繰り返し行う場合を多重比較といいます。
この時、偶然に有意差が出る確率は上がります。5%でしか起こらない出来事も、
20回繰り返せば結構な確率で起こりそうですよね。
なので元々のp値では結果が出たとは言い切れないケースが出てくるんです。
この問題はAIに質問した時によく発生することが知られ始めています。
皆さんもAI任せにしすぎると、大した傾向が無いのに効果があると錯覚していたい目を見るかもしれません。
p値の数字をそのまま伝えるより、ビジネスの言葉に置き換えると伝わりやすくなります。
p=0.03 の場合
「偶然この差が生じた確率は3%と推定されます。
統計的には差があると見てよい水準ですが、差の大きさと再現性は別途確認が必要です。」
p=0.07 の場合
「統計的に明確な差は確認できませんでした。サンプル数が少ない可能性もあります。
追加データを集めるか、別の確認方法を検討したいと思います。」
p=0.001 の場合
「偶然この差が生じる確率はかなり低い水準です。
ただし、差が実用上の意味を持つかどうかは、効果量を確認してから判断します。」
p<0.05は、分析結果を使う「入口に立てた」サインです。それ自体が意思決定の根拠にはなりません。「有意差あり」の後に何を見るかを知っていると、報告の説得力が変わってきます。
次に困ったとき、すぐに答えが見つかるように
新着記事はXで発信しています。