p値の誤解を解く、統計的有意性の本質

Kyle Hewitt, Neuroscientist and Associate Lecturer specialising in neuropsychopharmacology, University of Wollongong が The Conversation - Technology で報じた記事に基づく。

科学論文を読んだことがある者なら、ほぼ確実にp値という数値に遭遇した経験がある。そして、その解釈に混乱したのなら、決して一人ではない。現役の科学者の多くも、p値を正しく理解していないというのが実情だ。

p値は実験の「統計的有意性」を測定する数値であり、しばしばその実験が本当に何かを発見したかどうかを裁定する役割を担う。薬が効果を示したのか、あるグループが別のグループと異なる結果を示したのか——研究者がそう言えるかどうかをp値が決定する。キャリア、論文発表、そして世界に対する我々の理解は、p値にかかっている。

The p-value is a number measuring the “statistical significance” of an experiment, and it’s often treated as the adjudicator of whether the experiment really found something or not. It decides whether researchers get to say that a drug did something, or that one group differed from another. Careers, publications and our understanding of the world hinge on p-values. So it’s worth understanding what these numbers actually mean, because it’s not what most people think.

p値が示すもの、示さないもの

p値を理解するために、具体的な例を考えてみよう。ある国の成人が別の国の成人よりも平均身長が高いかどうかを調べたいとする。全員を測定することはできないため、各国から50人ずつサンプルを抽出する。最初のサンプルの平均は1.80メートル、二番目のサンプルは1.77メートルだった。この3センチメートルの差は、それだけではほとんど意味を持たない。なぜなら、どのサンプルを選ぶかによって、どのような2つのサンプルでもある程度の差が生じるからだ。

この差が、両国全体の平均身長に本当の差があることを示す確かな証拠なのか、それとも単なる偶然の産物なのか。それを判断するために、科学者は統計的検定を実行し、p値を得る。仮にp = 0.06という結果が出たとする。

このp値の意味は次の通りだ。もし両国の間に本当は差がなかったとしたら、これと同じ程度の差、あるいはそれ以上の差がサンプリングの偶然だけで生じる確率は約6%である。

ここで、p値が意味しないことに注意が必要だ。p = 0.06だからといって、「この結果が偶然である確率が6%」というわけではない。また、「2つの国に本当の差がある確率が94%」という意味でもない。p値は「もし本当は何も起こっていないとしたら、これほど大きな差が生じる確率」を教えてくれるのであって、「本当は何も起こっていない確率」を教えてくれるわけではないのだ。この二つを混同する誤りは非常に一般的で、正しい知識を持つ者でもうっかり犯してしまう。

閾値0.05の由来

慣例として、p値が0.05未満の場合を「統計的に有意」と呼ぶ。先ほどの身長研究ではp = 0.06だったため、有意な差は見られなかったと報告されることになる。

では、この0.05という閾値はどこから来たのか。特定の正当な根拠があるわけではない。英国の統計学者ロナルド・フィッシャーが1920年代に経験則として提案し、その便利さがルールとして定着したものだ。

0.05を「有意」のラインに設定することには、一つの実用的な意味がある。もし本当は何の効果も存在しなかったとしても、この閾値を設定することで、研究は約20回に1回の割合で「有意な」結果を偶然に生み出すことになる。これが我々が許容することに同意した偽陽性の割合だ。決して、発表された研究結果のうちどれだけが間違っているかを示すものではない。

恣意的なのは、20分の1が100分の1や10分の1ではなく、この値になったという点だ。そして、この閾値は微妙に馬鹿げた結果を生む。p = 0.049なら「発見」として報告され、p = 0.051なら何事もなかったかのように扱われる。

What is arbitrary is one in 20 rather than one in 100 or one in ten, and it produces faintly absurd outcomes: if p = 0.049, it’s reported as a discovery; if p = 0.051 we act as though nothing happened.

「有意でない」は「差がない」ではない

身長実験の話に戻ろう。p = 0.06という結果を見て、両国の人々の身長に差がないことの証明だと解釈したくなるかもしれない。しかし、それは誤りだ。

統計的に有意でないという結果は、効果が存在しないことの証明ではない。単に、今回のデータでは、効果があると結論づけるのに十分な証拠が得られなかったということを意味する。サンプルサイズが小さすぎた可能性もあれば、本当に効果がない可能性もある。p値だけでは、その区別はできない。

この誤解は、AIや機械学習の分野でも深刻な問題を引き起こしている。モデルの性能比較において、たまたま得られた小さな差を「有意」と主張する研究や、逆に「有意でない」という理由だけで有望なアプローチを棄却する判断は、研究の再現性危機の一因となっている。

統計的有意性の閾値に過度に依存せず、効果量や信頼区間、そして何より研究の実際的な重要性を評価する視点が求められる。

編集部の見解

p値の誤解は、統計教育の根幹に関わる問題だ。AIやデータサイエンスの分野が急速に拡大する中、モデル評価やA/Bテストの結果解釈においてp値への依存が依然として強い。3〜6ヶ月の短期的な影響としては、大規模言語モデルの評価論文などで「統計的有意性」の記載方法がより厳格化される可能性がある。一部のトップ会議では、p値だけでなく効果量やベイズ因子の報告を求める動きが加速すると見られる。

1〜3年の長期的視点では、統計リテラシーの欠如がAI研究全体の質を低下させるリスクがある。特に医療AIや自動運転など、人命に関わる領域では誤った統計解釈が重大な結果を招く。研究コミュニティはp値に代わる評価指標の確立や、事前登録による探索的研究と確証的研究の区別をより厳格に行うべきだ。

編集部として問いたい。p値0.05という閾値は、フィッシャーが1920年代に「たばこを吸いながら考えた」便宜上の数字だと言われている。この100年前の恣意的な基準が、いまだに最先端のAI研究の「発見」を左右している現実に、我々はどれだけ真剣に向き合うべきだろうか。p値を使うにせよ、その限界を理解した上で使っていると言えるだろうか。

参考

• 「What is a p-value? An expert explains the most misunderstood number in science」, by Kyle Hewitt, Neuroscientist and Associate Lecturer specialising in neuropsychopharmacology, University of Wollongong — The Conversation - Technology, 2026-07-28T20:08:49.000Z (CC BY-ND)
• 元記事URL: https://theconversation.com/what-is-a-p-value-an-expert-explains-the-most-misunderstood-number-in-science-288491