問題を振り返る

目の前にツボが１つある。それは A か B のツボであるが外から判断できない
知識として、A のツボには９個の白玉と１個の黒玉が入っており、
B のツボには２個の白玉と８個の黒玉が入っていることを知っている。
今、ツボから１個球を取り出したら、黒球でした。
目の前のツボはどちらでしょうか？
事実１：A または B
事実２：A ならばおおよそ白球
事実３：B ならばおおよそ黒球
事実４：黒球（白球ではない）

ネイマン・ピアソン式では

事実２、３に「おおよそ」と入っているので論理的推論は使えません。
１つの判断を加えれば、論理的推論とほぼ同じ経路を辿って、推定を
行うことができます。
１つの判断とは、「おおよそ」における確率的な数値が一定の基準を満たせば
、間違った判断をしてしまうリスクは覚悟する。
例えば、１０回に１回程度、すなわち、確率１０％で間違った判断を下して
しまうことは仕方ない、と目をつぶる。このは判断の元では、次のような推論
が可能になります。

仮に A だと仮定します。そして事実２から、白球だと結論します。ただし、
この結論は「絶対に正しい」ものではありません。この結論は１０％の確率で
誤りとなります。A のツボから取り出される球が黒球である確率が 0.1 だから
です。
わずか１０％ながら間違う可能性を持つこの結論「白玉である」と、事実４
とを合わせると、矛盾が起こります。したがって、仮定であるAが否定され「A
でない」が導かれます。
このことを、統計学の専門用語で「仮設Aは棄却される」といいます。

ポイントになるのは、「おおよそ」を意味する確率１０％を、判断を間違える
リスクとして受け入れた。と言うことです。
したがって、「Bのツボである」が正しいか、間違いか、そのこと自体は
分かりませんが、この方法で指定し続けると、わずか１０％の確率ではあるが、
間違った結論を下してしまう。つまり「A のツボなのBのツボだと結論してしま
う。ことが起こります。

有意水準

「A が正しい場合にαと言う低い確率でしか起きないことが、実際に観測された
とき、A がそもそも間違っている判断し、仮設Aを捨てる、観測されなかったと
きは、捨てる理由がないから保持する」と言うことです

ここで帰無仮説Aを棄却するかしないかの基準となる確率αは、専門的に「有意水
準」と呼ばれます。

現在ではこの方法が広く用いられています。ポイントは有意水準αであり、これ
をいくつに設定するかが重要な問題となります。
有意水準αは「めったに観測されないような現象」の確率を意味します。
普通は５％(0.05)または１％(0.01)と設定されます。しかしこの数字は
科学的根拠はありません。
フィッシャーが適当に考えたらしい。