帰無仮説との関係
仮説検定では、まず帰無仮説を設定する。p値は、その帰無仮説が正しいと仮定したときに、観察された検定統計量と同じか、それ以上に極端な値が得られる確率を示す。小さいp値は帰無仮説に反する証拠として扱われる。[1]
有意水準
検定前に、帰無仮説を棄却する基準となる有意水準αを設定する。0.1、0.05、0.01などが実務で用いられることがあり、p値が事前に決めた基準を下回るかどうかで統計的判断を行う。[1]
使い方
NISTは、データを検定した後ではなく、検定前にどの程度小さいp値を帰無仮説棄却の基準とするか決めておくことを良い実務としている。これは有意水準をあらかじめ選ぶことに相当する。[1]
棄却域との関係
有意水準αは、帰無仮説が正しいときに棄却してしまう確率をあらかじめ定める基準であり、対応する臨界値が棄却域を決める。p値は観察された結果がその棄却域にどれだけ近いかを連続的に表す指標として利用できる。[1]