Probabilité d'obtenir des données au moins aussi extrêmes que celles observées si l'hypothèse nulle est vraie ; ce n'est pas la probabilité que l'hypothèse soit vraie.La valeur p est un nombre calculé dans le cadre des tests d'hypothèse nulle qui quantifie la compatibilité des données observées avec l'hypothèse nulle. Plus précisément, il s'agit de la probabilité d'obtenir une statistique de test au moins aussi extrême que celle observée, en supposant que l'hypothèse nulle est vraie. Une idée fausse courante est que la valeur p est la probabilité que l'hypothèse nulle soit vraie, ou qu'elle mesure l'ampleur d'un effet — elle ne fait ni l'un ni l'autre. Elle indique seulement à quel point les données seraient surprenantes sous une hypothèse spécifique d'« absence d'effet ».
Le concept a été introduit par Karl Pearson en 1900 dans le cadre du test du chi-deux, puis affiné et popularisé par Ronald Fisher dans les années 1920 comme outil de test de significativité.
Pour calculer une valeur p, on choisit d'abord une statistique de test (comme une statistique t ou un chi-deux) qui résume les données. Sous l'hypothèse nulle, cette statistique suit une distribution de probabilité connue. On localise ensuite la statistique observée sur cette distribution et on calcule l'aire sous la courbe au-delà de ce point — cette aire est la valeur p. Une petite valeur p (par exemple 0,01) signifie que, si l'hypothèse nulle était vraie, des données aussi extrêmes ne se produiraient que 1 % du temps, suggérant que l'hypothèse nulle pourrait être fausse.
Les valeurs p sont utilisées dans toutes les sciences empiriques pour filtrer les résultats en vue de leur publication et pour guider les décisions dans des domaines comme la médecine, l'économie et la génétique.
En 2016, l'American Statistical Association a publié une déclaration officielle avertissant que les valeurs p sont largement mal utilisées et mal interprétées, déclenchant un mouvement vers des pratiques statistiques plus robustes.
