Demander à quel point les données seraient improbables s'il n'y avait aucun effet — le cadre dans lequel les découvertes sont déclarées.Le test d'hypothèse nulle est un cadre statistique utilisé pour décider si un effet observé dans les données est réel ou pourrait vraisemblablement être dû au hasard. L'« hypothèse nulle » stipule généralement qu'il n'y a pas d'effet, pas de différence ou pas de relation — par exemple, qu'un nouveau médicament n'est pas plus efficace qu'un placebo. Le test pose la question : si l'hypothèse nulle était vraie, quelle serait la probabilité d'observer des données au moins aussi extrêmes que celles réellement observées ? Si cette improbabilité tombe en dessous d'un seuil prédéfini (généralement 5 %), les chercheurs déclarent le résultat « statistiquement significatif » et rejettent l'hypothèse nulle en faveur d'une hypothèse alternative.
Le cadre a été formalisé au début du XXe siècle par Ronald Fisher, qui a introduit le concept de test de signification dans les années 1920, puis étendu par Jerzy Neyman et Egon Pearson avec l'hypothèse alternative et les types d'erreurs.
La procédure commence par supposer que l'hypothèse nulle est vraie. De cette hypothèse, on dérive une distribution de probabilité pour une statistique de test — un nombre résumant les données, comme une différence de moyennes. Les données observées fournissent une valeur réelle de cette statistique. Le test calcule ensuite la probabilité d'obtenir une valeur aussi extrême ou plus extrême que celle observée, sous la distribution supposée. Cette probabilité est la valeur p. Si la valeur p est suffisamment petite, le résultat est jugé incompatible avec l'hypothèse nulle, et l'hypothèse nulle est rejetée.
C'est l'outil par défaut dans la recherche scientifique, des essais cliniques aux expériences de psychologie, pour décider si une intervention ou un effet mérite l'attention.
Le seuil de 5 % pour la signification a été popularisé par Fisher, qui l'a choisi comme un nombre rond pratique dans son livre de 1925 « Statistical Methods for Research Workers ».












