Valeur p : ce qu’elle dit, ce qu’elle ne prouve pas

Que mesure une valeur p dans une étude ?

Une valeur p décrit la rareté d’un résultat au moins aussi extrême sous un modèle statistique précisé. Le modèle comprend l’hypothèse testée, mais aussi des conditions sur les observations et la méthode ; oublier ces conditions change le sens du nombre^[1].

L’hypothèse nulle, souvent notée H0, peut représenter une différence nulle entre deux groupes. Le test compare une statistique calculée avec ce qu’on attendrait si cette hypothèse et les autres conditions du modèle étaient respectées. Il faut donc savoir quelle différence est étudiée, dans quelle population et comment les données ont été recueillies.

Ce dossier s’adresse à la personne qui lit un article ou une annonce scientifique. Il ne choisit pas un test pour des données de santé personnelles. Les laboratoires utilisent des modèles fictifs, entièrement locaux ; ils ne produisent ni diagnostic ni décision de traitement. Pour retrouver les autres repères du même ensemble, notre dossier intervalle de confiance à 95 % examine les bornes plutôt qu’un seuil isolé.

Comment interpréter une p-value de 0,03 ?

Une valeur p de 0,03 signifie que, sous le modèle et les hypothèses du test, la probabilité d’un résultat au moins aussi extrême est de 3 %. Elle ne transforme pas l’hypothèse en un événement ayant 3 % de chances d’être vrai.

La différence tient à l’ordre de la question. On part d’un modèle pour examiner les données ; on ne calcule pas directement la probabilité de ce modèle après avoir vu les données. Goodman explique dans sa revue de 2008 pourquoi cette inversion conduit à des conclusions trompeuses^[2]. Le calcul de p ne remplace pas les connaissances antérieures ni l’examen du mécanisme proposé.

Prenons une phrase de lecture, sans résultat réel : « Sous l’hypothèse d’une différence nulle et les conditions du test, un écart au moins aussi extrême serait peu fréquent. » Cette phrase conserve le conditionnel. « Le produit a 97 % de chances de fonctionner » le supprime et ajoute une information qui n’a pas été calculée.

La vidéo de La statistique expliquée à mon chat utilise un jeu de dé pour rendre cette question visible. Le jeu et ses personnages sont fictifs. Retenez surtout la somme des résultats aussi suspects ou davantage ; la vidéo ne mesure ni l’efficacité d’un soin ni la fiabilité de toute étude ayant la même valeur p.

Pourquoi le seuil de 0,05 ne suffit-il pas ?

Le seuil alpha est une règle fixée pour une procédure ; la valeur p est calculée à partir des données. Le nombre 0,05 n’est pas une frontière naturelle séparant une découverte vraie d’une découverte fausse.

Une revue historique publiée en 2016 décrit le passage d’une suggestion de seuil à un usage parfois automatique. Elle recommande de lire ensemble l’association observée, la valeur p, l’intervalle et la taille de l’échantillon^[8]. Changer de seuil après avoir vu le résultat ne répare pas une étude décevante ; cela modifie la règle au moment où l’on connaît déjà la réponse.

Dans une règle annoncée « rejeter si p est inférieure ou égale à alpha », on compare les deux valeurs non arrondies. Une publication affichant seulement p = 0,05 peut avoir arrondi un résultat situé de part ou d’autre du seuil. Demandez les précisions nécessaires plutôt que de trancher à partir d’une dernière décimale manquante.

Deux résultats fictifs proches, p = 0,049 et p = 0,051, ne deviennent pas des conclusions scientifiques opposées par magie. Il faut encore examiner les effets et l’incertitude. L’ASA a formulé six principes en 2016, dont le refus de faire dépendre une conclusion de la seule traversée d’un seuil^[10]. Ce cadre invite à décrire les résultats ; il ne dispense pas d’annoncer une méthode d’analyse.

Comment calculer p dans un modèle normal simple ?

Dans le laboratoire ci-dessous, la statistique z suit une loi normale centrée réduite sous H0. Le calcul utilise cette distribution précise ; il ne s’applique pas automatiquement à un test de Student, à des observations dépendantes ou à un tableau de petits effectifs.

Avec z = 2 dans ce modèle fictif, la valeur bilatérale est proche de 0,0455. La valeur unilatérale à droite est proche de 0,0228. Ces deux nombres ont été recalculés par script ; leur différence vient de la question posée, pas d’un changement des observations. Le NIST décrit les propriétés de la distribution normale utilisée ici^[11].

Un test bilatéral s’intéresse aux écarts dans les deux sens. Un test unilatéral vise un sens annoncé avant l’analyse. Choisir ensuite le côté qui donne le plus petit nombre n’équivaut pas à avoir posé cette question dès le départ. Si z est négatif, un test dirigé vers la droite n’utilise pas la même extrémité que celui dirigé vers la gauche.

La symétrie permet le calcul bilatéral de cet atelier. Elle ne justifie pas de doubler ou diviser n’importe quelle p-value issue de n’importe quel test. Pour une analyse réelle, retrouvez le nom du test, la distribution, les conditions d’application et le sens de la comparaison. L’outil aide à comprendre ces choix ; il ne valide pas votre protocole.

Une petite valeur p signifie-t-elle un grand effet ?

Une petite p-value ne mesure pas l’ampleur d’une différence. Un résultat peut être estimé avec précision tout en restant trop petit pour répondre à la question pratique ; inversement, une différence importante peut rester très incertaine.

La discussion méthodologique de 2017 en orthopédie recommande de présenter l’amplitude des effets avec leur précision, plutôt que de réduire les résultats à une étiquette^[9]. Le raisonnement vaut pour la lecture : commencez par retrouver l’unité. Un gain de quelques secondes, un changement de score et un rapport de risques ne se comparent pas en regardant leurs seules valeurs p.

Les scénarios du laboratoire sont inventés. Deux d’entre eux partagent la même statistique z et la même p-value, alors que la différence en points n’est pas la même. Le seuil d’intérêt de deux points est lui aussi imposé pour l’exercice ; il n’a pas de valeur clinique. L’atelier conserve ces hypothèses afin de montrer ce que le calcul sait dire et ce qu’il ne décide pas.

Dans l’analyse automatisée de Chavalarias et collègues, portant sur la littérature biomédicale de 1990 à 2015, les auteurs ont relevé une forte place des valeurs p et un manque d’autres informations statistiques dans les échantillons examinés^[3]. Cette étude du compte rendu scientifique ne mesure pas l’efficacité des interventions décrites. Elle justifie de chercher l’effet et ses bornes au-delà du résumé.

Si le résultat est exprimé comme une baisse de risque, notre dossier risque absolu et risque relatif permet de retrouver les proportions de départ. Une réduction relative spectaculaire ne donne pas, à elle seule, le nombre de personnes concernées.

Que signifie un résultat non significatif ?

Un résultat non significatif ne démontre pas une absence d’effet. Il indique que la règle de rejet annoncée n’a pas été satisfaite pour ce test ; plusieurs explications restent possibles.

L’effet peut être petit, les données trop variables, l’effectif limité ou le modèle peu adapté. La revue de Button et collègues de 2013 souligne les difficultés liées à une faible puissance dans les études de neurosciences, dont les estimations exagérées et une moindre reproductibilité^[6]. Elle ne permet pas d’attribuer automatiquement ces problèmes à chaque étude de petite taille.

Pour distinguer « nous n’avons pas montré de différence » et « une différence importante paraît peu compatible avec ces données », regardez les bornes de l’intervalle. Une fourchette très large laisse de nombreux scénarios ouverts. Une fourchette étroite autour d’un effet faible répond à une autre question. La marge considérée comme importante doit être justifiée dans le domaine étudié.

La même prudence s’applique à une intervention comparée à un placebo. Une absence de différence nette dans un petit essai ne montre ni que les deux interventions sont identiques ni qu’elles sont toutes deux efficaces. Le dossier effet placebo et effet nocebo aide à distinguer attentes, mesures ressenties et critères observés. La conclusion dépend du protocole, pas d’une étiquette seule.

Pourquoi multiplier les tests change-t-il la lecture ?

Chercher un petit p parmi de nombreuses analyses augmente les occasions d’obtenir un résultat passant le seuil. La probabilité familiale de l’atelier ci-dessous concerne un modèle très précis : tests indépendants, continus, correctement calibrés et hypothèses nulles toutes vraies.

Avec vingt tests indépendants à alpha = 0,05 dans ce modèle, la probabilité d’au moins un rejet à tort est d’environ 64,2 %. La formule est 1 − (1 − alpha) puissance m. Ce résultat, recalculé par script, n’est pas la proportion de fausses découvertes dans un laboratoire réel ; il décrit une famille fictive où toutes les hypothèses nulles sont vraies.

Simmons et collègues ont montré par simulations et expériences comment une flexibilité non déclarée dans la collecte, l’analyse et le compte rendu peut augmenter les faux positifs^[4]. Ce problème dépasse le nombre affiché de comparaisons : arrêter la collecte après un résultat favorable, choisir un sous-groupe ou ne montrer qu’un critère change aussi la lecture de l’analyse.

Colquhoun explore pour sa part, dans un modèle publié en 2014, la différence entre un seuil de test et le risque qu’une découverte soit fausse^[7]. Ses taux dépendent des hypothèses du modèle. Il serait incorrect de transformer un pourcentage tiré de cette démonstration en probabilité universelle de fausseté de votre article.

Les méthodes de correction, la définition d’un critère principal et la transparence du plan d’analyse répondent à des problèmes distincts. Une correction ne supprime pas les biais de sélection ou de mesure. Pour cette autre partie du raisonnement, le dossier corrélation et causalité montre pourquoi une association statistique ne suffit pas à établir une cause.

Comment lire une étude sans s’arrêter aux étoiles ?

Retrouvez la question, l’effet, son incertitude et les analyses prévues avant de commenter la valeur p. Cette lecture permet aussi de repérer ce qui manque ; elle ne donne pas une note automatique de qualité.

L’essai théorique d’Ioannidis de 2005 examine notamment le rôle de la puissance, des biais et de la sélection des relations testées dans la fiabilité des résultats^[5]. C’est un cadre de raisonnement, pas un recensement prouvant qu’une proportion donnée de toutes les publications serait fausse aujourd’hui.

Ce contrôle est utile pour lire les études citées dans notre dossier Grounding : preuves et limites. Relier une mesure électrique à un bénéfice de santé exige une comparaison et un critère clinique adaptés. Un résultat statistique isolé ne fournit pas cette chaîne de preuves. Retrouvez aussi les rythmes et méthodes de lecture pour poursuivre dans la même rubrique.