Biais de publication : voir les études qui manquent

Qu’est-ce que le biais de publication ?

Le biais de publication survient quand la mise à disposition d’une étude dépend de ses résultats. Une recherche qui trouve un effet peut avoir davantage de chances de paraître qu’une recherche qui n’en trouve pas, même si les deux ont été correctement conduites.

Le problème concerne le tableau d’ensemble. Si vous ne voyez qu’une partie des travaux, vous risquez de croire qu’une intervention est mieux étayée qu’elle ne l’est. Les données absentes ne sont pas nécessairement mauvaises ; leur absence empêche précisément de les examiner. Dans une cohorte rétrospective publiée en 1991, Easterbrook et ses collègues ont suivi 487 projets autorisés par un comité d’éthique. Les résultats statistiquement significatifs étaient associés à une plus grande probabilité de publication. Cette observation décrit cette cohorte, pas un pourcentage universel de recherches cachées.^[1]

Le terme « positif » prête à confusion. Il désigne souvent un résultat favorable à l’hypothèse, pas forcément un effet bénéfique pour la santé. Une étude montrant un danger peut être positive au sens statistique. Commencez donc par demander : quelle hypothèse, quel critère et quelle comparaison ? Notre dossier sur la corrélation et la causalité aide à poser la dernière question.

Comment l’effet tiroir change-t-il ce que vous lisez ?

Une sélection orientée peut changer le résultat moyen visible sans changer une seule donnée de départ. L’atelier conserve toutes ses lignes fabriquées : seuls les travaux que l’on choisit d’afficher varient.

Dans l’étude de Franco et ses collègues publiée en 2014, 221 expériences de sciences sociales bénéficiaient d’un suivi permettant de connaître aussi les travaux non publiés. Les résultats les plus nets avaient davantage de chances d’être rédigés puis publiés. Le tri ne se situait donc pas seulement dans la décision finale d’une revue : la préparation du manuscrit comptait aussi.^[2]

Plusieurs portes peuvent rester fermées : une équipe ne rédige pas, une soumission est rejetée, une révision demeure inachevée ou le résultat n’est pas rendu accessible. Ces situations ont des causes différentes. Le mécanisme de sélection doit être étudié avant de désigner un responsable. Un résultat difficile à publier n’établit, à lui seul, ni fraude ni intention de cacher.

Le sélecteur ne reproduit aucune cohorte réelle. Ses effets sont arbitraires, exprimés en points sans unité clinique. Il illustre seulement qu’une moyenne calculée sur un sous-ensemble n’a plus le même dénominateur. Téléchargez les lignes pour vérifier cette différence au lieu de reprendre le chiffre isolé.

Un résultat non significatif prouve-t-il l’absence d’effet ?

Un résultat non significatif ne démontre pas automatiquement qu’un effet est nul. Il faut lire l’estimation, son incertitude et la question posée ; une étude peu précise peut rester compatible avec plusieurs effets.

Prenons un exemple de lecture, sans donnée clinique : un intervalle large qui traverse zéro ne permet pas la même conclusion qu’un intervalle étroit autour d’une différence négligeable. Le premier peut surtout signaler un manque de précision. Le second peut être plus informatif sur une petite différence, si le plan et les hypothèses conviennent. Les intervalles de confiance à 95 % expliquent ces limites sans transformer l’intervalle en probabilité individuelle.

Le « tiroir » ne devrait donc pas être réservé aux résultats qui dépassent un seuil statistique. Un essai bien conçu qui réduit l’incertitude peut être utile même sans différence significative. À l’inverse, publier une petite valeur p ne suffit pas à établir un bénéfice important. Le guide sur la valeur p et la taille d’un effet distingue ces deux informations.

L’analyse de Jerke et ses collègues, publiée en 2025, étudie des discontinuités autour de seuils de significativité dans des articles d’une revue d’économie. Ses observations portent sur ce corpus et cette méthode. Elles n’autorisent pas à classer chaque article qui affiche un seuil comme suspect.^[11]

Quelle différence entre une étude absente et un critère sélectionné ?

Le biais de publication porte sur l’accès à une étude entière ; la sélection des résultats peut se produire dans un article accessible. Un critère prévu peut manquer, être modifié ou céder sa place à un résultat plus favorable.

Chan et ses collègues ont comparé des protocoles et des comptes rendus d’essais approuvés au Danemark. Leur analyse de 2004 portait sur 102 essais et 3 736 critères. Elle montre pourquoi lire seulement le résumé publié peut laisser de côté une partie de la question initiale.^[3]

Une modification n’est pas forcément injustifiée. Une mesure peut devenir indisponible ou une erreur de protocole devoir être corrigée. Le lecteur a besoin de connaître le changement, sa date et sa justification. Une analyse exploratoire annoncée comme telle n’a pas le même statut qu’un critère présenté après coup comme s’il avait toujours été principal.

La correction de Rising publiée en 2009 rappelle une autre précaution : vérifier les correctifs. Elle rectifie des nombres du texte de leur étude de 2008, sans remettre en cause les tableaux concernés. Un correctif fait partie du dossier à lire, pas d’un détail à ignorer.^[4][5]

Pourquoi le délai de publication compte-t-il aussi ?

Une étude peut finir par être publiée tout en arrivant trop tard pour une première synthèse. À une date donnée, des résultats favorables plus rapides à paraître peuvent dominer la littérature accessible.

Stern et Simes ont examiné des projets soumis à un comité d’éthique d’un hôpital de Sydney. Leur article de 1997 décrit une association entre résultat et délai de publication. Il ne fixe pas un délai normal pour un essai actuel : les projets observés avaient été soumis entre 1979 et 1988.^[6]

Ioannidis a suivi 109 essais d’efficacité menés dans deux groupes de recherche sur le VIH. Dans cet article de 1998, une part majeure du décalage se situait après la fin du suivi. Ce résultat aide à distinguer le temps nécessaire pour mener une étude et le temps nécessaire pour en rendre les résultats publics.^[7]

Pour lire une synthèse, relevez sa date limite de recherche. Comparez-la à la date d’achèvement des études enregistrées, si elle est disponible. Un essai encore en cours ne doit pas être compté comme résultat manquant. Un rapport rendu public après cette limite peut expliquer une différence entre deux synthèses, sans prouver que l’une était mal conduite.

Peut-on mesurer l’ampleur du biais dans tous les domaines ?

L’ampleur dépend du corpus, de la période, des résultats suivis et de l’accès aux données non publiées. Un chiffre obtenu dans un ensemble d’essais ne devient pas le taux de biais de toute la science.

Turner et ses collègues ont comparé les rapports réglementaires américains et les publications concernant des antidépresseurs. Leur analyse de 2022 inclut 30 essais de médicaments plus récents et les compare à une cohorte antérieure. Ils constatent une amélioration de la transparence, avec des écarts persistants selon l’issue des essais. Le périmètre reste une classe de traitements et porte surtout sur l’efficacité, pas sur toutes les questions de sécurité.^[8]

Driessen et ses collègues ont cherché les résultats d’essais de psychothérapie financés par les NIH. L’ajout de travaux non publiés changeait l’estimation de leur synthèse de 2015. Cette étude souligne l’intérêt de retrouver les résultats ; elle ne permet pas de décider seul d’arrêter ou de choisir un traitement.^[9]

Fanelli a étudié en 2010 la fréquence de résultats présentés comme positifs dans plusieurs disciplines. Observer cette fréquence dans les articles disponibles ne révèle pas directement combien d’études n’ont jamais paru. Les questions testées, les méthodes et les pratiques disciplinaires diffèrent aussi. Gardez cette distinction entre un indice indirect et une comparaison avec un inventaire connu.^[10]

Une méta-analyse ou un funnel plot règle-t-il le problème ?

Une méta-analyse peut rester influencée par les travaux qu’elle n’a pas retrouvés. Additionner soigneusement les résultats accessibles ne recrée pas automatiquement les résultats absents.

Avant de lire le résultat global, regardez comment les auteurs ont recherché les études : bases consultées, registres, rapports réglementaires et demandes de résultats. Repérez aussi la façon dont ils analysent la possibilité de données manquantes. Leur conclusion peut rester solide, devenir plus prudente ou demeurer incertaine ; le mot « méta-analyse » ne tranche pas à lui seul.

Un funnel plot représente généralement une estimation d’effet en fonction d’une mesure de précision ou de taille. Une asymétrie peut attirer l’attention, mais elle ne prouve pas un biais de publication. Des différences entre études ou d’autres effets liés aux petits essais peuvent contribuer au dessin. Les tests et corrections reposent sur des hypothèses qu’il faut lire.^[12]

Le chapitre méthodologique de la SFPT présente ces difficultés. Pour un lecteur, le geste utile consiste à chercher la discussion des limites et les analyses de sensibilité. Il serait trompeur d’appliquer une correction automatique à un chiffre trouvé sur une page web, sans données complètes ni méthode adaptée.

Que peut-on vérifier dans un registre d’études ?

Un registre permet de comparer ce qui était annoncé avec ce qui devient accessible, si les fiches sont assez complètes. L’enregistrement améliore la traçabilité ; il ne garantit ni une bonne méthode ni une publication exhaustive.

Le projet européen UNCOVER, présenté dans une fiche CORDIS de 2015, a étudié les obstacles à la diffusion des résultats. Ce document ancien aide à comprendre les leviers de transparence. Il ne décrit pas une nouvelle obligation entrée en vigueur en 2026.^[13]

L’atelier suivant distingue trois nombres : études enregistrées, études terminées avec résultats accessibles, articles correspondants repérés. Plusieurs articles peuvent provenir d’un même essai. Additionner des publications comme s’il s’agissait d’essais indépendants peut donc créer une autre erreur de dénominateur.

Les comptes saisis restent des hypothèses pédagogiques. L’outil ne cherche pas dans un registre et ne vérifie aucun identifiant. Un résultat manquant y reste inconnu : il pourrait être favorable, défavorable, imprécis ou impossible à exploiter. Le nombre absent ne permet pas d’en déduire le sens.

Comment lire un article sans lui attribuer un faux score ?

Une fiche de lecture peut organiser les informations manquantes sans donner une note de vérité. Relevez la source de chaque réponse et conservez « non trouvé » lorsque le document ne répond pas.

Commencez par retrouver l’identifiant d’enregistrement ou le protocole, puis le critère principal et le calendrier prévu. Cherchez ensuite les résultats sur ce critère et la justification des modifications éventuelles. L’absence de protocole public ne démontre pas une manipulation ; elle limite ce que vous pouvez contrôler vous-même.

La fiche exportée contient vos choix de lecture, pas un diagnostic méthodologique. Elle ne remplace pas une évaluation formelle du risque de biais menée avec des outils adaptés et une équipe compétente. Elle évite surtout de confondre une information trouvée, une information absente et une conclusion établie.

Si un média annonce un effet spectaculaire, suivez le lien jusqu’à l’étude. Vérifiez qu’il s’agit bien de recherche chez l’humain, du bon produit et de la bonne comparaison. Les risques absolus et relatifs peuvent décrire le même résultat avec des impressions très différentes. C’est une autre question que celle des études manquantes, mais les deux peuvent se cumuler.

Que retenir avant de partager une conclusion ?

Une conclusion proportionnée indique ce qui est observé, dans quel ensemble de travaux et avec quelles limites. La possibilité d’un biais invite à mieux chercher ; elle ne transforme pas une intuition personnelle en preuve supérieure.

Dans cette capsule de 2015, Jean-Bernard Chatelain discute les incitations à publier des résultats remarquables en économie. Le propos illustre un mécanisme institutionnel ; ce n’est pas une mesure du biais dans chaque discipline ni une évaluation d’un traitement.

Gardez trois gestes simples : retrouver la source complète, demander quel dénominateur reste invisible et vérifier si les résultats prévus sont effectivement rapportés. Une synthèse honnête peut reconnaître une amélioration de la transparence tout en conservant des réserves. Cette précision est plus utile qu’une formule qui déclare toute la recherche fiable ou toute la recherche fausse.

Pour poursuivre dans la rubrique cerveau et rythmes, revenez à la régression vers la moyenne : un mécanisme de sélection des mesures peut modifier un avant/après, même quand toutes les observations sont disponibles. Ici, la question centrale est différente : quels travaux ont pu devenir visibles ?