L’essentiel
La date d’une décision, le rôle d’un critère et le but d’une analyse sont des axes distincts. Un sous-groupe n’est pas forcément post hoc. Les ateliers classent des exemples inventés et préparent des questions, sans choisir un test ou un traitement.
Que veut dire « analyse post hoc » ici ?
Une analyse post hoc répond à une question élaborée après avoir observé les données. Dans son résumé méthodologique de 2023, Andrade distingue cette chronologie des autres termes qui décrivent une analyse. La page porte sur la lecture d’une étude, pas sur le choix d’un test de comparaisons multiples après ANOVA.[11]
Exemple fictif : une équipe compare un exercice de mémoire à une activité témoin. Après les résultats, elle remarque une différence chez les personnes venues le matin. Cette observation peut faire naître une question sur l’horaire. Elle n’est pas, par ce seul fait, la confirmation d’une hypothèse posée avant l’étude.
Une découverte après coup est-elle forcément suspecte ?
La découverte n’est pas en elle-même une faute. Le problème apparaît si une hypothèse construite après les données est présentée comme une prédiction préalable. Andrade décrit cette présentation sous le nom de HARKing. Le lecteur doit pouvoir distinguer une piste nouvelle du projet initial.[4]
L’INED rappelle que l’exploration aide à s’approprier des données et à faire naître des questionnements. Le parcours scientifique peut donc combiner exploration et examen d’une hypothèse explicite, à condition de dire ce qui a été fait. Notre sélecteur garde séparés le scénario et la portée de sa conclusion.[5]
Quelle chronologie le récit annonce-t-il ?
Cas pédagogiques inventés, sans classement automatique de la qualité d’une étude.
Le récapitulatif
| Situation | Repère de lecture |
|---|---|
| Question annoncée avant les résultats | Le compte rendu décrit un examen prévu. Sa qualité dépend encore du plan, des mesures et de la méthode effectivement suivie. |
| Question née après les résultats, annoncée comme telle | Une piste exploratoire est rendue visible. Décrivez son origine et ce qui pourrait l’examiner ensuite, sans la présenter comme une confirmation préalable. |
| Question née après, présentée comme antérieure | La chronologie est masquée : c’est le problème décrit par le HARKing. Une conclusion intéressante ne justifie pas de réécrire l’ordre des décisions. |
| Origine de la question non indiquée | Le texte ne permet pas de trancher. Cherchez le protocole, le plan et les explications ; une absence dans le résumé ne démontre pas une dissimulation. |
Sous-groupe, secondaire et sensibilité désignent-ils la même chose ?
Ces mots décrivent des axes différents. Un critère secondaire concerne le rôle d’une mesure ; un sous-groupe concerne une partie de l’échantillon ; une analyse de sensibilité examine ce qui change avec un autre traitement des données. Aucun de ces noms ne suffit à connaître le moment où l’analyse a été décidée.[11]
Le laboratoire permet de juxtaposer ces axes sans leur donner une note automatique. Pour un résultat chiffré, le guide sur le risque absolu et relatif demande aussi de retrouver l’événement, la population et la période. Une présentation claire ne répare pas une sélection non annoncée des observations.
Comment décrire l’analyse sans mélanger les termes ?
Les choix se juxtaposent ; ils ne produisent ni score ni verdict statistique.
Le récapitulatif
| Axe | Descriptions possibles |
|---|---|
| Moment de la décision | Prévu ; Ajouté après les résultats ; Non précisé |
| Rôle de la mesure | Principal ; Secondaire ; Non précisé |
| Population examinée | Ensemble défini ; Sous-groupe ; Non précisée |
| Variation de méthode | Analyse annoncée ; Analyse de sensibilité ; Non précisée |
« Secondaire » ou « sous-groupe » ne dit pas si l’analyse était prévue. Une sensibilité peut aussi être annoncée dans le plan.
Pourquoi une petite valeur p ne raconte-t-elle pas toute l’histoire ?
La valeur p ne décrit pas à elle seule les décisions prises avant son calcul. Si des analyses ont été essayées puis seules certaines présentées, le lecteur perd une partie du contexte. Le dossier sur la valeur p explique le nombre et ses limites ; il ne permet pas de retrouver un plan absent.
Le guide FORS relie la séparation entre analyses prévues et exploration à la transparence du compte rendu. Le document du COS sur le préenregistrement explique également pourquoi il faut distinguer la génération d’une idée et son examen. Aucune formule universelle de correction n’est calculée ici.[3][2]
Que regarder lorsqu’un sous-groupe semble mieux répondre ?
Cherchez si ce groupe était annoncé, pourquoi il a été retenu et comment la comparaison a été conduite. Une différence visuelle ou un résultat intéressant dans une catégorie ne suffit pas à établir que l’effet diffère réellement entre catégories. La question posée au départ et l’analyse appropriée restent à examiner. Cochrane insiste sur la comparaison des sous-groupes entre eux, plutôt que sur la comparaison de leurs seules conclusions de significativité.[1]
Exemple fictif : l’article attire l’attention sur les séances du matin sans indiquer si cet horaire faisait partie du plan. Vous pouvez demander où la décision apparaît et quels autres horaires ont été regardés. Vous ne pouvez pas classer cette différence comme prouvée à partir d’un résumé incomplet. Les recommandations de la documentation OSF précisent les décisions qu’un plan peut rendre traçables.[7]
Que faire si l’analyse ajoutée paraît pertinente ?
Décrivez la nouvelle question, ce qui l’a suggérée et ce qui reste à vérifier. Le COS explique qu’un plan n’interdit pas les changements ou l’exploration. La transparence sur ces décisions donne aux autres les éléments pour les examiner, sans effacer la première version du projet.[9]
Un autre jeu d’observations peut permettre un nouvel examen, mais le simple mot « indépendant » ne garantit pas un dispositif approprié. Le guide sur l’essai de non-infériorité illustre une autre limite de la chronologie : choisir une marge après avoir vu l’intervalle ne revient pas à la justifier avant.
Le préenregistrement supprime-t-il toute ambiguïté ?
Il apporte une trace utile si le plan est précis et si ses écarts restent compréhensibles. Pasteur et Mind the GAP décrivent les décisions à annoncer. La seule mention d’un numéro d’enregistrement ne démontre ni l’absence d’autres analyses, ni la qualité d’une méthode.[8][12]
Le Registered Report ajoute une étape éditoriale au plan. Le COS décrit ce format et l’entretien de Nature Communications en explique les conditions et les difficultés. Aucun de ces dispositifs ne transforme automatiquement une exploration en preuve ; l’article et les documents associés restent à lire.[10][6]
Comment préparer une lecture qui laisse les inconnues visibles ?
Notez la question, sa chronologie, les catégories comparées et ce que le texte dit des décisions ajoutées. La fiche reste locale et exportable. Une case cochée signifie seulement qu’un passage a été retrouvé ; elle n’en atteste pas la validité.
Le préenregistrement d’une étude complète ce travail du côté du plan. Les deux pages servent à poser une question plus précise au texte, pas à décider d’un traitement ou à accuser un auteur à partir d’un document incomplet.
Conserver une fiche des décisions d’analyse
Aucune note, certification ou décision de santé. Les cases décrivent seulement ce que vous avez retrouvé. Aucun stockage automatique ni envoi.
Le récapitulatif
| À rechercher | À noter |
|---|---|
| Question et résultat effectivement examinés | Passage retrouvé ou information inconnue ; référence et commentaire personnels. |
| Moment de formulation annoncé | Passage retrouvé ou information inconnue ; référence et commentaire personnels. |
| Autres analyses ou catégories décrites | Passage retrouvé ou information inconnue ; référence et commentaire personnels. |
| Critère principal ou secondaire identifié | Passage retrouvé ou information inconnue ; référence et commentaire personnels. |
| Effet, incertitude et limites retrouvés | Passage retrouvé ou information inconnue ; référence et commentaire personnels. |
| Piste de vérification et documents associés | Passage retrouvé ou information inconnue ; référence et commentaire personnels. |
Le bouton de téléchargement crée un fichier uniquement à votre demande.
Vrai ou faux : cinq idées reçues
Choisissez votre réponse, l’explication s’affiche aussitôt.
Post hoc signifie automatiquement faux.
Voir la réponse
Faux. Une piste peut être intéressante ; son rôle et ses limites doivent être décrits.
Toute analyse de sous-groupe est post hoc.
Voir la réponse
Faux. Un sous-groupe peut avoir été annoncé avant l’observation des résultats.
Un test exécuté après une ANOVA est forcément une hypothèse inventée après les données.
Voir la réponse
Faux. Le nom d’une procédure et la chronologie de sa planification sont des axes distincts.
Une petite valeur p corrige une sélection non annoncée.
Voir la réponse
Faux. Le plan, les choix et la multiplicité restent à examiner.
Une découverte imprévue peut inspirer un autre travail.
Voir la réponse
Vrai. Une nouvelle question peut être examinée sur d’autres observations, avec un plan explicite.
Questions fréquentes
Que signifie post hoc dans un compte rendu d’étude ?
Cela décrit une analyse conçue après l’examen des données. Retrouvez le contexte exact : l’expression désigne aussi certaines comparaisons après ANOVA, qui ne sont pas le sujet principal de cette page.
Une analyse post hoc est-elle inutile ?
Elle peut faire émerger une piste. La limite consiste à la présenter comme une confirmation indépendante si la même observation a servi à formuler la question.
Un sous-groupe est-il toujours une analyse post hoc ?
Le sous-groupe peut être prévu ou ajouté après coup. Sa seule présence ne permet pas de connaître le moment de la décision.
Une analyse de sensibilité est-elle forcément exploratoire ?
La robustesse peut être examinée selon un plan prévu ou une analyse ajoutée. Cherchez la méthode annoncée et la raison de l’analyse plutôt que d’inférer la chronologie du seul nom.
Une petite valeur p suffit-elle pour confirmer la piste ?
Le nombre ne raconte pas tous les choix qui l’ont précédé. La multiplicité, les dépendances et le plan restent à examiner ; une validation indépendante répond à une autre question.
Les ateliers choisissent-ils mon test statistique ?
Ils organisent la lecture d’un compte rendu. Ils ne proposent ni test adapté à vos données, ni diagnostic, ni décision clinique.
Sources & pour aller plus loin
Publications scientifiques et ressources institutionnelles. Les limites et l’interprétation sont discutées dans le texte.
- Cochrane Handbook, chapitre 10 — Comparer des sous-groupes et examiner une interaction ↗
- Center for Open Science — Preregistration : objectifs, données existantes et décisions prévues ↗
- Heers, FORS Guide 09, 2020, version 1.1 mise à jour janvier 2025 — Préenregistrement et rapports enregistrés ↗
- Andrade, 2021 — HARKing, Cherry-Picking, P-Hacking et autres pratiques discutables (J Clin Psychiatry) ↗
- INED, Service des méthodes statistiques — Analyse exploratoire ↗
- Nature Communications, 2022 — Opportunities and challenges for Registered Reports in ecology and evolution (entretien méthodologique) ↗
- OSF Support — Registrations & Preregistrations, documentation du registre ↗
- Institut Pasteur, 26 juin 2026 — Comment et pourquoi pré-enregistrer son étude ? ↗
- DeHaven, 2017 — Preregistration: A Plan, Not a Prison (Center for Open Science) ↗
- Center for Open Science — Registered Reports, format et évaluation avant les résultats ↗
- Andrade, 2023 — Types of Analysis: Planned vs Post Hoc et autres axes (Indian Journal of Psychological Medicine, résumé) ↗
- VLIR, Mind the GAP — Préenregistrement et rapports enregistrés, formation à l’intégrité de la recherche ↗
Références examinées pour cette mise à jour : 28 octobre 2026.
