La science en bref 3 : La solidité de la preuve scientifique

Qu’est-ce qu’une preuve scientifique?

Pour les scientifiques, une preuve scientifique est une information recueillie au moyen de méthodes scientifiques rigoureuses qui modifient leur croyance en la véracité des énoncés factuels du premier au quatrième type. La preuve positive augmente la croyance des scientifiques que l’énoncé est vrai, tandis que la preuve négative la diminue (ou, de la même manière, augmente leur croyance que l’énoncé est faux)^{Note de bas de page 1}.

La solidité des preuves

La qualité des preuves scientifiques varie. Des preuves solides ou de haute qualité sont celles pour lesquelles la modification de la croyance des scientifiques en la véracité de l’énoncé est importante, alors que des preuves faibles sont celles pour lesquelles la modification de la croyance est faible^{Note de bas de page 2}. Cette modification de croyance est liée à la croyance des scientifiques en l’absence de preuves (le « contrefactuel ») (figure 1).

• Figure 1 - Version textuelle

  Figure 1. La croyance des scientifiques en la véracité d’un énoncé peut aller de la conviction absolue que l’énoncé est faux (B = -1) à la conviction absolue qu’il est vrai (B = 1). Dans cet exemple hypothétique, le scientifique est faiblement convaincu que l’énoncé est vrai (point noir) avant d’avoir vu les preuves à l’étude. Une solide preuve positive entraîne une augmentation importante (ΔB₁) de sa croyance en la véracité de l’énoncé (point vert). En revanche, une faible preuve négative entraîne une diminution plus faible (ΔB₂) de sa croyance en la véracité de l’énoncé (point rouge).

La solidité des preuves qui sous-tendent les hypothèses causales

Pour les scientifiques, la solidité des preuves fournies par une étude scientifique est déterminée par : (1) la qualité de la conception de l’étude et des méthodes utilisées, y compris l’exécution de l’étude; (2) l’étendue du caractère indirect ou de l’extrapolation; et (3) le degré d’association entre la cause et l’effet hypothétiques (figure 2)^{Note de bas de page 3}.

• Figure 2 - Version textuelle

  Figure 2. Les trois attributs qui déterminent la solidité des preuves fournies par une étude scientifique. Le cercle bleu représente une étude qui fournit des preuves solides (conception et méthodes d’étude de haute qualité, forte association entre la cause et l’effet et faible caractère indirect et faible extrapolation; le cercle orange représente une étude qui fournit des preuves faibles (conception et méthodes d’étude de mauvaise qualité, fort caractère indirect et grande extrapolation, et faible association).

Conception et méthodes d’étude

Les scientifiques vérifient les hypothèses en comparant leurs prédictions aux résultats observés. Les conceptions et les méthodes de haute qualité sont celles pour lesquelles, en tirant une inférence au sujet de la véracité ou de la fausseté de l’hypothèse sur la base de cette comparaison, il est peu probable qu’une erreur soit commise.

Considérons, par exemple, l’hypothèse causale selon laquelle la croissance des algues dans les lacs est déterminée par la concentration de phosphore (un produit chimique présent dans les engrais et les eaux usées) dans l’eau. Une façon de vérifier cette hypothèse consiste à échantillonner un ensemble de lacs et à examiner la relation entre la concentration de phosphore et la croissance des algues. Dans cette étude d’association, l’hypothèse prédit que la concentration de phosphore et la chlorophylle a (un indicateur de la croissance des algues) seront associées positivement (figure 3a). Une autre conception d’étude consiste à ajouter du phosphore dans une petite baie isolée du bassin principal d’un lac par un rideau de plastique imperméable qui s’étend jusqu’au fond. Dans cette étude expérimentale, la prédiction est que la croissance des algues dans la baie sera plus importante que dans le bassin principal du lac (figure 3b).

La solidité de la preuve fournie par l’étude présentée à la figure 3b est plus grande. Pourquoi? Parce qu’ici les scientifiques manipulent délibérément le facteur causal hypothétique et qu’il y a un (raisonnablement) bon traitement expérimental de contrôle, dans ce cas, le bassin principal du lac. Dans l’étude présentée à la figure 3a, il n’y a pas de manipulation, et donc pas de contrôle à proprement parler. Et parce qu’il n’y a pas de contrôle formel, même si la relation positive prédite est établie, il est problématique de déduire que l’augmentation du phosphore entraîne une augmentation de la production d’algues^{Note de bas de page 4}.

• Figure 3 - Version textuelle

  Figure 3. Les résultats de deux études différentes (d’association [3a] et expérimentale [3b]) vérifiant l’hypothèse causale selon laquelle la production d’algues dans les lacs est déterminée par la concentration de phosphore. Ces deux études fournissent des preuves positives, puisque les résultats observés correspondent aux prédictions. Mais laquelle est la plus convaincante?

Un autre attribut important de la conception de l’étude est le degré de réplication ou la taille de l’échantillon. Dans l’exemple du lac, on pourrait imaginer deux degrés différents de réplication : (1) dans l’étude d’association, cinq lacs contre 25 lacs sont échantillonnés; (2) dans l’étude expérimentale, la barrière est installée dans un lac par rapport à cinq lacs différents. Dans les deux cas, la solidité de la preuve fournie par la dernière conception est plus grande que la première parce qu’une taille d’échantillon plus grande réduit la probabilité que le modèle prédit se produise simplement par hasard.

Un troisième attribut important est le niveau et la pertinence du contrôle de l’étude. Dans les études expérimentales, les unités d’observation sont attribuées par l’enquêteur à différents groupes (p. ex. dans la deuxième étude expérimentale sur les lacs, il peut y avoir cinq unités de ce type (lacs), chacune comprenant un groupe témoin (le bassin principal du lac) et un groupe de traitement (la baie). Une étude bien contrôlée est une étude dans laquelle les groupes de traitement et témoin ne diffèrent que par rapport aux facteurs causaux vérifiés. Dans une telle étude, l’inférence selon laquelle les différences observées entre le groupe témoin et le groupe expérimental sont dues à ces facteurs est très probablement valide. Dans les études mal contrôlées, il existe une ou plusieurs différences systématiques entre les deux groupes qui peuvent affecter les résultats de l’étude : en conséquence, les effets (s’il y en a) des facteurs causaux sont embrouillés par ces différences. Par exemple, dans une étude sur les effets d’une vaccination antérieure à l’hospitalisation^{Note de bas de page 5}, les chercheurs ont examiné les cas de personnes hospitalisées en raison de la COVID-19 et ont comparé les chances qu’elles soient complètement vaccinées avec un vaccin à ARNm (cas exposés, cas d’infection) par rapport aux cas non vaccinés (non exposés) et par rapport aux groupes témoins hospitalisés pour d’autres pathologies. La conclusion selon laquelle l’hospitalisation en raison de la COVID-19 était fortement associée à une probabilité moindre de vaccination pourrait également se produire si les cas d’infection post-vaccinale étaient systématiquement plus susceptibles d’être hospitalisés en raison d’une infection à la COVID-19 de moindre gravité que les patients non vaccinés.

La qualité d’une étude est également déterminée par l’efficacité avec laquelle l’étude prévue a été exécutée. Presque inévitablement, les contraintes logistiques, de temps et de ressources entraîneront des différences entre ce qui était prévu et ce qui a été effectivement réalisé. Ces différences peuvent introduire des biais^{Note de bas de page 6} de différents types. Par exemple, dans les essais cliniques, les différences systématiques entre les patients qui abandonnent et ceux qui restent inscrits peuvent introduire un biais d’attrition^{Note de bas de page 7}. Des biais importants peuvent également résulter de perturbations telles que des événements météorologiques extrêmes, des guerres et même des pandémies^{Note de bas de page 8}, qui peuvent entraîner l’absence considérable de données dans les programmes de suivi et de surveillance.

Caractère indirect et extrapolation

Le caractère indirect et l’extrapolation permettent de saisir la différence entre le contexte qui est l’intérêt réel du décideur et le contexte, les résultats, les populations ou les situations pris en compte par l’étude elle-même.

L’extrapolation peut prendre de nombreuses formes. Dans les essais précliniques de médicaments ou les études toxicologiques, les effets des médicaments ou des contaminants sur les personnes sont déduits de leurs effets sur les rats. Dans de nombreux types d’études environnementales et cliniques, les effets à court terme ou locaux sont utilisés pour faire des déductions sur les effets régionaux ou à long terme, et les études en laboratoire sont extrapolées sur le terrain. Et presque invariablement, les effets ou les résultats d’intérêt réel sont déduits d’indicateurs plus proches des effets. Par exemple, les effets des contaminants sur la santé reproductive humaine (le résultat d’intérêt réel) peuvent être déduits de la relation entre le mercure (le contaminant sélectionné) dans les cheveux et le nombre de spermatozoïdes masculins (l’indicateur).

L’extrapolation, quelle qu’elle soit, implique l’hypothèse implicite (et habituellement non validée) que le résultat, la population, la situation ou le contexte qui suscite un intérêt réel se comporte comme le résultat, la population, la situation ou le contexte qui fait l’objet de l’étude. Mais ce n’est souvent pas le cas : les humains et les rats se comportent différemment et ont des physiologies différentes. Certains effets sont transitoires et ne durent que peu de temps, tandis que d’autres ne se manifestent qu’après des décennies, et ainsi de suite. Ainsi, plus l’extrapolation et le caractère indirect sont importants, plus la solidité des preuves fournies est faible, toutes choses étant égales par ailleurs.

Force de l’association

Les hypothèses scientifiques donnent lieu à des prédictions : les modèles ou associations auxquels on s’attend si l’hypothèse est vraie. Une façon de considérer la « force » d’une association (souvent appelée « l’ampleur de l’effet ») entre une cause hypothétique et son effet est de savoir à quel point elle est distincte : les associations fortes sont celles qui sont très distinctes, et les associations faibles sont celles pour lesquelles il n’est pas clair s’il existe une quelconque association (figure 4). Une association faible qui est néanmoins compatible avec les prédictions pourrait très bien être le fruit du hasard. En revanche, une association forte et compatible avec les prédictions est moins susceptible d’être le fruit du hasard. Ainsi, plus l’association est forte, plus la preuve est solide, toutes choses étant égales par ailleurs.

• Fig. 4 - Text version

  Figure 4. La force de l’association. Le tableau gauche de la figure présente deux ensembles différents de résultats possibles (en bleu et en rouge) d’une étude d’association hypothétique conçue pour vérifier l’hypothèse selon laquelle la concentration de mercure dans les réservoirs créés par les barrages est déterminée par la teneur en matières organiques des sols inondés. Ce tableau montre la quantité de méthylmercure libérée par les sols inondés (flux de MeHg dans les sédiments) et la quantité de matières organiques dans les sols inondés (teneur organique du sol) pour un échantillon de 15 réservoirs dans le nord du Canada. Le tableau de droite présente deux résultats différents possibles d’un essai clinique hypothétique d’un nouveau médicament pour prévenir les crises cardiaques, dans le cadre duquel les patients ont été répartis aléatoirement dans deux groupes, l’un recevant le médicament « étalon de référence » actuel pour la prévention des crises cardiaques (contrôle) et l’autre le nouveau médicament (traitement). Dans les deux cas, la première série de résultats montre une association plus forte (une relation plus « étroite » dans le premier cas, une différence plus importante dans le second cas) entre la cause hypothétique et son effet. Par conséquent, dans les deux cas, la solidité de la preuve fournie par la première série de résultats dépasse celle de la deuxième série.

Solidité de la preuve et prise de décisions

Toutes les décisions stratégiques (rationnelles) sont fondées sur des hypothèses causales (généralement implicites) qui relient la décision aux résultats souhaités ou non souhaités. Les effets prévus d’une décision sur les résultats souhaités ou non souhaités reposent sur le fait que ces hypothèses sont au moins approximativement vraies. Par exemple, les taxes sur le carbone reposent sur l’hypothèse causale selon laquelle une taxe supérieure à un certain montant incite les particuliers et les institutions à réduire leur consommation de combustibles fossiles. Si cette hypothèse est fausse, il est alors peu probable qu’une taxe sur le carbone réduise la consommation de combustibles fossiles.

En évaluant les décisions candidates, les décideurs devraient demander aux scientifiques : « Quelle est la solidité de la preuve que les hypothèses causales sous-jacentes sont vraies? ». Plus la preuve est solide, plus la confiance dans sa véracité est grande, et donc, plus la probabilité que les effets prédits se matérialisent effectivement est grande. Si la preuve est faible, les décideurs doivent alors réfléchir sérieusement aux conséquences si les hypothèses s’avèrent fausses.