Cet article rappelle quelques erreurs systématiques portés par les épidémiologues les plus visibles, comme la croyance que leur modèle est plus vrai que la réalité ou bien la nécessité d’exprimer des vues pessimistes pour soutenir des formes de gouvernement par l’acceptabilité sociale. On ne devrait pas laisser à cette self-discipline le monopole de l’experience pour la décision publique.
Par Laurent Mucchielli
Le monde a publié le 6 mars 2021 un entretien avec Simon Cauchemez qui marque une étape importante dans une forme d’absurdité logique qui s’expose depuis bientôt un an aux yeux de tous nos concitoyens. Quand on lui demande s’il s’est trompé en annonçant 300 000 à 350 000 morts il y a un an, le modélisateur du Conseil Scientifique répond « non », même si le nombre de morts estimés à trigger de la Covid-19 est de moins de 90 000 à ce jour (puisque les morts avec Covid-19 ne sont pas tous morts de Covid-19 : l’INED recommande encore d’attendre pour conclure). Ses arguments centraux sont de deux natures : les mesures prises sont à l’origine de cet écart massif, et l’épidémie n’est pas finie.
Cette négation est un révélateur d’un sure nombre de biais, généralisés au sein de la communauté épidémiologiste la plus officielle, dont celui qui consiste à refuser toute remise en trigger. Si celui-ci pose en particulier des problèmes lorsque les prédictions servent à justifier des politiques publiques, il en existe d’autres qui s’expriment régulièrement dans des séminaires, des publications, comme l’idée qu’on se doit d’être pessimiste dans les interventions publiques.
En préambule à ce texte, il faut noter la mauvaise habitude qui s’est imposée de faire utilization d’arguments d’autorité pour inclure ou exclure les personnes qui seraient « habilitées », en leur qualité d’épidémiologues, à critiquer ou même parler de modélisation. Cette défense disciplinaire est assez classique (on la trouve en économie ou en finance depuis quelques dizaines d’années). Elle reste choquante pour tous les praticiens interdisciplinaires qui défendent, au contraire, l’idée que le modèle formel a l’avantage d’établir une lingua franca qui le rend discutable par toute personne succesful de le lire et de poser des questions pertinentes à son égard.
Les 400 000 morts du Président
Ce qui a caractérisé la période de crise que nous connaissons est un amour immodéré des chiffres et nombres, produits et utilisés de façon souvent un peu farfelue. Les « 400 000 morts du Président de la République », dans son allocution du 28 octobre marquent un second de bascule dans la capacité à masquer la réalité sous des modèles.
Après la première saison de l’épidémie, où au minimal 350 000 morts avaient déjà été annoncés par l’équipe de Ferguson pour l’Angleterre, ce qui créait déjà un décalage necessary avec les données, on pouvait se dire que les modèles étaient à réviser (on word au passage que S. Cauchemez a travaillé 8 ans dans le laboratoire de Ferguson, ce qui peut expliquer qu’il ait été choisi comme skilled nationwide, à l’instar de son ancien collègue outre-Manche). A priori, ils sont pourtant basés sur les mêmes principes : des extrapolations de mortalité ou réanimation à partir des données du second, et n’ont pas intégré les connaissances acquises déjà en septembre.
Ainsi une hypothèse importante est apparue, dès juin : il existe des humains que le virus ne peut pas utiliser pour continuer son voyage entre hôtes. Une half non négligeable de la inhabitants serait protégée de ce virus avant même de l’avoir rencontré – soit l’individu possède une « immunité croisée », soit ses muqueuses ne laissent pas pénétrer le virus – ou il ne le transmettrait pas, même une fois infecté. C’est ce qui expliquerait à la fois le faible taux d’an infection chez et par des enfants (à ce jour Karl Friston donne le chiffre de 40% d’enfants et 25% des adultes qui naturellement ne feront pas partie de la chaîne de transmission), mais aussi le fait qu’au sein de nombreux foyers seulement une partie de la famille se trouve infectée si l’un est malade, ou encore la diffusion limitée du virus sur le Diamond Princess. En effet, sur environ 3 700 passagers exposés au virus pour la première fois, 700 seulement l’ont attrapé – alors que l’on sait que le SARS-COV2 circulait malgré le confinement en cabine, par le système d’aération (beaucoup moins que sans confinement, mais il circulait tout de même). C’est l’idée que Michael Levitt (prix Nobel de chimie) a défendu, et il a pu montrer également dès mars 2020 que l’épidémie ne suivait pas une courbe exponentielle, mais que le taux de croissance diminuait rapidement. Ces hypothèses essentielles pour réaliser des prédictions numériques, qui mériteraient au moins d’être testées, n’ont sûrement pas servi à produire les chiffres, presque identiques à ceux qui était annoncés six mois plus tôt. C’est comme si rien n’avait été appris.
Par exemple, la query de l’évolution du virus (les « variants ») était évoquée publiquement dès septembre en France, et on pouvait donc comprendre que plusieurs épidémies se succédaient déjà, chacune construisant une courbe plus ou moins en cloche. Mais cette donnée a été ignorée dans les discussions de séminaires en France ou à l’étranger : comme s’il fallait reconnaître une « seconde imprecise », un « rebond » automatique à la fin du confinement, et ce même si les courbes des modèles ne ressemblaient pas du tout aux courbes des données. Ainsi, la « seconde imprecise », artefact de modélisation, s’est-elle imposée comme vérité dans le grand public, sans qu’il soit potential de la mesurer dans la réalité. Le modèle est, à nouveau, « plus vrai » que la réalité.
Pour autant, sa valeur de vérité demeurait relative puisque Simon Cauchemez lui-même réduisait un peu l’ampleur de la « disaster annoncée » : lorsque le Président disait 400 000, lui-même misait plutôt sur 300 000. Il convient de noter la nonchalance avec laquelle 1/3 de morts sont ajoutés dans la stability. On voit que toute hypothèse trop pessimiste est toujours bonne à prendre chez les épidémiologues officiels. D’autant que ce chiffre pose un problème lorsqu’il est abandonné sans correction dans l’espace public. Face à une létalité estimée de 0,5% à ce second, n’importe quel citoyen connaissant la règle de trois savait que 400 000 morts n’adviendraient que sur une inhabitants française plus grande qu’elle ne l’est à l’heure actuelle (il faudrait 80 hundreds of thousands d’habitants). En outre, la répartition par classe d’âge de la mortalité était largement connue de tous et retomber sur un chiffre si simplement proportionnel montrait que les modèles n’avaient pas grand-chose de « savant ». On peut se demander quelle half du public a perdu confiance dans les affirmations des scientifiques face à cette extrapolation un peu farfelue.
Plus grave encore : cet épisode a révélé que, tout en agitant sans cesse des chiffres et des nombres, les épidémiologues ne prenaient pas les valeurs annoncées au sérieux : la dénégation reste faible dans le Check information, et aucun membre du conseil scientifique n’a corrigé publiquement le chiffre en insistant sur l’exagération du Président. Travailler dans la modélisation quantitative et ne pas défendre la valeur numérique des résultats : c’est un manque de sérieux qui pose vraiment query dans le contexte d’inquiétude que subit la inhabitants.
Enfin, peut-être le pire : à aucun second les épidémiologues n’ont pris le soin de préciser en combien de temps toutes ces personnes étaient censées mourir. Or, on ne s’inquiète pas de la même façon quand une maladie fera 300 000 morts en cinq ans (ce qui semble envisageable si la Covid-19 devient endémique et si les soins précoces sont toujours invisibilisés dans notre pays) ou 300 000 morts en une saison. En jouant sur cette ambiguïté, les membres du Conseil Scientifique ont donc bien fait de la politique plutôt que de la science (dont le travail est au contraire de réduire toute ambiguïté).
Cet épisode met en lumière non seulement la persistance dans l’erreur de méthode, le refus d’intégrer des nouvelles données, et – par la bande – le manque de capacité critique des grands journaux qui ont relayé ces informations sans particulièrement s’inquiéter de leur validité.
L’homogénéité du monde et l’agrégation de données
D’autres chiffres sont apparus ici ou là, comme le fameux nombre 6 pour les rassemblements privés autorisés ou les tables au restaurant. On serait bien en peine de connaître le modèle sous-jacent à l’édiction de cette norme, voire sa logique : si des rencontres de six personnes se font régulièrement, et si les personnes impliquées changent de groupe régulièrement, la propagation devrait se faire à peu près aussi bien dans des groupes de huit ou quatre. Aujourd’hui, on autorise les étudiants à remplir les universités à 20%, sans qu’on ait même une idée d’où pourrait sortir un tel chiffre. Des nombres magiques régulent ainsi nos vies.
A ma connaissance, peu de chercheurs sont intervenus pour signifier que les modèles utilisés ne permettaient pas de traiter ces questions de modifications de réseaux (et donc de « prévoir » l’effet d’un confinement ou autres règles de « distanciation »). Gianluca Manzo signalait le rôle des super-disséminateurs dans l’épidémie, qui nécessitait une attention sérieuse à la réalité des interactions. Sans cette réflexion, remark penser une politique efficace puisque l’hétérogénéité du nombre de liens est essentielle dans les dynamiques de diffusion. J’avais insisté moi-même sur le fait qu’on ne peut pas faire de prédiction ferme avec des modèles de diffusion sur des réseaux, qui sont soumis de façon très importante à l’histoire des hasards de certaines rencontres (on appelle cet effet la « dépendance au chemin »).
En l’absence d’analyse tremendous de ces questions de réseaux, certains épidémiologues ont traité le confinement dans les quelques modèles qui les représentaient en retirant de façon homogène 70% des interactions à chacun des brokers. C’est évidemment une erreur de bas niveau que de croire qu’on seize ainsi une représentation crédible du confinement tel qu’il a été vécu et, surtout, de croire que cette façon de représenter n’a pas d’affect sur les résultats. Il ne s’agit pas de reprocher aux collègues de réaliser ces modèles homogènes pour en observer les résultats et les analyser. Le problème surgit dès qu’on les utilise comme des guides pour l’motion dans un monde fortement hétérogène.
Un autre side absurde de la modélisation officielle a été de produire des courbes nationales d’extrapolation de données, sans passer par des analyses locales de scenario. Or, lors du premier confinement, les différentes zones observées étaient séparées et le virus ne circulait pas plus que les humains entre les régions : du level de vue de la diffusion du virus, chacune d’entre elles était dans une dynamique spécifique, et les extrapolations de cas ne pouvaient se faire de façon intéressante et pertinente qu’à l’échelon native. Pour autant, on a continué à entendre des assertions comme « mon modèle est meilleur pour les données nationales que locales, donc je l’utilise à l’échelle nationale » – là où tout modélisateur sérieux aurait plutôt conclu que le modèle devait DONC aller à la poubelle et être sérieusement révisé. De façon étrange, les collègues ne semblaient pas comprendre les questions concernant les dynamiques locales quand on les posait en séminaire, et n’y répondaient jamais. Finalement, c’est en novembre qu’Alexandra Henrion-Caude (dans une vidéo apparemment supprimée par YouTube) a montré combien une analyse des dynamiques locales aurait été informative – en particulier pour affronter l’apparition d’une seconde épidémie en connaissant mieux le degré de naïveté de la inhabitants et les formes épidémiques à attendre.
Le modèle à la place de la réalité
L’idée de la « seconde imprecise » a été longuement discutée. Apparemment, de nombreux spécialistes des maladies respiratoires s’inquiétaient que cette idée se répande automotive ils savaient qu’elle n’est pas pertinente. Ils s’attendaient à voir une courbe en cloche, puis à devoir attendre pour voir ce qu’il adviendrait ensuite de l’épidémie : reviendrait-elle ou non ? Dans les modèles, par contre, si un confinement ne dure pas très longtemps, dès qu’il s’interrompt on voit une remontée quasi-immédiate du nombre de cas. Dans notre livre, nous montrons que cela est vrai quel que soit le modèle. Si cet effet apparaît quelles que soient les hypothèses, c’est qu’il est mécaniquement lié à la modélisation en SIR (Sain, Infecté, Rétabli), pas qu’il est « vrai ». Dans les chiffres d’an infection, ce n’est qu’avec un sure décalage qu’on a pu voir une remontée des cas en juillet – pas du tout comme les modèles l’auraient « prédit ». On peut alors faire l’hypothèse que ce résultat est lié au fait que la dynamique du virus-même n’est pas prise en compte dans les modèles (sa « saisonnalité »). La seule façon de croire à une « seconde imprecise » identique à celle des modèles est de nier une fois de plus les propriétés temporelles et dynamiques. On peut noter d’ailleurs que c’est en s’intéressant à cette remontée de juillet, qu’ils ont considéré comme une anomalie, que les membres de l’IHU de Marseille ont pu détecter un premier variant, et prévenir les Français avec une bonne connaissance du phénomène dès le mois de septembre 2020.
La query de la qualité des données a été évoquée de façon régulière par les démographes. Pour Hervé Le Bras, très tôt on pouvait identifier les limites des analyses chiffrées. D’autres ont pu rappeler les méthodes habituelles de recueil de données pour suivre une épidémie, ou montrer remark les discours officiels utilisaient sans cesse de nouvelles mesures pour décrire l’épidémie, sans qu’aucune ne soit bien définie, ni ses incertitudes spécifiées – en particulier en ce qui concerne les déclarations de décès de personnes avec Covid-19 ou de Covid-19.
Or, malgré la dépendance fondamentale aux données de tous les modèles basés sur des extrapolation dans le temps, aucune consideration n’a été prêtée à cette dialogue par les épidémiologues les plus visibles. Les preuves tournaient parfois en rond d’un modèle d’évaluation à un autre modèle, et la qualité des données mesurées semblait finalement accessoire. Par exemple, R0 est une valeur approximée grâce à un modèle basée sur les données d’an infection (non mesurée avant que le nombre de checks soit suffisant), mais sert de variable d’entrée à de nombreux modèles de prédiction, sans que soient toujours prises des précautions concernant la compatibilité des hypothèses, ou l’accumulation des incertitudes lors de l’enchâssement de modèles.
Ainsi, le satisfecit épidémiologique, repris complaisamment par Libération, repose tout de même sur l’idée qu’on ne prend en compte ni les erreurs à court docket terme (en nombre d’occupation des lits de réanimation avec quelques semaines d’avance), ni à lengthy terme (une année entière). A partir d’un modèle qui a été rapidement validé sur quelques jeux de données–excessivement imparfaites – Simon Cauchemez prétend être sure que ses prédictions auraient été réalisées si on n’avait pas confiné. On parle ici d’une différence d’ordre de grandeur de 1 à 3, ce qui est énorme. Cette logique pose un problème : il n’y a aucun contrefactuel pour démontrer qu’il a raison, puisque les modèles ne pouvaient être validés. Par exemple, on ne peut pas calculer l’ampleur de l’effet du confinement avec le kind de modèle utilisé, donc aucune prédiction réfutable n’a été émise.
Pourtant, il n’y a aucune statement de pays où la disaster annoncée ait été réalisée au niveau prévu, et on en reste même loin. On peut faire référence à quelques situations préoccupantes, très localisées, mais on voit qu’elles sont des exceptions plus que des règles, et qu’il faudrait en analyser finement les causes.
Un autre style de preuve pourrait en effet être apporté par les pays qui ont établi le contrefactuel politique, comme la Suède. Malheureusement pour nos épidémiologues, elle joue le rôle de preuve inversée, avec des courbes presque similaires aux nôtres, sans qu’aucune règle autoritaire n’y ait été imposée, pas plus que la destruction méthodique de l’économie. Si on doit dire que « les modèles ne se sont pas trompés » il faut alors expliquer pourquoi notre mortalité est similaire à celle de la Suède, qui en toute logique devrait voir son ratio de morts être environ trois fois plus élevé que le nôtre. Plusieurs études montrent maintenant que le confinement strict ne présente pas de gain perceptible face à des mesures plus légères de distanciation, que l’obligation de rester à la maison n’est pas garante d’une réduction de circulation du virus, pointent que la suppression des grands rassemblements est la meilleure explication pour décrire l’histoire de l’épidémie en Suède (qui a aussi fermé les universités et les lycées). Pour autant, on lit souvent que la Suède serait « différente » et ne pourrait être comparée à la France. On peut se demander sur quels critères cette affirmation puisque ni les caractéristiques de la inhabitants ni l’organisation ne sont pour l’prompt explicatifs des courbes de mortalité, et que la Suède avait visiblement un déficit de lits en réanimation supérieur au nôtre, et une densité de inhabitants dans les grandes villes équivalente à nos métropoles.
Pourquoi les collègues, et les journalistes, continuent-ils à répéter, souvent de façon péremptoire, que leurs modèles sont justes alors que cela n’a aucun sens sans démonstration rigoureuse ? Le niveau d’éducation étant ce qu’il est, beaucoup d’internautes s’amusent de façon seen à pointer les erreurs de prédiction, ce qui permet de réduire encore la confiance dans la parole des specialists. Il n’y a qu’au pays de Lewis Carroll que la répétition rend vraie une proposition (1).
Admettre quelques exagérations, et expliquer les modifications apportées aux modèles tandis que le temps passait, aurait permis de remettre en trigger la tendance signalée à le pessimisme. Faisons une expérience de pensée : il semble acceptable aujourd’hui de produire une surestimation dans un rapport de 1 à 3 du nombre de morts, sans que l’ampleur de la différence ne soit discutée. Imaginons à l’inverse que quelqu’un ait prévu 70 000 morts plutôt que 90 000 : l’erreur est bien moins grande, les ordres de grandeur sont conservés. Mais cette prévision aurait sûrement valu des critiques à son émetteur, si on l’avait même écouté.
Finalement, avec le recul, on constate que les modèles supposément quantitatifs nous auront donné des narrations vagues, et n’auront jamais été validés de façon convaincante par des observations. Certains finissent par être donnés sous forme d’outils à générer des « prédictions » brutes jetées en pâture à un public non informé, sans claire qualification des « précautions » à prendre pour les interpréter. Le public risque encore de se rendre compte que ces modèles ne prévoient « bien » qu’en de très rares events, elles-mêmes peu prévisibles. Si cela déçoit un peu plus le public, gouverné depuis un an par des arguments qu’il découvre si fragiles, que va devenir l’autorité d’une « science » qui n’est plus discutée entre savants mais sert surtout de promotion médiatique ?
Interprétation d’un naufrage intellectuel
Que s’est-il passé lorsque l’épidémie est arrivée en France et que la science a été soudain mise au centre de l’consideration médiatique et politique ? La même selected que ce que notre occupation connaît depuis des années : l’ANR a lancé un appel à projets. Certains projets ont été sélectionnés, et d’autres non : ceci a créé des ressentiments et des inquiétudes, et a poussé chacun à s’agiter encore plus pour être seen ou reconnu – et donc « écrire des papiers » rapidement plutôt que de collaborer pour améliorer la compréhension collective des problèmes. Même si on a pu voir des exceptions notables, initiées dès mars, comme le collectif CoVprehension, où l’explication des phénomènes a été collectivement analysée et rédigée, les séminaires de ModCov19 (le réseau officiel lancé par le CNRS autour de la modélisation) ont par contre montré un monde d’échanges savants très « habituel », où chacun présente un papier réalisé en petit groupe, et où la dialogue est limitée à quelques questions minimales posées en dix minutes, sans critique potential. Cette organisation individualiste et coupant court docket aux discussions n’est pas un choix des chercheurs eux-mêmes, c’est simplement la forme devenue rituelle, la norme émergente des vingt dernières années. C’est le résultat d’un lengthy glissement lié à la tradition du projet et de l’évaluation individuelle : mieux vaut maintenant rendre invisible les collègues et leurs résultats ou questions, que de se confronter à leur level de vue et perdre un temps précieux en development de carrière ou en accès aux financements.
Ainsi, bien que l’académie de médecine ait indiqué dès juillet que l’analyse des eaux usées permettaient de prévoir efficacement la présence du virus dans la inhabitants et anticiper avec deux semaines d’avance les entrées à l’hôpital, certains épidémiologues ont préféré ignorer cette data, et ne pas la croiser avec leurs propres prévisions pour améliorer les modèles – alors que ceux-ci remplissaient exactement le même rôle. L’apparition des variants et son influence sur la stratégie sanitaire n’est mis en avant que tardivement par l’épidémiologie officielle, alors que tout ceci était clairement signalé dès septembre par l’IHU. Pas plus que les questions soulevées sur l’efficacité du vaccin, depuis des mois, ne sont même signalées comme limite pour les modèles présentés.
Cette compétition intense pour l’accès aux ressources repose en plus sur des nécessaires hiérarchies implicites, et l’autorité de certaines situations sont acquises dans beaucoup de discussions savantes. Par exemple : les résultats de l’Institut Pasteur sont toujours vrais, même si – si on en croit leurs propres analyses – certaines reconnaissent que leurs modèles n’étaient pas prévus pour intégrer l’effet d’un confinement, et qu’il a fallu improviser. Pourtant, la précarisation des chercheurs étant parfaitement installée, on se rend compte que l’équipe qui a donné des indications depuis des mois à notre gouvernement, est composée presqu’exclusivement de jeunes non statutaires. Ceux qu’on appelle les « précaires » de la recherche ont souvent un peu moins d’expérience et de tradition scientifique du fait de leur âge, donc potentiellement un peu moins de réflexivité, et un réseau plus limité pour discuter avec leurs pairs et tester largement leurs hypothèses et idées (automotive la relation aux pairs ne se réduit pas au « peer-review » mais est un exercice d’échange quotidien). Enfin, on sait qu’il est très délicat pour eux de développer une recherche profonde et risquée, voire d’apporter des contradictions au sein des espaces de recherche dont leur carrière dépend.
Cette acceptation passive de la compétition va de pair avec une méconnaissance de disciplines avec lesquelles les épidémiologues devraient pourtant être familiers. Par exemple, remark comprendre que certains chercheurs de sciences dures confondent démocratie et respect de leurs recommandations ? Parce qu’ils n’ont pas de tradition de l’aide à la décision intégrant la science, ne connaissent pas l’idée d’arbitrage entre des choices possibles comme la développent par exemple les économistes, ni ne savent qu’une décision en univers complexe ne peut en aucun cas se baser sur un distinctive critère d’analyse. Pendant un an, c’est un arbitrage entre acceptabilité perçue dans la inhabitants et nombre de morts qui a été fait – or, « l’acceptabilité » est un concept de manipulation sociale bien plus que de discussion démocratique. En confondant leurs idées personnelles avec le bien commun, les scientifiques qui se prétendaient aptes à aider au gouvernement du pays ont fait preuve de leur inculture en philosophie, en épistémologie, en aide à la décision, ou même en sociologie des sciences. Ce biais est malheureusement très répandu, et on n’think about pas le résoudre sans transformer en profondeur les parcours éducatifs.
On peut espérer que cette rapide exposition des défauts structurels du travail dans le monde scientifique et l’experience, dont on ne donne ici que quelques éléments, permettra de revoir intelligemment les trajectoires de politique scientifique dans les prochaines années. En particulier si les maladies infectieuses émergentes sont à attendre en grand nombre, on ne pourra pas se permettre un tel manque de dialogue entre scientifiques. La compétition à tout crin n’a jamais été, a priori, le chemin à prendre pour que la connaissance puisse servir à tous.
(1) « Le bon coin pour le Snark ! Je vous l’ai dit deux fois :
Cela devrait suffire à vous encourager.
Le bon coin pour le Snark ! Je vous l’ai dit trois fois :
Ce que je dis trois fois est absolument vrai. »
Lewis Carroll, La Chasse au Snark
Juliette ROUCHIER, directrice de recherche au CNRS en économie et environnement, spécialiste de l’utilisation des modèles brokers appliqués aux sciences sociales, et ancienne responsable du GDR « Policy Analytics » (Aide à la décision innovante pour les politiques publiques).
