Depuis une dizaine d’années que j’officie comme “datajournaliste”, j’ai donné une centaine de formations à des étudiants, des journalistes et des communicants dans plusieurs pays d’Europe et même un peu au-delà. Même si mon programme se passe en général très bien, les participants achoppent toujours sur le même point, la compréhension des sondages. En réfléchissant à ce qui les empêchait de comprendre ce point particulier et avec l’aide de Michel (Foucault), j’ai déroulé un pelote qui se termine sur l’opposition frontale entre deux manières de travailler avec les données et qui explique beaucoup plus de choses que mon simple problème de formateur.
Comprendre les sondages
Un sondage, c’est une manière de connaître une valeur pour une large population en n’en mesurant qu’un petit échantillon. Si l’on souhaite connaître la taille moyenne des femmes françaises, par exemple, pas besoin de les mesurer toutes ; il suffit d’en mesurer quelques centaines prises au hasard.
Plus l’échantillon est grand, plus on a de chance que la valeur moyenne de l’échantillon soit proche de la valeur moyenne pour l’ensemble de la population qui nous intéresse. En mesurant 500 femmes, on sait que la valeur de la population sera à plus ou moins 5% de la valeur que l’on a trouvé pour l’échantillon, c’est la marge d’erreur. Cela dit, il y a toujours une - infime - chance pour qu’on ait sélectionné uniquement des femmes particulièrement petites ou particulièrement grandes et que la valeur de l’échantillon soit très éloignée de la valeur de la population. C’est pour cela que la marge d’erreur vient avec son frangin, l’intervalle de confiance. Lui nous dit quelle est la chance pour que le résultat de notre sondage tombe en dehors de la marge d’erreur. En général, on choisit un intervalle de confiance de 95%, c’est à dire que si l’on refaisait 100 fois le sondage, on tomberait 95 fois à plus ou moins 5% de la valeur moyenne de la population (dans la marge d’erreur) et cinq fois au-delà.
La seule chose à retenir de tout ça c’est qu’à partir du moment où la taille de l’échantillon dépasse 500 personnes, on est à peu près tranquille. Le problème vient toujours des multiples biais possibles : un sondage sur internet exclu les personnes qui n’ont pas internet, les sondés ont tendance à donner des réponses positives aux sondeurs pour leur faire plaisir, etc1.
A ce moment là du cours, il est fréquent qu’un·e participant·e demande “Mais alors, quelle est la marge d’erreur requise pour être certain d’avoir un vrai sondage ?” Je répète que même avec un intervalle de confiance de 99% et une marge d’erreur de 1%, il y aura toujours une chance pour que le résultat soit éloigné de la valeur recherchée. Mais que ce n’est pas grave, car l’erreur aléatoire est toujours moins importante que les biais dans l’échantillonnage. Réponse en général suivie d’une autre remarque d’un·e participant·e du genre “Les sondages sont toujours faux, quoi.”
Mesures et incertitude
Évidemment, les sondages ne sont pas toujours faux, pas plus qu’ils ne sont vrais. Ils permettent simplement de s’approcher de la vérité (la valeur que l’on cherche dans la population) avec plus ou moins d’incertitude. De mon expérience de prof et de formateur, j’ai le sentiment que de nombreux participants ont énormément de mal à comprendre et accepter que les mesures, sondages ou autres, puissent être incertaines2.
Ce rejet de l’incertitude vient de la manière dont on nous apprend à appréhender les données. Les chiffres nous sont souvent présentés comme étant plus purs que les mots, car ils n’admettent pas la discussion. Si vous avez 9,89 de moyenne au bac, vous l’avez dans l’os, point. Pas question de demander au rectorat quelle est la marge d’erreur de sa note pour tenter de passer en douce. Ces données, ces chiffres, sont là pour exprimer un pouvoir - en l’occurrence celui du rectorat sur un parcours éducatif - et non pas une connaissance.
Données-pouvoir
Foucault parlait de “savoir-pouvoir” pour décrire comment la création d’un savoir permettait l’émergence d’un régime de vérité, qui vient à son tour justifier le pouvoir de l’institution qui a permis l’émergence de ce savoir3. Ce cercle vertueux (pour le gouvernement) s’observe dans toutes les sociétés où ceux qui sont en haut de l’échelle prétendent mener les autres dans une direction donnée (ils gouvernent, comme s’ils avaient un gouvernail)4.
Les données structurées jouent le rôle principal dans cette mise en scène, car elles permettent au gouvernant et à son administration de donner l’illusion de l’omniscience aux gouvernés. L’INSEE nous dit par exemple qu’il vivait en France 67 186 638 personnes au 31 décembre 20175. Pas un de plus, pas une de moins. La précision du chiffre est évidemment délirante, ne serait-ce que parce que le nombre de personnes sur le territoire évolue constamment, lorsqu’une voiture franchit une frontière ou qu’un avion décolle. Pourtant, impossible de trouver une trace de la marge d’erreur pour la population selon l’INSEE. En 2006, l’Institut s’était planté de 660 000 personnes dans son estimation de la population (soit une erreur d’un peu moins de 1% ou d’un peu plus que le nombre d’habitants de Nantes Métropole)6. Alors, pourquoi l’INSEE n’indique-t-il pas “environ 67 millions” à la place de ses huit chiffres significatifs ? Parce que l’INSEE c’est l’administration, et que l’administration n’admet pas l’incertitude.
On imagine facilement ce que donnerait une société où les données produites par l’administration étaient fournies avec leur marge d’erreur. Lors d’une élection serrée, il serait impossible de faire accepter le résultat du vote si on annonçait que le candidat vainqueur était arrivé en tête avec une probabilité de X%7.
Lorsqu’un chiffre existe pour renforcer le pouvoir qui l’a fait naître, l’incertitude ne peut que l’affaiblir. L’incertitude, c’est la possibilité que le savoir, et donc le pouvoir, que renferme le chiffre, puisse être différent. Que le gouvernant est faillible. Pas étonnant que son administration ne veuille pas en entendre parler.
Les données-pouvoir de Babylone à Beauvau
Contrairement à ce qu’on entend parfois, les gouvernants n’ont pas utilisé les nombres pour se draper de leur pouvoir de fascination8. Ils les ont inventé. Les nombres ne sont utiles que lorsqu’une société devient si complexe que les hiérarchies sociales doivent être mesurées (certaines langues, utilisées dans des sociétés sans hiérarchie, n’ont carrément pas de concept pour les nombres9).
Les nombres sont apparu pour la première fois il y a environ six mille ans, quand les ancêtres des Sumériens ont eu besoin de notifier des dettes ou tenir leur comptabilité10. Le système de comptage qu’ils développèrent permit par la suite (environ mille ans plus tard) de découvrir les mathématiques, par le biais de l’astronomie et de la construction.
Cette précédence est fondamentale, car elle montre que les données ont d’abord été des instruments de pouvoir (on a certainement commencé à tenir des comptabilités écrites pour pour faire respecter l’ordre social même en cas de disparition des témoins directs d’une transaction) avant d’être des outils de recherche de la vérité.
Un nombre précis affiché comme une mesure fiable permet de faire croire que celui ou celle qui l’a faite a suffisamment de ressources pour envoyer partout des compteurs et que personne ne peut échapper au comptage. Elle donne une impression d’omniscience et d’omnipotence. Pas étonnant que tous les gouvernements adorent les chiffres. On le voit déjà dans l’ancien testament, qui assomme ses lecteurs·trices de listes et de nombres. Ou chez les Soviétiques, qui utilisaient abondamment les statistiques dans leur propagande.
Pour eux, le lien entre les données et la vérité n’a aucune importance. Les chiffres de l’ancien testament sont absurdes (Mathusalem n’a probablement pas vécu 969 ans comme on peut le lire dans Genèse 5:26) et les recensements en Union Soviétique étaient largement falsifiés11. Aujourd’hui encore, les administrations produisent des chiffres sans lien avec la vérité et personne n’y trouvent rien à redire. C’est le cas au Rwanda ou en Chine, mais aussi en France. La police utilise sans aucun problème des tests osseux pour déterminer l’âge de personnes cherchant refuge en France alors que leur faillibilité est telle que que Jacques Toubon, pas vraiment un gauchiste, réclame leur interdiction12.
Dans tous ces cas, le gouvernement et son administration utilisent des données pour donner l’illusion de la connaissance, même lorsque le lien entre les chiffres et la vérité est indéfendable. Ces chiffres sont bien des données-pouvoir, produites uniquement pour justifier une action ou créer une image d’omniscience. Plus les données sont éloignées de la réalité, plus le pouvoir du gouvernement devient apparent. Quiconque connaît la réalité comprend que personne n’est en mesure de s’opposer au mensonge du gouvernement, renforçant par là son pouvoir.
Données-connaissance
Pour Foucault, le savoir généré par la science n’était qu’un “régime de vérité” parmi d’autres. Ce relativisme était populaire dans les années 1970 (quand il écrit Surveiller et Punir), mais si l’on considère que tous les régimes de vérité se valent, on tombe vite dans le nihilisme. Aujourd’hui, il suffit de regarder comment le Kremlin ou la Maison-Blanche cherchent à détruire le concept de vérité pour comprendre à qui profite le relativisme13. Accepter que plusieurs vérités coexistent, c’est légitimer le pouvoir des imbéciles.
Si l’on admet qu’une (et une seule) vérité existe, il faut distinguer le savoir-pouvoir de Foucault du savoir-tout-court qui permet de se rapprocher de la vérité. C’est pour cela que je préfère parler de données-pouvoir et de données-connaissances.
Pour créer de la connaissance, rien ne vaut la méthode scientifique que l’on utilise depuis quelques siècles. On fait une hypothèse (une théorie), on collecte des données pour essayer de la rejeter, et tant que personne n’y arrive, l’hypothèse reste debout. C’est très simple et terriblement efficace, mais très incertain. L’incertitude fait partie du processus dans la mesure où les théories ne tiennent que parce qu’elles n’ont pas encore été rejetées, sans même parler des erreurs de mesure ou des biais possibles14. On ne sait jamais si une théorie est acceptée parce qu’elle est vraie ou si simplement parce que ceux qui s’intéressent au sujet sont trop bêtes pour voir où la théorie ne fonctionne plus. C’est exactement ce qui s’est passé en physique lorsqu’à la fin du 19e siècle, certains ont commencé à comprendre que l’édifice de la physique classique était plein de fissures et ont proposé les théories de la mécanique quantique pour rabibocher les trous les plus béants. (Toujours aujourd’hui, il n’existe pas de théorie générale pour remettre d’accord la mécanique quantique et la physique classique.)
L’impossible réconciliation
On a d’un côté des données-pouvoir, dont le rôle est de justifier et conforter la position de celui ou celle qui les collecte et les publie et qui n’admettent pas l’incertitude et, de l’autre, des données-connaissances, intrinsèquement incertaines mais qui permettent de s’approcher de la vérité.
Un même jeu de données peu être utilisé d’une manière ou de l’autre. Les recensements soviétiques permettaient au Kremlin d’affermir son pouvoir sur sa population. Aujourd’hui, leur étude permet aux chercheurs de mieux comprendre les rouages de l’administration de l’URSS. Les tests d’âge osseux de la police française lui permettent de justifier les déportations de mineurs. Ils permettent aussi à ceux que ça intéressent de cerner le système de valeur des policiers et de leur hiérarchie.
En cherchant à utiliser des données pour produire de la connaissance, on est obligé de s’intéresser à leur incertitude, nuisant par là à leur capacité à générer du pouvoir. C’est la raison pour laquelle les relations entre données ouvertes et journalisme restent ténues après des années de hackathons et de conférences sur le sujet. Une administration perd automatiquement de son pouvoir lorsque ses données (qui doivent être considérées comme infaillibles pour que l’administration puisse faire son travail) sont utilisées par des journalistes pour générer de la connaissance15. Seules les relations en opposition (sans forcément être conflictuelles, une demande d’accès à un document ou l’acquisition de données, le scraping, suffit) permettent à un·e journaliste de générer de la connaissance à partir des données de l’administration.
Enseigner l’incertitude
Et mes formations dans tout ça ? Pourquoi est-il si difficile pour un·e étudiant·e de comprendre la différence entre données-pouvoir et données-connaissance ?
La réponse est à l’école. Qu’elle soit républicaine ou confessionnelle, l’école sert avant tout à intégrer les enfants dans un système de valeur. Ce qu’on y apprend vise à légitimer l’institution éducatrice et le régime qui en permet l’existence. Les cours de physique ou de biologie n’expliquent en général pas que les lois enseignées sont des théories susceptibles de changer, tout comme le cours d’histoire n’explique pas que les victoires françaises furent les défaites des autres. Au lieu de données-connaissance, les cours transforment tout en données-pouvoir. Les élèves doivent apprendre ce qu’on leur présente comme des vérités révélées (par le ou la prof) plutôt que de comprendre comment se forme la connaissance.
L’amalgamation de la connaissance en pouvoir à l’école explique pourquoi certaines personnes peuvent appliquer la science et pratiquer le maraboutisme en même temps. Pour des médecins-homéopathes, par exemple, les connaissances issues de la science (comme la médecine) valent celles issues de nulle part (comme l’homéopathie). Ils n’y voient que des données-pouvoir issues de deux régimes de vérité différents.
Parmi mes étudiants en journalisme, on retrouve la même logique. Le rapport aux données a plus à voir avec leur rapport au régime qui les a produit plutôt qu’à une quelconque recherche de la vérité. (C’est même souvent ce qu’on leur enseigne, à commencer par l’adage que “les chiffres de l’administration n’ont pas à être vérifiés.”)
Pour comprendre comment la connaissance se crée, il faut être un minimum intéressé par la recherche de la vérité et la distinguer de celle du pouvoir. C’est précisément cette distinction que le le journalisme en tant qu’institution (et pas tous les journalistes, heureusement!) n’est pas capable de faire - j’en parlais déjà dans Le Journalisme et la Post-vérité. Tant que les deux seront confondus, une bonne part des étudiant·es continuera à ne pas comprendre comment fonctionnent les sondages.
Illustration de couverture: Michel Foucault portrait by Paul Loboda be.net/Loboda_Paul
Newsletter
Si vous voulez recevoir mon prochain texte directement par e-mail, indiquez votre adresse ci-dessous.
Notes
1. On trouve ici une liste des biais possibles dans un sondage.
2. Bien sûr, une hypothèse alternative est que je sois particulièrement mauvais pédagogue. Si c’était le cas, mes clients ne me demanderaient pas d’intervenir à nouveau. Mes clients ayant toujours raison, je dois rejeter l’hypothèse 😄.
3. Pour un très bon résumé de la pensée de Foucault sur ce thème, voir Savoir et pouvoir dans la grille de Foucault.
4. Comme le note Supiot dans le premier chapitre de La Gouvernance par les Nombres, toutes les sociétés ne sont pas gouvernées. Toujours aujourd’hui, certaines personnes dominantes socialement voient leur tâche comme étant d’équilibrer les différentes forces qui s’agitent sous eux (pour le monde de l’entreprise, c’est ce que décrit Adapt, de Tim Hartford) ; ils n’ont pas besoin de données-pouvoir pour cela.
5. Sur son site: Population totale par sexe et âge au 1er janvier 2018, France.
6. Voir la fiche du 29 mai 2009: Pourquoi un ajustement est-il parfois introduit dans les variations de population ?.
7. Je n’ai trouvé aucune expérience lors de laquelle les bulletins d’un même bureau de vote avaient été recomptés plusieurs fois, afin de déterminer la marge d’erreur d’une élection. J’imagine qu’elle tourne autour de 1 ou 2%, ne serait-ce parce que tous les bureaux n’utilisent pas les mêmes critères pour déterminer la nullité d’un bulletin.
8. C’est par exemple ce qu’écrit Supiot au chapitre 4 de La Gouvernance…: ‘D’abord objets de contemplation, [les nombres] sont devenus des moyens de connaissance puis de prévision, avant d’être dotés d’une force proprement juridique avec la pratique contemporaine de la gouvernance par les nombres.’
9. Frank, Michael C., et al. ‘Number as a cognitive technology: Evidence from Pirahã language and cognition.’ Cognition 108.3 (2008): 819-824. Les concepts qu’ils utilisent pour les quantités ressemblent plutôt à ‘pas du tout’, ‘un peu’ ou ‘beaucoup’.
10. McIntosh, Jane. Ancient Mesopotamia: new perspectives. ABC-CLIO, 2005. p.265.
11. Tolts, Mark. ‘The Soviet censuses of 1937 and 1939: Some problems of data evaluation.’ International Conference on Soviet Population in the 1920s and 1930s. Toronto, 1995.
12. Mineurs étrangers isolés : des tests osseux controversés, Libération, 10 avril 2018.
13. Sur le concept de War on Truth, lire par exemple Donald Trump Has Americanized Vladimir Putin’s War on Truth.
14. La première partie de cette phrase (‘les théories ne tiennent que parce qu’elles n’ont pas encore été rejetées’) fait référence aux conceptions de Karl Popper ; la seconde (‘l’erreur de mesure implique une incertitude aussi’) vaut pour la plupart des autres philosophies des sciences.
15. Dans un tweet, Samuel Goëta, pourtant spécialiste du sujet, demandait en aout 2018 ‘des cas d’enquête ou de révélations en France qui réutilisent des données ouvertes par l’administration’. A une ou deux exceptions mineures près, personne n’est parvenu à en trouver.