Vidéo pop :: Quelle est la fiabilité d’un test du détecteur de mensonge ? Introduction au théorème de Bayes

Transcription de la vidéo

Imaginez si vous aviez un détecteur de mensonges capable de détecter la vérité ou les mensonges, neuf fois sur 10. Vous seriez presque toujours capable de dire si quelqu’un disait la vérité ou mentait ! Comme ce serait génial de résoudre des crimes, ou de savoir qui a mangé le dernier cookie sans le dire à personne !

Laissons de côté la question de savoir si les gens peuvent apprendre à battre les détecteurs de mensonges en se pinçant ou en imaginant se détendre sur une plage tout en répondant à vos questions, et supposons que le détecteur de mensonges sera pareillement précis avec tous ceux qui passent un test. Cela signifie que tout ce que vous avez à faire est de connecter une personne au détecteur de mensonges. Et si le grand voyant rouge de mensonges clignote, vous êtes alors sûr à 90 pour cent que la personne ment. Fantastique !

Mais attendez une minute ! Nous avons oublié une probabilité conditionnelle de base ici. Un test précis à 90 pour cent n’est pas la même chose que d’être sûr à 90 pour cent que quelqu’un ment si la machine dit qu’il ment. Si le détecteur de mensonges est précis à 90 pour cent, alors il identifie correctement neuf mensonges sur 10, et indique à tort qu’un mensonge sur 10 est vrai. Cela permettra également d’identifier correctement que quelqu’un dit la vérité neuf fois sur 10, et de les accuser à tort de mentir une fois sur 10.

Cela est bien beau, si tout le monde dit la vérité ou ment dans la même mesure. Mais en réalité, les gens disent la vérité beaucoup plus que les mensonges ! Supposons que 90 pour cent des déclarations soient vraies et 10 pour cent mensongères. Imaginons maintenant une expérience dans laquelle nous effectuons 100000 tests et voyons ce qui se passe lorsque nous résumons les résultats dans un tableau.

Sur 100000 tests, 90 pour cent des personnes disent la vérité. Ceci est 90000 déclarations vraies et 10000 mensongères. Le détecteur de mensonges dit que 90 pour cent des déclarations vraies sont vraies, c’est-à-dire 81000. Mais il identifie à tort 10 pour cent de ces déclarations vraies comme des mensonges, ce qui représente 9000 fausses accusations de mensonge. Il identifie correctement 90 pour cent des mensonges sur 10000, c’est-à-dire 9000, et dit à tort que 10 pour cent des mensonges sont vrais, 1000 mensonges se glissent à travers les mailles du filet et sont considérés comme vrais.

Donc, le détecteur de mensonges pense qu’il y a 82000 déclarations vraies et 18000 mensongères. Il a sous-estimé le nombre de déclarations vraies et surestimé le nombre de mensonges. Dans l’ensemble, il a correctement identifié 90000 des déclarations, ce qui le rend fiable à 90 pour cent. Mais voici la chose la plus importante. Le détecteur de mensonges a accusé 18000 déclarations d’être des mensonges, même si seulement 9000 d’entre elles étaient vraiment des mensonges.

S’il vous accuse de mentir, il n’y a qu’une probabilité de 9000 sur 18000 que vous mentiez réellement. C’est un demi, 50 pour cent ! Même si elle identifie correctement 90 pour cent des affirmations, qu’elles soient vraies ou mensongères, ce n’est pas mieux que de jeter une pièce et de prédire si vous dites un mensonge. Le problème est que, avec tant de personnes qui disent la vérité, identifier à tort 10 pour cent d’un grand nombre de vraies déclarations comme mensonges gâche complètement les résultats. Nous devons être assez subtils sur la façon dont nous utilisons le test.

S’il indique que vous mentez, alors le taux de fiabilité de 90 pour cent n’est pas pertinent. Nous devons envisager toute l’histoire, y compris la prévalence du mensonge dans l’ensemble de la population, et le nombre de vraies déclarations que le test a pris pour des mensonges. Dans ce cas, on constate que cela mène à la conclusion que probablement vous mentez à seulement 50 pour cent si le test dit ainsi.

Dans les années 1700, le pasteur Thomas Bayes a proposé une formule que nous appelons maintenant le théorème de Bayes, et qui nous aide à élaborer les probabilités conditionnelles. Il s’applique à toutes sortes de situations, telles que les tests du détecteur de mensonges, les examens médicaux, les enquêtes criminelles, le filtrage du spam du courriel, l’emplacement des épaves lors des accidents, et bien d’autres. La probabilité de A sachant B égale la probabilité de B sachant A fois la probabilité de A, le tout sur la probabilité de B.

Cela vaut la peine d’apprendre davantage pour pouvoir prendre des décisions plus éclairées la prochaine fois que vous voudrez savoir qui a mangé le dernier cookie, ou que les résultats de votre examen semblent indiquer qu’il est probable à 90 pour cent que vous souffrez de la maladie de lurgy, ou que vous voulez savoir pourquoi votre filtre anti-spam prend de mauvaises décisions concernant vos emails.