google-site-verification: googlec3c723fe64a95ade.html

Avertir le modérateur

06/07/2017

Les travaux de Tetlock peuvent donc donner l’espoir que nous pouvons améliorer nos performances en matière de prévision

La vie nous a donné raison, c’est fait.

Groupe d'intérêts.jpg...les connexions sont un levier essentiel pour arriver au succès ; plus encore que du contenu, il faut se préoccuper  du service et de l'expérience que l'on propose à ses utilisateurs.

francewebeglobal-avec-vous3.jpg

 

 

 

 

 

Un univers de possibilités

Imaginez un monde dans lequel chaque être humain peut librement obtenir et partager des connaissances. Ceci est notre engagement.

 

FranceWebAsso: C'est Moi, C'est Vous, C'est Nous !

Encourager le partage de savoirs, une nouvelle manière d'être au monde et de le voir.

Les travaux de Tetlock peuvent donc donner l’espoir que nous pouvons améliorer nos performances en matière de prévision. Dans cette vision, la prédiction est une matière comme une autre : avec de bons outils et une bonne pratique, chacun peut s’améliorer. Derrière on retrouve l’hypothèse, assez naturelle en effet, selon laquelle mieux on connaît le domaine, plus on a de chances de faire une bonne prédiction.


Il faut travailler plus dur: l’illusion prédictrice des Superforecasters

J’évoquais dans l’article précédent les travaux du chercheur Philip Tetlock montrant qu’en matière de prédiction, les experts sont moins bons que les généralistes, et même que les chimpanzés. Malgré ses résultats un peu déprimants, Tetlock persiste à penser qu’avec de meilleures méthodes, on peut améliorer sa capacité à prédire. Je n’y crois pas un instant et penser qu’on puisse mieux prédire nous expose seulement à de plus fortes déconvenues.

Un résultat inattendu de la recherche de Tetlock sur les experts a été de mettre en lumière une catégorie qu’il appelle les superforecasters (super-prévisionnistes), qui semble se distinguer des experts normaux par la qualité de leurs prédictions. Selon lui, ces superforecasters ont les caractéristiques suivantes : ils sont intelligents (mais pas plus que la moyenne) et développent toujours une connaissance du domaine étudié. Ils pratiquent l’exercice de prédiction régulièrement pour apprendre de leurs erreurs. Ils travaillent en équipe. Ils ont une ouverture d’esprit plus grande (les fameux renards) et une bonne maîtrise des probabilités qui leur permet d’éviter les biais habituels. Ils travaillent lentement et n’hésitent pas à réviser leurs prédictions passées. Mouais… au final, rien là de bien extraordinaire…

Bien outillé pour la prochaine catastrophe

C’est également le propos, dans un tout autre domaine, celui du renseignement, de Thomas Fingar, dans son ouvrage Reducing Uncertainty. Responsable du département d’analyse de la CIA au début des années 2000, il est conduit à en réformer le fonctionnement après le fiasco des armes de destruction massives en Irak. La prédiction de la CIA selon laquelle l’Irak avait un arsenal d’armes de destruction massives prêt à être utilisé avait été l’un des arguments-clés de son invasion par les États-Unis en 2003. Après l’invasion, cette prévision s’est révélée fausse, et aucune arme n’a jamais été trouvée malgré des recherches intensives. L’approche de Fingar a consisté à améliorer les processus d’analyse : en travaillant mieux, et en utilisant mieux nos informations, nous nous tromperons moins.

Or il n’est pas évident du tout qu’un surplus d’information amène à de meilleures prédictions. Nassim Taleb est même de l’avis contraire. L’auteur du Cygne Noir cite l’exemple d’un courtier légendaire de Wall Street des années 80. Il était spécialisé dans le Franc Suisse dont il était un expert reconnu. Il avait correctement anticipé la forte baisse du dollar dans les années 80 par rapport à la monnaie Suisse. Or, Taleb raconte qu’une brève conversation avec lui avait montré… qu’il était incapable de placer correctement la Suisse sur une carte. Il n’y était jamais allé et ne connaissait strictement rien au Pays. On aurait pu penser que son expertise était basée sur une fine connaissance du moindre canton, et sur une capacité à anticiper, par exemple, l’impact sur le cours du Franc Suisse du vote de l’un d’entre eux sur le travail des étrangers, mais il n’en était rien. Taleb cite également un autre courtier, spécialisé lui en bois vert. Pendant des années, il pensait que le nom provenait de la couleur du bois, alors qu’en fait il désigne le fait que le bois vient d’être coupé. Malgré cette méconnaissance de base sur l’objet-même de son commerce, il avait fort bien réussi dans son métier.

l n’y a donc pas nécessairement de relation de cause à effet entre une accumulation de connaissance technique sur un sujet et la capacité de prédire correctement. Cela peut être étonnant, mais cela s’explique facilement: si l’on reconnaît simplement que la prédiction est impossible, on comprend aisément que la connaissance, ou pas, n’y change rien.

La grande limite de Tetlock, en fait, est de travailler avec une hypothèse de continuité de l’environnement. Aucun des superforecasters, tout talentueux qu’ils soient, ne réussit face à une discontinuité. Où étaient-ils lors de l’élection américaine de 2016 ? Où étaient-ils le 11 septembre 2001 ? Lors de la crise de 2008 ? Lors l’appréciation brutale du Franc Suisse en 2015 ? Lors du Printemps Arabe ? Nulle part. Tant que l’environnement ne change pas fondamentalement, ils peuvent effectivement améliorer leurs prédictions. Un pouillème par ci, un pouillème par là. Peut-être. Mais face à la discontinuité, ils échouent comme les autres parce que comme les autres, ils font face à une remise en question des règles empiriques qui ont régi le passé. Au final, la croyance en l’existence de superforecasters s’avère même contre-productive car elle donne l’illusion qu’on pourra échapper aux cygnes noirs. Or il n’en est rien.

C’est une vérité difficile à admettre – nous voudrions tellement croire que notre intelligence, les quantités massives de données dont nous disposons et notre arsenal conceptuel et technologique – intelligence artificielle! machine learning! big data!- nous permettra enfin de contrer la nature de notre environnement, mais il n’en est rien. Perpétuer cette croyance peut être dans l’intérêt des chercheurs et de tous ceux qui ont quelque chose à vous vendre, mais ce ne sont pas eux qui paient le prix lorsque l’accident survient. Une fois encore, et n’en déplaise à Tetlock, un monde complexe est sujet aux cygnes noirs, et ceux-ci ne sont pas prédictibles. La prédiction à la Tetlock fonctionne bien entre deux catastrophes. Ne soyez pas le dindon des superforecasters.

L’ouvrage de Philip Tetlock et Dan Gardner, Superforecasting, est accessible iciL’ouvrage de Thomas Fingar, Reducing Uncertainty – Intelligence Analysis and National Security, est accessible iciL’ouvrage de Nassim Nicholas Taleb, Le cygne noir, est accessible ici. Voir mon article précédent « Prédiction: pourquoi les experts se trompent plus que les chimpanzés« 

Les commentaires sont fermés.

 
Toute l'info avec 20minutes.fr, l'actualité en temps réel Toute l'info avec 20minutes.fr : l'actualité en temps réel | tout le sport : analyses, résultats et matchs en direct
high-tech | arts & stars : toute l'actu people | l'actu en images | La une des lecteurs : votre blog fait l'actu