Faut-il encore décider ? La décision humaine à l’ère de l’intelligence artificielle

Dans le cadre de l’Agora des Directeurs Financiers, Olivier Sibony, professeur à HEC Paris et à Oxford, ouvre une réflexion sur le futur de la décision à l’ère des algorithmes.

Trois temps forts structurent l’échange : la « grande bascule », où les machines surpassent progressivement l’humain ; le moment critique, lorsque jugement humain et calcul algorithmique s’opposent ; et, en filigrane, une question centrale : qui décide vraiment ? Entre enjeux économiques, sociétaux et politiques, cette rencontre propose des clés pour penser nos dilemmes à venir.

Olivier Sibony est professeur affilié à HEC Paris et Associate Fellow à la Saïd Business School de l’Université d’Oxford. Ancien Senior Partner de McKinsey & Company, où il a exercé pendant 25 ans, il enseigne la stratégie et la prise de décision. Conférencier et auteur reconnu, il explore les enjeux du jugement humain à l’ère de l’intelligence artificielle. Son dernier ouvrage, Faut il encore décider ? La décision humaine à l’ère de l’intelligence artificielle. (Flammarion), prolonge cette réflexion.

ENTRETIEN

Jérôme Papin
Dans votre introduction — page 7 — vous écrivez : « Pendant des millénaires, décider a été un acte profondément humain, parfois sacralisé. » Qu’est-ce que cela signifie ?

Olivier Sibony
Pourquoi s’intéresser à la décision ? D’abord parce que c’est le sujet sur lequel je travaille depuis longtemps. Et si la décision devient un enjeu avec l’IA, c’est que l’idée d’automatiser des tâches de routine n’est pas nouvelle.

L’IA automatise aujourd’hui des tâches intellectuelles, là où l’on automatisait auparavant des tâches manuelles. Mais on reste dans une logique d’automatisation. Ce qui change qualitativement, c’est qu’elle prend des décisions. Or décider est une prérogative que nous associons à notre autonomie, à notre dignité, à notre rôle même, notamment professionnel.

Quand on décrit ses responsabilités, on définit ce sur quoi l’on peut décider et donc les limites de son pouvoir de décision. Cette capacité à décider, comme individu ou comme manager, est centrale dans notre identité. Donc lorsque l’IA décide à notre place, elle touche à quelque chose de fondamental, ce qui nous définit. C’est cette bascule que nous avons voulu explorer.

Jérôme Papin
Votre livre part de cette idée vertigineuse : dans certains cas, les machines décideraient mieux que nous. Est-ce déjà une réalité aujourd’hui ?

Olivier Sibony
Oui, mais une réalité encore circonscrite, dans des domaines bien définis mais qui s’étendent – ce que l’on appelle les « territoires conquis » de l’IA. Par exemple, le trading algorithmique : des algorithmes prennent des millions de décisions par seconde, là où des humains intervenaient auparavant.

La vitesse est telle qu’un ordinateur situé quelques mètres plus près d’un serveur de la Bourse peut offrir un avantage en nanosecondes. On retrouve cela aussi dans l’optimisation logistique, où des décisions calculées à la main sont désormais automatisées.

Et quand je dis « autrefois », cela peut être il y a six mois.

Autre exemple : le diagnostic médical, notamment en imagerie. Certains algorithmes surpassent désormais les médecins sur des cas complexes.

Ces exemples vont se multiplier, car l’IA réplique à grande échelle ce que font les meilleurs experts. Elle agrège l’expérience de milliers, voire de millions de praticiens, sans fatigue ni variabilité.

C’est pour cela qu’elle peut, par exemple, lire une radio mieux qu’un radiologue : elle mobilise une expérience collective immense, appliquée de façon constante.

Jérôme Papin
Vous évoquez aussi les débuts de l’IA : dès 1956, des systèmes démontraient des théorèmes, puis Arthur Samuel développait un programme apprenant à jouer aux dames. Cela signifie-t-il que l’IA existait déjà sous cette forme ?

Olivier Sibony
Oui… et non. Ces premiers systèmes traitaient des problèmes très codifiés, parfaitement formalisables. L’IA suivait alors une logique de règles : « si ceci, alors cela ». Cela fonctionne pour les mathématiques ou les jeux.

Mais face à la complexité du réel, ambiguïtés, informations contradictoires, cette approche atteint vite ses limites. Le monde ne se laisse pas réduire à des règles simples.

Dans la vie réelle, nous agissons surtout par intuition, en nous appuyant sur l’expérience, pas sur des calculs explicites.

C’est ce que les sciences cognitives appellent le contraste entre le système 1 (intuitif) et le système 2 (rationnel), qu’on essayer d’imiter avec l’IA symbolique. L’IA d’aujourd’hui ressemble davantage à notre pensée intuitive, spontanée, naturelle.

C’est pour ça d’ailleurs que les erreurs que fait GPT ou Claude ressemblent beaucoup à des erreurs humaines. Ce sont des erreurs qui nous paraissent étrangement humaines, même quand ils se trompent.

Jérôme Papin
C’est rassurant… ou inquiétant ?

Olivier Sibony
Les deux. Rassurant sur leur puissance, mais inquiétant car leurs erreurs sont plus difficiles à détecter. Elles semblent plausibles, crédibles, humaines.

On sait qu’il faut vérifier leurs réponses… mais on ne le fait pas toujours. Parce qu’elles ont l’air tellement présentées, tellement naturelles, tellement bien articulées qu’on se dit qu’il a l’air de savoir ce qu’il dit. Et pourtant, il peut vous dire le contraire dans cinq minutes.

Jérôme Papin
Deuxième partie du livre : le moment critique. Que faire lorsque l’algorithme et l’humain ne sont pas d’accord ? Quand l’IA recommande une décision et que l’expert pense l’inverse. Que fait-on ?

Posons un cas concret : imaginons un médecin ou un juge face à une recommandation algorithmique. Qui doit avoir le dernier mot ?

Olivier Sibony
C’est exactement le cœur du débat. Et la réponse spontanée – que 99 % des managers donnent lors de conférence – est simple : évidemment, c’est moi qui dois avoir le dernier mot.

On nous répète d’ailleurs que l’humain doit garder le contrôle. C’est même inscrit dans des lois et règlements. L’idée dominante est donc : écouter l’IA, mais décider soi-même, au cas par cas.

Cela paraît du bon sens. Et pourtant, c’est une erreur grave. Si l’on part du principe que l’algorithme est, en moyenne, meilleur que nous alors, sur les cas où l’on est en désaccord, il y a de fortes chances que ce soit lui qui ait raison, et nous qui ayons tort.

Donc si, à chaque désaccord, on reprend la main en pensant mieux savoir, on ne se sert pas réellement de l’algorithme. On se contente de confirmer ses propres intuitions.

Autrement dit, l’IA renforce notre confiance quand elle est d’accord avec nous… mais ne corrige pas nos erreurs, puisque nous l’ignorons précisément quand elle nous contredit.

Dit simplement : personne ne peut vous aider à progresser si vous pensez être le plus malin. Et cela vaut autant pour un conseiller humain que pour une IA.

Prenons le diagnostic médical : les médecins ont raison dans 74 % des cas, l’IA dans 90 %. Si l’on combine les deux en laissant l’humain trancher, on passe à 76 %. Un gain marginal, statistiquement insignifiant. Pourquoi ? Parce que les humains n’écoutent pas l’IA quand elle les contredit.

Conclusion vertigineuse : si l’IA est réellement meilleure, il faut accepter de lui déléguer la décision. Pas simplement la consulter.

On objecte souvent : « mais je reste responsable. Comment est-il possible que je laisse l’IA décider à ma place alors que j’engage ma responsabilité ? » Et à ça, on a une réponse très simple : ce n’est pas en dépit du fait que vous êtes responsable que vous devez faire confiance à l’IA. C’est parce que vous êtes responsable que vous devez faire confiance à l’IA.

Si vous êtes médecin et qu’une IA donne un meilleur diagnostic, il serait irresponsable de ne pas la suivre. La responsabilité du médecin demeure mais elle s’exerce précisément dans le fait d’utiliser au mieux les outils disponibles, y compris l’IA.

Jérôme Papin
Donc ne pas forcément vouloir la corriger…

Olivier Sibony
…sauf pour de bonnes raisons, sur lesquelles on peut revenir.

Jérôme Papin
Regardons maintenant votre « Carte de décisions artificielles ». On y voit notamment une « vallée de la tentation », un « marais de l’inquiétude », les « territoires conquis » — finance, logistique, imagerie médicale — et aussi un « champ de la codécision ».

Olivier Sibony
Ce point de codécision est très important.

Jérôme Papin
Et puis il y a une zone en bas : la « zone interdite ». Décisions sans précédent, nucléaire, géo-ingénierie… Expliquez-nous ce que cela recouvre.

Olivier Sibony
Si nous avons construit ce schéma, c’est parce qu’il synthétise deux dimensions : ce que l’IA peut faire, et ce que nous devrions lui laisser faire.

Jusqu’ici, nous avons dit que lorsque l’IA est meilleure, il faut en général la laisser décider. Mais il existe des cas où, pour des raisons de principe, nous refusons cette délégation.

Prenons l’exemple des armes autonomes. Certains soutiennent qu’un robot tueur serait plus précis qu’un humain. Il va y avoir moins de dommages collatéraux et il ne va pas oublier le cadre de sa mission en fait.

Finalement, il y a des tas de philosophes utilitaristes pour vous dire qu’un robots tueurs, c’est mieux qu’un bombardement indiscriminés. Et d’un point de vue utilitariste, on peut effectivement être d’accord avec ça. Nous, on prend une perspective déontologique qui est un peu différente, qui est de dire non, ce n’est pas possible. On ne peut pas accepter une chose pareille. Sur le principe, l’idée que personne ne prenne la responsabilité d’appuyer sur le bouton en situation de guerre est une idée qui est insupportable.

Nous adoptons ici une position déontologique : certaines décisions ne doivent pas être déléguées, même si la machine est plus performante. Ce n’est pas une question de capacité, mais de principe.

Autre exemple : les décisions à dimension judiciaire ou assimilées, comme certaines décisions en entreprise.

Supposez, par exemple, que vous soyez un cabinet d’avocats et que vous ayez un processus formalisé pour élire vos nouveaux associés.
Mais en fait, ce qui fait la légitimité de vos nouveaux associés, ce qui fait que leurs pairs qui n’auront pas été élus vont dire : ah oui, lui quand même, il ou elle le mérite. C’est qu’ils savent que vous avez suivi une procédure, un rituel dans lequel on a utilisé des informations qui étaient codifiées. On a eu un débat selon des règles qui était prévu à l’avance, on a respecté des formes, on a suivi des traditions, on a observé des précédents, etc.
C’est tout cela qui va fabriquer la légitimité de cette décision.

Évidemment, quand une cour d’assises rend son verdict, c’est la même chose. On pourrait accélérer ces décisions avec une IA, s’épargner les trois semaines de procès et les témoins qui défilent à la barre et et les gens en pleurs dans le public. Mais elle perdrait toute légitimité.

Aller directement au résultat, ce serait comme être déposé en hélicoptère au sommet d’une montagne plutôt que de faire de l’alpinisme, ça n’aurait aucun intérêt.

Dans ces cas-là, ce qui compte, c’est le chemin plus que le but.
On peut en avoir une définition plus large ou plus restreinte, ça se discute.
Mais on pense qu’il y a sur le principe des décisions pour lesquelles, indépendamment de la qualité du résultat que pourrait fabriquer une IA décisionnelle, il ne faut pas s’en remettre à elle, parce que le fait que la décision soit humaine a en lui-même une valeur. Ces décisions sont rares, mais elles sont importantes.

Jérôme Papin
Dans ce schéma et dans le livre, vous évoquez beaucoup le « champ de la codécision ». L’IA, comme dans l’exemple des médecins, ne sert pas seulement à aller plus vite…

Olivier Sibony
… Justement, pas à aller plus vite. Si je parle de « codécision », c’est parce que les « territoires conquis » supposent une IA meilleure que nous, ce qui n’est pas toujours le cas, loin de là.

D’abord, parfois, on manque de données pour entraîner correctement une IA. Et ça, ce sera de moins en moins vrai parce qu’on aura de plus en plus de données, et des IA de plus en plus puissantes. Mais surtout, il existe beaucoup de décisions pour lesquelles, on ne sait pas vraiment ce que l’on veut.

Et quand on ne sait pas précisément ce que l’on veut, on ne peut pas demander à une IA de l’optimiser. Prenez le recrutement : sur le papier, la fiche de poste, tout est défini — compétences, expérience, profil…
Mais en réalité, aucun candidat ne coche toutes les cases. On fait des compromis, on arbitre, au cas par cas.

Et si vous demandez à un recruteur de pondérer précisément ses critères pour une IA, il vous dira : je ne peux pas. Je saurai quand je verrai les candidats.

Autrement dit, nos critères sont implicites. Et dans ces cas-là, déléguer à une IA devient problématique.

Il y a alors une tentation, encouragée par certains acteurs de l’IA, de dire : Ne vous inquiétez pas, on s’en occupe. Vous n’avez pas besoin de dire à l’IA ce que vous voulez, l’IA va apprendre toute seule sur la base de vos décisions passées et ce que vous cherchez vraiment !

C’est très dangereux : on reproduit mécaniquement des biais sexistes, racistes, etc, et les erreurs du passé, qu’ils soient systémiques, accidentels ou aléatoires.

Une des plus grandes sociétés, fournisseur de solutions d’IA pour le recrutement, promet textuellement dans sa publicité de vous aider à recruter des clones des gens qui ont réussi chez vous. Bien, je ne suis pas sûr que recruter des clones dans une organisation, soit une très bonne idée.

Mais même si vous pouviez recruter des clones des gens qui ont réussi chez vous, ça ne vous dirais pas si les gens que vous n’avez pas recrutés et qui auraient pu réussir chez vous auraient été encore meilleurs. Donc vous allez vous priver de l’opportunité d’apprendre. Vous allez vous condamner à répéter les mêmes erreurs que par le passé. Vous allez prendre de très mauvaises décisions dans ce genre de situation.

On se prive des candidats atypiques, potentiellement meilleurs. On s’enferme dans la répétition.

Dans ces situations, l’IA ne doit pas décider à votre place. En revanche, elle peut devenir un partenaire de réflexion.

Un bon outil LLM va vous challenger, poser des questions auxquelles vous n’aviez pas pensé, vous pousser à être plus rigoureux — comme le ferait un bon collègue.

La codécision, c’est cela : une IA qui agit comme un sparring partner dans le processus de décision.

Jérôme Papin
Mais pas autoritaire.

Olivier Sibony
Ni autoritaire, ni délégataire. Vous gardez le contrôle mais avec un contradicteur exigeant, qui n’hésite pas à pointer ce que vous avez négligé.

Et cela permet d’éviter beaucoup d’erreurs.

Jérôme Papin
Pour conclure, vous évoquez page 205 la nécessité d’un contrôle fort, permanent et qualifié. Vous parlez même d’une « Cour des comptes de l’IA, dotée de pouvoirs d’investigation, d’audit et de sanction. ».

Olivier Sibony
Je vais le dire encore plus clairement : si l’on veut déléguer des décisions à l’IA, encore faut-il être sûr qu’elle est meilleure.

Mais aujourd’hui, comment le vérifier ? Prenons le recrutement :

Quand vous êtes un recruteur et que quelqu’un vient vous dire : vous recevez 1 million de cv par an, vous ne pouvez pas les trier manuellement. J’ai une solution pour vous.
Bah oui merci, tu tombes bien. Effectivement, je n’y arrive plus.
J’ai besoin d’une solution.

Mais comment savez-vous que cette solution est effectivement supérieure ? Comment vous la testez ? Vous n’avez évidemment pas les moyens matériels, techniques, intellectuels de tester une solution IA. Ce n’est pas possible, il faut que quelqu’un le fasse pour vous. Et à l’évidence, il faut que ce quelqu’un ne soit pas le fournisseur qui est en train de vous vendre le système.

C’est comme demander au boucher si sa viande est bonne…

Donc il faut des acteurs indépendants pour certifier ces systèmes — eux-mêmes validés par une autorité légitime. Nous avons besoin d’une véritable infrastructure de la confiance dans les algorithmes.

Comme pour une pompe à essence ou une balance : vous leur faites confiance sans en comprendre le fonctionnement. Parce qu’une autorité les certifie. Cette confiance est invisible, mais essentielle.

Or, pour l’IA — qui prend des décisions bien plus importantes — cette infrastructure n’existe pas encore. Sans elle, on risque un rejet technophobe réactionnaire de l’IA dont on voit déjà les prémices.

Récemment, près de 3 000 universitaires français se sont déclarés « objecteurs de conscience » face à l’IA.

C’est-à-dire qu’ils refusent de s’en servir, y compris pour expliquer à leurs étudiants qu’il faut s’en méfier, y compris pour faire des recherches qui expliquent quelles en sont les limites.
Non, ils refusent d’y toucher. On est dans le rejet religieux de l’IA avec des arguments qui se tiennent, des arguments écologiques, des arguments épistémologiques, etc.

Le problème c’est qu’ils n’ont pas confiance dans cette technologie. Et entre nous, je ne dis pas que je suis d’accord avec eux, mais je comprends ce problème de confiance parce que aujourd’hui, pour avoir confiance dans l’IA, il faut qu’on accepte d’avoir confiance dans Sam Altman (OpenAI), dans Dario Amodei (Anthropic), Elon Musk (X-Tesla-Neuralink-SpaceX).

Alors de temps en temps, il y en a un qui essaie d’inspirer un petit peu plus confiance que les autres. Donc Dario Amodei, il nous dit : attention, moi je suis le sage, je vous mets en garde contre les dangers, je n’accepte pas de pactiser avec le département de la guerre de Donald Trump.

Mais non, excusez moi, ce n’est pas parce qu’il y en a un qui aujourd’hui nous dit une chose et que l’autre nous disait pas qu’on doit avoir plus confiance en lui que dans l’autre. On a besoin que des autorités démocratiquement élues et démocratiquement contrôlées nous assurent qu’on peut avoir confiance dans les outils qu’on utilise quand ils prennent des décisions aussi importantes que celles dont on est en train de parler.

Comme pour un médecin qui fait confiance à un médicament parce qu’il a eu l’autorisation de mise sur le marché (AMM).

Il faut la même exigence pour les outils d’aide à la décision. Et aujourd’hui, cette structure n’existe pas encore.

Jérôme Papin
Ce qui fait la force de votre livre, c’est qu’il ne tranche pas. Il pose des constats, expose des dilemmes et ouvre des perspectives sur le futur de la décision. Vous posez un diagnostic, vous éclairez les tensions et vous ouvrez sur un futur qui nous appartient.

Je terminerai avec une référence que vous faites avec 2001, l’Odyssée de l’espace, on ne s’est jamais vraiment demandé si ce scénario pouvait devenir réel… Et vous citez cette scène où l’ordinateur HAL 9000 refuse d’obéir.

Olivier Sibony
Oui, c’est la scène emblématique où la machine se rebelle et décide, en quelque sorte, de se substituer à l’humain. C’est le grand fantasme de la machine qui prend le contrôle.

Cette crainte existe, elle est réelle. Elle est sans doute exagérée, mais elle n’est pas infondée. Elle renvoie à ce que les spécialistes appellent le problème de l’alignement : s’assurer que les IA interprètent correctement les objectifs qu’on leur fixe.

En d’autres termes, éviter le syndrome de l’apprenti sorcier. S’assurer que les IA restent controlés et conformes à nos intentions et à nos finalités.

Au fond, tout se résume à une idée simple : aucune IA ne peut faire ce que nous voulons… si nous ne savons pas nous-mêmes ce que nous voulons.

Et si nous ne sommes pas capables, démocratiquement, de définir ce que nous voulons ou ne voulons pas déléguer aux machines, d’autres le feront à notre place.
Alors, des fabricants de systèmes qui sont basés en Californie ou des technocrates dont on ne comprend pas très bien comment ils prennent leurs décisions le feront pour nous. On a besoin en tant que citoyens de s’emparer de cette question.

Ça devrait être à mon avis une des questions importantes de la prochaine présidentielle. Et pour l’instant, on n’en voit pas le début. Une des choses qu’on essaye de faire avec ce livre, c’est de dire que le sujet de l’IA est un sujet politique, c’est un sujet démocratique, c’est un sujet important pour tout le monde.

Ce n’est pas un sujet technique et ce n’est pas un sujet qu’on peut laisser à Sam Altman (OpenAI) et Dario Amodei (Anthropic).

Jérôme Papin
Et c’est bien pour cela que ce débat est central. Je rappelle votre ouvrage Faut il encore décider la décision humaine à l’ère de l’intelligence artificielle ? aux éditions Flammarion, coécrit avec Eric Hazan. Un livre qui permet à chacun de rester acteur et décideur de ce que sera demain.

Et comme le disait Winston Churchill : « Mieux vaut prendre le changement par la main avant qu’il ne vous prenne par la gorge. »

Propos recueillis par Jérôme Papin, journaliste à Agora Médias, filiale d’Agora Managers Groupe.