L’IA Générative au service des conseillers bancaires LCL, comment l’adapter à votre entreprise ?

Le déploiement de l’IA générative et du LLM dans une entreprise peut être confronté à des défis techniques, organisationnels et réglementaires. Une approche stratégique et multidisciplinaire est nécessaire pour surmonter ces obstacles et exploiter pleinement le potentiel de ces technologies.

Cas d’usage et retour d’expérience de Didier Lellouche, Responsable Intelligence Artificielle chez LCL qui a intégré L’IA générative et du LLM dans une entreprise qui compte 17 500 collaborateurs, 6 millions de clients particuliers, 342 000 professionnels et 29 500 entreprises et institutionnels.

Au sommaire : Infrastructure et ressources – Intégration IA/LLM avec des processus existants – Sécurité des données – Évaluation et amélioration continue – Résistance, Acculturation et conduite du changement – Bases documentaires – Agilité à l’échelle et Déploiement national.  

Julien Merali : Est-ce que vous pouvez nous expliquer un peu comment est organisé le pôle IA chez LCL ?

Didier Lellouche : Le pôle IA chez LCL existe depuis cinq ans et j’en ai pris la responsabilité il y a trois ans et demi. La particularité, c’est qu’on est directement rattaché au Comex, dans le même groupe que la direction du numérique et de l’organisation, mais à côté pour pouvoir être agile par rapport aux équipes informatiques qui, elles, sont un gros paquebot chez LCL. Et aujourd’hui, nous sommes une douzaine dans le pôle IA pour un total de 17 500 personnes chez LCL.

J.M : Quels sont les liens que vous avez avec les data officers au sein de LCL ?

Didier Lellouche : Alors on échange beaucoup avec notre CDO sur toute la partie gouvernance des données, cartographie, etc. Eux-mêmes travaillent également sur d’autres sujets plus liés aux données structurées, alors que dans le pôle IA, notre particularité, c’est qu’on ne travaille que sur les données non structurées.

On se répartit les projets en fonction de la nature des sujets.

J.M : C’est le Comex qui a décidé de créer ce pôle IA à côté de l’informatique et de la data ?

Didier Lellouche : Exactement et le Comex suit de très près l’avancée de nos travaux. C’est-à-dire que je passe régulièrement au Comex pour faire un état des lieux des sujets sur lesquels nous sommes et ils vont même jusqu’à parfois donner des directions, des impulsions et définir les priorités. C’est en tout cas un suivi assez proche.

J.M : Alors, data non structurée, mais quel type de données allez-vous gérer plus précisément ?

Didier Lellouche : Alors on intervient sur trois types de données principales. Ce qui n’est pas limitatif.

Donc on a principalement tout ce qui concerne le traitement de l’image. Pour faire simple, c’est un PDF par exemple, un justificatif d’un client, une pièce d’identité, un avis d’imposition, etc.

Ensuite, on travaille aussi beaucoup sur la voix, notamment quand on veut tirer parti d’un enregistrement, d’une conversation entre un conseiller et un client.

On va travailler sur des sujets de conformité pour s’assurer que le conseiller est bien resté dans son cadre pour des sujets statistiques ou simplement pour savoir pourquoi les clients appellent. Donc cela fait partie des sujets sur lesquels on travaille autour de la voix.

Et puis, dernier type de sujet, c’est tout ce qui concerne le texte, et plus particulièrement le traitement des verbatims clients. On reçoit des dizaines de milliers de verbatims clients et donc on a mis en place des algorithmes qui permettent de les traiter.

Et bien sûr l’IA générative qui rentre dans ce sujet du texte au sens large que l’on a déjà commencé et on en a d’autres dans les tuyaux pour les mois à venir.

J.M : Quand on appelle un standard LCL, on est susceptible d’être enregistré pour améliorer la qualité client. Concrètement, sur une journée, combien peut-on étudier d’appels ? 200 ?

Didier Lellouche : Voire même beaucoup plus. Par exemple, si on parle des motifs de contact, l’idée, c’est de les traiter par campagne : donc sur le mois de janvier par exemple, pourquoi les clients ont appelé ? On prend des échantillons statistiques, on regarde les raisons des appels et on lance des actions pour améliorer la satisfaction client.

Parce qu’on va découvrir que ce mois-ci, il y a eu un problème avec les automates par exemple, ou je ne sais quoi. Cela va permettre de prioriser en fonction des remontées et ensuite de prendre des actions correctrices ou au contraire de déclencher des actions pour améliorer nos outils de self care, pour permettre aux clients de réaliser eux-mêmes un certain nombre d’opérations.

J.M : Quels sont les cas d’usages très concrets que vous avez en termes d’IA ?

Didier Lellouche : Alors on a un premier cas d’usage qui permet au conseiller d’avoir un assistant pour l’aider à répondre au mail client. Chez LCL, on reçoit à peu près 22 millions de mails clients par an. Donc, c’est une grosse charge de travail pour les conseillers, surtout que l’on souhaite qu’ils répondent de plus en plus vite.

Cet outil les aide à générer des mails beaucoup plus rapidement. Donc très concrètement, ils ont le mail du client. Il rajoute une instruction, en disant : répond ceci, répond cela, comme on le ferait avec un assistant et le mail est généré automatiquement par l’IA générative. Ensuite le conseiller vérifie. C’est très important pour nous que cette vérification. Enfin, il complète, modifie s’il le souhaite et envoie son mail.

J.M : Mais s’il faut que je dise au robot ce qu’il doit répondre, est-ce que ça ne met pas autant de temps que de répondre directement aux mails ?

Didier Lellouche : C’est une vraie question que l’on s’est posé aussi. Mais en fait, on s’est rendu compte qu’écrire un mail pour beaucoup de conseillers assez jeunes pouvait parfois représenter une charge mentale importante.

Ils ont peur de faire des fautes d’orthographe. Parfois ils ont peur de ne pas avoir exactement la bonne syntaxe. Donc il y avait cette première dimension.

Et ensuite, on s’est rendu compte aussi que les conseillers s’y sont faits très rapidement.

Et même un conseiller qui me disait qu’il n’en avait pas besoin parce qu’il avait fait khâgne, hypokhâgne, quand il l’a essayé une fois, deux fois, trois fois, à la quatrième, il ne voulait plus s’en passer plein parce qu’il gagnait du temps. Il ne se concentrait plus sur la façon de rédiger le mail, mais vraiment sur le contenu.

J.M : Avec quels fournisseurs travaillez-vous sur ce sujet-là ?

Didier Lellouche : Plutôt que de faire un appel d’offres, on est plutôt parti avec deux grands fournisseurs du marché, donc en l’occurrence Microsoft / Open IA, et Google avec la solution PaLM V2. On ne voulait pas avoir de dépendance technologique d’un fournisseur ou d’un autre parce que ça va tellement vite que si on en choisit un, avec le bol qu’on a, trois mois après, il peut-être complètement has been et on aura perdu du temps.

On a donc préféré partir avec ces deux fournisseurs et travailler plutôt sur la modularité. Et on a construit une API qui permet de switcher de l’un à l’autre, de prendre les deux. Et on peut même rajouter demain un troisième ou un quatrième si on le souhaite. On parle de Mistral ou d’autres LLM. Nous sommes très souples là-dessus.

J.M : Quelles sont les étapes dans ce projet d’IA générative ? J’imagine qu’il y a une phase de tests.

Didier Lellouche : C’est exactement ça. C’est-à-dire que l’on a fait une phase de test avec notre métier. Ça a été vraiment très collaboratif. Ensuite, une fois que l’on a atteint des résultats qui nous semblaient satisfaisants, on l’a déployé auprès de trois directions régionales, soit près de 500 personnes pour tester, avec des calls réguliers toutes les semaines et avoir leurs ressentis. Bref, un suivi très proche. Puis au bout de 2 à 3 mois, on a validé le fait qu’il y avait vraiment un intérêt. Et à partir de là, on a pris la décision de le déployer au niveau national.

J.M : J’imagine que tous les services voulaient cette solution. Comment priorise-t-on le déploiement et comment gérer les réticences ?

Didier Lellouche : Alors il faut savoir que le monde bancaire est encore assez fermé aujourd’hui. Dans le groupe Crédit Agricole, puisque LCL appartient à ce groupe, Chat GPT et consorts sont fermés par défaut. Un collaborateur ne peut pas y accéder depuis son poste. Donc c’est vrai que pour nous, c’était un peu compliqué parce que c’est une décision groupe et on n’y a pas accès.

Donc il a fallu vraiment que l’on passe par la mise en place de landing zone qui nous permette de sécuriser tous ces aspects, tant côté Microsoft que côté Google, pour déjà donner une garantie en termes de sécurité.

Les données que l’on utilise ne remontent jamais au niveau d’Open IA ou de Google pour servir à du ré-entraînement. Les données restent dans une bulle privative qui appartient à LCL. Donc ça, c’était un point très important.

Ensuite, l’acculturation a été un vrai sujet parce que nous sommes tous habitués à utiliser Google. Par exemple, quand vous voulez chercher des infos sur quelqu’un, vous tapez le nom de la personne dans Google et vous n’avez pas à dire qui est cette personne ou quel âge elle a. Du coup, cela pose pas mal de soucis parce que les conseillers continuent à utiliser l’outil en tapant juste un mot-clé.

Et l’IA générative n’est pas faite pour fonctionner de cette manière-là. Donc ça nous a posé pas mal de soucis. On travaille à l’acculturation, à la conduite du changement pour accompagner et expliquer qu’il faut utiliser du langage naturel ; sujet, verbe, complément.

Donc il y a de la formation autour de cette acculturation.

J.M : Combien de temps pour former un conseiller bancaire et quel est le taux d’adoption aujourd’hui ?

Didier Lellouche : La formation se fait au travers d’un accompagnement managérial qui permet de s’approprier cette nouvelle technologie. Je ne sais pas si on peut le quantifier en termes d’heures ou pas, mais on a des supports qui vont être déployés.

Et sur les 500 conseillers qui étaient en pilote, on a un taux de satisfaction de 85 %. Donc c’était déjà plutôt pas mal. Pour l’adoption, on n’a pas un taux précis parce que c’est difficile à mesurer. Parfois, on l’utilise pour un mail dans la journée, mais pas pour tous ses mails. Donc c’est compliqué. Mais en règle générale, ceux qui l’utilisent ne reviennent pas en arrière. Et son déploiement à l’échelle nationale est en cours de préparation puisqu’il va avoir lieu le mois prochain.

J.M : Il y a toujours un grand sujet sur la data qui est le R.O.I. Sur l’IA et LLM, quels KPI’s met-on en place pour mesurer le R.O.I. ?

Didier Lellouche : On ne l’a pas gérée du tout et on n’a pas été chercher de R.O.I. En fait, c’est compliqué de définir R.O.I. parce qu’on va dire : OK, le conseiller a gagné une minute pour faire un mail, mais qu’est-ce qui me garantit que le conseiller ne va pas utiliser cette minute gagnée pour aller boire un café ?

Est-ce qu’il va être plus productif avec une minute de plus et est-ce que l’on peut le quantifier ? Je n’en suis pas certain. Ce que l’on a plutôt mis en avant, c’est le côté uniformisation de la communication. Quand on l’utilise, on a une communication avec un message et une tonalité. LCL.

C’est aussi le fait d’éliminer des fautes d’orthographe. Donc on uniformise également cette partie-là.

Et concernant l’acculturation et parce que nous avons d’autres projets, c’est également un premier moyen pour les conseillers de savoir comment utiliser ces outils, ce qui va être très utile pour les phases suivantes.

On a réfléchi en termes de trajectoire avec un premier outil simple à comprendre, avec d’autres qui vont arriver plus tard, qui sont un peu plus compliqués.

J.M : Alors là, on parle bien sûr de tout ce qui s’est bien passé. Il y a forcément des choses qui se sont moins bien passées, peut-être des zones un peu plus nuancées en tout cas. Quelles sont-elles ?

Didier Lellouche : Alors oui, il y a eu des choses. On a eu des conseillers au début qui nous disaient : ça ne marche pas votre truc ! Et c’est ce que je disais tout à l’heure, dans l’utilisation d’un mot clé pour donner l’instruction plutôt que le fameux prompt. Et là, il a fallu vraiment expliquer, il a fallu revenir dessus.

Et puis, cet assistant n’est pas relié à nos bases de connaissances, à nos bases d’informations. Donc imaginez un client qui envoie un mail en disant : j’aimerais avoir des informations sur la carte Visa Premier. Mais comme ce n’est pas relié à nos bases, les conseillers ont eu du mal à comprendre qu’ils n’avaient pas cette information et qu’il n’y avait pas de connexion avec notre site. Donc ça c’est quelque chose qui arrivera dans un second temps. Mais en tout cas, cela a fait partie des problèmes pour que les conseillers s’approprient cet outil. Après, sur le reste, techniquement, il n’y a pas eu de grosses difficultés.

On a beaucoup travaillé également avec Worldline, qui est l’éditeur de la messagerie sécurisée que l’on utilise aujourd’hui chez LCL, pour que tout cela soit fluide et intégré de la meilleure façon.

J.M : Pour finir, quelles sont les prochaines étapes autour de ces projets ?

Didier Lellouche : Déjà, on a le déploiement national. Ensuite, on a pas mal d’autres projets sur la recherche documentaire pour pouvoir interroger nos propres documents. On a énormément de bases de procédures et des dizaines de milliers de pages d’information.

Quand un conseiller recherche une information aujourd’hui, ça peut être parfois long et fastidieux. Et donc là, on a mis en place des outils qui permettent d’aller chercher de l’info dans nos bases documentaires. Et on va commencer le pilote dans les semaines qui viennent.

Propos recueillis par Julien Merali, Général Manager du Pôle IT d’Agora Manager