Technologie, personnes et IA

Telmo Silva s’entretient avec Dan Stelljes, un expert fort de 30 ans d’expérience dans la gestion des données dans le secteur de la santé, pour une conversation concrète sur ce qu’il faut réellement pour mener à bien des projets liés aux données. De la dimension humaine cachée au cœur des données structurées au problème de confiance qui est au cœur de l’adoption de l’IA, cet épisode vous invite à prendre la mesure de la frontière entre la technologie et le jugement humain.

Questions que nous avons posées

• Les visualisations générées par l’IA peuvent-elles remplacer l’analyste, ou avons-nous encore besoin d’une intervention humaine ?
• Comment instaurer la confiance dans les données non structurées alors que les décideurs s’appuient depuis des décennies sur des chiffres concrets ?
• La vitesse à laquelle les organisations adoptent l’IA dépasse-t-elle leur capacité à l’utiliser de manière responsable ?

Ce que nous avons appris

• Les données structurées ne reflètent qu’une partie de la réalité. Le contexte opérationnel et humain qui se cache dans les sources non structurées révèle pourquoi les problèmes surviennent, et pas seulement qu’ils se sont produits.
• La triangulation des réponses fournies par l’IA à partir de plusieurs questions et modèles constitue aujourd’hui le moyen le plus efficace de valider les résultats.
• L’IA est un outil parmi d’autres dans le processus de travail, et non l’ensemble de ce processus. Elle donne les meilleurs résultats lorsqu’elle est intégrée à d’autres outils de traitement des données et à l’expertise humaine.
• Le déficit d’expérience est bien réel. Alors que les analystes débutants s’appuient sur l’IA pour effectuer le travail pratique, la prochaine génération risque de ne pas disposer de l’intuition métier nécessaire pour savoir quand une réponse est tout simplement erronée.

Des demandes de remboursement de soins de santé à une réalité plus large concernant les données

Daniel Stelljes a passé 30 ans à gérer certaines des données les plus complexes de tous les secteurs : celles du cycle de facturation dans le domaine de la santé. Dans ce domaine, les données structurées peuvent vous indiquer qu’il y a eu un paiement insuffisant. Ce qu’elles ne peuvent pas vous dire, c’est pourquoi. Pour cela, il faut un troisième niveau : le contexte opérationnel et humain, capturé dans des sources non structurées telles que les PDF, les rapports et les journaux de flux de travail. L’approche de Daniel consiste à analyser ces trois éléments conjointement, en les considérant comme des signaux complémentaires plutôt que concurrents. Lorsque les données structurées et non structurées racontent la même histoire, le niveau de confiance augmente. Lorsqu’elles divergent, c’est souvent dans cet écart que réside le véritable problème.

Le problème de la confiance : pourquoi les chiffres concrets l’emportent toujours

Malgré le potentiel prometteur des analyses générées par l’IA, de nombreux acteurs continuent de fonder leur confiance sur des chiffres concrets. Leur demander de se fier à des signaux plus subjectifs, déduits sans preuve tangible, revient un peu à l’époque des débuts des cartes bancaires : les gens retiraient de l’argent au distributeur, puis se rendaient à la banque pour vérifier cette même transaction. Le défi auquel sont confrontées les équipes chargées des données aujourd’hui ne consiste pas seulement à mettre en évidence la bonne réponse, mais aussi à rendre le raisonnement qui la sous-tend suffisamment transparent pour qu’il soit crédible.

J’utilise l’IA comme un stagiaire. Je lui demande d’effectuer cette série de tâches pour moi, puis je vais évaluer si le résultat me semble correct ou non.
Dan Stelljes, directeur, Beastbook Solutions

Selon Dan, ce scepticisme salutaire n’est pas une faiblesse. C’est l’attitude qu’il convient d’adopter pour quiconque travaille avec des systèmes susceptibles de se tromper.

Triangulation de l’IA : une méthode pratique pour valider les résultats

Telmo et Daniel partagent une même frustration : les modèles d’IA manquent de cohérence. Posez deux fois la même question, à des jours différents ou avec des versions différentes du modèle, et vous risquez d’obtenir des réponses différentes. La réponse de Daniel consiste à recourir à la triangulation : décomposer un problème en ses éléments constitutifs, traiter chacun d’entre eux séparément, puis comparer les résultats pour vérifier leur cohérence interne. Si les résultats convergent, c’est un signe raisonnable de fiabilité. S’ils divergent, c’est le signal qu’il faut approfondir l’analyse. Comme le dit Telmo, il s’agit de faire des analyses statistiques sur des réponses générées statistiquement.

La visualisation n’est pas près de disparaître

L’idée de remplacer les tableaux de bord par une interface de chat est séduisante en théorie. Dans la pratique, elle s’avère insuffisante dès que l’exploration proprement dite commence. L’IA peut générer rapidement un graphique, mais vérifier qu’elle a correctement traité les valeurs nulles, appliqué les bons filtres et agrégé les données comme prévu nécessite tout de même un œil averti. La visualisation interactive, celle qui permet aux analystes d’approfondir leur analyse, de zoomer et de pivoter à la volée, reste plus rapide et plus fiable pour un véritable travail d’analyse que les invites itératives. Comme le note Telmo d’après sa propre expérience chez ClicData, les invites fonctionnent bien pour les résumés et les questions narratives. Pour une analyse visuelle approfondie, elles ajoutent des obstacles plutôt que de les éliminer.

L’IA est un outil parmi d’autres. Ce n’est pas le seul.

Les organisations avancent à grands pas dans le domaine de l’IA, parfois plus vite que ne le permet leur compréhension de ce qu’elle fait réellement. Daniel établit une distinction claire entre l’utilisation de l’IA comme accélérateur pour des tâches connues et bien délimitées, et le fait de s’attendre à ce qu’elle gère de bout en bout des analyses complexes comportant de nombreuses variables. Cette dernière approche exige la même rigueur que n’importe quel autre projet lié aux données : des exigences clairement définies, des résultats testés et une vérification humaine à chaque étape. L’IA a sa place dans le flux ETL. Elle ne remplace pas ce flux.

Le déficit d’expérience dont personne ne parle

Le moment le plus stimulant de cet épisode survient peut-être vers la fin. Alors que les développeurs seniors endossent désormais des rôles de validateurs et que les analystes juniors s’appuient sur l’IA pour produire leur travail, une question se pose discrètement : d’où viendra la prochaine génération de professionnels expérimentés ? L’expérience s’acquiert par la pratique, en commettant des erreurs, en développant l’instinct nécessaire pour reconnaître quand une réponse n’a pas de sens. Si l’IA prend entièrement le relais de ce processus, le secteur pourrait finir par se heurter à un décalage entre les outils qu’il utilise et le jugement nécessaire pour les utiliser à bon escient.