Portrait d’Agnès Delaborde – Responsable fiche action « Caractérisation et évaluation du score de confiance »

Pouvez-vous vous présenter ainsi que votre parcours ?

Agnès Delaborde : Je suis docteur en informatique, et j’ai intégré en 2017 le LNE (Laboratoire national de métrologie et d’essais) en tant qu’ingénieur de recherche en évaluation de l’IA. Avant cela, j’ai travaillé quelques années au CNRS et à la Sorbonne, où je me concentrais principalement sur le développement de systèmes d’interaction humain-robot. Dans ce domaine particulièrement, il subsiste de nombreuses limitations et difficultés lorsqu’il s’agit d’estimer la pertinence et la qualité des modèles développés. En outre, j’ai travaillé un temps en partenariat avec le Centre d’Études et de Recherche en Droit de l’Immatériel (CERDI, Université Paris-Saclay), où j’ai vu l’importance d’une uniformisation entre les pratiques techniques et les exigences juridiques pour l’IA et la robotique.

Le LNE, organisme public spécialisé dans l’évaluation, la certification et la métrologie, est un acteur central pour l’élaboration de normes et de références pour les produits issus de l’industrie. Je l’ai rejoint avec l’ambition de collaborer à la définition de méthodes permettant de garantir que les IA soient des produits fiables, de qualité et adaptés au déploiement sur le territoire européen.

Comment définiriez-vous l’IA de confiance ?

Agnès Delaborde : L’IA de confiance concerne dans notre cas les produits à base d’IA qui respectent un ensemble de préconisations jugées essentielles, telles que le respect des droits fondamentaux, l’absence de discrimination ou encore son aptitude à remplir les fonctions attendues. Ces préconisations doivent être consensuelles, répondre aux attentes et aux besoins de toutes les parties prenantes et présenter un compromis adéquat entre respect de l’innovation et protection de la société. De façon générale, l’IA de confiance doit fournir des garanties quant au respect de la réglementation et préserver la place et le rôle de l’être humain.

Avant tout, l’IA de confiance ne doit pas s’appuyer que sur des mots ou des intentions louables. De nombreux documents et initiatives ont posé des bases pour la compréhension de ce qu’est une IA digne de confiance mais le développement d’une telle IA a besoin d’être étayée par des outils et des méthodes concrètement utilisables par l’industrie. Un industriel, concepteur de solution ou intégrateur, doit être en mesure de comprendre comment implémenter une IA digne de confiance et une tierce partie doit pouvoir estimer si une IA présente les caractéristiques essentielles d’une IA de confiance. A cet effet, l’IA de confiance doit être outillée, tant en termes de développement qu’en évaluation.

Vous avez la responsabilité de la fiche action « Caractérisation et évaluation du score de confiance » dans le cadre de Confiance.ai. En quoi consiste-t-elle ? Quelles en sont les finalités ?

Agnès Delaborde : Le projet « Caractérisation et évaluation du score de confiance » au sein du programme Confiance.ai a pour ambition de proposer une méthode pour la caractérisation et l’évaluation d’un score de confiance pour un produit à base d’IA donné. Ce score s’appuie sur un ensemble de points de contrôle effectués à différentes étapes du cycle d’ingénierie – chaque point de contrôle permettant l’obtention d’un score intermédiaire lié à une caractéristique de confiance donnée. Les travaux menés s’appuient sur la détermination de ces points de contrôle essentiels, en s’appuyant sur les documents de référence existants au niveau européen et international. Ces documents proposent des ensembles de caractéristiques essentielles pour l’IA de confiance, ainsi que certaines méthodes d’évaluation. Une attention particulière est portée sur le fait que chaque caractéristique de confiance utilisée dans le projet doit pouvoir être estimée de façon non ambigüe ; un point de contrôle ne peut être vague ou sujet à trop forte interprétation individuelle. Les thématiques liées à la confiance ne s’y prêtent pas toujours bien, telles que l’équité (fairness en anglais) : notre travail consiste alors à décomposer cette caractéristique en sous-éléments observables. D’autres difficultés résident dans la non-commensurabilité des différents scores intermédiaires de confiance et sur la variabilité de l’importance apportée à certains de ces scores selon le contexte d’application de l’IA.

Nos premiers travaux nous ont permis de dresser une première carte des caractéristiques de confiance et de poser les bases de notre méthode de résolution de la problématique de non-commensurabilité.

A l’issue de notre projet, nous aurons développé une méthode complète permettant l’évaluation du score de confiance d’une application IA. Le respect de la méthode permettra à l’industrie de l’IA de fournir un niveau de garantie adapté quant aux solutions déployées.

Racontez-nous ce qui vous motive dans le fait de travailler sur le programme Confiance.ai. Qu’appréciez-vous le plus ?

Agnès Delaborde : L’ampleur du programme et les ressources mises en œuvre en font une initiative d’envergure qui peut permettre l’avènement de ce que nous espérons depuis des années pour l’IA : un produit à la fois contrôlé et contrôlable. Les objectifs du programme sont ambitieux et répondent parfaitement aux préoccupations contemporaines et sociétales sur l’IA. Même si le socle de ce programme s’appuie sur notre stratégie nationale, un grand nombre d’actions sont tournées vers l’Europe et la collaboration internationale ce qui augmente la portée de nos travaux. Enfin, la présence extrêmement forte du secteur industriel au sein du programme, notamment par le biais d’industriels du Manifeste AI for Humanity et des lauréats aux appels à manifestation d’intérêt ciblant des académiques et des start-ups, fournit des garanties quant à l’utilisabilité des concepts, outils et méthodes développés au sein du programme.