Les partenaires SHS de Confiance.ai pour travailler sur l’appropriation de l’IA de confiance

Les questions que nous nous posons sont relatives à la prise en compte des aspects SHS dans le programme « Confiance.ai » tel qu’il se déroule. Nous réalisons principalement des développements sur des facteurs technologiques de la confiance (robustesse, preuve, gestion de l’incertitude, qualité et couverture des données, correction des biais, résistance aux attaques adverses, assurance cases, explicabilité), avec une attention limitée aux facteurs humains. Mais nous sommes convaincus que la confiance envers un système technologique, et en particulier d’IA, est aussi une question individuelle et collective, dont les mécanismes sont ceux étudiés par les sciences humaines et sociales. C’est pourquoi l’appropriation de la confiance (notamment sa perception, ou les coûts associés de mise en œuvre), soutenue par les avancées technologiques, était au cœur de cet appel à manifestation d’intérêt. Nous attendions principalement des propositions venant de communautés scientifiques SHS les plus proches des axes thématiques du programme : ergonomie, sociologie, économie, juridique, cognition en sont les premiers exemples non exclusifs.

L’insertion des chercheurs et des chercheuses SHS dans le programme Confiance.ai

Dans un premier temps, nous souhaitions que les chercheurs et chercheuses SHS sélectionnés lors de l’AMI apportent leur regard critique sur le programme. Nous attendions de cette première étape des recommandations sur les éléments non technologiques qu’il conviendrait de prendre en compte pour en assurer le succès auprès des diverses parties prenantes. Dans un deuxième temps, et selon avis favorable du programme, il pourra être donné suite à ces recommandations par des travaux de recherche réalisés au sein des laboratoires, sous forme – par exemple – de postdoctorat, de temps d’ingénieur(e) de recherche, ou le cas échéant de thèse, en relation avec un ou plusieurs cas d’usage du programme.

La sélection des propositions des chercheurs et chercheuses SHS

L’AMI SHS a reçu onze réponses qui ont été examinées par un comité composé de cinq représentants des partenaires de Confiance.ai ainsi que deux personnalités extérieures : Alexandre GEFEN, directeur adjoint scientifique de l’Institut INSHS du CNRS et Yann FERGUSON, chercheur en sociologie à l’ICAM (Toulouse) et directeur scientifique du LABORIA, laboratoire national d’expérimentation sur l’IA au travail.

Après une série de sept auditions au mois de juin, nous avons finalement retenu quatre propositions pour financement et démarrage au mois de septembre 2022. De fait, les travaux ont réellement débuté en fin d’année une fois la mise en place contractuelle effectuée et les contacts organisés avec les porteurs de cas d’usages industriels concernés. Les laboratoires SHS ont pu présenter leurs approches et les premiers travaux effectués lors de la Journée Scientifique Trimestrielle interne de Confiance.ai du 4 janvier 2023.

Les autres actions à caractère SHS du programme

Par ailleurs, d’autres initiatives du programme s’intéressent de près à ces questions : un des premiers livrables était consacré à l’état de l’art sur les valeurs humaines et la cognition dans l’IA, un extrait de ce livrable figure dans cet article en ligne ;  une proposition à fort contenu en sciences humaines et sociales avait déjà été retenue l’an dernier par Confiance.ai dans le cadre d’un Appel à Manifestation d’Intérêt général pour les laboratoires académiques : l’équipe, composée de Christine Balagué (LITEM) et Dominique Cardon (Sciences Po), doit travailler sur l’autopsie d’applications IA qui ont échoué. Une fiche action « Assistant vocal » du projet « Characterization & qualification of trustworthy AI » sur l’évaluation de composants de confiance, à laquelle Yann Ferguson avait participé, avait également étudié les conditions d’acceptabilité d’une solution à base d’IA proposée aux opérateurs sur les chaines de Renault. Enfin, le programme organise en mars 2023 le symposium AAAI « AI Trustworthiness Assessment » au sein duquel les aspects SHS devraient être évoqués aussi bien que des aspects technologiques de l’évaluation de la confiance.

Ces actions s’inscrivent dans le programme global de développement de la confiance envers les systèmes d’intelligence artificielle, dont les aspects sont multiples ; une étude interne de Confiance.ai liste plus de cent facteurs individuels. En ligne avec les positions de la Commission Européenne sur le sujet, nous sommes convaincus de la nécessité d’une approche pluridisciplinaire reposant sur des bases scientifiques et technologiques solides, et c’est dans ce sens que nous progressons.

Les quatre laboratoires lauréats et leurs projets

Benoit Leblanc (ENSC) & coll. avec l’ONERA et l’Institut Cognition : Expérimentation de la confiance d’un utilisateur de système d’IA

La proposition va dans le sens de l’exploration des réactions des individus face à des systèmes utilisant de l’IA ; la confiance étant un pilier de ces réactions. L’étude de ces réactions amène des éléments scientifiques d’intérêt à la fois pour l’industrialisation de systèmes anthropotechniques comme le sont les dispositifs de transport, mais aussi pour le déploiement de ces systèmes dans des domaines d’application. Concrètement, l’équipe s’intéresse à la prise de décision assistée par des systèmes d’IA, et ce au moyen d’une mise en situation expérimentale sur des cas d’usage avec des opérateurs et des opératrices, en posant notamment les questions suivantes : quel rôle pour l’opérateur ou l’opératrice ? Quelles interactions avec le système d’aide ? Qu’est-ce qui permet qu’il ou elle reste maître de la décision ? Le cas d’usage choisi est la réidentification de personnes (avec notamment des applications en sécurité) proposé par Atos.

Enrico Panaï (EM Lyon) & Laurence Devilliers (LISN-CNRS) : Cartographie de la situation morale : Analyses de cas d’usage

Pour construire la confiance, les auteurs proposent de délimiter l‘espace d’action et d’identifier ses éléments constitutifs. L’une des méthodes les plus intéressantes consiste à cartographier l’espace dans lequel l’action est menée. Ce processus permet de positionner les situations morales à un niveau de granularité approprié afin de reconnaître des ensembles d’actions aux niveaux individuel, social, organisationnel ou des interfaces homme-machine. La cartographie de la situation morale issue de cette première analyse est complétée par un questionnement plus profond des aspects éthiques de la situation au moyen de 21 questions qui portent sur l’agent émetteur de l’information (le système IA), le récepteur (l’utilisateur ou utilisatrice du système), sur le processus de transmission de l’information ainsi que sur le contexte global. Les deux cas d’étude choisis sont la compréhension de scène pour un véhicule autonome (Valéo) et la détermination d’opinion dans des messages émis par des usagers (Renault).

Marion Ho-Dac (CDEP, Université d’Artois) & coll., avec l’institut AITI : Le respect des valeurs de l’Union Européenne by design par les systèmes d’IA

Le CDEP apporte une expertise spécialement tirée des sciences juridiques, axée sur le respect du cadre juridique de l’UE compris largement, incluant en particulier les valeurs de l’Union (au sens de l’article 2 du traité sur l’UE), la Charte des droits fondamentaux de l’UE et le cadre juridique de l’espace judiciaire européen. Une première phase de l’étude est consacrée à l’explicitation de ces valeurs dans les textes et à les mettre en relation avec les cas d’usage sélectionnés, en l’occurrence celui de la ré-identification de personnes déjà cité ci-dessus, ainsi que le cas d’usage « ACAS-XU » proposé par Airbus sur l’évitement de drones télé-opérés. Une deuxième phase s’intéressera à la mise en pratique pour les industriels au moyen d’un guide pratique pour transcrire ces valeurs dans les technologies d’IA employées.

Arnaud Latil & coll. (SCAI) : Les interfaces des systèmes algorithmiques : quelles informations pour générer la confiance ?

Les auteurs proposent de porter leur analyse sur les interfaces des systèmes algorithmiques. Il s’agit d’étudier les effets sur la confiance des messages légaux communiqués par les producteurs de systèmes d’IA. En premier lieu, l’équipe composée d’un juriste, d’un chercheur en sociologie et d’une maîtresse de conférences en sciences de la communication, analysera les interactions humain-machine dans le cadre du cas d’usage « opinion mining » de Renault, sur les aspects de compréhension par les humains et de confiance envers les résultats produits, et ce au moyen d’entretiens dirigés avec divers concepteurs, équipes marketing (utilisateurs) et responsable qualité. En deuxième lieu, l’équipe produira des recommandations sur la manière de communiquer les informations afin de construire la confiance : nature des informations à produire et modes de restitution à privilégier.​

Un article rédigé par Bertrand Braunschweig, coordonnateur scientifique du programme Confiance.ai