Portrait de Pol Labarbarie – Doctorant de deuxième année

Pouvez-vous vous présenter ainsi que votre parcours ?

Pol Labarbarie : Doctorant de deuxième année de l’IRT SystemX, rattaché au laboratoire ONERA de l’Université Paris-Saclay, je travaille au sein du projet « Design for Trustworthy AI » du programme Confiance.ai.

À la fin de ma double licence Mathématiques-Physique, j’ai décidé de m’orienter vers un Master de Mathématiques Appliquées pour laquelle j’avais davantage d’intérêt. J’ai commencé peu à peu à découvrir ce qu’était l’IA en participant à des défis organisés par des entreprises ou en participant à des conférences. Puis, j’ai fait la rencontre d’un professeur qui m’a fait découvrir et m’a transmis le goût des mathématiques appliquées à l’IA. J’ai eu l’opportunité d’effectuer un stage de recherche de six mois sous son encadrement. Ce stage m’a réellement fait prendre conscience que je voulais faire de la recherche en IA. En deuxième année de master, j’ai continué à effectuer des hackatons et à participer à des conférences qui ont conforté cette envie. Finalement, j’ai eu le privilège d’effectuer mon stage de fin d’étude au sein de l’Institut de Mathématique de Bordeaux (IMB) sous la direction de Marc Arnaudon (IMB) et de Hatem Hajri (IRT SystemX). Ce stage portant sur la robustesse des réseaux de neurones par des méthodes mathématiques m’a totalement séduit et m’a décidé à poursuivre en thèse dans ce domaine.

Sur quoi portent vos recherches ?

Pol Labarbarie : L’intitulé de ma thèse est « Défense de fonctions de vision par ordinateur aux exemples adversaires par patch« . Les réseaux de neurones offrent aujourd’hui des performances inégalées pour de nombreuses applications. Bien que performants, ces algorithmes, souvent caractérisés de « boite noire », peuvent être trompés et manipulés. Une personne malveillante, sous certaines conditions, peut imprimer un petit sticker (un patch) qui, une fois placé sur un panneau de circulation par exemple, peut entraîner une erreur de reconnaissance ou encore la non-détection de personnes traversant la route. Dans un cas on supprime ou on change la reconnaissance de l’objet sur lequel est posé le patch et, pour l’autre, on supprime la reconnaissance d’objet à côté de l’objet où est posé le patch.

L’objectif de ma thèse est de comprendre comment ces attaques, dites par patch, exploitent les vulnérabilités des réseaux de neurones. Comprendre ces vulnérabilités permet de construire en réponse des méthodologies ou des algorithmes dits de défense pour robustifier ces réseaux de neurones. Ce jeu d’attaque et de défense nous permet d’en apprendre plus sur ces algorithmes et de construire des réseaux de plus en plus robustes.

En quoi consiste votre travail au sein de Confiance.ai ? Selon vous, comment peut-il impacter le marché industriel de demain ?

Pol Labarbarie : Mon travail est rattaché au projet « Design for Trustworthy AI » de Confiance.ai portant sur la conception de modèles robustes et/ou sur le développement de méthodes de robustification des modèles actuels. Pour développer une IA à l’échelle industrielle,  il nous faut obtenir, entre autres, des garanties empiriques ou mathématiques de la robustesse des modèles utilisés. Ces garanties nous permettent de nous assurer que notre modèle n’est pas vulnérable à des perturbations qui pourraient influencer sa décision.

Mon travail, bien que théorique, est nourri en permanence par les problématiques des industriels. La présence d’une vulnérabilité et l’exploitation de celle-ci par un hacker pourrait avoir des conséquences drastiques sur la société. Par exemple, la non-détection d’un piéton traversant la route par un véhicule autonome ou la non-détection d’une arme par un dispositif à rayon X à l’aéroport pourrait être catastrophique. Tous ces exemples, illustrent la nécessité d’avoir des garanties de robustesse sur les modèles déployés par les industriels.

Comment définiriez-vous l’IA de confiance ?

Pol Labarbarie : L’IA de confiance est une IA acceptable et acceptée par le grand public. Pour que cette IA soit acceptable, il faut qu’elle vérifie un certain nombre de propriétés. Il faut qu’elle soit robuste à des attaques malveillantes ou à des perturbations liées à son milieu d’application, que son incertitude soit bien quantifiée, qu’elle respecte les différentes normes sur le respect de la vie privée des utilisateurs. Et bien sûr, pour qu’elle soit adoptée, il faut qu’elle soit explicable : que les règles qui la conduisent à une décision ou bien une autre soit explicables par des règles claires et compréhensibles par n’importe quel utilisateur. Enfin, l’adoption d’une IA par le grand public doit se faire dans la plus grande transparence et que les utilisateurs soient formés à la compréhension de tels outils.