Oui, une IA peut pratiquer la discrimination ! 

Il fut un temps où Anna Choury, de l’université de Toulouse, percevait  les solutions impliquant une IA comme « forcément justes et équitables, c’est des maths ! ».  Aujourd’hui, elle est à la tête de Maathics, qui aide les organisations à s’assurer que les solutions d’IA qu’elles mettent en place sont loyales responsables et éthiques. 

Entre temps, elle s’est rendu compte que les intelligences artificielles pouvaient être sexistes, racistes,  xénophobes (…), qu’elles pouvaient différencier et désavantager des groupes minoritaires ! 

Par exemple, en 2017, vous avez peut-être entendu parler de « FaceApp » une application ludique qui utilise une IA pour transformer les visages.  Les utilisateurs ont rapidement remarqué que l’application éclaircissait la peau des personnes non-blanches lorsque qu’ils choisissaient la transformation « rendre plus sexy », ce qui a suscité de très vives réaction sur la toile.  Les créateurs de cette application pensent-ils qu’il faut être blanc pour être beau ? 

Les accusés ont présenté leurs plus plates excuses, en expliquant que cette bizarrerie n’était pas le fruit du racisme, mais plutôt d’un réseau neuronal auquel ils n’avaient pas fourni un jeu de données assez varié. 

L’application n’ayant qu’un but ludique, cet incident n’a pas eu d’impact fort. 

Prenons un exemple plus sérieux : un outil de filtrage de CV ayant pour but de d’identifier parmi les candidats, les profils les plus susceptibles d’intéresser une entreprise. Si l’apprentissage de l’IA chargé de cette tâche a été basé sur les profils déjà présents dans l’entreprise, et que cette dernière ne comprend que 2% de femmes, l’IA risque d’interpréter  le fait d’être une femme comme un critère éliminatoire. Les conséquences seraient alors beaucoup plus graves : l’entreprise pratiquerait involontairement une discrimination à l’embauche ! 

Bref, vous l’aurez compris, l’intelligence artificielle peut introduire de la discrimination à l’insu des personnes qui l’utilisent, ce qui peut être lourd de conséquences. Les organismes doivent donc s’assurer que les solutions qu’ils emploient font un usage éthique,  équitable et légal des données, mais comment ?

Le Label FDU

Les organisations peuvent s’assurer du caractère non discriminant des traitements automatiques des données qu’elles collectent  en obtenant le label Fair Data Use ou FDU : « le premier smart label pour une utilisation équitable de l’intelligence artificielle ».  

En s’inscrivant dans cette démarche, elles s’assurent d’être en conformité avec la loi, rassurent leurs utilisateurs, et renforcent leur image.

Pour obtenir le label, les entreprises doivent soumettre les jeux de données, qui servent à entrainer les IA, à un audit automatisé. L’outil d’audit proposé par Maathics  recherche des ruptures d’équité, en particulier celles qui touchent des variables sensibles comme les origines ethniques ou la sexualité. S’il n’en trouve pas, alors l’entreprise obtient le label. 

À l’heure actuelle, très peu de jeu de données ont passé le test avec succès, y compris ceux d’entreprises ayant payé de couteux audits dans une optique de conformité au RGPD. De nouvelles fonctionnalités sont donc en train d’être développées pour permettre aux entreprises de supprimer les sources de discrimination de leurs traitements automatisés. Le principe repose sur la correction des données utilisées pour entrainer l’IA. L’outil sera capable de supprimer les traces des biais et des discriminations présentes dans le monde naturel. Ainsi, l’IA ne pourra pas les reproduire ! Ce traitement est complexe car les IA sont capables de déduire des informations sensibles à partir d’autres informations moins sensibles : par exemple, une adresse postale et un mode de transport peuvent donner des indications sur le niveau de vie d’un individu.

Intéressés ? 

Chez Maathics, ils estiment que toutes les entreprises doivent être en mesure de mettre en  place des solutions éthiques. C’est pourquoi l’obtention et le maintien du label est facturé à 0.15% du chiffre d’affaire de l’organisation, avec un plafond à 1500/an. Ces organisations doivent alors envoyer un rapport d’audit tous les six mois pour prouver que leurs traitements automatiques sont toujours en accord avec les exigences du label. Au besoin, il est possible de n’obtenir le label que pour une partie des traitements. 

Pour plus d’informations, consultez le site du Label FDU.

Pour avoir un panorama complet des enjeux de l’IA, ses bénéfices, applications et usages :

Téléchargez le livre blanc L’Intelligence Artificielle, nouvel épouvantail du XXIème siècle