Équité en matière d'IA : mettre fin aux préjugés et à la discrimination

Selon une expression bien connue en informatique, les déchets qui entrent se retrouvent à la sortie (“Garbage in, garbage out”). Cet adage signifie que lorsque nous alimentons les machines avec des données de mauvaise qualité, ou biaisées, cela se répercute sur le résultat. Plusieurs exemples de propagation de préjugés par l’IA ont déjà fait la Une des journaux. En 2016, les journalistes de ProPublica ont par exemple révélé qu'un outil d'IA utilisé par le système judiciaire américain (l'algorithme de récidive COMPAS) était discriminatoire envers les prisonniers noirs. Même si ce genre de critique est discutable, puisque fondée généralement sur une interprétation très spécifique et étroite de l'équité, elle alimente une inquiétude qui couve depuis des années chez les informaticiens : les algorithmes utilisés tous les jours dans notre société moderne pourraient être intrinsèquement discriminatoires. Des géants de la technologie tels que Google et Microsoft prennent en tout cas le problème très au sérieux ; tous deux ont pris des mesures pour enquêter sur ce phénomène. « Le machine learning (l'apprentissage machine) équitable est une question urgente et un sujet brûlant dans le domaine IA », confirme le professeur Toon Calders, expert en data mining (exploration de données) à l'université d'Anvers. Étant donné le rôle de plus en plus important que joue l'apprentissage machine dans le secteur de l'assurance, le chercheur a entrepris un ambitieux projet de collaboration de trois ans avec des praticiens d'AXA pour s'attaquer au problème dans le contexte opérationnel de l'assurance. Cette initiative de recherche conjointe (Joint Research Initiative - JRI) a deux objectifs spécifiques : développer des mesures d’équité utilisables dans le contexte de l'assurance AXA d’abord, et les appliquer ensuite, afin d’évaluer les procédures de décision existantes et les modèles générés par les méthodes d'apprentissage machine de pointe.

Les compagnies d'assurance s'appuient de plus en plus sur des procédures de prise de décision qui sont, au moins partiellement, automatisées et souvent basées sur le ‘data mining’ (processus consistant à trouver des modèles dans de grands ensembles de données, pour les transformer en informations exploitables). Elles ne sont pas les seules, comme le souligne le Pr. Toon Calders. Les banques disposent de profils pour répartir les personnes en fonction du risque de crédit, les sociétés du web établissent le profil des utilisateurs en fonction de leurs intérêts et de leurs préférences sur la base de l'activité et des schémas de visite sur le web, etc. « On pourrait penser que ces méthodes de profilage, basées sur des faits, sont forcément plus justes que le jugement d'une personne. Eh bien ! On aurait tort, ce n’est pas forcément le cas. » L'une des principales raisons, explique-t-il, est que les données elles-mêmes peuvent être entachées de biais. En d'autres termes, si les informations dont les algorithmes tirent des enseignements contiennent des préjugés, la machine va probablement les reproduire. Par exemple : « une machine pourrait déduire de données historiques qui lui sont fournies que les mots ‘vol’ et ‘violence’ sont plus souvent associés aux noirs qu'aux blancs. De même, des mots comme ‘intelligence’ ou ‘diligence’ pourraient être plus souvent associés aux hommes qu'aux femmes ». Alors, comment éviter ce genre de dysfonctionnement ?

‘Garbage in, garbage out’ : comment assurer une impartialité consciente dans l'apprentissage machine?

Lorsque l’on mesure l'équité, une question préliminaire à se poser est de savoir ce que cela veut dire exactement. En s'appuyant sur des recherches antérieures (Friedler et al. 2016), le Pr. Calders part du principe qu'il est impossible de donner une définition exacte et générique de l'équité et que, par conséquent, les mesures d'équité devraient dépendre de la situation. « Nous considérons que la construction d'une définition de ce qu'est l'équité dans le contexte opérationnel d'AXA fait partie du projet lui-même », explique-t-il. Une fois cette définition spécifique construite, le projet poursuivra son deuxième objectif : trouver des méthodes pour évaluer le niveau d'équité des procédures de décision existantes d'AXA. « Une approche simple pourrait être de présumer que les hommes et les femmes devraient avoir un accès égal à des primes d'assurance auto peu élevées. Il suffirait alors de comparer les pourcentages. Cependant, cette approche ne fonctionne pas dans le cas présent, car une corrélation entre sexe du conducteur et taux d’accidents a été prouvée. En d'autres termes, ce ne serait pas équitable ». L'approche qui sera adoptée est légèrement différente. « Une meilleure façon de procéder consiste à regarder les personnes ayant un niveau de prime similaire, disons élevé, et à voir combien d'entre elles ont été impliquées dans des accidents réels. Si la prédiction est correcte, on s’attend à voir une forte probabilité dans ce groupe. Si l’on répartit, alors, ces primes élevées entre les sexes, et que l’on constate que le nombre d'accidents est beaucoup plus élevé chez les hommes que chez les femmes, on pourra dire que le système est biaisé ». Quand on parle d'origine ethnique, le problème devient encore plus compliqué. En effet, le sexe est une caractéristique qui est stockée dans les ensembles de données des assurances, alors que l'ethnicité ne l'est pas. « C'est un défi crucial que nous voulons relever dans le cadre de ce projet. Comment savoir si une assurance est discriminatoire sur le plan ethnique, si nous-mêmes ne pouvons pas différencier sexe et ethnicité dans les données saisies ? Pour autant que nous sachions, les algorithmes pourraient être discriminatoires en fonction des noms, des écoles, des quartiers, mais cela est beaucoup plus difficile à examiner. Notre solution consiste à créer une sorte de population synthétique, avec des profils artificiels, puis à exécuter les algorithmes comme s'ils étaient réels ».

En utilisant cette approche, le projet vise en fin de compte à obtenir un ensemble de mesures compatibles et efficaces qui reflètent le type d'équité voulu par AXA, tout en respectant des lois de plus en plus sévères en matière de protection des données. En particulier, l'Union européenne dispose d'une des législations anti-discrimination les plus sévères. Le récent règlement général sur la protection des données (RGPD) mentionne explicitement le profilage comme une activité dans laquelle les décisions ne devraient pas être fondées sur des données personnelles et où des mesures appropriées devraient être mises en place pour sauvegarder les droits et libertés et les intérêts légitimes de la personne concernée.

Ce JRI a justement été initié en prévision de l'application de ces réglementations. Dans un avenir proche, les entreprises seront de plus en plus appelées à répondre de leurs décisions prises par des systèmes algorithmiques. Dans ce contexte, il sera primordial de mettre en place des mécanismes permettant de filtrer en permanence les prévisions décisionnelles et de s'assurer qu'elles ne sont pas biaisées. « Historiquement, la recherche sur l'équité et l'apprentissage machine est restée très académique. Ici, l’initiative de recherche conjointe offre la possibilité de confronter la question avec des scénarios et des cas réels. C'est une grande source de motivation pour moi, insiste le Pr. Calders. Non seulement cela permet à la recherche à s'aligner sur la réalité, mais cela garantit également qu'elle aura un impact réel ».