C’est en 2016 que María Pérez-Ortiz a réalisé à quel point l’intelligence artificielle pouvait être dangereuse. Depuis 2011, elle travaillait avec des hôpitaux espagnols pour produire un modèle d’apprentissage automatique qui aiderait les médecins à décider quels patients prioriser sur la liste des greffes de foie. L’idée était de construire un modèle plus complet qui prendrait en compte non seulement le processus décisionnel existant des médecins, mais prédirait aussi la compatibilité entre l’organe et le patient, afin de réduire les risques de rejet de greffe par le corps.

En 2014, le projet s’est terminé et les médecins ont commencé à utiliser le modèle dans les hôpitaux. Il prédisait la compatibilité de manière beaucoup plus juste que les systèmes précédents et l’équipe était convaincue que cela entraînerait une baisse du nombre d’échecs de greffes, sauvant ainsi plus de vies. Puis María Pérez-Ortiz et ses collègues ont obtenu de nouveaux postes. Mais deux ans plus tard, les médecins sont revenus vers eux, confus. Ils s’étaient rendu compte que le modèle n’attribuait pratiquement aucune greffe à des femmes.

“J’ai été choquée d’avoir participé à la création de ce système”, a-t-elle déclaré. Son équipe s’est penchée sur la question et s’est rendu compte que les données utilisées pour construire le modèle étaient considérablement biaisées à l’encontre des femmes. Des dizaines d’années d’études scientifiques n’avaient pas remarqué que les biomarqueurs impliqués dans les greffes d’organes étaient différents pour les femmes et les hommes. En effet, la plupart des essais cliniques sur le sujet n’avaient pas du tout inclus de femmes.

“C’est à ce moment-là que j’ai réalisé que l’IA n’est qu’un microcosme qui reflète le monde” a expliqué la chercheuse. “Dans ce cas, elle a reproduit, voire exacerbé, les préjugés qui existaient déjà… Ma formation ne m’avait jamais préparée à ça. » Elle a fini par consacrer sa carrière à étudier le potentiel éthique et durable de l’IA.

Aujourd’hui, l’idée selon laquelle l’IA reproduit et amplifie souvent les inégalités en tous genres est de plus en plus répandue. Et au cours des derniers mois, de nombreuses nouvelles études ont été menées sur la question.

Voici La Preuve

Les grands modèles de langage largement utilisés, notamment GPT-3.5 d’Open AI et Llama 2 de META, montrent “des preuves sans équivoque de préjugés à l’égard des femmes”, selon un récent rapport de l’UNESCO dont María Pérez-Ortiz était co-autrice. Les prénoms féminins étaient associés au “foyer”, à la “famille”, aux “enfants” et au “mariage” ; tandis que les noms masculins étaient associés à “entreprise”, “cadre”, “salaire” et “carrière”.

D’autres études ont montré des biais tout aussi importants dans des lettres de motivation, les articles journalistiques et les conseils de santé générés par l’IA. Le même problème est évident dans les modèles qui créent des images générées par l’IA à partir de prompts (instructions) écrites. Et bien sûr, cela ne concerne pas que le sexisme : des études ont également mis en évidence le racisme, le validisme et d’autres formes de discrimination dans l’IA.

 

J’ai réalisé que l’IA n’est qu’un microcosme qui reflète le monde. Elle a reproduit, voire exacerbé, les préjugés qui existaient déjà. María Pérez-Ortiz UNESCO

Les modèles d’IA sont entrainés sur des données biaisées – qu’il s’agisse de textes ou d’images récupérés sur Internet, ou d’études évaluées par des pair·es qui ont historiquement traité les hommes blancs par défaut (pour en savoir plus, lisez l’excellent livre de Caroline Criado Perez, Femmes Invisibles). Tout cela est déjà problématique en soi, mais pour aggraver les choses, les IA amplifient souvent ce biais.

Les conséquences pourraient être énormes : les systèmes d’IA sont déjà utilisés pour rédiger des articles de presse, des lettres de recommandation, pour décider qui sera embauché·e, qui verra quelles publicités et pour aider à prendre des décisions de vie ou de mort au sein des systèmes médicaux et judiciaires. Ces systèmes ont le potentiel de faire du bien, mais leur pouvoir d’enraciner profondément les inégalités est alarmant. Et si des entreprises s’efforcent de résoudre ces problèmes, les progrès sont lents et souvent controversés : au Kenya, les équipes de modération humaines embauchées pour examiner le contenu utilisé par OpenAI se sont plaintes de traumatismes psychologiques et de mauvaises conditions de travail.

En plus de nous interroger sur la nature des données sur lesquelles reposent ces modèles, nous devons également réfléchir à l’importance des préjugés inconscients de celles et ceux qui les construisent. Il est crucial que les personnes qui conçoivent, construisent, déploient et réglementent l’IA soient représentatives de la population dans son ensemble. Il est donc inquiétant de constater que bon nombre des plus grandes entreprises de la tech suppriment leurs programmes de diversité, d’égalité et d’inclusion.

En 2018, 22 % des personnes travaillant dans le domaine de l’IA étaient des femmes. Les femmes connaissent également un manque de reconnaissance et d’évolution de carrière par rapport aux hommes dans ce domaine. Les entreprises dirigées par des femmes sont rares : une étude récente a révélé qu’au Royaume-Uni, seulement 2 % des investissements en capital étaient destinés à des entreprises fondées par des femmes. Beaucoup plus d’hommes étudient le sujet dans le monde universitaire. Et les femmes sont plus susceptibles de réfléchir aux implications sociétales, éthiques et politiques de l’IA.

Dans l’état actuel des choses, beaucoup plus de femmes que d’hommes perdront leur emploi à cause de l’IA. Dans les pays à revenu élevé, plus du double (7,8 %) de femmes que d’hommes (2,9 %) ont un métier qui risque d’être automatisé. Cela ne prend même pas en compte les effets plus subtils des modèles de recrutement basés sur l’IA qui défavorisent les femmes. D’autres études ont soulevé des inquiétudes sur le fait que les femmes prennent du retard sur leurs homologues masculins au travail parce qu’elles n’utilisent pas autant l’IA dans leurs fonctions. (Peut-être en partie parce qu’elles se méfient de cette technologie, ce qui semble être un cruel coup du sort.)

À la recherche de points positifs face à tout cela, j’ai parlé à six expert·es pour voir quel espoir elles et ils ont de pouvoir éviter un monde dans lequel l’IA aggrave encore les inégalités entre les genres.

Dans le monde de l'IA, la personne qui possède les données a le pouvoir. Kutoma Wakunuma Codirectrice du Centre d'informatique et de responsabilité sociale

“Tout dépend de nous”

Toutes les personnes que j’ai interviewées ont souligné que derrière les chatbots, les générateurs d’images et les systèmes d’apprentissage automatique se cachent des êtres humains. L’IA est formée, nourrie et conçue par des personnes. Cette technologie (comme toutes les autres) n’est donc ni neutre, ni apolitique.

À ce titre, toutes et tous ont convenu que si elle est conçue et déployée avec précaution, l’IA a un grand potentiel en tant qu’outil d’empouvoirement : réduire les corvées et le manque de temps ; améliorer la santé pour toutes et tous ; lutter contre le changement climatique et la destruction de l’environnement.

Mais est-ce la trajectoire actuelle ? Bhargav Srinivasa Desikan, l’un des chercheurs qui ont étudié les pertes d’emplois liées à l’IA, m’a dit : “Si nous traitons l’IA comme nous avons traité toutes les grandes technologies du siècle dernier, alors je ne suis pas trop optimiste. Regardez simplement ce qui s’est passé avec les réseaux sociaux. Ceci étant dit, l’avenir ne s’écrit pas sans notre contrôle.”

Revi Sterling, directrice de l’inclusion numérique chez CARE, a exprimé des réserves similaires. Le problème est que “la plupart des IA ne sont pas conçues pour les usager·e·s ou les femmes”, a-t-elle déclaré. « Ils sont commerciaux, ils sont conçus pour économiser 1% dans le secteur manufacturier, dans le secteur bancaire et dans le commerce. »

“Dans le monde de l’IA, la personne qui possède les données a le pouvoir”, a déclaré Kutoma Wakunuma, codirectrice du Centre d’informatique et de responsabilité sociale de l’Université De Montfort. “Les données sont le nouveau pétrole. Et tout cela est concentré entre quelques mains : les grandes entreprises technologiques du Nord économique.”

Le problème ici est donc avant tout politique et économique, et non technologique. Reconnaître cela est crucial et peut nous redonner du pouvoir. Bon nombre des expert·e·s avec qui j’ai parlé ont été encouragé·e·s par les discussions que nous avons déjà sur les préjugés dans l’IA.

« Reconnaître les problèmes est la première étape », a déclaré Yixin Wan, chercheuse en doctorat qui a publié une analyse des biais dans les modèles texte-image. “Mais je pense que nous devons étendre la portée de l’analyse à une définition plus large du genre, incluant les groupes queer, et améliorer la compréhension géoculturelle des modèles. Parce qu’à l’heure actuelle, ils sont majoritairement occidentaux.”

Erin Young, qui a publié une étude sur le manque d’investissement dans les start-ups dirigées par des femmes, a déclaré : “Tant que nous – et par nous, je veux dire tout le monde – faisons attention à cela, nous pouvons travailler sur des moyens d’atténuer ces préjugés codés.”

María Pérez-Ortiz est d’accord : “Tout dépend de nous. Ce sont les humains qui dictent quels modèles d’IA sont construits et quels sujets de recherche sont explorés dans ce domaine.”

Dans votre communauté : Familiarisez-vous avec l’IA. Ce n’est pas magique – c’est créé par les gens. Réfléchissez à deux fois avant de l'utiliser et discutez du potentiel de biais avec vos amis et votre famille. Au travail : Demandez à suivre une formation sur l’éthique de l’IA ou organisez-en une. Réfléchissez à la manière dont les avantages d’une productivité accrue peuvent être partagés avec tout le monde. Contactez votre syndicat si vous avez des inquiétudes. En politique : Appelez à une influence active du gouvernement et des syndicats sur l’orientation de l’IA afin de garantir que les personnes – toutes les personnes – passent avant le profit.

par Josephine Lethbridge

SOURCE :

Bienvenue dans La Preuve, un supplément de la newsletter Impact créée pour vous aider à mieux comprendre les inégalités de genre — et comment on pourrait les résoudre. Je m’appelle Josephine Lethbridge, je suis journaliste à Londres et ma spécialité, c’est d’expliquer les intersections des crises actuelles – des crises planétaires aux crises individuelles – et de donner aux gens le pouvoir d’action pour y faire face. Chaque mois, dans La Preuve, je vous partagerai les dernières recherches sur les inégalités de genre venant du monde des sciences sociales, et je rendrai ces connaissances accessibles, que vous essayiez de changer votre communauté, votre lieu de travail ou les lois de votre pays.