Weapons of Math Destruction

Cathy O'Neil est docteure en mathématiques d'Harvard, ancienne analyste quantitative à Wall Street, puis reconvertie en lanceuse d'alerte après avoir vu comment les modèles étaient utilisés dans la finance. Son livre, publié en 2016, reste étonnamment actuel.

Elle raconte des cas réels où des modèles ont nui à des milliers de personnes sans procès ni explication. Une enseignante virée par un algorithme de notation opaque. Des candidatures rejetées par un tri automatique parce que le code postal du candidat baissait la probabilité prédite de succès. Des accusés qui reçoivent des peines plus longues à cause d'un score de récidive dont personne ne peut expliquer le calcul.

Elle propose trois critères pour repérer un algorithme nocif - ce qu'elle appelle une « arme mathématique de destruction ». Un : l'opacité (personne, y compris ses créateurs, ne peut expliquer ses décisions). Deux : l'ampleur (il touche des millions de personnes). Trois : le potentiel destructeur (il peut ruiner une vie).

Un thème central du livre : les boucles de rétroaction. Un algorithme prédit que les gens d'un quartier sont plus à risque, la police y patrouille davantage, elle trouve donc plus d'infractions, le modèle se voit « confirmé ». Ce n'est pas de la magie, c'est un artefact statistique - mais il produit une injustice réelle.

O'Neil montre aussi que la « neutralité des données » est un mythe. Choisir quoi mesurer, comment le mesurer, quelle définition du succès viser, ce sont des choix humains, chargés de valeurs. Un modèle de recrutement entraîné sur l'historique reproduit les biais de recrutement passés - même s'il n'a jamais vu la variable « genre » ou « origine ».

Le livre n'est pas anti-IA. C'est un appel à la gouvernance : auditer les modèles, exiger des explications, ouvrir des recours pour les personnes affectées. Ces demandes, minoritaires en 2016, ont largement inspiré la réglementation européenne (AI Act) et américaine récente.