Tests de biais de l’IA : comment satisfaire l’article 10

L’article 10 du règlement sur l’IA impose aux fournisseurs de systèmes d’IA à haut risque d’examiner leurs jeux de données d’entraînement, de validation et de test pour d’éventuels biais susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux, ou de se traduire par une discrimination interdite par le droit de l’Union, et de prendre des mesures appropriées pour détecter, prévenir et atténuer ces biais. Le règlement est explicite sur l’obligation. Il est silencieux sur la méthode. Il dit quoi faire, pas comment. Ce guide comble cet écart. Il parcourt les types de biais à tester, les indicateurs d’équité disponibles, les outils libres qui les mettent en œuvre, et la documentation à produire pour l’évaluation de la conformité. Si vous construisez, entraînez, affinez ou déployez un système d’IA à haut risque, les tests de biais ne sont pas facultatifs : c’est une condition juridique préalable.

Les obligations à haut risque de l’annexe III, y compris l’article 10, s’appliquent à compter du 2 décembre 2027 (reportées du 2 août 2026 par le Digital Omnibus, règlement (UE) 2026/1744, en vigueur depuis le 27 juillet 2026). Pour les systèmes de l’annexe I, l’échéance est le 2 août 2028. L’article 50 s’applique depuis le 2 août 2026.

L’essentiel, les tests de biais

• Base juridique : l’article 10, paragraphe 2, point f) impose d’examiner les jeux pour d’éventuels biais et de prendre des mesures appropriées pour les détecter, les prévenir et les atténuer.
• Exception pour les données protégées : l’article 10, paragraphe 5 permet de traiter des catégories particulières de données (origine raciale, sexe, handicap, etc.) strictement aux fins du suivi, de la détection et de la correction des biais, sous garanties.
• Six types de biais à tester : historique, de représentation, de mesure, d’agrégation, d’évaluation et de déploiement.
• Attributs protégés : ils découlent de la Charte des droits fondamentaux et de l’article 9 du RGPD : origine raciale ou ethnique, sexe, âge, handicap, religion, orientation sexuelle, opinions politiques, et d’autres.
• Les indicateurs d’équité ne sont pas interchangeables. Parité démographique, égalisation des cotes, égalité des chances, parité prédictive et calibration mesurent des aspects distincts, et il est mathématiquement impossible de les satisfaire tous en même temps.
• Les outils existent : Fairlearn, AI Fairness 360, Aequitas, What-If Tool et Responsible AI Toolbox sont des options libres, matures.
• La documentation est obligatoire : l’annexe IV, rubrique 2, exige de consigner les mesures d’examen des données, la méthode de détection des biais et les étapes de remédiation.
• Suivi en production : les tests de biais ne sont pas une porte unique ; ils doivent se poursuivre tout au long du cycle de vie au titre de la gestion des risques de l’article 9.

Ce que l’article 10 exige réellement

L’article 10 institue un régime complet de gouvernance des données pour les systèmes d’IA à haut risque. Dans ce régime, les obligations propres aux biais se concentrent en trois dispositions :

Article 10, paragraphe 2, point f), examen des biais : Les jeux d’entraînement, de validation et de test sont soumis à un examen en vue de repérer d’éventuels biais susceptibles de porter atteinte à la santé et à la sécurité des personnes, d’avoir une incidence négative sur les droits fondamentaux, ou de se traduire par une discrimination interdite par le droit de l’Union. Ce n’est pas une suggestion. Le verbe est « sont ». L’examen porte sur les jeux eux-mêmes, pas seulement sur les sorties du modèle.

Article 10, paragraphe 2, point f), suite, mesures appropriées : Après l’examen, le fournisseur prend des mesures appropriées pour détecter, prévenir et atténuer ces biais. « Appropriées » signifie proportionnées au niveau de risque, à l’état de la technique et au contexte propre du système d’IA. Ce qui est approprié pour un filtre de pourriels n’est pas ce qui l’est pour un système d’évaluation de la solvabilité ou un outil de recrutement.

Article 10, paragraphe 5, catégories particulières de données pour la correction des biais : C’est la disposition que la plupart des équipes manquent. Dans la mesure strictement nécessaire au suivi, à la détection et à la correction des biais, les fournisseurs de systèmes d’IA à haut risque peuvent traiter des catégories particulières de données à caractère personnel, les types de données normalement interdits par l’article 9 du RGPD : origine raciale, origine ethnique, opinions politiques, convictions religieuses, appartenance syndicale, données génétiques, données biométriques, données de santé, vie sexuelle et orientation sexuelle. Ce traitement n’est permis que sous des garanties appropriées pour les droits et libertés fondamentaux des personnes physiques, y compris des limitations techniques à la réutilisation et le recours à des mesures de sécurité et de protection de la vie privée à l’état de la technique, telles que la pseudonymisation ou le chiffrement, lorsque l’anonymisation risquerait de compromettre de façon significative la finalité poursuivie.

C’est significatif. Le règlement sur l’IA ouvre une base juridique pour traiter des données autrement interdites lorsque la finalité est le suivi de l’équité. Les garanties sont strictes : les données doivent être pseudonymisées ou chiffrées, l’accès restreint, la réutilisation interdite, et le traitement strictement nécessaire, pas seulement utile.

Le lien avec les autres exigences est serré. L’article 9 impose d’identifier les risques de biais dans le système de gestion des risques. L’article 11 impose de documenter la méthode de test des biais. L’article 15 impose des indicateurs de performance qui incluent implicitement des indicateurs d’équité. Et l’obligation de FRIA pour certains déployeurs vise précisément les impacts sur les droits fondamentaux, dont beaucoup remontent à des systèmes biaisés.

Six types de biais d’IA à tester

Le biais dans l’IA n’est pas un phénomène unique. Il entre dans la chaîne à des stades différents, depuis des sources différentes, et se manifeste de façons différentes. Tester « le biais » de façon générique ne suffit pas : il faut identifier quels types sont pertinents pour votre système et appliquer à chacun la méthode de détection adaptée.

Biais historique

Définition. Le biais historique survient lorsque les données reflètent fidèlement le monde réel, mais que le monde réel lui-même contient une inégalité systémique. Les données sont exactes ; le problème, c’est que la réalité est biaisée, et que le modèle apprend à reproduire ce biais.

Exemple : un modèle de prêt entraîné sur vingt ans de données d’octroi. Historiquement, les femmes et les minorités ethniques ont essuyé des taux de rejet plus élevés, non en raison de la solvabilité, mais en raison de pratiques discriminatoires alors légales ou tolérées. Les données sont un enregistrement correct de ce qui s’est passé. Le modèle entraîné dessus perpétuera ces schémas.

La détection exige une expertise de domaine et des données de référence externes : comparer les issues du modèle à une référence connue pour être équitable, plutôt qu’à la distribution d’entraînement.

Biais de représentation

Définition. Le biais de représentation survient lorsque certains groupes sont sous-représentés ou sur-représentés dans le jeu par rapport à la population que le système servira. Le modèle apprend une image détaillée des groupes majoritaires et une image floue, peu fiable, des groupes minoritaires.

Exemple : une IA de diagnostic médical entraînée surtout sur des données de patients d’ascendance européenne. Le système atteint 95 % d’exactitude d’ensemble, mais tombe à 72 % pour les patients d’ascendance africaine ou sud-asiatique, parce que les présentations dermatologiques, les marqueurs génétiques et la prévalence des maladies diffèrent d’une population à l’autre, et que les données d’entraînement n’ont pas suffisamment saisi ces différences.

La détection exige une analyse de composition démographique : comparer les proportions de groupes dans les données à la population cible de déploiement, et mesurer les indicateurs de performance ventilés par groupe.

Biais de mesure

Définition. Le biais de mesure survient lorsque les caractéristiques ou les labels utilisés pour entraîner le modèle sont mesurés différemment selon les groupes, ou lorsque des variables par procuration sont corrélées à des attributs protégés d’une façon qui crée une distorsion systématique.

Exemple : un modèle de performance des salariés qui utilise « les heures pointées au bureau » comme caractéristique de productivité. Les salariés en situation de handicap qui travaillent à distance, les parents qui partent chercher les enfants, et les salariés qui observent des pratiques religieuses pointent moins d’heures au bureau, sans que cela reflète la productivité réelle.

Biais d’agrégation

Définition. Le biais d’agrégation survient lorsqu’un modèle unique est appliqué à des groupes aux caractéristiques fondamentalement différentes, et que l’agrégation masque des schémas importants à l’intérieur des groupes. Le modèle s’optimise pour la moyenne, qui peut ne bien représenter aucun groupe.

Exemple : un modèle de prédiction du risque de diabète entraîné sur un jeu combiné de patients de type 1 et de type 2, toutes origines confondues. Les niveaux d’HbA1c, marqueur diagnostique clé, ont des seuils cliniques différents selon les groupes ethniques. Un modèle entraîné sur des données agrégées utilise un seuil unique qui surdiagnostique certains groupes et sous-diagnostique d’autres.

Biais d’évaluation

Définition. Le biais d’évaluation survient lorsque le jeu de référence ou la méthode d’évaluation ne représente pas la population réelle de déploiement, ce qui fait paraître le modèle plus équitable ou plus exact qu’il ne l’est en pratique.

Exemple : un outil d’embauche par IA évalué sur des candidats de grandes entreprises technologiques d’Europe occidentale. Déployé par un industriel qui recrute des ouvriers dans plusieurs États membres, les indicateurs d’évaluation ne tiennent plus : démographie des candidats, schémas linguistiques et qualifications sont fondamentalement différents.

Biais de déploiement

Définition. Le biais de déploiement survient lorsqu’un système est utilisé dans un contexte ou d’une manière différents de ceux pour lesquels il a été conçu et testé, créant des issues biaisées absentes pendant le développement.

Exemple : un outil de risque de récidive conçu pour les audiences de mise en liberté sous caution, réaffecté à des décisions de peine dont les conséquences sont bien plus graves. Ou un système de reconnaissance faciale entraîné pour le contrôle d’accès de bureaux bien éclairés, déployé pour la surveillance publique sous des éclairages variés, où la performance se dégrade de façon disproportionnée pour les peaux plus foncées.

La détection exige une documentation de la destination et des mécanismes de contrôle humain qui signalent lorsque le système est utilisé hors de ses paramètres validés.

Attributs protégés au titre du droit de l’Union

Le règlement sur l’IA ne dresse pas sa propre liste d’attributs protégés. Il se réfère à la Charte des droits fondamentaux (en particulier l’article 21 sur la non-discrimination) et s’aligne sur les catégories particulières de l’article 9 du RGPD. Ensemble, ces instruments fixent les attributs à tester :

Les variables par procuration comptent autant que les attributs directs. Un modèle qui n’ingère pas « le sexe » comme caractéristique peut encore discriminer en raison du sexe s’il utilise des variables par procuration, telles que le « intitulé de poste » (corrélé au sexe du fait de la ségrégation professionnelle) ou le « prénom » (fortement prédictif du sexe). Vos tests de biais doivent couvrir la discrimination directe et indirecte, conformément à la méthode FRIA, qui exige d’évaluer les impacts indirects sur les droits fondamentaux.

Les indicateurs d’équité, expliqués

Il n’existe pas une seule définition de « équitable ». Des indicateurs distincts formalisent des intuitions éthiques distinctes, et, point crucial, il a été démontré mathématiquement que la plupart des définitions d’équité ne peuvent pas être satisfaites simultanément, sauf dans des cas triviaux. Vous devez choisir ceux qui conviennent le mieux à votre cas d’usage.

Comment choisir

Le choix de l’indicateur dépend du domaine, des conséquences des erreurs, et des droits en jeu :

• Embauche et recrutement (guide RH) : partez de la parité démographique pour les étapes de présélection (égal accès à l’opportunité) et de l’égalité des chances pour le tri final (ne manquez pas de candidats qualifiés d’aucun groupe).
• Évaluation de la solvabilité et crédit : utilisez l’égalisation des cotes (faux octrois et faux rejets portent tous deux un préjudice) combinée à la calibration (un score doit signifier la même chose quel que soit le groupe).
• Diagnostics de santé : privilégiez l’égalité des chances (chaque patient atteint doit être détecté) et la calibration (une probabilité de 70 % de maladie doit être 70 % pour tous les groupes démographiques).
• Justice pénale et services répressifs : utilisez l’égalisation des cotes avec un examen particulier des taux de faux positifs selon l’origine raciale et ethnique ; une accusation à tort porte des conséquences graves pour les droits fondamentaux.
• Assurance et prestations : utilisez la parité prédictive (si le système signale quelqu’un comme à haut risque, la probabilité de risque réel doit être égale d’un groupe à l’autre) combinée à la calibration.

Documentez le motif du choix d’indicateur dans votre documentation technique : le « pourquoi » compte autant que le « quoi » lors de l’évaluation de la conformité.

Processus pratique de test des biais

Les sept étapes suivantes couvrent le cycle de vie complet des tests de biais pour un processus de gouvernance des données conforme à l’article 10 :

Étape 1 : définir les groupes protégés

Identifiez quels attributs protégés sont pertinents dans le contexte de votre système. Tous les attributs ne s’appliquent pas à tous les systèmes : un dispositif médical n’a pas les mêmes attributs pertinents qu’un outil de recrutement. Partez du tableau des attributs protégés ci-dessus et filtrez selon :

• Le domaine de déploiement (zone de l’annexe III, voir le guide de classification à haut risque)
• Les caractéristiques d’entrée que le modèle utilise (y compris les variables par procuration potentielles)
• La population que le système servira
• Les schémas historiques de discrimination connus dans votre domaine

Documentez cette sélection et son motif. Les évaluateurs de la conformité voudront voir pourquoi vous avez testé certains attributs et pas d’autres.

Étape 2 : collecter et annoter les données démographiques

C’est là que l’article 10, paragraphe 5 devient critique. Pour tester les biais, vous avez besoin d’annotations démographiques, mais collecter et traiter ces données déclenche les protections des catégories particulières du RGPD.

Approches pratiques :

• Collecte directe avec consentement : interroger les participants ou les personnes concernées. Étalon-or, souvent impraticable à grande échelle.
• Inférence statistique à partir de données publiques de référence : comparer les distributions d’issues du modèle aux distributions démographiques connues des recensements. Évite de traiter des catégories particulières au niveau individuel.
• Estimation par procuration : utiliser des corrélations connues (par exemple correspondance prénom-sexe, distributions code postal-ethnicité) avec quantification de l’incertitude. Documentez la méthode et ses limites.
• Augmentation par données synthétiques : générer des annotations démographiques synthétiques avec des techniques de confidentialité différentielle, pour tester le biais sans exposer de données individuelles réelles.

Appliquez les garanties de l’article 10, paragraphe 5, à toutes les méthodes : pseudonymisation ou chiffrement, contrôles d’accès stricts, limitations techniques à la réutilisation, et base juridique documentée.

Étape 3 : choisir les indicateurs d’équité appropriés

Choisissez vos indicateurs d’après la section de choix ci-dessus. Sélectionnez au minimum :

• Un indicateur d’issue au niveau du groupe (parité démographique ou parité prédictive)
• Un indicateur d’erreur au niveau du groupe (égalisation des cotes ou égalité des chances)
• Un indicateur de calibration (si le système produit des scores ou des probabilités)

Définissez des seuils acceptables. Il n’existe pas de norme universelle, mais la pratique courante est de signaler les écarts lorsque le ratio entre le groupe le moins favorisé et le plus favorisé tombe sous 0,8 (la « règle des quatre cinquièmes », née du droit américain de la discrimination à l’emploi, largement utilisée dans la pratique de l’Union comme seuil raisonnable).

Étape 4 : mener des tests statistiques sur les données d’entraînement, de validation et de test

Avant d’évaluer le comportement du modèle, examinez les données elles-mêmes pour des signaux de biais :

• Analyse de composition : les groupes protégés sont-ils représentés de façon proportionnelle à la population de déploiement ?
• Analyse de distribution des labels : les taux de labels diffèrent-ils de façon systématique d’un groupe à l’autre ? Est-ce justifié, ou le reflet d’un biais historique ?
• Analyse de distribution des caractéristiques : les distributions de caractéristiques diffèrent-elles d’un groupe à l’autre d’une façon sans rapport avec la tâche de prédiction ?
• Analyse des données manquantes : le caractère manquant est-il corrélé à l’appartenance à un groupe protégé ?

Utilisez des tests du khi-deux pour les caractéristiques catégorielles, des tests de Kolmogorov-Smirnov pour les caractéristiques continues, et des calculs de ratio d’écart pour les labels. Documentez chaque constat.

Étape 5 : mener une évaluation d’équité au niveau du modèle

Le modèle entraîné, évaluez l’équité sur le jeu de test mis de côté :

1. Calculez les indicateurs d’équité choisis, ventilés par chaque attribut protégé.
2. Calculez des indicateurs intersectionnels : testez à l’intersection de plusieurs attributs (par exemple de jeunes femmes issues d’une minorité ethnique). Un test sur un seul axe manque les écarts intersectionnels.
3. Menez des tests d’équité contrefactuelle : changez l’attribut protégé d’un point de données en maintenant les autres caractéristiques constantes. De grands changements de prédiction indiquent une discrimination directe.
4. Évaluez à travers les seuils de décision : un système qui paraît équitable à un seuil peut ne plus l’être à un autre.
5. Analysez les erreurs par sous-groupe : une exactitude d’ensemble égale peut masquer des schémas d’erreur radicalement différents d’un groupe à l’autre.

Étape 6 : documenter les constats et la remédiation

Chaque constat doit figurer dans votre documentation technique d’annexe IV. Pour chaque problème de biais identifié :

• Décrivez le biais : quel type, quels groupes concernés, quelle ampleur.
• Évaluez l’impact : quels droits fondamentaux sont en jeu ? Citez des articles précis de la Charte. Cela alimente directement la FRIA si elle s’applique.
• Documentez la remédiation. Quelles mesures avez-vous prises ? Options :
  • Pré-traitement : rééquilibrage des jeux, repondération des échantillons, suppression des caractéristiques par procuration
  • En cours d’entraînement : contraintes d’équité pendant l’entraînement, débiaisage adverse, régularisation
  • Post-traitement : ajustement des seuils par groupe, calibration des issues, classification avec option de rejet
• Documentez le risque résiduel. Si le biais ne peut pas être pleinement atténué, quels écarts résiduels demeurent et pourquoi sont-ils acceptables ? Quels contrôles compensatoires (par exemple le contrôle humain) sont en place ?

Étape 7 : surveiller en production

Le biais n’est pas statique. Les distributions de données glissent, les populations changent, les comportements évoluent, et les sources de données en amont sont modifiées. Votre système de gestion des risques doit inclure un suivi continu des biais :

• Suivi des issues : suivez les distributions de décisions selon les groupes protégés. Fixez des alertes automatiques en cas de franchissement de seuil.
• Suivi de la performance : suivez l’exactitude, la précision, le rappel et la calibration ventilés, à partir des labels de vérité terrain lorsqu’ils sont disponibles.
• Détection de dérive : surveillez les glissements de distribution des caractéristiques d’entrée corrélés aux attributs protégés.
• Analyse des boucles de rétroaction : si les sorties influencent les futures données d’entraînement (par exemple les prêts octroyés deviennent des labels positifs), surveillez les boucles de biais auto-renforçantes.
• Réévaluation périodique : tests de biais complets au minimum chaque trimestre pour les systèmes à haut risque, et déclenchés par tout changement significatif de modèle, de données ou de déploiement.

Outils libres de test des biais

Vous n’avez pas à construire l’infrastructure de test des biais depuis zéro. Plusieurs bibliothèques libres, matures et bien tenues, mettent en œuvre les indicateurs et les processus décrits ci-dessus.

Recommandation d’intégration. Pour la plupart des équipes qui construisent des systèmes d’IA à haut risque au titre de l’article 6, commencez par Fairlearn pour son équilibre entre simplicité et capacité. Ajoutez AIF360 pour des indicateurs spécialisés. Utilisez le What-If Tool pour communiquer avec les parties prenantes. Tous ces outils produisent des sorties compatibles avec les exigences de documentation de l’annexe IV.

Scénarios de test des biais, en conditions réelles

Scénario 1 : IA d’évaluation de la solvabilité, biais de genre et d’origine

Une entreprise de technologie financière fournit un système d’IA d’évaluation de la solvabilité à des banques de détail de l’Union, annexe III, point 5, b), à haut risque au titre de l’article 6.

Approche de test :

1. Groupes protégés testés : sexe, origine ethnique (inférée à partir de données de recensement au niveau du code postal, sous les garanties de l’article 10, paragraphe 5), tranches d’âge.
2. Indicateurs d’équité appliqués : égalisation des cotes et calibration (un score de 650 doit signifier la même probabilité de défaut, quel que soit le groupe).
3. Constats : le taux de faux rejets pour les femmes était 1,4 fois plus élevé que pour les hommes, rattaché à un biais historique dans des données d’entraînement d’une période où les femmes avaient moins d’historiques de crédit autonomes. La calibration était moins bonne pour les codes postaux ethniquement divers, du fait d’un biais de représentation.
4. Remédiation : échantillons d’entraînement repondérés, échantillonnage stratifié pour l’équilibre géographique, optimiseur de seuil Fairlearn. L’écart résiduel ramené à 1,05 fois.
5. Documentation : méthode complète consignée aux rubriques 2 et 3 de l’annexe IV. Constats de FRIA communiqués aux banques déployeuses.

Scénario 2 : outil de présélection RH, discrimination fondée sur l’âge et le handicap

Une entreprise SaaS propose un outil de tri de CV par IA, annexe III, point 4, a), à haut risque.

Approche de test :

1. Groupes protégés testés : âge (année de diplôme comme procuration), handicap (schémas de trous dans le parcours), sexe (inférence par le prénom), origine ethnique (modèles nom-ethnicité).
2. Indicateurs d’équité appliqués : parité démographique et égalité des chances.
3. Constats : les candidats de plus de 45 ans retenus à 0,6 fois le taux des 25-35 ans, sous le seuil des quatre cinquièmes. Le modèle pénalisait les interruptions de carrière et valorisait les certifications « récentes », deux variables corrélées à l’âge. Les interruptions d’emploi liées au handicap réduisaient les scores de 18 % via la procuration « mois d’emploi continu ».
4. Remédiation : suppression de « années depuis la dernière certification ». Remplacement de « mois d’emploi continu » par « total des mois d’expérience pertinente ». Débiaisage adverse. Le ratio de parité démographique est passé de 0,60 à 0,83.
5. Documentation : publiée dans la documentation technique. Les déployeurs informés des écarts résiduels et des exigences de contrôle humain, conformément aux obligations RH.

Scénario 3 : IA de santé, lacunes de représentation démographique

Un fabricant de dispositifs médicaux développe un système de détection du cancer de la peau à partir d’images dermoscopiques, à haut risque en tant que composant de sécurité d’un dispositif (voie de l’annexe I / MDR, article 6, paragraphe 1 ; ce n’est pas l’annexe III, point 5, c), qui vise l’assurance vie et maladie).

Approche de test :

1. Groupes protégés testés : type de peau (échelle de Fitzpatrick I à VI), sexe, tranches d’âge (en particulier les populations gériatriques).
2. Indicateurs d’équité appliqués : égalité des chances (la sensibilité doit être égale d’un type de peau à l’autre) et calibration.
3. Constats : sensibilité de 94 % pour les types Fitzpatrick I-III, tombée à 79 % pour les types IV-VI. Cause : 82 % des images d’entraînement provenaient de patients à peau plus claire. Le mélanome se présente différemment sur peau foncée (localisations acrales, schémas de couleur différents) et le modèle manquait d’exemples. La sensibilité pour les patients de 75 ans et plus était inférieure de 12 points à celle des 40-60 ans, du fait de comorbidités.
4. Remédiation : partenariat avec des cliniques d’Afrique subsaharienne et d’Asie du Sud pour 15 000 images supplémentaires de peaux foncées. Augmentation et évaluation stratifiée exigeant une sensibilité minimale de 90 % par groupe. Après remédiation, sensibilité des types IV-VI portée à 91 %.
5. Documentation : l’annexe IV inclut des ventilations explicites de performance par type de Fitzpatrick et par âge. Le système de gestion des risques inclut un suivi trimestriel de la sensibilité par type de peau.

Exigences de documentation

L’article 11 et l’annexe IV imposent des exigences de documentation qui portent directement sur les tests de biais. Votre documentation technique doit inclure :

Principe clé. Documentez non seulement ce que vous avez fait, mais pourquoi vous avez choisi cette approche plutôt que des alternatives. Une méthode qui reconnaît ses limites est plus crédible qu’une méthode qui prétend à une équité parfaite.

Pour toutes les rubriques de l’annexe IV, voir le guide de documentation technique. Pour le tableau d’ensemble, la liste de contrôle du règlement sur l’IA.

Questions fréquentes

Les tests de biais sont-ils obligatoires pour tous les systèmes d’IA ?

Non. Les tests de biais au titre de l’article 10 sont obligatoires seulement pour les systèmes d’IA à haut risque classés au titre de l’article 6 et inscrits à l’annexe III, ainsi que pour les systèmes à haut risque de la voie produit de l’annexe I. L’article 22 du RGPD (décision automatisée) et les directives de l’Union sur la non-discrimination créent toutefois des bases juridiques indépendantes pour tester l’équité, indépendamment de la classification au titre du règlement sur l’IA. Utilisez l’outil d’évaluation pour déterminer si votre système est à haut risque.

Puis-je utiliser des données synthétiques à la place de données démographiques réelles pour tester les biais ?

En partie. Les données synthétiques peuvent compléter les tests de biais, en particulier pour les groupes sous-représentés, mais ne peuvent pas remplacer entièrement les tests sur données réelles. Les données synthétiques peuvent ne pas saisir les corrélations complexes et les cas limites présents dans les distributions réelles. Utilisez des données réelles, sous les garanties de l’article 10, paragraphe 5, pour l’évaluation première, des données synthétiques pour les essais de résistance et l’augmentation, et documentez la méthode et ses limites.

Que se passe-t-il si mon système échoue aux tests de biais ?

Un échec au test de biais n’est pas un échec de conformité : c’est une information. L’obligation est d’examiner, détecter et atténuer, pas d’atteindre un biais zéro. Si vous découvrez un biais, vous devez : (1) consigner le constat, (2) en évaluer la gravité, (3) mettre en œuvre une remédiation, (4) consigner l’écart résiduel, et (5) mettre en place des contrôles compensatoires tels que le contrôle humain. Découvrir un biais et ne rien faire : voilà l’échec de conformité.

À quelle fréquence faut-il répéter les tests de biais ?

Le règlement ne fixe pas de fréquence. L’article 9 exige que la gestion des risques soit un « processus itératif continu ». En pratique : (1) tests de biais complets avant la première mise en service, (2) réévaluation après toute mise à jour significative du modèle, (3) réévaluation lorsque le contexte de déploiement change, (4) réévaluation périodique, trimestrielle est courant pour les systèmes à haut risque, et (5) réévaluation déclenchée lorsque la surveillance détecte des glissements de distribution.

L’article 10, paragraphe 5, l’emporte-t-il sur les restrictions du RGPD relatives aux données sensibles ?

L’article 10, paragraphe 5, ne l’emporte pas sur le RGPD : il fournit une base juridique spécifique, supplémentaire, pour traiter des catégories particulières de données, strictement aux fins du suivi, de la détection et de la correction des biais. Vous devez toujours respecter les principes du RGPD : minimisation, limitation des finalités, limitation de la conservation, et sécurité. Le traitement doit être strictement nécessaire, accompagné de garanties appropriées (pseudonymisation, chiffrement, contrôles d’accès), et limité à la finalité des tests de biais. Consultez votre délégué à la protection des données et documentez l’analyse de la base juridique.

Puis-je confier les tests de biais à un tiers ?

Oui, mais le fournisseur conserve la responsabilité juridique. Vous devez : (1) vous assurer que le tiers a l’expertise appropriée, (2) définir le périmètre et la méthode à l’avance, (3) revoir et valider les constats, (4) les intégrer à la documentation d’annexe IV, et (5) conserver la capacité de reproduire l’analyse. Confier le travail ne confie pas l’obligation.

Besoin d’aide pour mettre en œuvre les tests de biais de votre système d’IA à haut risque ? Lancez l’évaluation Legalithm au titre du règlement sur l’IA pour comprendre vos obligations et obtenir un plan d’action adapté.