IA dans les services publics : pour une IA « digne de confiance », les grands principes ne suffisent pas

Que ce soit pour assister dans la traque contre la fraude, ou pour aider les agents de France Services à répondre aux questions des citoyens, l’intelligence artificielle s’insère de plus en plus dans les services publics. Cette irruption fait partie du chantier plus large de la transformation numérique de l’État, qui a pour ambition de rendre les actions de l’État plus efficaces.

En regard des risques de l’IA — qu’ils soient existentiels, ou plus terre à terre et immédiats, et au vu les enjeux posés par leurs utilisations, on cherche aujourd’hui à développer des systèmes d’IA « dignes de confiance » (trustworthy).

L’utilisation de l’intelligence artificielle dans les services publics touche un très grand nombre de domaines. Pendant les Jeux olympiques de Paris 2024, l’intelligence artificielle a été déployée pour identifier des situations dangereuses à partir d’images vidéo.

L’intelligence artificielle aide également à reconnaître des images de conducteurs ne portant pas de ceinture de sécurité, ou à reconnaître le visage des voyageurs se présentant à un dispositif PARAFE pour le contrôle de passeport. Une IA générative dénommée Albert aide les agents de France Services à répondre aux questions des citoyens sur les démarches à suivre. Une IA aide les contrôleurs de la Caisse nationale des allocations familiales (CNAF) à prioriser les enquêtes pour fraude. Une autre analyse des images de satellite pour détecter des constructions non déclarées. Un algorithme d’IA est à l’œuvre dans le dispositif Parcoursup. Des outils contribuent à contrer des cyberattaques, d’autres analysent les données de connexion pour détecter des risques de terrorisme.

En 2022, le Conseil d’État a identifié huit grands champs de déploiement de l’IA par l’État, allant de la défense nationale à la personnalisation de l’accompagnement des demandeurs d’emploi.

Chacun de ces domaines demande une approche individualisée pour comprendre quels sont les risques associés à un déploiement de l’IA et comment les gérer en pratique.

Le terme « IA » recouvre une grande diversité de technologies, d’usages, et donc de risques

Les outils de détection de risque de terrorismes ainsi que l’algorithme Parcoursup s’appuient sur l’IA « à l’ancienne » fondée sur des règles logiques créées par des humains, tandis que les algorithmes utilisés pour le traitement de l’image s’appuient sur des algorithmes d’apprentissage machine supervisé. L’IA générative s’appuie sur une nouvelle technologie d’apprentissage par renforcement appelée « transformeur ».

En plus de cette diversité technologique, les usages de l’IA, et les risques y associés, sont extrêmement variés. Une erreur de prédiction concernant la vidange d’une benne à ordures n’a pas les mêmes conséquences qu’une erreur dans la prédiction d’un risque de terrorisme. L’IA générative nourrit des fantasmes sur la fin du monde. Le Défenseur des droits souligne des risques plus terre à terre sur la discrimination.

Impossible d’adopter une approche unique pour une IA « digne de confiance »

Devant une telle diversité dans les technologies et dans les cas d’usage, il est impossible d’adopter une approche unique pour une IA digne de confiance, sauf à rester à un niveau de généralité élevé.

Le règlement européen sur l’IA ne prescrit donc pas le niveau d’erreur acceptable dans un système d’IA, ni les modalités précises du contrôle humain, ni le type d’explicabilité requise. Les situations sont trop différentes. C’est pour cette raison que le règlement européen délègue ces choix aux régulateurs et acteurs de chaque secteur  : bancaire, santé, transport, justice…

Chaque cas nécessitera une analyse de risques et un programme de gouvernance autour de trois axes  : quels types d’erreurs peuvent se produire et quelles sont leurs conséquences  ? Quel niveau d’explicabilité est nécessaire pour que les humains puissent comprendre et valider les résultats algorithmiques  ? Quel type de contrôle humain est adapté à ce système  ?

L’IA digne de confiance  : des principes importants mais trop génériques pour être applicables concrètement

En octobre 2024, la Cour des Comptes a défini sept principes d’IA de confiance.

Ces principes ne sont pas nouveaux. Ils reprennent ceux élaborés depuis 2019 par l’OCDE, HLEG, et UNESCO, et recoupent en grande partie ceux déjà établis en 2022 par le Conseil d’État pour l’IA publique de confiance, en omettant cependant le principe d’autonomie stratégique qui avait été mis en avant par le Conseil d’État.

Ces principes reflètent un consensus, mais restent tellement généraux qu’ils n’apportent pas de solutions pour des situations concrètes. On veut des systèmes d’IA robustes, non discriminatoires, explicables, et centrés sur l’humain, tout comme on veut un environnement propre et une voiture sûre. Ces principes de haut niveau ne nous disent rien sur les arbitrages nécessaires pour déployer un outil dans un contexte particulier.

À lire aussi : IA : vers des principes éthiques partagés et intégrés dans les algorithmes

Il suffit de penser à l’outil utilisé par la CNAF pour calculer le risque de fraude dans les allocations familiales. Cet outil est actuellement contesté devant le Conseil d’État car il serait discriminatoire, donnant un score de risque plus élevé pour les personnes les plus vulnérables. Selon les auteurs de la plainte, le ciblage de cette population serait contraire aux principes d’équité. En même temps, la population vulnérable est celle qui bénéficie de la majorité des prestations sociales. Prioriser le contrôle de cette population serait donc logique sur le plan statistique. Cet exemple montre le dilemme auquel les déployeurs de systèmes d’IA sont confrontés.

Équité, explicabilité, performance  : des valeurs souvent en concurrence

Un système qui effectue des classements statistiques — pour un contrat d’assurance, un contrat de prêt, ou pour un risque de fraude — va nécessairement paraître inéquitable aux yeux de certains, car les différentes visions d’équité sont incompatibles entre elles. Ainsi, un système équitable par rapport à deux groupes de la population (« l’équité de groupe ») ne sera pas équitable par rapport à deux individus (« l’équité individuelle »).

D’autres dilemmes se présenteront en dehors de la question d’équité. Lorsque l’on choisira le niveau d’explicabilité d’un système d’IA, il faudra mettre en équilibre le besoin d’explicabilité et le besoin de performance, car les algorithmes les plus performants sont souvent les moins explicables. En matière de performance, la question sera de savoir s’il faut exiger un système quasi parfait dans ses prédictions, ou se satisfaire d’une performance qui est « seulement » supérieure à celle d’un humain. En matière de contrôle humain, la question sera de savoir s’il faut systématiquement mettre « l’humain dans la boucle »… même si celui-ci augmente le taux d’erreurs.

Ces dilemmes ne peuvent être résolus simplement par l’application des principes d’IA de confiance. Aucun système ne peut satisfaire pleinement tous les critères en même temps. Prioriser un critère conduit à en détériorer un autre.

Gouverner concrètement les déploiements de systèmes d’IA

Dans cet environnement de vases communicants et de compromis, la Cour des Comptes propose de se concentrer sur les processus de gouvernance dans l’analyse et l’accompagnement des projets d’IA par l’administration. L’idée est de soumettre les grands projets d’IA à une étude d’impact préalable et à un plan de gestion des risques, comme pour un projet de construction d’une éolienne.

Plus précisément, la Cour des Comptes propose une « grille de maturité » qui évalue le niveau de formation du personnel, l’existence ou non de cahiers des charges internes, l’existence de systèmes d’audits, de consultations entre différentes parties prenantes, et surtout l’existence, tout au long de la vie du système, d’un questionnement constant sur l’utilisation des données, le choix du modèle, sa frugalité, les vulnérabilités aux attaques, les risques de discriminations et autres erreurs algorithmiques.

En d’autres termes, puisqu’il est quasiment impossible de fournir une seule « bonne » réponse aux nombreux dilemmes de l’IA de confiance, autant mettre l’accent sur le processus d’analyse et de décision, pour au moins garantir que ce processus est irréprochable.

Des processus de gouvernance deviennent obligatoires pour les systèmes à « haut risque »

Depuis le règlement européen sur l’IA, ces processus de gouvernance deviennent obligatoires pour tout système à « haut risque ». Un grand nombre des systèmes d’IA mis en place par l’administration française tomberont dans cette catégorie, car ils touchent un très grand nombre de citoyens.

Le règlement européen met l’accent sur les normes techniques pour traiter les questions opérationnelles liées à ces systèmes à haut risque. Mais ces normes techniques ne pourront pas résoudre la plupart des dilemmes qui mettent en concurrence différents principes de l’IA responsable.

À lire aussi : Intelligence artificielle: normes techniques et droits fondamentaux, un mélange risqué

Au mieux, ces normes techniques établiront des méthodologies communes pour mesurer différents paramètres tels que l’explicabilité, les biais, et les niveaux de performance. Ces méthodologies permettront au moins de parler le même langage et utiliser les mêmes unités de mesure lorsque l’on examine les différents choix et compromis nécessaires pour la mise en œuvre d’un système.

La recherche scientifique sur l’IA digne de confiance permettra de réduire certains choix cornéliens

Les avancées en matière d’explicabilité permettront, par exemple, d’atteindre un haut niveau d’explicabilité tout en préservant la performance prédictive des grands modèles traditionnellement opaques.

La recherche sur l’IA frugale doit permettre de réduire la consommation énergétique des modèles tout en préservant un niveau élevé de performance.

À lire aussi : Comment faire face à la crise de l’énergie de l’IA ?

Les avancées en matière d’anonymisation de données (« differential privacy ») et d’apprentissage fédéré (« federated learning ») permettront d’entraîner des modèles tout en protégeant les données à caractère personnel.

Mais de nombreux dilemmes perdureront, car ils s’appuient sur des propriétés statistiques immuables, par exemple les définitions de l’équité, ou sur des choix de société nécessitant la mise en équilibre de droits et intérêts en concurrence.

La décision du Conseil d’État dans le contentieux CNAF nous dira comment, dans le cas précis de l’algorithme de notation du risque de fraude aux prestations sociales, cette mise en équilibre sera effectuée.

Winston Maxwell a reçu des financements de l'ANR.