Dans un nouveau rapport, la Défenseure des droits alerte sur les risques engendrés par les contrôles algorithmiques. Depuis de nombreuses années, la lutte contre la fraude aux prestations sociales, qui dès 2017 avait fait l’objet d’un premier rapport du Défenseur des droits, constitue un sujet de préoccupation institutionnel et politique majeur, comme en témoignent les nombreux rapports consacrés à l’augmentation et à la « sophistication » des formes de fraude sociale.
L’ensemble des constats effectués au cours de ce rapport reflète la massification des contrôles actuellement à l’œuvre de la part de l’ensemble des organismes de sécurité sociale et de France Travail. Si chacun des organismes fait évoluer ses pratiques en fonction de ses propres modalités et contraintes, tous s’inscrivent dans cette tendance à l’amplification des contrôles.
En parallèle, pris entre les impératifs d’amélioration de l’efficacité de la lutte contre la fraude tout en poursuivant leur mission de service public d’accompagnement des assurés et allocataires, la Défenseure des droits a pu observer que les organismes développent une argumentation parfois paradoxale : s’ils mettent en avant le recours à des outils technologiques de plus en plus perfectionnés permettant un accroissement constant des contrôles, les risques, en termes d’atteintes aux droits des usagers, induits par ces mêmes outils et les pratiques qui en découlent sont relativisés ou minorés voire ignorés.
Dans ce cadre, l’objectif de paiement à bon droit des prestations justifie la lutte contre la fraude et les contrôles effectués à cette fin.
Toutefois, cet objectif ne doit pas conduire, dans un contexte d’industrialisation des contrôles, à développer et à user de moyens techniques susceptibles de porter atteinte aux droits des usagers et à cibler certaines populations.
Sur ce point, il y a lieu de relever qu’au-delà du traitement algorithmique actuellement en œuvre, les organismes de sécurité sociale sont encouragés à mettre en œuvre des systèmes d’IA pour lutter contre la fraude. Ces dispositifs sont porteurs de risques spécifiques pour les droits et libertés fondamentaux et appellent des obligations renforcées pour les organismes.
Ainsi, le règlement européen sur l’intelligence artificielle, qui entre progressivement en application, depuis le 2 février 2025, qualifie les « systèmes d’IA destinés à être utilisés par les autorités publiques ou en leur nom pour évaluer l’éligibilité des personnes physiques aux prestations et services d’aide sociale essentiels, y compris les services de soins de santé, ainsi que pour octroyer, réduire, révoquer ou récupérer ces prestations et services » de systèmes à haut risque soumis à des obligations spécifiques. Ces obligations incluent notamment, pour les déployeurs de ces systèmes une obligation de réaliser une analyse d’impact sur les droits fondamentaux.
En tant qu’autorité de protection des droits fondamentaux, au sens de l’article 77 du règlement sur l’IA, le Défenseur des droits pourrait être amené à contrôler le respect de ces obligations…
