Sommes-nous protégés des algorithmes qu’utilisent les administrations publiques?

Chronique rédigée par Benjamin JAN (ULiège), publiée en primeur sur le site du Soir

Lorsque les algorithmes sont sur le devant de la scène médiatique, la lumière est souvent mise sur les conséquences de leur utilisation par le secteur privé, à l’image de ceux qui régissent les réseaux sociaux. Pourtant, parmi les algorithmes impactant nos vies, la généralisation des algorithmes d’aide à la prise de décision dans le secteur public passe trop souvent inaperçue: lutte contre la fraude fiscale, attribution d’allocations sociales, police prédictive, admissions à l’université, diagnostic médical. Pour autant que des bases de données existent, ces systèmes peuvent être en théorie utilisés dans tous les domaines. Certes, les administrations publiques sont moins séduisantes que les géants de la Silicon Valley mais les conséquences politiques et juridiques sur les citoyens n’en sont pas moindres, bien au contraire.

Systèmes intelligents d’aide à la prise de décision

Parmi les algorithmes, on distingue les algorithmes «simples» des algorithmes auto-apprenants (appelés également «machine learning»). Le rôle des algorithmes auto-apprenants est de produire un modèle statistique applicable à des situations nouvelles sur base des décisions prises antérieurement qu’ils ont apprises. Le résultat qu’ils fournissent est une prédiction basée sur des calculs statistiques, à ne pas confondre donc avec une certitude.

Ces algorithmes bénéficient d’un intérêt grandissant et offrent autant d’opportunités que de défis lorsqu’ils sont utilisés dans la prise de décision. Si vous avez récemment soumis une demande de crédit à une banque ou envoyé votre CV à une grande entreprise, il est probable que vous ayez été sujet à un algorithme auto-apprenant qui a permis de définir votre solvabilité ou votre compatibilité avec les besoins de l’entreprise.

Le secteur public n’est pas en reste au regard du déploiement de ces algorithmes. Et rien ne semble pouvoir freiner cette croissance… Au contraire, la numérisation en cours des administrations et par conséquent l’augmentation de données administratives combinée avec les avancées technologiques dans le machine learning encouragent l’utilisation de tels systèmes. Ajoutée à cela, la bénédiction de la Commission européenne qui estime qu’il est «essentiel» que le secteur public adopte l’intelligence artificielle (1), et voilà un terreau fertile pour le déploiement des algorithmes.

Des promesses d’efficacité

Pourquoi un tel engouement? Bien que la réponse varie en fonction de chaque domaine administratif, en général, l’utilisation d’algorithmes auto-apprenants promet aux fonctionnaires de tirer de la valeur de vastes bases de données. Elle permettrait de maximiser l’efficacité des services publics tout en réduisant les coûts liés aux tâches qui reviennent à l’administration. En ce sens, par exemple, le fisc français peut se targuer d’une hausse des recouvrements de 130% en matière de fraude fiscale en l’espace d’un an (2). Mieux encore, certains avancent que l’usage d’algorithmes permet de réduire les erreurs des fonctionnaires dans les processus décisionnels. L’humain est après tout faillible et chaque fonctionnaire ne connaît pas sur le bout des doigts les dernières modifications réglementaires.

Malgré ces promesses, des doutes persistent quant aux prédictions fournies par les algorithmes auto-apprenants. Quel rôle jouent-ils dans la transformation numérique de nos administrations? Sachant que l’efficacité du machine learning augmente avec le nombre de données qu’on lui fournit, n’aiguise-t-on pas l’appétit des administrations envers nos données? Cette inquiétude est d’ailleurs partagée par l’autorité de protection des données française, qui souligne déjà le changement d’échelle dans l’utilisation de données personnelles par l’administration (3). De plus, qu’advient-il des erreurs, issues du passé, que l’algorithme a apprises et qu’il reproduit pour aider à une prise de décision? Qui veille à ce que les concepteurs du secteur privé de ces algorithmes prennent en compte nos droits tout en évitant eux-mêmes d’y insérer leurs biais cognitifs? Toutes ces questions convergent vers un enjeu majeur: la conservation de nos droits et libertés.

Des garde-fous inadéquats

Que l’administration se soustraie à son obligation de fournir un traitement juste et équitable, mais également que le respect du principe de non-discrimination de ses administrés soit bafoué, sont les inquiétudes principales générées par l’utilisation du machine learning.

Parmi les instruments légaux protégeant l’utilisation de nos données personnelles, ceux qui figurent au sein du Règlement général sur la protection des données (RGPD) arrivent en tête. Le principe cardinal de transparence issu de cette législation européenne a pour objectif que nous maîtrisions nos données et par conséquent l’exercice de nos droits. Cette transparence semble pourtant ébranlée par les algorithmes auto-apprenants lorsqu’ils ont pour but d’aider à la prise de décision.

Premièrement, un des garde-fous phare du RGPD est le droit de ne pas faire l’objet d’une décision prise exclusivement par une machine. Les exceptions à ce droit sont balisées par des garanties supplémentaires mais celles-ci ne sont pas applicables dans l’hypothèse où un fonctionnaire agit activement et a le dernier mot. Le rôle que joue l’humain dans la décision est cependant dans les faits peu évident. Certains scientifiques ont souligné les biais cognitifs qu’ont les personnes face à l’automation technologique d’une tâche. L’aura d’infaillibilité émanant de la technologie provoquerait la complaisance à son égard (4). La prise de décision par l’administration peut dès lors dans certains cas être de facto automatique tout en échappant aux garanties relatives à nos droits.

Deuxièmement, quand bien même certains garde-fous issus du RGPD s’appliqueraient en matière de transparence, ces instruments juridiques semblent inadéquats face aux caractéristiques du machine learning. Critiqué pour son opacité, le fonctionnement même des algorithmes auto-apprenants fait qu’il est difficile de déceler les erreurs qu’ils auraient pu apprendre sur base des décisions issues du passé. Ce problème n’est en soi pas suffisant pour rejeter l’application du machine learning au sein des administrations; après tout, les fonctionnaires sont aussi sujets aux erreurs. Mais, contrairement à l’erreur d’un.e fonctionnaire, les erreurs du machine learning sont susceptibles d’être reproduites infiniment. Un tel scénario est-il acceptable dans des domaines comme l’octroi d’allocations sociales?

Derrière l’importance de la transparence requise lors du traitement de nos données se cache en réalité un enjeu encore plus important: la responsabilité de l’autorité publique. L’État de droit impose des mécanismes démocratiques qui soumettent la puissance publique au droit. Or, sans transparence, les décisions administratives deviennent difficiles à contester pour un.e citoyen.ne. La complexité du machine learning rend la contestation encore plus compliquée car son fonctionnement est peu compréhensible. Pour éviter d’éventuels abus de la part des administrations, il est nécessaire d’une part, de conscientiser fonctionnaires et administrés aux risques inhérents aux prédictions issues du machine learning, et d’autre part, d’établir des garanties spécifiques lorsque des algorithmes complexes aident à la prise décision.

Conquérir la légitimité pour leur utilisation

L’efficacité au sein des administrations publiques est souhaitable et se détourner des capacités analytiques des algorithmes serait se priver d’importantes opportunités. Toutefois, la légitimité de leur utilisation dans nos démocraties libérales ne peut exister qu’au travers d’obligations de transparence et d’un contrôle démocratique adéquat aux algorithmes. La vitesse du déploiement de ces derniers, plus rapide que la création de garde-fous adéquats, laisse malheureusement place à une grande insécurité juridique.

Pour gagner en légitimité et obtenir la confiance des citoyens, la gouvernance par les algorithmes doit être pourvue de garanties efficaces afin que nous soyons aptes à contester en connaissance de cause une décision administrative et que nous puissions éviter d’être injustement discriminés. Si tel n’est pas le cas, de nombreux algorithmes d’aide à la prise de décision risquent de connaître le même sort que celui qui détectait les fraudes sociales aux Pays-Bas, où les juridictions ont jugé contraire aux droits de l’homme le système algorithmique pour sa violation du droit à la vie privée et… son manque de transparence.

(1) Commission européenne, Livre blanc. Intelligence artificielle: une approche européenne axée sur l’excellence et la confiance, 2020. (2) G. Rozières, «Comment l’intelligence artificielle a permis au fisc de récupérer 640 millions d’euros», Huffingtonpost, 23 octobre 2019. (3) Publication de l’avis de la CNIL sur l’expérimentation permettant la collecte de données sur les plateformes en ligne (2019). (4) J. Zerilli et al., «Algorithmic Decision-Making and the Control Problem», Minds and Machines, 2019.