En novembre 2019, Bastien Le Querrec donnait à l’INRIA une conférence intitulée Enfermement algorithmique : Décisions administratives algorithmiques et droits fondamentaux. Doctorant en droit public à l’Université Grenoble Alpes et membre de La Quadrature Du Net, il nous livrait alors son analyse de l’utilisation des algorithmes dans l’administration. Ce billet retranscrit ma compréhension des enjeux évoqués lors de cette conférence et mon analyse personnelle des faits évoqués (qui ne reflètent pas nécessairement l’opinion du conférencier).
Quelques définitions pour (bien) commencer
La conférence portant sur les décisions algorithmiques administratives, il faut commencer par se mettre d’accord sur la définition de ces termes.
Tout d’abord, la décision administrative est un type d’acte administratif qui implique que l’administration fasse un choix, qu’elle aille dans une direction et non dans une autre. Ce qui exclu tout ce qui constate une situation de fait ou qui rappelle une situation de fait. Il nous reste alors à définir ce qu’est un acte administratif. Pas de chance, il n’y a pas de définition en droit. À la place existe une définition doctrinale, réalisée par des juristes et qui m’a semblé assez floue.
En pratique, on peut cependant dire qu’un diplôme universitaire tout comme un refus de délivrance de permis de construire sont des décisions administratives. À l’inverse, ne sont pas des décisions administratives les analyse réalisée par des autorités administratives indépendantes comme la CNIL ou l’ARCEP, quand elles décrivent le marché qu’elles régulent. En effet, on considère qu’elles n’opèrent pas un choix mais qu’elles décrivent une situation de fait. Ceci dit, cette analyse est contestée car la façon dont-on décrit une situation peut en réalité cacher des choix.
Pour la définition d’algorithme, on retiendra simplement que c’est une suite d’instructions pour résoudre un problème. Dans le droit, on considère deux types d’algorithmes : les algorithmes auto-apprenants et non apprenants. Des mots mêmes d’un rapport du Sénat, les algorithmes non apprenants sont similaires à des recettes de cuisine ! Autrement dit, les paramètres sont connus en entrée, les opérations sont transparentes et les résultats uniques : ils sont dans une certaine mesure explicables. Pour les algorithmes qui nécessitent une phase d’apprentissage en amont de leur utilisation, le conseil constitutionnel les appellent auto-apprenants. Souvent, leurs opérations ne sont pas transparentes et leurs résultats ne sont pas explicables.
Enfin, lorsqu’une administration utilise un algorithme, ce dernier est considéré comme un document administratif. De manière générale, les documents administratifs sont des documents qui vont permettre à l’administration de faire son travail.
Armés de ces définitions, nous allons maintenant voir ce que l’administration peut et ne peut pas faire avec les algorithmes.
Législation et pratiques
D’un point de vue légal, une décision algorithmique est une décision qui a eu à un moment besoin d’utiliser un algorithme, rien de plus. Les algorithmes étant des documents administratifs, ils doivent être communicable à un administré (un citoyen) qui en fait la demande. De plus, les algorithmes dits auto-apprenants ont été interdit par le conseil constitutionnel.
Le cadre légal standard est défini dans les articles suivants :
- L311-1 qui pose le principe de communicabilité des documents administratifs
- L311-3-1 qui spécifie ce cas pour les algorithmes individuels
En pratique, on observe que la définition floue d’une décision algorithmique est néfaste à l’administré, que les algorithmes sont rarement communiqués et que la décision du conseil constitutionnel visant à interdire les algorithmes auto-apprenants est souvent contournée.
Par la suite, nous allons étudier en détails 3 cas de décision administrative algorithmiques (Parcoursup, loi finance et renseignement) pour illustrer cette ambivalence entre droit et pratiques.
Parcoursup
Parcoursup permet d’assigner des étudiants à des écoles selon un système de vœux : les étudiants classent les écoles et les écoles classent les étudiants. Ces vœux permettent de ramener le problème de l’affectation à celui des mariages stables bien étudié en recherche. L’algorithme de Gale-Shapley permet alors de résoudre le problème de manière optimale.
Bien qu’il y aurait beaucoup à dire sur les bidouillages de Gale-Shapley dans Parcoursup, ce n’est pas cet algorithme qui va retenir notre attention. Pour pouvoir fournir une liste d’étudiants à Parcoursup, chaque école va faire son propre classement, selon ses propres règles, et donc… créer un algorithme local de classement d’étudiants.
Souvent, cet algorithme prend la forme d’une simple feuille Excel et on ne fait pas face à des algorithmes auto-apprenants : imaginez plutôt une feuille avec des moyennes pondérées, des coefficients, etc. Leur objectif est d’accélérer la classification des candidats et donc de rendre un grand nombre de décisions administratives.
Face à des soupçons de discrimination : les universités parisiennes auraient mis des malus à tous les candidats venant de banlieue permettant de recréer une carte scolaire, un syndicat étudiant, l’UNEF, a demandé à une université de rendre public ses algorithmes locaux. Celle-ci a refusé, comme beaucoup (toutes ?) en 2019 et l’affaire a été portée devant la justice.
L’université a fait valoir devant le tribunal administratif qu’il y avait une exception issue de la loi relative à l’orientation et la réussite des étudiants, permettant de ne pas publier l’algorithme car la personne était impliquée. Selon le conférencier, cette exception n’a pas était pensée en tant que tel lors des débats parlementaires.
Le jugement relève qu’il s’agit d’un tiers et non d’une personne individuelle qui a fait la demande et que donc l’exception ne s’appliquerait pas. L’université, en désaccord avec le jugement, a fait appel devant le conseil d’état. Ce dernier a abondé dans le sens de l’université : si on fait une exception pour le tiers et pas l’individu, alors le tiers aurait plus de droit que l’individu. Plus récemment, le conseil constitutionnel a déclaré que les universités étaient obligé de publier leur critères de sélection mais seulement à posteriori et sans les coefficients.
Pour accélérer la prise de décision, l’enseignement supérieur a formalisé ses processus de recrutement sous forme d’algorithmes. Cependant, des exceptions dans la loi lui permette encore aujourd’hui de refuser de les communiquer.
Pour aller plus loin, lire Parcoursup : fin partielle de l’omerta sur les algorithmes locaux sur laquadrature.net
La Loi Finance 2020
L’article 154 de la loi finance 2020 autorise le fisc à collecter massivement les profils en ligne (Facebook, Twitter, etc.) des citoyens pour les traiter et, par exemple, définir si un contrôle fiscal doit avoir lieu :
L’administration fiscale et l’administration des douanes et droits indirects peuvent, chacune pour ce qui la concerne, collecter et exploiter au moyen de traitements informatisés et automatisés […] les contenus, librement accessibles sur les sites internet des opérateurs de plateforme en ligne […], manifestement rendus publics par leurs utilisateurs.
Son objectif est de rapidement repérer à l’aide d’outils informatique une fraude qu’un humain aurait également repéré si il avait eu le temps d’étudier la grande masse de données. Pour se faire, le fisc compte traiter rapidement cette grande masse de données avec un algorithme auto-apprenant. Une fois l’analyse terminée, un certain nombre d’alertes seront levées par le logiciel. Un agent recevra chaque alerte et décidera si oui ou non il doit déclencher un contrôle fiscal. Grâce à ce tour de passe-passe, ce n’est pas l’algorithme qui est à la base de la décision administrative mais l’agent. L’administration considère que l’algorithme est utilisé tellement en amont qu’il n’est pas impliqué dans la décision administrative, et donc qu’il n’est pas nécessaire de le communiquer au citoyen.
Pour comprendre ce raisonnement, on peut faire un parallèle avec une expertise judiciaire. Lors d’un procès, un juge peut penser qu’il n’a pas les éléments suffisants pour apprécier les faits et va demander à un expert de le faire à sa place sans pour autant que l’expert rende le jugement. Similairement, on va laisser à l’algorithme le soin de combler un manquement de l’humain.
Cependant, la comparaison entre expert et algorithme s’arrête là. Tout d’abord parce que l’explicabilité des algorithmes n’est pas un problème résolu : pour un agent, il est dur de comprendre comment un algorithme est arrivé à cette décision, et on peut donc douter de sa capacité à avoir un recul critique sur ce dernier, surtout étant donné la masse d’information que l’algorithme traite. Ensuite, l’algorithme en lui-même, mais aussi les données en entrées et en sorties de ce dernier, ne sont pas rendues publiques : aujourd’hui on ne peut donc rien contester.
Pour élargir ses capacités de contrôle, le fisc fait appel à des algorithmes auto-apprenants. Pour contourner l’interdiction des algorithmes auto-apprenants et l’obligation de communiquer les algorithmes, le fisc ajoute un être humain pour faire tampon entre le résultat de l’algorithme et la décision administrative.
Pour aller plus loin, lire Le Conseil constitutionnel autorise le fisc à la surveillance de masse sur laquadrature.net
Note du 8 mars 2021 : Je viens de prendre connaissance du décret d’application 2021-148. Publié le 11 février 2021, il précise les “modalités de mise en œuvre […] de traitements informatisés et automatisés permettant la collecte et l’exploitation de données rendues publiques sur les sites internet des opérateurs de plateforme en ligne”. La “machine” est en marche.
Les boites noires
Une des marottes des services de renseignement est de détecter les signaux faibles. L’article L851-2 pose le principe d’une surveillance algorithme en temps réel des données de connexion. En pratique, les services de renseignements posent des sondes sur les réseaux des opérateurs pour analyser le trafic en temps réel et détecter en direct une potentielle menace terroriste. L’algorithme va lever une alerte, un humain réceptionne l’alerte, et va décider si oui ou non on passe sur une surveillance ciblée, car jusque là on était dans le cadre d’une surveillance de masse.
À ce jour, selon le conférencier, il n’existe pas d’étude complète pour dire qu’on est capable de détecter un comportement à partir de signaux faibles. Pour autant, cette croyance dans les signaux faibles pose problème : si dans les précédents cas, il était question d’accélérer ou étendre un travail qui peut être réalisé par un être humain, ici il s’agit de détecter ce que l’être humain ne peut pas. Puisque l’être humain n’est pas en capacité de détecter les signaux faibles, il lui est donc également impossible de contester un résultat de cet algorithme.
Quels recours sont alors possibles ? On peut contester la mise sous surveillance ciblée mais seulement en suivant un très grand nombre de conditions. En effet, le juge administratif peut seulement regarder si il y a une erreur grossière. En cas de doute, le jugement est au bénéfice de l’administration. Cette situation est due au fait que les administrations ont un pouvoir discrétionnaire, et qu’elles n’ont donc pas à répondre de leurs choix.
Les services de renseignement, dans leur quête de signaux faibles, voient dans les algorithmes une façon de dépasser nos limites humaines. En considérant des objets, ici les signaux faibles, en dehors de notre compréhension, ils empêchent toute remise en question, critique ou explication des décisions prises.
Pour aller plus loin, lire Lettre aux parlementaires : Supprimez les boites noires, ne violez pas le droit européen sur laquadrature.net
Conclusion
Loin d’être l’apanage de la France, l’utilisation d’algorithmes dans les administrations s’étend à travers le monde. Par exemple, le programme Connect au Royaume-Uni est la source de 90% des contrôles fiscaux. Pour la surveillance des réseaux de communication, le concept existe également aux États-Unis.
Que ce soit à travers le monde ou en France, jusqu’ici nous avons parlé de l’administration comme une entité unique, faisant corps. En réalité, je pense que l’utilisation des algorithmes au sein de cette dernière bouleverse son organisation. En effet, les algorithmes permettent de réduire drastiquement le nombre d’acteurs qui prennent des décisions. De milliers de fonctionnaires ayant accès aux procédures qu’ils appliquent et auxquelles ils peuvent s’opposer, nous passons à une organisation où ce savoir est accaparé par les quelques concepteur·ices de l’algorithme et leurs donneur·ses d’ordres. On sait aussi que, pour ces algorithmes, les administrations lancent de plus en plus d’appels à projets, et donc externalisent une partie de la décision vers des entreprises privées.
Si les algorithmes peuvent être pensés comme un moyen de prendre des décisions plus équitables, ils s’avèrent être en pratique un outil pour concentrer le pouvoir entre quelques mains ne souhaitant pas rendre de comptes. Gardons à l’esprit que cette situation est le fruit d’une volonté politique. D’autres politiques pourraient amenées d’autres usages, espérons, plus vertueux.