Un peu de contexte

En Grande-Bretagne, la Poste a des bureaux aux quatre coins du territoire. La plupart ne sont pas directement gérés par la Poste, mais sont des franchises. Ils sont situés dans des magasins locaux, font partie de petits commerces indépendants (souvent des entreprises familiales), et les activités de poste de ces petits commerces sont supervisées par Post Office Limited, une entreprise publique. On compte plus de 10 000 « sous-postier·es » (comme on les appelle) dans le pays. Ils font partie intégrante de leur communauté – ils jouent en quelque sorte le rôle de ciment social.

Un Horizon mensonger

À la fin des années 1990, la Poste s’est équipée d’un nouveau logiciel appelé Horizon, dont le but était de gérer les affaires que ces franchises faisaient en son nom. Ce logiciel, provenant de l’une des principales sociétés informatiques (Fujitsu, en l’occurrence), a été déployé sur tout le réseau de franchise.

Et puis une chose étrange s’est produite. Horizon a commencé à indiquer que de l’argent disparaissait. Beaucoup d’argent, dans plein d’endroits. Entre 1999 et 2015, 4000 sous-postier·es ont été accusé·es de frauder ou de voler le système. La Poste a porté plainte contre environ 900 personnes, et de nombreux·ses avocat·es leur ont conseillé de plaider coupable pour éviter des condamnations plus lourdes qu’en déclarant leur innocence.

Environ 700 personnes ont été condamnées par la justice. Plus de 200 sont allées en prison, et ont été traînées dans la boue dans les communautés pour lesquelles elles travaillaient. Certain·es ont dû mettre la clé sous la porte parce qu’iels se sont vu·es obligé·es de rembourser l’argent qu’iels étaient supposé devoir (mais qu’iels n’avaient pas). De nombreuses personnes ont divorcé. Certaines se sont suicidées.

Un système crédule

On aurait raison de trouver étrange que tant de sous-postier·es se retrouvent dans cette impasse. En réalité, ce ne sont pas les sous-postier·es qui étaient coupables de la falsification de la comptabilité ; c’était le logiciel.

Le logiciel était défectueux, mais tout le monde l’a cru – la Poste, les avocat·es des victimes, le système judiciaire qui les a condamné·es, les communautés où iels vivaient, la plupart des médias britanniques.

Le logiciel inventait des chiffres qui n’existaient pas, et des petits commerces innocents ont dû payer le prix de cette erreur. Pour reprendre un mot qui est de plus en plus à la mode avec l’IA générative, il « hallucinait ».

L’échec des deux systèmes

Il s’agit de l’échec des deux systèmes, technologique et humain. Le logiciel ne fonctionnait pas, mais trop de gens pensaient que l’ordinateur a forcément raison.

Depuis le début, il était évident que le logiciel était défectueux, mais cela n’a pas été mis en évidence. Les sous-postier·es faisaient remonter les problèmes, mais la Poste restait dans le déni. Le caractère massif du problème n’a pas été mis en évidence par celleux qui participaient au débat dans les cours de justice – ni les accusé·es, ni les avocat·es, ni le public en général. On a assené à certaines victimes que leur cas était tout à fait exceptionnel, alors qu’on expliquait aux responsables que ces cas n’avaient rien d’exceptionnel.

Cette histoire a fait scandale un quart de siècle après qu’elle a commencé, et plus récemment du fait des dernières condamnations. Une action très tardive a été menée pour indemniser les victimes (bien que ces compensations soient limitées et ne puissent en aucun cas réparer les vies brisées). Pour en savoir plus sur le scandale, des éléments sont disponibles ici.

L’échec des médias

Cette histoire n’a été couverte par les principaux médias que tout récemment. Les deux seules sources médiatiques qui ont réalisé un vrai travail d’investigation sur le long terme, sont un journal spécialisé sur l’informatique, Computer Weekly, et Private Eye, un magazine satirique qui fait du journalisme scientifique.

Quelques parlementaires se sont impliqué·es dans l’affaire, mais le gros de la campagne médiatique a été porté par l’une des premières victimes du logiciel, qui a monté un collectif avec les autres victimes. Mais lui aussi a rencontré de grandes difficultés pour être entendu par les principaux médias.

Ce qui a enfin permis que l’histoire fasse irruption sur la scène publique, et qui a mené à des actions concrètes, n’est même pas le journalisme : c’est une série télévisée basée sur l’histoire d’une des premières victimes, et la mobilisation citoyenne qu’il avait entreprise.

En quoi cela nous concerne-t-il ?

Si, à première vue, il s’agit d’une histoire locale qui porte sur des mauvaises pratiques dans un pays, en réalité, cela fait écho à des questions bien plus larges. Quatre arguments peuvent être avancés en ce sens.

La confiance dans les systèmes informatiques

La première chose, évidemment, est qu’il est dangereux de croire tout ce que nous disent les systèmes numériques.

Les ordinateurs prennent de mauvaises décisions, tout autant que les systèmes humains qu’ils remplacent. Cela peut être dû à des défaillances de programmation – les bugs informatiques provoqués par la falsification de comptabilité d’Horizon – ou à des biais dans les données qui entraînent à présent les systèmes d’intelligence articficielle.

De nombreuses personnes et de nombreux systèmes font davantage confiance aux décisions prises par les ordinateurs, qu’à celles prises par d’autres personnes.

De toute évidence, parfois, les ordinateurs prennent de meilleures décisions que les humain·es – par exemple, dans les cas de dépistage précoce en médecine. Mais céder le pouvoir aux processus automatisés – en pensant qu’un ordinateur a le dernier mot – est dangereux, en particulier lorsque des vies et des moyens de subsistance sont en jeu.

De tels processus ne doivent être que des outils, pas des substituts. L’histoire que l’on a raconté ici n’est qu’un exemple, mais ce risque est présent dans de nombreux systèmes. La prise de décision devrait toujours pouvoir être réexaminée.

Des institutions défaillantes

Le deuxième argument tient à la défaillance des garde-fous. 

Des mécanismes institutionnels auraient dû identifier et prendre en charge ce problème bien avant qu’il ne brise autant de vies. La quantité de petits commerces mis en cause pour fraude était absurde. Aucun indice préalable ne pointait dans cette direction. Pourtant, les garde-fous qui auraient dû être en place ont tous échoué à faire remarquer cette incohérence.

Aucun audit systémique du logiciel n’a été mis en place, même lorsque (tout au début) la Poste a été interpellée sur certains problèmes. Les systèmes de contrôles tant de Fujitsu que de la Poste britannique ont, de toute évidence, échoué ; et ils ont passé plus de temps à protéger leurs arrières qu’à enquêter sur ce qui n’allait pas (une enquête publique est actuellement en cours). Le système judiciaire a échoué dans le sens où il n’a pas su reconnaître l’ampleur du problème et n’a pas posé les questions qui, clairement, auraient dû être posées. Il a été extrêmement difficile d’attirer l’attention des journaux. La situation n’a jamais été interrogée correctement.

Outre qu’on fait trop confiance aux ordinateurs pour faire bien les choses, alors qu’ils ne le font pas toujours, il s’agit aussi d’adapter nos systèmes afin de permettre un contrôle des processus de décision automatisés. Les garde-fous sur lesquels nous nous sommes appuyés jusqu’à présent ne sont pas suffisants.

Où étaient les médias ?

Le troisième point porte spécifiquement sur le rôle des médias. Ce scandale n’a pas été révélé par les principaux médias. Des années de persévérance de la part de quelques médias spécialisés n’ont attiré que peu d’attention ailleurs, en dehors des faits divers et d’un ou deux éléments à la télévision. Ce qui a fait la différence, au final, c’est une série télévisée, avec quelques acteur·rices connu·es, basée sur la vie d’une personne persévérante et la mobilisation citoyenne qu’il avait menée avec un groupe de victimes.

Rien de neuf sur le temps qu’il faut pour qu’un scandale fasse la Une. Les Étatsunien·nes, par exemple, pourraient témoigner du temps qu’il a fallu pour rendre publiques les racines de la crise de l’addiction aux opioïdes. Mais les principaux médias britanniques ont l’habitude de révéler des scandales de différentes sortes. Que s’est-il passé, ici ?

L’un des problèmes tient aux coûts du journalisme d’investigation. De nos jours, les journaux font face à une énorme pression financière, grâce à la perte du lectorat et des revenus publicitaires puisque désormais, la plupart des gens préfèrent s’informer principalement sur les réseaux sociaux. Les « clickbait » (piège à clic) et les potins de stars sont bien moins chers à produire pour remplir les pages des journaux, que le travail soutenu et approfondi du journalisme d’investigation.

Le fait que ce soit une série télévisée dramatique qui ait attiré l’attention du public est également intéressant. La Grande-Bretagne a une longue tradition de ce genre de séries dramatiques, mais l’impact de la télévision a également diminué avec le temps – du fait de la multiplication du nombre de chaînes, de la retransmission en différé ou des alternatives sur Internet. Des drames sérieux peuvent encore faire changer les gens de point de vue, mais il faut que cela soit vraiment grand public et vraiment bon pour faire la Une. C’est trop cher, en comparaison avec des programmes de télé-réalité comme Love Island, des programmes culinaires ou des émissions de conversation en journée, qui peuvent remplir les plages horaires.

Intelligence Artificielle ?

Le dernier argument, évidemment, porte sur l’intelligence artificielle (IA).

L’IA va généraliser la prise de décision automatisée. Non seulement de plus en plus de décisions vont être prises sans aucune intervention humaine, mais ces décisions vont être prises par des algorithmes que celleux qui vont être impactées – et même celleux qui les supervisent – ne vont ni comprendre, ni réussir à remettre en question. On se souvient de la difficulté pour les sous-postier·es britanniques, à remettre en cause un logiciel bien moins complexe et moins sophistiqué que ce que l’IA représente. Et ces nouveaux systèmes vont être entraînés sur des données intrinsèquement biaisées par des prises de décisions antérieures.

À une époque, la numérisation était la promesse de nous amener vers plus de transparence sur le mode de gouvernement de nos vies (et je ne parle pas que de nos gouvernements). Les nouveaux systèmes d’IA seront encore moins transparents, et encore plus opaques.

Quelles leçons en tirer ?

Qu’avons-nous à apprendre de cette triste histoire et de la nouvelle trajectoire de notre société numérique ? Au moins deux choses.

Premièrement, ne pas croire que les systèmes numériques sont forcément plus précis ou plus à même de déterminer la meilleure issue pour des individus, des communautés ou pour toute l’humanité. Cela peut souvent être le cas, mais c’est possible aussi que cela ne le soit pas. Il faut soumettre les résultats du numérique/de l’IA à un examen au moins aussi pointilleux que celui auquel on a jusque-là soumis les systèmes humains – et toujours garder en tête que certaines personnes défendent des intérêts particuliers qui implique que le numérique/IA ne fonctionne pas toujours dans le sens du bien commun.

Deuxièmement, s’assurer que l’on a des institutions capables d’interroger les prises de décisions automatisées, et des mécanismes qui permettent aux individus et aux communautés de remettre en question la façon dont le numérique les impacte. Les partis politiques, les syndicats, les organisations communautaires, les journaux, les cours de justice, et – aussi – les réseaux sociaux, ont un rôle à jouer en ce sens – mais, s’ils n’évoluent pas pour s’adapter à ce nouvel environnement social, il n’y aura plus aucune transparence ni responsabilité.

Lire l’article original en anglais sur le site de Association for Progressive Communications (APC), traduction de l’association ritimo.