Conception : Peggy Pierrot (chercheuse indépendante), Philippe Rivière (journaliste), animation : Peggy Pierrot, intervenant.es : Nicolas Malevé (artiste, développeur), Seda Gürses (chercheuse), Jean-Marc Manach (journaliste d’investigation), Vladan Joler (enseignant à l’université de Novi Sad), Rayna Stamboliyska (consultante et chercheuse indépendante)

Après la performance d’Anne Laforet, à propos de Chelsea Manning, sur le genre et les trans-identités, Peggy Pierrot propose de visionner l’intervention pré-enregistrée de Nicolas Malevé sur les questions éthiques et politiques posées par la reconnaissance faciale (algorithmes et logiciels véhiculant des stéréotypes et permettant aux GAFA d’instrumentaliser les utilisateurs et utilisatrices à des fins commerciales). Les intervenant.es suivant.es prolongent ces propos en incitant à opérer une observation critique des systèmes de surveillance, auto-alimentés par les mêmes usager.es, à les étudier (notamment Facebook) et à les contourner (anonymat, fausse géolocalisation, démystification du niveau de surveillance et de la figure du hacker versus casseur, investigation de leur construction et de leur fonctionnement, précision du vocabulaire utilisé).

Anne Laforet actualise ici sa performance, pour et à propos de Chelsea Manning. Elle s’adresse à Chelsea, à travers une séance jouée par la voix de soin capillaire et combine approche documentaire et personnelle pour retracer le parcours de l’activiste et pour aborder les questions liées au genre, aux bases de données, à la 
répression des lanceurs d’alerte et des hackers…

La reconnaissance faciale : une vision stéréotypée

Peggy Pierrot ouvre la séance en excusant l’absence de Nicolas Malevé qui interviendra, via la vidéo qu’elle est allée réaliser avec lui, sur la question de la reconnaissance faciale par computer vision (ensemble de logiciels, algorithmes, bases de données qui permettent de décrire ce que l’on voit sur les images) et les questions éthiques et politiques que pose ces phénomènes de reconnaissance d’images.

Nicolas Malevé : Quand les machines apprennent à voir, la vision est donnée

Nicolas Malevé précise que la reconnaissance d’images dépend certes des avancées mathématiques mais que les algorithmes dépendent aussi de la qualité des données recueillies et analysées. Or comment sont produites ces données ? Par l’exploitation des gens qui décrivent, annotent les images, payés de 1 à 4 cents par annotation, le consensus entre trois personnes étant requis, des millions d’images étant traitées.

À travers deux exemples d’expériences et études de psychologie cognitive, il montre que le mécanisme mis en place par Amazon Mechanical Turk est structuré pour produire des stéréotypes et empêcher toute vision détaillée, ambiguë, interrogative. Il prend l’exemple des systèmes de reconnaissance faciale qui s’appuient sur les données constituées par les profils déposés sur les sites de rencontre. Si le logiciel permet ce type de classification, il s’appuie sur la logique sociale, culturelle, à l’œuvre dans la production par chacun.e de son profil, mais aussi sur la conception des plateformes qui règlent la conformité, la régularité de la description que l’on fait de soi-même. Il alerte ainsi sur l’instrumentalisation à des fins commerciales des réseaux sociaux.

Protéger la vie privée

Dans son intervention « Surveillance vs. Capture in the Context of Location Privacy », Seda Gürses évoque son travail sur la protection de la vie privée par rapport aux systèmes de surveillance, notamment par la géolocalisation de nos appareils mobiles.

Elle précise qu’il ne s’agit plus seulement de systèmes de surveillance mais de leur optimisation, à laquelle nous contribuons en les utilisant les services qui nous sont offerts. Nous participons tous à la modification des pratiques d’ingénierie logicielle dans la mesure où les logiciels évoluent en fonction de la manière dont nous les utilisons.

Les nouveaux logiciels ne capturent pas seulement des savoirs, ils les optimisent en nous envoyant des signaux nous incitant à agir de manière à réaliser l’optimisation de la valeur d’extraction. L’exemple de la reconnaissance faciale est excellent de ce point de vue. Les machines nous profilent dans un objectif de marketing mais aussi de surveillance de la vie privée.

Elle insiste sur la difficulté d’échapper aux contrôles exercés par la géolocalisation, tant la manière que nous avons de nous situer et de nous déplacer est singulière. Deux manières sont explorées pour échapper au contrôle des fournisseurs d’accès : l’anonymat et les fausses localisations.

Elle évoque la tentative de chercheur.es, à Dresde en 1999, d’anonymiser les infrastructures des téléphones mobiles, rendue difficile car deux téléphones identiques d’un même producteur ont des champs magnétiques différents qui permettent le traçages. Les chercheurs de Dresde, associés à des chercheurs scandinaves ont ensuite tenter de réaliser l’anonymat absolu par la conception d’une ville anonyme. Le principe était de se déplacer chacun.e dans une boîte identique aux autres, à la vitesse de l’individu le plus lent, en sortant aux mêmes horaires, en se déplaçant en même temps que des boîtes contenant des robots, en prenant des chemins différents pour aller à un même endroit, les animaux ayant à se déplacer aussi chacun dans une boîte. Proposition évidemment peu praticable !

Elle évoque l’article Phenetic Urge (2003) qui explique comment les lieux nous définissent et permettent la ségrégation (pauvre dans les quartiers pauvres, riche dans les quartiers riches) mais aussi comment nous définissons les lieux par l’activité que nous y déployons : nous faisons aujourd’hui ce qu’est le Mucem aujourd’hui ; un parc peut être un lieu de loisirs ou un espace de manifestations en fonction de la manière dont l’utilisons à tel moment.

Elle conclut que les services de localisation non seulement nous surveillent en collectant des données mais encore optimisent ces données et l’espace où nous nous trouvons en nous incitant à nous déplacer de telle ou telle manière.

Déconstruire les mythes médiatiques

Peggy Pierrot souligne le lien entre les deux précédentes interventions et la performance d’Anne Laforet à propos du genre et des trans-identités.

Plus elle passe la parole à Jean-Marc Manach qui, dans son intervention « Le Monde dans lequel nous vivons est moins orwellien que kafkaïen », interviendra de manière plus polémique sur les questions de surveillance.

Issu du cinéma underground, de l’art vidéo, vidéo-activisme, Jean-Marc Manach se revendique, au même titre que Peggy et beaucoup d’autres, comme « Bébé Magnan » : c’est d’elle qu’il a reçu son premier email…

Son intervention vise à démonter deux mythes médiatiques :

– la figure du hacker comme casseur : il montre les images de figures cagoulées proposées par Google quand on tape « hacker » et explique que les hackers sont plus du côté des solutions que du côté des problèmes. Il fait la comparaison avec l’anathème porté contre les musulmans : si 100 % des djihadistes se revendiquent musulmans, les musulmans ne sont généralement pas djihadistes. Il rappelle que si la cryptographie était considérée comme arme de guerre et donc interdite à l’exportation jusqu’en 1999, son usage a été libéralisé par Jospin en 1999, pour permettre notamment l’usage des cartes de crédit… Il fait référence au site security.tao.ca sur la gestion des mots de passe, créé en 2000 par des anarchistes canadiens pour se protéger sur Internet dans un environnement très hostile où les activistes écologistes étaient traités d’éco-terroristes.

– la croyance, induite à tort par les révélations Snowden, selon laquelle les services de renseignements exerceraient une surveillance de masse via les boîtes noires. La révélation de l’existence de PRISM, acronyme d’une unité du FBI qui permet de contacter la NSA pour obtenir un accès direct aux données des GAFA, a fait croire à une surveillance de masse par les services de renseignements. Or, sur les milliards d’utilisateurs de Gmail, seuls 500 à 30 000 comptes sont infiltrés tous les six mois.

Il conclut en disant que nous ne sommes pas dans un système orwellien, où chacun.e serait surveillé.e par Big Brother, mais dans un système kafkaïen où c’est à chacun.e de prouver son innocence. Et il regrette la quasi-inexistence de travaux universitaires sérieux sur ces questions et le caractère catastrophique du débat en France.

Il évoque à nouveau Nathalie Magnan qui l’avait introduit aux Cultural Studies, Gender Studies, etc. et appelle de ses vœux le développement d’Intelligent Studies.

Comprendre le fonctionnement des GAFA

Peggy Pierrot relève que les trois interventions ont bien montré que les questions de liberté et de surveillance sont bien plus complexes que les discours réducteurs véhiculés par les média et l’imagination qu’on s’en fait. Elle passe la parole à Vladan Joler.

Dans son intervention « Le Graphe social des employés de FaceBook : un projet du Labs.rs », Vladan Joler, enseignant à l’université de Novi Sad, se présente ici comme détective du numérique, activité qu’il mène dans le cadre du projet Share Lab. Il s’agit d’un travail d’investigation qui doit aider à comprendre comment fonctionnent les algorithmes utilisés par les GAFA puisque ceux-ci sont sur le point de nous gouverner.

Il présente le travail réalisé sur le fonctionnement de Facebook et il insiste sur l’énorme quantité de données qu’il s’attache à étudier et qui se comptent en milliards. Par exemple les revenus de Facebook se montent à 17 930 000 000 dollars, dont 3 528 305 pour la Serbie ; le nombre d’utilisateurs dépasse aujourd’hui le milliard et demi ; il cite les chiffres faramineux du nombre de post, nombre de like, nombre de géolocalisations par jour, par minute, etc.

Il définit Facebook comme une usine immatérielle et ses utilisateur.trices comme les travailleur.es immatériel.les qui fournissent gratuitement 300 000 000 heures de travail par jour.

Le projet de recherche s’est attaché à étudier le personnel (au sens d’employé.es rémunéré.es) de Facebook selon les responsabilités exercées au sein de l’entreprise. Sans surprise, plus on s’élève dans la hiérarchie plus les profils sont conformes : tous ont déjà travaillé pour les GAFA, ils ont les mêmes origines sociales, ont fréquenté les mêmes universités, etc. Ainsi lorsqu’on se rassure sur le fait que les algorithmes sont neutres puisque c’est du pur calcul mathématique sans intervention humaine, il faut avoir en tête (et on peut s’en inquiéter) que l’origine du processus a été pensé et mis en place par des humains qui sont les clones les uns des autres, sans diversité de points de vue ni d’objectifs.

Le travail sur les données, auquel se livrent les GAFA, s’organise en quatre étapes : collecte (qui tu es, où tu es, ce que tu fais, quels appareils connectés tu utilises, quels sites tu visites, etc.), stockage, traitement, exploitation.

Vladan Joler précise que même si tu n’es pas sur Facebook,Facebook collecte les données qui te concernent grâce aux cookies placés sur les sites que tu visites. Ainsi 90 % des sites présents sur la toile ont des cookies de Google, 46 % des cookies de Facebook, 36 % de Genius, 24 % de Twitter.

Certes, légalement, la collecte et l’exploitation des données ne peuvent se faire que si la permission en a été donnée par celle ou celui qui les fournit. Mais, de fait, très peu d’utilisateurs se saisissent de la possibilité qui leur est offerte de refuser ces autorisations en navigant sur tel ou tel site. On est ainsi passé d’un ciblage par groupes d’individus au ciblage personnalisé ou nano-ciblage.

Le Share Lab a aussi dressé la carte des catégorisations de Facebook. Ils ont analysé les 2 000 brevets détenus par Facebook. Cependant Vladan Joler précise qu’ils n’ont pas la possibilité d’accéder à tous les connaissances utiles : les brevets évoluent, la connaissance qu’on peut en avoir est forcément partielle et temporaire. Les machines qui produisent les mécanismes étudiés ont un passé, un présent et un futur, une naissance, une vie, une mort. Descendre dans les profondeurs des boîtes noires permet d’étudier ce que ces systèmes font mais aussi comment ils sont faits.

Vladan Joler conclut que les travaux du Share labs ont une contribution à plus de transparence sur le net et forme l’espoir de voir naître un autre Internet.

Préciser le vocabulaire

Dans son intervention « Make data protection great again », Rayna Stamboliyska rappelle que la question de la protection et de la sécurité des données personnelles est déclinée ad libitum depuis que « notre ami l’agent orange » a été élu aux États-Unis. Or, nous explique Rayna Stamboliyska avec un humour corrosif, la notion de vie privée, que l’on brandit à toute occasion, est inopérante. La définition en est introuvable, elle varie d’un individu à l’autre (ce qui a trait à la vie sexuelle, les activités non-rémunérées…) et l’idée qu’on s’en fait a peu à voir avec les définitions proposées pour l’équivalent anglais privacy (autonomie personnelle, auto-évaluation, communication intime, emotional release).

Elle insiste sur la nécessaire précision du vocabulaire, sans quoi nous ne saurions nous comprendre. Elle propose ainsi de désamorcer l’impact inconsidéré de termes comme les big data en reprenant la définition simple proposée par Benjamin (de Regards citoyens) : ce qui ne tient pas dans une seule machine et nécessite des calculs distants.

Elle rappelle que la loi Informatique et libertés a été adoptée en 1978 et s’étonne que l’on semble découvrir en 2018 que les individus ont des droits sur leur vie privée à travers leurs données à caractère personnel. Comme si le numérique échappait à la loi ordinaire, nous y acceptons ce que nous refuserions dans la vie non-connectée. Elle pointe la hiérarchisation qui s’est instaurée entre qui produit les données et qui les exploite.

Elle en vient à la question des objets du quotidien (réfrigérateur, lave-linge, sex-toy) ou à visée médicale (tensiomètre) dits « intelligents » parce qu’ils sont connectés à l’Internet et questionne cette conception de l’intelligence. Elle alerte sur la sécurité souvent inexistante de ces objets connectés qui collectent ET traitent nos données sans qu’on s’en rende compte, sans que cette structuration production/traitement associées soit claire, qui prennent le contrôle à distance sur nos vies.

Plutôt que de chercher une définition à la notion de vie privée, elle propose de définir des degrés d’intimité : est-ce que je préfère laisser prendre le contrôle à distance de mon sex-toy ? Ou de mon réfrigérateur ?

Des questions imbriquées et complexes

Peggy Pierrot souligne le caractère polémique des sujets abordés cet après-midi, convient qu’ils sont difficiles à appréhender, précise que les notions et les nombreux sigles utilisés par les intervenant.es peuvent être explicités si nécessaire pendant les débats qui vont suivre.

Première question de la salle, à Jean-Marc Manach : on a compris pourquoi « pas Orwell » mais pourquoi Kafka ?

J.-M. Manach donne trois exemples des biais à l’œuvre dans les logiciels de surveillance utilisés par la police prédictive qui conduisent à soupçonner des comportements délinquants où il n’y en a pas : automobilistes soupçonnés de vol de voiture et arrêtés brutalement à cause d’une lecture erronée de leur plaque d’immatriculation par les caméras de surveillance ; comportement défini comme suspect par le système de surveillance de la Ratp (primée aux Big Brother Awards) si l’on remonte un escalier immédiatement après l’avoir descendu. Il cite également les « doigts brûlés » des réfugiés à Calais pour contourner le « dublinage », renvoi dans le pays où les empreintes digitales ont été prises. Il conclut que le système décrit par Orwell correspond aux régimes dictatoriaux alors que l’État de droit, garanti par les contre-pouvoirs dans nos démocraties occidentales, dérive, par les biais des algorithmes de surveillance, vers un système kafkaïen dans lequel chacun.e peut être accusé.e et doit fournir la preuve de son innocence.

De la salle, Patrice Riemens renvoie sur ces questions au livre éclairant de Cathy O. Neil, Weapons of Math Destruction. Puis il revient sur la notion de vie privée et fait un parallèle avec la pornographie : si on ne peut la définir, on voit bien ce qui se passe… Pour la vie privée, on voit tout de suite quand elle est violée, c’est une question d’éthique.

Rayna Stamboliyska s’inscrit en faux. Pour elle c’est une question d’appréciation personnelle : certain.es ne s’inquiètent pas d’être profilé.es et considèrent qu’il s’agit d’un moyen pratique d’optimiser leur consommation sans avoir besoin de faire ses propres recherches. Elle revient sur la question de l’éthique qu’elle définit comme un système de valeurs, sur lequel il y a consensus et, à ce titre, protégé par la loi. Mais elle relève la dimension morale de l’éthique, pas forcément partageable, et sur le fait que nous ne sommes pas tous égaux devant la loi. Si les contrats de droit privé sont négociables et négociés, Facebook et autres imposent des conditions d’utilisation non négociables.

Seda Gürses distingue la protection des données de la protection de la vie privée, qui relève du droit mais aussi des normes sociales : l’espace privé est aujourd’hui envahi par des machines intrusives qui respectent plus l’intimité de la maison.

D’un point de vue légal, la collecte et l’exploitation des données sont autorisées comme instrument du marché à condition de préciser ce qu’on collecte et pour quel usage. Mais la puissance économique des GAFA leur donne la puissance politique de ne plus respecter l’éthique. La soi-disant neutralité mathématiques des algorithmes doit être questionnée dans la mesure où ils sont programmés par des êtres humains qui biaisent l’ensemble du processus. L’éthique est un sujet politique.

Une autre question est adressée à J.-M. Manach : comment en apprendre plus pour une juste interprétation des révélations de Snowden ?

J.-M. Manach renvoie à son ouvrage De la surveillance de masse à la paranoïa généralisée. Il rappelle la distinction entre collecte de masse et surveillance de masse. Il précise que la loi de 2015 a pâti de la mauvaise interprétation généralisée de ces révélations, sur lesquelles lui-même a mis plusieurs mois à se faire une idée juste : tout le monde était sonné, plus personne n’avait les idées claires. Cependant cette loi impose aux services de renseignements français d’effacer les données collectées quand elles portent un identifiant français. À l’inverse les services de renseignements étrangers peuvent collecter les données de ressortissants français mais ne le font pas puisqu’ils ne sont pas leur cible.

Quelqu’un dans la salle réagit en disant que le fait d’être potentiellement sur écoute est déjà un danger.

J.-M. Manach répond qu’en effet on est écoutable mais généralement pas écouté, qu’on le savait bien avant Snowden et qu’on avait appris à s’en protéger. La question aujourd’hui n’est plus d’avoir son quart d’heure de célébrité mais son quart d’heure d’anonymat.

Pour Seda Gürses, si l’épisode Snowden a mis en garde contre la surveillance de masse, la surveillance ciblée sur les individus est une atteinte plus grave au droit des personnes. Elle est cependant mieux acceptée au prétexte qu’on ne surveille pas les « bonnes personnes » mais seulement les « individus suspects » comme la montré le recours à l’état d’urgence en 2017. Or la défense des libertés ne doit pas s’arrêter à une telle distinction.

Une dispute s’ensuit entre Vladan Joler et J.-M. Manach sur l’opposition entre capitalisme de surveillance et surveillance d’État.

Quelqu’un demande ce que c’est que les Zelig aujourd’hui.

J.-M. Manach répond qu’après les trois conférences Zelig organisées au début des années 2000, qui réunissaient artistes, activistes, hackers, chercheurs, il n’y a plus eu de rencontres de ce type, que nous faisons revivre pour la première fois pendant ces trois journées au Mucem.

Depuis la salle, Philippe Rivière revient sur la traduction du terme smart pour laquelle il préfère « espion » à « intelligent » : un téléphone ou un sex toy connectés sont des téléphones ou sex toys espions. C’est plus clair.

De la salle la question est posée des issues possibles à l’alternative utiliser ou non les systèmes qui nous contrôlent. Quelle pression sociale pour nous affranchir collectivement de ces systèmes qui s’engraissent sur notre dos ?

Vladan Joler souligne le coût social qu’il y à refuser ces systèmes (recherche d’emploi, obtention d’un visa…). Il évoque la perspective de la mort des réseaux sociaux à partir du moment où le modèle économique qui les fonde aura disparu. Il fait référence à l’effondrement de Friendster.

R. Stamboliyska soulève une autre question : s’agissant de la myriade de sites ouverts par des start up fragiles : que deviennent les données recueillies quand les entreprises disparaissent ? Jusqu’ici une seule a mis en place un plan de restitution. Que sont devenues les autres ? Rachetées sans que leurs producteurs de données en aient eu connaissance ?

Le quart d’heure de pause ayant été englouti, Peggy Pierrot annonce qu’on va enchaîner immédiatement avec la présentation de Louise Drulhe.

Navigation :Atlas critique d’Internet,Louise Drulhe

Philippe Rivière introduit le travail de Louise Drulhe, œuvre d’art et parfaite réponse conceptuelle à la question « comment expliquer Internet » d’un point de vue structurel, topographique, géométrique.

Louise Drulhe présente son travail de recherche plastique et théorique à travers son Atlas critique d’Internet : elle utilise l’analyse spatiale comme clé de compréhension des enjeux sociaux, politiques et économiques présents sur Internet. Elle explique comment elle détourne les outils du web pour faire des livres, des vidéos et décliner ses projets sur de nombreux supports. Elle présente également sa vidéo Block Chain, une architecture du contrôle. Les deux œuvres sont consultables dans l’exposition.

Le dernier acte de Nathalie Magnan a été d’appeler l’attention sur celles et ceux qui, chaque jour, tentent de traverser la Méditerranée au péril de leur vie. Pour répondre à ce voeu, nous vous proposons de soutenir l’association civile de sauvetage en mer, SOS MEDITERRANEE.

Publication originale : http://www.bandits-mages.com/blog/2018/03/17/trans-border-les-enseignements-de-nathalie-magnan-video-n5/