Il faisait ses courses tranquillement, l’IA du magasin le prend pour un voleur

Imaginez faire tranquillement vos courses, scanner vos produits et votre carte de fidélité, puis apprendre que vous êtes… interdit de magasin. Non pas parce que vous avez oublié de payer. Mais parce qu’une technologie de reconnaissance faciale IA vous aurait associé à un ancien incident. 

Il va de soi que vous n’allez pas remercier la boutique. Seulement, ce n’est pas une de ces histoires qu’on redoute. C’est exactement ce qui est arrivé à Matt Arnold, 46 ans, dans un magasin Sainsbury’s d’East Dulwich, au sud-est de Londres. 

Que s’est-il passé ?

Eh bien, Arnold est un organisateur de spectacles d’humour. Il était venu faire quelques achats avant une soirée prévue au club de football de Dulwich Hamlet. Mais son passage en caisse ne s’est pas déroulé comme prévu. 

Après avoir scanné ses articles et sa carte Nectar, il a été interpellé par deux responsables du magasin. Ceux-ci lui ont expliqué qu’il ne pouvait pas être servi en raison d’un incident antérieur. Ils lui ont ensuite demandé de quitter les lieux et ont même tenté de l’accompagner vers la sortie.

« Ils m’ont simplement dit qu’ils allaient me raccompagner », raconte-t-il. Arnold a alors préféré partir seul. Histoire de conserver un minimum de dignité dans une situation particulièrement embarrassante.

Arnold a demandé que ses courses restent dans son chariot afin qu’un collègue puisse venir les récupérer. Et en quittant le magasin, il a aperçu l’explication sur un écran de vidéosurveillance. Un cercle rouge entourait son visage. 

Il a alors compris qu’il avait probablement été signalé par le système de reconnaissance faciale utilisé dans le magasin. Ce qui l’a surtout marqué, c’est l’attitude du personnel.

Selon lui, personne n’a semblé remettre en question l’alerte affichée par le système. « Ils ont simplement suivi aveuglément les instructions de la machine », estime-t-il.

Comment le magasin a réagit ?

Le lendemain, Sainsbury’s a contacté Arnold pour présenter ses excuses. L’enseigne a également suspendu temporairement l’outil de de reconnaissance faciale Facewatch dans ce magasin. Le temps d’enquêter.

L’enseigne rejette toutefois l’idée que le problème vient de l’outil en question. Selon elle, l’incident serait dû à une erreur humaine dans le traitement de l’alerte. 

Un porte-parole a expliqué que Facewatch affiche un taux de précision de 99,98 %. Cependant, chaque identification doit être vérifiée par un responsable formé avant toute intervention. 

Facewatch tient exactement le même discours. Son porte-parole affirme qu’une alerte correcte avait bien été envoyée au magasin tandis qu’une erreur humaine s’est produite lors de son traitement. 

La suspension du système à East Dulwich serait donc une simple « mesure de précaution ». Elle doit permettre au personnel de suivre une formation complémentaire et d’éviter que le scénario ne se reproduise.

Sainsbury’s précise par ailleurs que les alertes restent visibles sur les appareils du personnel pendant une durée maximale d’une heure. Les erreurs d’identification doivent également être enregistrées.

Pourquoi ne pas couper le système de reconnaissance facile partout ? 

Inutile de vous dire pour Arnold, suspendre Facewatch dans un seul magasin ne suffit pas. Il estime que le problème dépasse largement son propre cas. Il concerne la manière dont les humains utilisent les décisions produites par les machines.

D’autant que son expérience n’est pas totalement isolée. En septembre dernier, Warren Rajah avait lui aussi été expulsé d’un magasin Sainsbury’s à Elephant and Castle après avoir été identifié à tort par Facewatch. 

Des incidents similaires ont également été rapportés dans des magasins Home Bargains et B&M. Arnold craint surtout les conséquences pour les personnes qui auraient davantage de difficultés à se défendre face à une accusation injustifiée. 

Une mauvaise identification peut sembler n’être qu’une simple erreur informatique. Pour la personne concernée, elle peut pourtant devenir une expérience particulièrement humiliante. 

Il ne rejette pas forcément toute forme de surveillance. Mais il refuse que les employés considèrent automatiquement une alerte informatique comme une vérité absolue.

« Ce qui n’est pas nécessaire, c’est de laisser les machines prendre des décisions et de s’attendre ensuite à ce que les humains obéissent sans broncher », résume-t-il. 

Et personnellement, je ne peux qu’être d’accord.

ARTICLES SIMILAIRES