di Almost Studio
Tempo di lettura stimato: 8'
In occasione del lancio di un rapporto sull’uso della profilazione del rischio da parte delle autorità competenti in materia di ordine pubblico, sicurezza sociale e immigrazione, Amnesty International ha dichiarato che tali sistemi sono incompatibili col diritto internazionale e devono essere vietati.
Quello diffuso oggi è il primo rapporto in assoluto a prendere in esame la relazione tra profilazione del rischio e standard del diritto internazionale dei diritti umani.
La profilazione del rischio, ossia la valutazione della probabilità che una persona o un gruppo di persone violeranno la legge o un regolamento in modo da identificare potenziali autori di reati prima che questi vengano commessi, è sempre più affidata all’intelligenza artificiale. Già in molte occasioni ha causato violazioni dei diritti umani.
“Il nostro rapporto spiega in che modo i sistemi di profilazione del rischio colpiscono i diritti umani e offre spunti scientifici e giuridici per contestare il loro uso da parte degli stati o di attori non statali”, ha dichiarato Alexander Laufer, ricercatore di Amnesty International Paesi Bassi su tecnologia e diritti umani.
Tali sistemi sono utilizzati nelle indagini su frodi nel settore pensionistico in Danimarca o in tema di sussidi statali nei Paesi Bassi, nella concessione di permessi di soggiorno in Francia e nei programmi automatizzati di recupero dei debiti in Australia.
I sistemi di profilazione del rischio sono spesso esaltati, in contesti di asserita scarsità di risorse, come strumenti per rendere efficienti i servizi statali, migliorare il rapporto costi-benefici, prevenire reati e controllare l’immigrazione. Questa narrazione va smontata in quanto non è sostenuta da dati empirici e torna comoda, da un punto di vista politico, in quanto trasforma la povertà e altre questioni sociali da problemi politici in problemi di “efficienza”, che possono essere risolti attraverso l’automazione e la sorveglianza.
Essere “profilati” in contesti a rischio come l’ordine pubblico, la sicurezza sociale e l’immigrazione può causare gravi danni: disagi psicologici, stigmatizzazione, imputazioni false di reati, possibile privazione di un alloggio, espulsione, diniego ingiusto di sussidi statali e persino il carcere.
Il rapporto di Amnesty International mette in evidenza effetti strutturali e intersezionali, spesso sottovalutati, dell’uso discriminatorio di sistemi di profilazione del rischio, anche quando vengono presentati dai governi come strumenti obiettivi. Tale tecnologia viola il diritto all’uguaglianza e alla non discriminazione e produce forme di discriminazione basate sulla etnia, sulla razza, sul genere, sulla condizione socioeconomica e sulla disabilità.
A essere più colpiti sono i gruppi marginalizzati. Le persone razzializzate, musulmane, in movimento, con disabilità, malate croniche e a basso reddito hanno maggiori probabilità di essere descritte come “sospette”, poste sotto costante sorveglianza e oggetto di provvedimenti dannosi nei loro confronti.
“Il tutto è peggiorato dalla marcata mancanza di trasparenza, che rende le persone impotenti e incapaci di sfidare questi sistemi e le decisioni che colpiscono i loro diritti. A rischio sono poi ulteriori diritti: a un processo equo, alla presunzione d’innocenza, alla privacy, alla protezione dei dati, alla sicurezza sociale, ad adeguati standard di vita e alla piena realizzazione della dignità umana”, ha sottolineato Laufer.
Queste conseguenze discriminatorie vanno al di là del pregiudizio e dei diritti individuali. Se la riduzione dei reati e delle frodi può essere un motivo legittimo per giustificare l’uso di questi sistemi, il loro impiego può fornire una copertura alla sorveglianza di intere comunità e danneggiare in modo sproporzionato i diritti umani.
“Il modo in cui questi strumenti sono usati può essere frutto di preesistenti stereotipi e pregiudizi, che considerano i gruppi marginalizzati di per sé criminali o pericolosi. Persone e gruppi sono trasformati in statistiche, sospetti del tutto teorici diventano sospetti concreti, pregiudizi pregressi ne generano di nuovi”, ha aggiunto Laufer.
Amnesty International ha riscontrato che i procedimenti governativi per creare sistemi di profilazione del rischio sono privi di rigorose metodologie scientifiche in grado di scongiurare la produzione di risultati fuorvianti o la loro cattiva interpretazione.
Spesso i governi descrivono la profilazione del rischio come un modo efficiente, dal punto di vista dei costi, di contrastare la criminalità, le frodi nel campo della sicurezza sociale e l’immigrazione irregolare. Tuttavia, ci sono ben poche prove scientifiche in grado di validare queste affermazioni. Al contrario, le ricerche mostrano che questi strumenti sono dubbi dal punto di vista scientifico e sistematicamente imprecisi.
Prevedere se una persona commetterà un reato o compirà una frode nel campo della sicurezza sociale è un’impresa scientificamente ardua. I dati richiesti per arrivare a tale risultato con qualità e accuratezza sufficienti non sono e non saranno mai a disposizione.
Comportamenti complessi come il compimento di un crimine o di una frode sono estremamente difficili da misurare, prevedere e verificare. Di conseguenza, si ricorre a indicatori alternativi e approssimativi, quali, ad esempio, un nuovo arresto per prevedere un successivo reato o un errore involontario al posto di una documentazione falsa, con rischi elevati per le comunità razzializzate e marginalizzate.
In conclusione, la validità scientifica dei modelli di profilazione del rischio è fondamentalmente debole mentre può avere gravi conseguenze sulle persone. La profilazione del rischio è davvero difficile da giustificare.
“I tentativi di prevedere comportamenti fraudolenti o criminali spesso si traducono nel considerare automaticamente sospette le comunità e le persone marginalizzate, in assenza di un processo decisionale basato sulle prove. È impossibile creare un algoritmo obiettivo e neutrale per la profilazione del rischio. I dati riguardanti le persone non sono mai obiettivi. Quando un governo utilizza dati pregressi per prevedere chi commetterà un crimine come la frode, inevitabilmente prende di mira persone appartenenti a gruppi storicamente oppressi o marginalizzati, riproducendo e aggravando le ingiustizie del passato. Non c’è una soluzione tecnica per risolvere queste questioni sociali”, ha sottolineato Laufer.
Amnesty International e altri hanno documentato casi di studio che mostrano che i sistemi di profilazione del rischio associano sproporzionatamente a un più alto rischio criminale o finanziario persone che hanno subito una o più forme di discriminazione o marginalizzazione.
La profilazione del rischio nel campo dell’immigrazione, del controllo della criminalità e dell’individuazione di frodi in materia di sicurezza sociale, basata tanto sui dati quanto sulle leggi, dovrebbe essere vietata in contesti dove molto è in gioco, anche quando sono gli esseri umani a prendere le decisioni finali. Gli stati dovrebbero rafforzare i divieti già esistenti o introdurne di nuovi, in attesa dell’adozione dei quali non dovrebbero usare tali sistemi né svilupparli, produrli e venderli.