Robot e razzismo

Foto di mia proprietà

Un aspetto interessante e poco trattato riguardante l'avvento dei robot è il fenomeno del razzismo, inteso in senso generico come immotivati favori o disfavori ad un determinato gruppo etnico, religioso, sessuale, etc.
L'uso sempre più pervasivo di algoritmi ad apprendimento automatico, un tempo generalmente chiamati sistemi esperti, anche se raramente si intende far riferimento ad algoritmi realmente in grado di auto-riprogrammarsi, quanto piuttosto a comportamenti adattivi dell'algoritmo sulla base dell'esperienza dei dati passati e dei successi o dei fallimenti.
Questo tipo di algoritmi vengono sempre più utilizzati proprio in situazioni fortemente a rischio.
Un esempio, ma è solo un esempio, può essere quello dell'uso che viene fatto di queste metodologie nella pre-selezione del personale.
Il problema non è o, perlomeno, non è solamente legato ad una assenza di etica, ma è intrinseco al processo stesso di auto-apprendimento.
Prendiamo l'uso predominante di questi tool che avviene nella fase di pre-selezione di una short list di candidati.
Se la scrematura avviene con criteri di valutazione, da parte di esseri umani, con intenti, anche inconsciamente, discriminatori, il programma affinerà la propria capacità di selezione orientandosi verso quel tipo di discriminazione andando, molto probabilmente, per la sua stessa intrinseca efficienza, al di là delle intenzioni e della pratica degli esseri umani che ne valutano le performance.
Esemplificando, se un HR manager riceve 10.000 cv e di questi il robot ne seleziona 20 e ha un feedback positivo su 10 di questi, tutti di candidati con gli occhi azzurri, tenderà, man mano, a selezionare persone con gli occhi di quel colore, con le conseguenze, dal punto di vista etnico, che questa scelta sottende.
Questo anche nella auspicabile ipotesi che sia l'algoritmo che l'HR manager siano in buona fede e ciò avvenga per una discriminazione incoscia nel soggetto umano e non programmata nell'algoritmo.
Queste caratteristiche di rischio intrinseco nel metodo possono essere, anche in modo sottile, acuite da una programmazione apposita dell'algoritmo e/o da richieste e feedback faziosi del soggetto umano.
Più sottilmente, a titolo di esempio, da un dato apparentemente neutro come lo sport preferito, in USA, dove l'uso di questi algoritmi è già largamente diffuso, potrebbe essere favorita una certa nazionalità ancestrale, senza chiedere mai dati sensibili come appunto le origini del candidato.
Generalizzando: se un algoritmo è in grado di stabilire, anche in via surrettizia, un dato sensibile, potenzialmente discriminatorio, ad esempio genere, razza, religione, etc. analizzando altri dati in suo possesso, anche se quel dato sensibile non è presente, potenzialmente quei dati non sensibili possono essere utilizzati in modo discriminatorio.
Non è un problema etico irrilevante, perchè questa prima scrematura, ad esempio nel caso di esempio dei cv, può portare a risultati paradossali e magari non voluti.
In un sistema come quello attuale, dove l'offerta di lavoro è costantemente scarsa e i cv inviati sono numerosissimi per ogni posizione, alcuni sottogruppi, magari anche impensabili, potrebbero essere estromessi completamente dal mondo del lavoro senza nemmeno sapere il perchè e per colpa di chi.
Il mio esempio relativo alla selezione del personale è solo uno dei tanti possibili, pensiamo alle assicurazioni, sia sulla vita che danni, ai prestiti, etc.
Qualunque campo può essere, prima o poi, ricompreso in un utilizzo di algortmi decisionali con criteri di auto-apprendimento, lasciare libero sfogo ad algoritmi anetici e senza regole può potenzialmente produrre danni incalcolabili.