Seguici anche su

4 ottobre 2016

Gli algoritmi sono armi di distruzione matematica

Secondo l’analista Cathy O’Neil l’oggettività degli algoritmi è una chimera. E molti di essi sono uno strumento di oppressione in mano alle élites di potere

 

Dal numero di pagina99 in edicola il 1° ottobre

Viviamo un’epoca in cui il calcolo matematico, di per sé neutro, è diventato il messia che trascina le umane sorti e progressive verso un orizzonte senza errore. E se invece gli algoritmi fossero “armi di distruzione matematica”? Dai loro impatti negativi sulla vita di molte persone mette in guardia Cathy O’Neil nel suo ultimo libro, Weapons of Math Destruction (Crown, pp. 272, $ 26). O’Neil, dopo il dottorato in matematica a Harvard, ha lavorato come analista di dati per il fondo speculativo D.E. Shaw: la crisi finanziaria del 2008 l’ha perciò vissuta dietro le quinte, disilludendosi sulla bontà dell’uso degli strumenti matematici.

Secondo O’ Neil, l’oggettività degli algoritmi che sempre più intervengono nella nostra vita è una chimera: essi, infatti, si basano sull’azione fallibile dell’essere umano. Che può essere inconsapevole, e l’algoritmo comunque codificherà i pregiudizi e i fraintendimenti; o peggio ancora volontaria. La tesi su cui poggia l’intera riflessione è che molti algoritmi utilizzati dalle grandi aziende e dalle istituzioni sono uno strumento di oppressione in mano alle élites di potere.

Il modello che fa di un algoritmo un’arma di sopraffazione ha tre caratteristiche: grande diffusione, opacità (ovvero quando la formula è segreta e le persone a cui è mirata non sanno come procede) e dannosità. Sono molti gli esempi con cui O’Neil sostiene il suo ragionamento. Uno dei più impressionanti è quello dell’algoritmo che prevede dove si verificheranno i crimini futuri sulla base dei crimini passati, posizionando qui la polizia con funzione deterrente – ed è evidente il circolo vizioso razzista e determinista del modello.

Un altro esempio è l’opaco sistema che utilizza i test compilati dagli studenti per la valutazione degli insegnanti: è stato dimostrato che il gruppo di una classe, 25 persone circa, è statisticamente inaffidabile; eppure il sistema viene usato per licenziare docenti; inoltre l’algoritmo viene applicato soprattutto nei distretti scolastici urbani, spesso collocati nei quartieri più poveri; il risultato è che gli insegnanti migliori posso venire ingiustamente licenziati o condotti a esercitare la professione nei distretti che non si basano su questo sistema arbitrario (lasciando i peggiori maestri nei peggiori ambienti).

La matematica degli algoritmi è neutra. Con leggi e sistemi di monitoraggio efficienti può illuminare e integrare ogni aspetto della vita. Che però è umana. È per questo, sostiene O’Neil, che dobbiamo tenere gli occhi aperti. Consegnare i nostri processi decisionali a un computer che processa dati storici significa continuare a ripetere la storia (fatta anche di ingiustizia e disparità). Gli algoritmi «codificano il passato, non inventano il futuro – scrive – che necessita di immaginazione etica, una cosa che solo l’uomo è in grado di fornire».

Altri articoli che potrebbero interessarti