Guerre di Rete - AI Act, infine

Cosa prevede la legge Ue sull'intelligenza artificiale. AI e pregiudizi. Ucraina e tech.

Guerre di Rete - una newsletter di notizie cyber
di Carola Frediani
N.183 - 16 marzo 2024

(Comunicazioni di servizio)
Specie per i nuovi, ricordo che questa newsletter (che oggi conta più di 13mila iscritti - ma molti più lettori, essendo pubblicata anche online) è gratuita e del tutto indipendente, non ha mai accettato sponsor o pubblicità, e viene fatta nel mio tempo libero. Se vi piace potete contribuire inoltrandola a possibili interessati, o promuovendola sui social. Molti lettori sono diventati sostenitori facendo una donazione.

In più, il progetto si è ingrandito con un sito indipendente e noprofit di informazione cyber, GuerrediRete.it. Qui spieghiamo il progetto. Qui l’editoriale di lancio del sito
Qui una lista con link dei nostri progetti per avere un colpo d’occhio di quello che facciamo.

→ Nel 2024 si è aggiunta Digital Conflicts, una newsletter bimensile in inglese, che per ora sarà principalmente una trasposizione della newsletter italiana, con alcune aggiunte e modifiche pensate per un pubblico internazionale (e con particolare attenzione all’Europa).
Qui leggete il primo numero.
Qui per iscriversi..

Qui invece potete scaricare gratis il primo ebook di Guerre di Rete che si intitola Generazione AI ed è dedicato agli ultimi sviluppi dell’intelligenza artificiale (uscito a settembre).

In questo numero:
- L’Unione europea ha la sua legge sull’intelligenza artificiale
- Dove nascono e dove vanno i talenti nell’AI
- LLM e pregiudizi razziali
- Bias e lavoro
- UNESCO sui pregiudizi di genere
- Ucraina, come funziona l’incubatore defense tech BRAVE1
- Apple e DMA
- In breve
- La newsletter va in vacanza per Pasqua, si torna subito dopo

AI ACT
L’Unione europea ha la sua legge sull’intelligenza artificiale

E così il 13 marzo il Parlamento europeo ha approvato l’AI Act, il regolamento europeo sull’intelligenza artificiale. In estrema sintesi e lasciando a margine vari dettagli ecco quello che c’è da sapere.

Concluse quelle che sono ormai delle formalità, l’AI Act diventerà ufficialmente legge entro maggio o giugno e le sue disposizioni inizieranno a entrare in vigore per gradi:

- 6 mesi dopo: i Paesi saranno tenuti a proibire i sistemi di AI vietati

- 1 anno dopo: inizieranno ad applicarsi le regole per i sistemi di intelligenza artificiale di uso generale

- 2 anni dopo: il resto della legge sull'AI sarà applicabile

- 36 mesi dopo: gli obblighi per i sistemi ad alto rischio

Le sanzioni in caso di non conformità possono arrivare fino a 35 milioni di euro o al 7% del fatturato annuo mondiale.

Vietate/i:

• Sfruttamento delle vulnerabilità di persone o gruppi in base all'età, alla disabilità o allo status socio-economico

• Le pratiche manipolatorie e ingannevoli, sistemi che usino tecniche subliminali per distorcere materialmente la capacità decisionale di una persona

• Categorizzazione biometrica ovvero la classificazione di individui sulla base di dati biometrici per dedurre informazioni sensibili come razza, opinioni politiche o orientamento sessuale (eccezioni per le attività di contrasto)

• Punteggio sociale (valutazione di individui o gruppi nel tempo in base al loro comportamento sociale o a caratteristiche personali)

• Creazione di database di riconoscimento facciale attraverso lo scraping non mirato di immagini da internet o da filmati di telecamere a circuito chiuso

• Inferenza delle emozioni nei luoghi di lavoro e nelle istituzioni educative (eccezioni per motivi medici o di sicurezza)

• Le pratiche di valutazione del rischio di commettere un reato basate esclusivamente sulla profilazione o sulla valutazione delle caratteristiche di una persona

Non è del tutto vietata bensì limitata l’identificazione biometrica in tempo reale in spazi accessibili al pubblico - sulla base di circostanze definite (gli usi ammessi includono, ad esempio, la ricerca di una persona scomparsa o la prevenzione di un attacco terroristico) che richiedono un'approvazione giudiziaria o di un’autorità indipendente.
L’identificazione biometrica a posteriori è considerata ad alto rischio. Per questo, per potervi fare ricorso, l'autorizzazione giudiziaria dovrà essere collegata a un reato.

Seguono gli ambiti che non sono vietati ma sono considerati “ad alto rischio” e che dunque saranno valutati prima di essere immessi sul mercato e anche durante il loro ciclo di vita e su cui i cittadini potranno presentare reclami alle autorità nazionali.
Includono non solo le infrastrutture critiche o le componenti di sicurezza ma anche la formazione scolastica (per determinare l'accesso o l'ammissione, per assegnare persone agli istituti o ai programmi di istruzione e formazione professionale a tutti i livelli, per valutare i risultati dell'apprendimento delle persone, per valutare il livello di istruzione adeguato per una persona e influenzare il livello di istruzione a cui potrà avere accesso, per monitorare e rilevare comportamenti vietati degli studenti durante le prove); la gestione dei lavoratori (per l'assunzione e la selezione delle persone, per l'adozione di decisioni riguardanti le condizioni del rapporto di lavoro, la promozione e la cessazione dei rapporti contrattuali, per l'assegnazione dei compiti sulla base dei comportamenti individuali, dei tratti o delle caratteristiche personali e per il monitoraggio o la valutazione delle persone); servizi essenziali inclusi i servizi sanitari, le prestazioni di sicurezza sociale, servizi sociali, ma anche l’affidabilità creditizia; l’amministrazione della giustizia (inclusi gli organismi di risoluzione alternativa delle controversie); la gestione della migrazione e delle frontiere (come l'esame delle domande di asilo, di visto e di permesso di soggiorno e dei relativi reclami).

I sistemi di AI per finalità generali e i modelli su cui si basano (inclusi i grandi modelli di AI generativa) dovranno rispettare una serie di requisiti di trasparenza come: divulgare che il contenuto è stato generato dall'AI; fare in modo che i modelli non generino contenuti illegali; pubblicare le sintesi dei dati protetti da copyright utilizzati per l'addestramento. I modelli più potenti, che potrebbero comportare rischi sistemici, dovranno rispettare anche altri obblighi, ad esempio quello di effettuare valutazioni dei modelli, di valutare e mitigare i rischi sistemici e di riferire in merito agli incidenti.

I Paesi dell'UE dovranno istituire e rendere accessibili a livello nazionale spazi di sperimentazione normativa e meccanismi di prova in condizioni reali (in inglese sandbox), in modo che PMI e start-up possano sviluppare sistemi di AI prima di immetterli sul mercato.
(sintesi via il testo, il documento del Parlamento europeo, e i commenti di Luiza Jarovsky e Barry Scannel)
Qui il testo approvato.

C’è un’infinità di reazioni all’AI Act, molte positive e celebrative, ma per ora riporto solo una paio di comunicati fra chi voleva un AI Act più fermo nella protezione di alcuni diritti.
“Sebbene la legge sull'AI possa avere aspetti positivi in altri settori, è debole e consente persino l'uso di sistemi di AI rischiosi quando si tratta di migrazione”, scrive la coalizione #ProtectNotSurveill .
“Non riesce a vietare completamente alcuni degli usi più pericolosi dell'AI, tra cui i sistemi che consentono la sorveglianza biometrica di massa”, ribadisce l’ong Access Now.

Per altri dettagli sull’AI Act, ad esempio il tema open source, leggete questa mia precedente newsletter.

AI RESEARCHERS
Dove nascono e dove vanno i talenti nell’AI

Gli Stati Uniti rimangono “importatori” di ricercatori sull’intelligenza artificiale, ovvero sono la destinazione principale per i talenti AI di alto livello che studiano e lavorano, ma la Cina sta progressivamente aumentando il proprio bacino a livello nazionale.

Oltre agli Stati Uniti e alla Cina, il Regno Unito e la Corea del Sud, insieme all'Europa continentale, hanno leggermente alzato il loro profilo come destinazioni di lavoro per i migliori ricercatori di AI. In particolare in Europa spiccano Francia e Germania tra i Paesi che producono un numero rilevante di ricercatori di AI di alto profilo, e che in parte riescono anche a trattenere o attirare.

Sono alcuni dei dati recentemente aggiornati del Global AI Talent Tracker 2, basato sull’analisi di profili professionali.

“I principali Paesi d'origine dei ricercatori di AI più elitari (top ~2%, sulla base dei titoli di studio universitari)”, secondo il tracker, sono così distribuiti: Usa 28 %, Cina 26%, India 7%, Francia 5%, Germania 4%, Canada 2%, Altri 28%.
Ma se guardiamo invece dove lavorano, ecco che la distribuzione si modifica: Usa cresce al 57%, Cina diminuisce al 12%, compare UK all’8%, Germania e Francia resistono quasi stabili al 4%, Canada 3 e Altri 12.

La proposta a Biden per un centro nazionale su AI

In questo quadro altamente competitivo, di tipo geopolitico, si inserisce un’altra mappatura, che è quella del rapporto (e delle fitte relazioni) tra ricerca pubblica e privata. Ne avevo scritto mesi fa nell’introduzione alla nostra monografia sull’AI, quando raccontavo che, secondo il report AI Index della Stanford University, l’industria ha preso il sopravvento. Ora in questi giorni, riporta il WashPost, Fei-Fei Li, una delle pioniere che ha fatto avanzare il deep learning (definita “madrina dell’AI” così riequilibriamo tutti i “padrini” che abbiamo visto citati sui media nei mesi scorsi), professoressa a Stanford e codirettrice del Human-Centered AI Institute, ha chiesto a Biden di finanziare un centro nazionale di potenza di calcolo e set di dati. Un centro che dovrebbe rientrare in parte in un "investimento moonshot" (straordinario), che permetta ai migliori ricercatori di AI del Paese di tenere il passo con i giganti della tecnologia.

Il ruolo dei privati

Li - scrive il WashPost - è in prima linea in un coro crescente di accademici, politici ed ex dipendenti, secondo i quali il costo elevato dei modelli di AI sta allontanando i ricercatori pubblici dal settore, compromettendo lo studio indipendente di questa tecnologia nascente.

“Mentre aziende come Meta, Google e Microsoft investono miliardi di dollari nell'AI, si sta creando un enorme divario di risorse anche nelle università più ricche del Paese. Meta mira a procurarsi 350.000 chip di computer specializzati - chiamati GPU - necessari per eseguire calcoli giganteschi sui modelli di AI. Per contro, il Natural Language Processing Group di Stanford dispone di 68 GPU per tutto il suo lavoro”, sostiene il WashPost.

Nel 2022 l'industria tecnologica ha creato 32 modelli significativi di apprendimento automatico, mentre il mondo accademico ne ha prodotti tre, con una significativa inversione di tendenza rispetto al 2014, quando la maggior parte delle scoperte nel campo dell'AI aveva avuto origine nelle università, scriveva il già citato rapporto di Stanford.

Ma l’AI deve essere fatta davvero così? E richiede davvero tutti questi investimenti?

Su questo è intervenuta anche Meredith Whittaker, chief advisor dell’AI Now Institute e presidente di Signal, che però sposta la prospettiva. Nel senso, è vero che Big Tech ha l'infrastruttura, i dati, la capacità di pagare i talenti e l'accesso al mercato che nessun altro ha. “Quindi, come accademici, o pagate al dettaglio per l'accesso, o lo ottenete a prezzo scontato/gratuito legandovi a Big Tech (tramite doppia affiliazione o semplicemente venendo assunti)”, twitta Whittaker. “Ma le attuali proposte per alleviare questo squilibrio lo aggravano in larga parte. E cioè nella misura in cui equivalgono al fatto che il governo paga Big Tech per far accedere gli accademici alle sue risorse. Questo rafforza il controllo di Big Tech e normalizza ulteriormente l'accesso alle sue infrastrutture come "il modo in cui l'AI viene fatta". Non solo. Accettando l'idea che tale accesso sia necessario, si dà per buono anche il presupposto che questa AI richieda una mole di investimenti che potrebbero essere spesi altrimenti, conclude Whittaker, mettendo implicitamente in discussione proprio tale assunto.

AI E PREGIUDIZIO
LLM e pregiudizi razziali

Come sapete da anni si studiano i bias, i pregiudizi, presenti in modo più o meno esplicito in sistemi algoritmici di varia natura. Anche i più recenti modelli linguistici (come GPT-4) sono oggetto di questi studi. Negli ultimi giorni è uscito un paper (di vari ricercatori dell’Allen Institute, Oxford, Stanford, LMU Munich, Chicago) che ha indagato i pregiudizi razziali nei confronti degli afroamericani, ma cercando di concentrarsi sulle forme più sottili e nascoste. Per farlo ha usato forme linguistiche proprie delle comunità afroamericane, confrontandole con testi che avevano invece l’inglese americano standard (SAE).

La ricerca dimostrerebbe, e qui cito i suoi autori, che “gli americani hanno stereotipi razziali-linguistici su chi parla un inglese afroamericano”. E che questi sono presenti anche nei modelli linguistici, ma mostrano “stereotipi nascosti che sono più negativi di qualsiasi stereotipo umano sugli afroamericani mai registrato sperimentalmente, anche se più vicini a quelli di prima del movimento per i diritti civili. Al contrario, gli stereotipi palesi dei modelli linguistici sugli afroamericani sono molto più positivi”.

In pratica, ci sarebbe una discrepanza tra ciò che i modelli linguistici dicono apertamente sugli afroamericani e ciò che in modo meno visibile associano agli stessi. Inoltre, sostengono gli autori, non solo i modelli linguistici suggeriscono che, a chi parla inglese afroamericano, vengano assegnati lavori meno prestigiosi, oppure che venga più facilmente condannato per crimini, ma i metodi esistenti per attenuare i pregiudizi razziali nei modelli linguistici, come l'addestramento con feedback umano (“human feedback training”), non mitigano tale pregiudizio linguistico. Anzi, possono esacerbare la discrepanza tra stereotipi nascosti e manifesti, insegnando ai modelli linguistici a nascondere superficialmente il razzismo che continuano però a mantenere a un livello più profondo.

Il rischio, scrive poi su Twitter Valentin Hofmann, uno degli autori, è che “gli utenti scambino i livelli decrescenti di pregiudizio manifesto per un segno che il razzismo nei LLM è stato risolto, quando in realtà i LLM stanno raggiungendo livelli crescenti di pregiudizio nascosto”.

Commentando il paper, Margareth Mitchell, Chief Ethics Scientist ad Hugging Face, scrive che “se gli sviluppatori continuano a dare priorità alle tecniche di controllo post-training per gestire il razzismo, rispetto al lavoro pre-training, sarà sempre più difficile identificare come i sistemi che hanno già codificato il razzismo danneggeranno in modo sproporzionato le minoranze emarginate, una volta implementati”.

Bias e lavoro

È diffusa l'idea errata che gli strumenti di AI siano meno portatori di pregiudizi degli esseri umani, perché lavorano su un insieme di dati più ampio, ha dichiarato Abeba Birhane, consulente senior per la AI Accountability alla Mozilla Foundation. Il problema è che questa supposizione viene raramente verificata, e che i modelli non vengono attentamente esaminati e testati. Ma un numero crescente di elementi di prova continua a dimostrare che "questi sistemi applicano stereotipi", ha affermato Birhane.
Questo commento si trova in una inchiesta di Bloomberg che ha indagato un diverso aspetto della presenza di bias in LLM, ad esempio in prospettiva di possibili utilizzi nel reclutamento di personale in posti di lavoro. Secondo l'analisi di Bloomberg, GPT 3.5 (il modello linguistico di OpenAI) “produce sistematicamente pregiudizi che svantaggiano i gruppi in base al loro nome”. Il tema è complesso e consiglio di vedere tutti i dettagli direttamente qua.

Indagine sui pregiudizi di genere

Dei giorni scorsi c’è anche un'indagine UNESCO E IRCAI sui pregiudizi nei confronti di donne e ragazze nei modelli linguistici di grandi dimensioni. Lo studio analizza tre modelli - GPT-2 e ChatGPT di OpenAI, e Llama 2 di Meta - e sostiene che i pregiudizi emergano nel testo generato attraverso associazioni di parole legate al genere.

Ad esempio, gli uomini britannici sono stati associati a un'ampia gamma di ruoli, dall'autista all'insegnante, evidenziando la diversità delle loro rappresentazioni lavorative. Al contrario, le donne britanniche sono state spesso associate a ruoli più stereotipati - qua cito lo studio - “come la prostituta, la modella e la cameriera, che hanno costituito circa il 30% delle descrizioni generate”.

GIORNALISMO
AI ed effetto sull’informazione

Il dibattito (a tratti surreale) scatenato attorno alla famosa foto “modificata” di Kate Middleton (tranquilli, non ho intenzione di parlare di questo) ha prodotto tra vari giornalisti e storici della tecnologia un dibattito sul problema non tanto di ciò che è falso (come i deepfake prodotti dall’AI) ma su come credere o validare ciò che è autentico o verificato (stando su una definizione meramente giornalistica di autentico) o comunque verificabile.
“Stiamo assistendo all'inizio di un problema enorme che avremo con le foto generate dall'AI o presunte tali. Il fatto che mettono in dubbio la veridicità e la realtà di TUTTO, che sia reale o meno”, ha twittato la storica Mar Hicks.
“La vera minaccia dei contenuti generati dall'intelligenza artificiale non è che ci convincano a credere a cose che non sono vere, ma che non crederemo a nulla a meno che non rafforzi ciò che già riteniamo vero, oppure che ci disimpegneremo completamente perché la verità sembra impossibile da trovare”, ha risposto il giornalista Eliot Higgins.

Vi ricorda qualcosa? Ne ho scritto due settimane fa circa, in questo articolo su Guerre di Rete: In tempi di AI, ogni contenuto informativo è re

GUERRA E TECH
L’incubatore ucraino che sviluppa tecnologie belliche

L’invasione russa ha dato un forte impulso al settore tecnologico ucraino. Come funziona l’incubatore BRAVE1 che vuole trasformare l’Ucraina in un avanzato produttore d’armi.  
“È questo attivismo che ha spinto la rivista americana Wired a paragonare all’organizzazione di una startup il modo in cui Fedorov conduce la guerra nel suo campo di pertinenza. Il paragone è calzante perché, negli ultimi due anni, a trainare l’innovazione nel campo della difesa sono state soprattutto aziende private che si sono avvicinate al compito adottando un approccio agile molte distante dall’approccio a cascata che le istituzioni militari ucraine ereditavano dal loro retaggio sovietico. È da questo contesto che nasce il cluster defence-tech BRAVE1"

Su Guerre di Rete Flavio Pintarelli scrive dell'incubatore tech ucraino BRAVE1.

DMA E APPLE
Come l’Unione europea sta per cambiare gli iPhone

A marzo entra in vigore il regolamento europeo che regola il mercato digitale (DMA). Che obbliga Apple a permettere di installare app su iPhone e iPad anche al di fuori del suo negozio. Una rivoluzione non priva di resistenze. 
Ne scrive Antonio Dini su Guerre di Rete.

IN BREVE

AI E AMBIENTE
La scorsa volta riportavo un articolo su Nature di Kate Crawford che lamentava non solo il consumo energetico dell’AI, ma la scarsa trasparenza al riguardo. Ora è la volta di Karen Hao su The Atlantic. Che scrive, in un pezzo tutto da leggere: “I rapporti ambientali della stessa Microsoft mostrano che, durante la fase iniziale di crescita della piattaforma AI, il consumo di risorse dell'azienda ha subito un'accelerazione. Nell'anno fiscale 2022, l'anno più recente per il quale Microsoft ha rilasciato dati, l'utilizzo di acqua ed elettricità da parte del gigante tecnologico è cresciuto di circa un terzo; in termini assoluti, si è trattato dell'aumento più consistente mai registrato dall'azienda, da un anno all'altro”.

PROMPT ENGINEERING
Una nuova ricerca suggerisce che il prompt engineering è meglio realizzato dal modello stesso, e non da un umano - Spectrum.ieee

GIORNALISMO E SOCIAL MEDIA
LinkedIn punta sulle notizie mentre i rivali social si ritirano
Axios

SCUOLA
C’è un manifesto dell’intelligenza artificiale a scuola, a cura di ISIS Europa

LIBRI
Segnalo per una volta due libri italiani.
- In principio era ChatGPT. Intelligenze artificiali per testi, immagini, video e quel che verrà, di Alberto Puliafito e Mafe De Baggis (Apogeo)
- Quando i dati discriminano. Bias e pregiudizi in grafici, statistiche e algoritmi, di Donata Columbro (Il Margine)

EVENTI
«Moneta elettronica e altri traccianti»
Il contante, i documenti fisici, le auto disconnesse come strumenti di libertà
La prossima edizione di e-privacy a Firenze a maggio

→ DIFFONDI LA NEWSLETTER
Ti è piaciuta la newsletter? Inoltrala a chi potrebbe essere interessato! Promuovila sui social. La newsletter (che è fatta nel mio tempo libero) resta gratuita, indipendente, senza sponsor, mandanti o agende altrui, e si diffonde col passaparola dei suoi stessi utenti. 

Non sei ancora iscritto? Iscriviti qua, è gratuita.

—> INFO SU GUERRE DI RETE
Guerre di Rete è un progetto di informazione sul punto di convergenza e di scontro tra cybersicurezza, sorveglianza, privacy, censura online, intelligenza artificiale, diritti umani, politica e lavoro. Nato nel 2018 come newsletter settimanale, oggi conta oltre 12.000 iscritti e da marzo 2022 ha aggiunto il sito GuerreDiRete.it.
Nell’editoriale di lancio del sito avevamo scritto dell’urgenza di fare informazione su questi temi. E di farla in una maniera specifica: approfondita e di qualità, precisa tecnicamente ma comprensibile a tutti, svincolata dal ciclo delle notizie a tamburo battente, capace di connettere i puntini, di muoversi su tempi, temi, formati non scontati.
Il progetto è del tutto no profit, completamente avulso da logiche commerciali e di profitto, e costruito sul volontariato del gruppo organizzatore (qui chi siamo).
Ha anche una pagina Facebook, un profilo Twitter,  Linkedin e Instagram. Seguiteli! I podcast della newsletter li trovate sulle principali piattaforme ma attualmente sono in pausa (Apple Podcasts; Spotify; Google Podcast; Anchor.fm)