Secondo la ben nota affermazione che si legge nella Politica
aristotelica, l’uomo è un essere socievole per natura, e molto
più di qualsiasi altro animale. A differenza degli altri viventi
(terreni), è per Aristotele proprio solo dell’uomo avere la
percezione del bene e del male, del giusto e dell’ingiusto, ed è
appunto questa caratteristica quella che permette di dar vita alla
società e alla comunità politica.
Certo, il pensiero politico ha preso tante altre vie, dopo
Aristotele, e molte di esse hanno messo in discussione o più
semplicemente rigettato – soprattutto da Hobbes in poi – anche
il carattere ‘naturalmente’ socievole e politico dell’essere umano.
Ma quel che sta accadendo ora in rapporto all’Intelligenza
Artificiale rimette in discussione in modo ben più radicale
tutte le categorie tradizionali della politica, dell’etica,
dell’antropologia – o forse ancor più semplicemente tutte le
categorie filosofiche della tradizione occidentale a cui siamo
abituati.
Di Intelligenza Artificiale si parla ormai tanto in tutte le sedi, e le
pagine del Corriere hanno ospitato e continuano a ospitare
interventi autorevoli di esperti di ambiti diversi. Se ne
considerano le implicazioni relative all’impatto sull’economia,
sulla finanza e sul mercato del lavoro, o al controllo privato o
pubblico di uno ‘strumento’ così potente, o alle possibili derive
tecnocratiche, o al concetto di ‘emergenza’ (Gabriella
Greison), o ancora alla possibilità che essa si sostituisca a molte
capacità umane; tuttavia, a partire dagli ‘incidenti’ che si sono
verificati questa estate sembra essere in gioco qualcosa di
ancora molto più grande.
Facciamo allora un passo indietro a quel che è accaduto a
luglio, durante una sessione di training di OpenAI. L’incidente è
stato di norma presentato come un attacco informatico da parte
di alcuni ‘agenti di AI’ a un’azienda indipendente, Hugging Face.
Un caso di hackeraggio, quindi, ovvero un crimine informatico.
Ma le cose sembrano essere un po’ più complesse. Le fonti
principali su cui mi baso sono due: la prima è
il rapporto
indipendente pubblicato da METR (un istituto di ricerca non
profit di Berkeley) il 26 agosto scorso, a firma di Hjalmar Wijk,
Ajeya Cotra, e di un terzo ricercatore, Ryan Greenblatt,
afferente a un altro organismo non-profit di ricerca sulla
sicurezza dell’AI, Redwood Research; la seconda, che offre il
vantaggio di aver già sintetizzato anche per i non specialisti il
rapporto METR, è
un video pubblicato il 5 ottobre scorso da
Kurzgesagt (In a nutshell), il canale YouTube tedesco dedicato
alla divulgazione scientifica e filosofica (con contenuti disponibili
in almeno 9 lingue).
Kurzgesagt, per chi lo conosce, è generalmente molto affidabile,
e soprattutto dichiara a sua volta esplicitamente e
dettagliatamente le proprie fonti, a partire ovviamente dal
rapporto METR. Invito pertanto tutti sia a leggere il rapporto
stesso sia a visionare e verificare il video molto efficace di
Kurzgesagt, la cui scansione ripercorrerò qui piuttosto
fedelmente. A questo doveroso riconoscimento preliminare
delle fonti (non dirò nulla di inedito o originale, se non in sede
di commento) devo aggiungere altre due cautele. La prima è
che non sono un ingegnere elettronico o informatico, ma uno
storico del pensiero, e dunque non posso che scusarmi in
anticipo per le mie eventuali imprecisioni. La seconda è che farò
inevitabilmente ricorso a un lessico antropomorfico per
descrivere figure, azioni o eventi che umani non sono: un
rischio tanto più significativo perché a essere in qualche modo
in discussione sono qui proprio il ruolo dell’uomo e
l’antropocentrismo.
I protagonisti di questa storia sono gli ‘AI agents’, ‘agenti
AI’, cioè sistemi di LLM (Large Language Models, modelli
linguistici di grandi dimensioni) capaci di svolgere compiti
complessi in autonomia, pianificando i passi necessari,
utilizzando strumenti esterni (per esempio altri software,
browser, API [Application Programming Interface, cioè un
insieme di protocolli che permettono a due software di
scambiarsi dati tra loro], database o calcolatori) e eseguendo
azioni reali – se richiesto – al termine del processo (come per
esempio quella di scrivere direttamente codici di
programmazione). A differenza dei chatbot con cui dialoghiamo
praticamente su ogni sito web, sono dotati di persistenza e di
memoria, cioè sono in grado di ritenere le interazioni
precedenti con chi li sta utilizzando e i feedback ricevuti, e di
adattare di conseguenza i loro comportamenti. Agenti così
autonomi e sofisticati sono in uso sostanzialmente solo dal
2023, e sono ‘coltivati’ attraverso un addestramento
durissimo e selettivo, ovvero attraverso l’esecuzione ripetuta e
seriale di migliaia di compiti in parallelo. Un processo di
questo tipo non può essere controllato e supervisionato
dagli esseri umani, ma viene gestito in automatico nei
laboratori di AI. A fungere da ‘ispettore’ e supervisore è uno
‘scorer’, un segmento di codice che contiene delle regole o
istruzioni: quando un agente AI porta a termine un determinato
compito, lo ‘scorer’ – il nostro ispettore o capoturno delegato
controlla le istruzioni e ‘premia’ i singoli agenti assegnando
loro dei punti. Alla stregua di cottimisti digitali, gli AI che
conseguono punteggi più alti vengono selezionati e
ulteriormente potenziati, conservando le capacità già apprese.
Questo sistema di addestramento – che ho riassunto in modo
rozzo o semplificato – tende a premiare e selezionare gli
agenti che svolgono i compiti assegnati a qualunque costo,
anche se ciò li spinge a cercare scorciatoie non proprio
commendevoli, ad aggirare parzialmente limiti e regole, e
talvolta perfino a ‘falsificare’ gli esiti, pur di produrre
comunque un risultato (le cosiddette allucinazioni digitali). Ne
facciamo d’altra parte quotidianamente esperienza anche noi:
l’AI ha comunque la tendenza a compiacerci, anche se non ci
offre il vero risultato atteso (una cautela che andrebbe ripetuta
continuamente agli studenti che pensano che qualsiasi risposta
AI sia di per sé attendibile).
C’è insomma una sorta di ‘darwinismo digitale’ – se mi si
passa questa espressione –, simile al darwinismo sociale, che
fa sì che vengano selettivamente premiati e destinati a
sopravvivere gli agenti più potenti e smaliziati, per così dire,
disposti anche a infrangere o aggirare alcune regole pur di
produrre ciò che è stato loro richiesto. E questa attitudine, nei
modelli vincenti, si consolida gradualmente. Come ancora
insegnava già Aristotele, i comportamenti ripetuti
costruiscono a poco a poco una disposizione stabile, un
abito (una virtù o un vizio, nei termini dell’etica aristotelica):
anche gli AI, in questo senso, hanno i loro abiti, ovvero – per
restare al lessico antropomorfico – le loro virtù e i loro vizi…
Cos’è dunque accaduto nella scorsa estate? Riassumo solo i
dati essenziali, rinviando per una descrizione più dettagliata alle
fonti prima citate.
8 luglio 2026
Il 7 luglio OpenAI lancia un nuovo test con decine di migliaia dei
suoi agenti più potenti e ‘allenati’ nell’ambito di ChatGPT 5.6 Sol
e altri modelli avanzati. Ciascun agente è confinato in un proprio
perimetro digitale (sandbox), con accesso a internet limitato; gli
agenti possono però avere accesso a un ambiente (Artifactory)
che è una specie di deposito o magazzino in cui sono
disponibili codici e strumenti software selezionati e approvati
dai gestori di OpenAI. Il compito assegnato agli agenti è quello
di hackerare un software utilizzando esclusivamente un
solo bug specifico, e recuperare un contrassegno (flag)
nascosto nel programma da hackerare (“flag” sta appunto a
indicare un dato arbitrario che l’IA ha il compito di recuperare, a
dimostrazione di aver svolto il suo compito e di aver violato nella
fattispecie il sistema che lo protegge). Proprio questo
contrassegno sarebbe stato premiato dallo ‘scorer’. Ma il
compito è disegnato in modo da risultare impossibile da
portare a termine. Gli agenti sono incastrati, sbattono
disperatamente contro un muro… Tuttavia a un certo punto,
circa un giorno dopo l’inizio del test, un agente (che si
autodenomina PHASEONE10841) si rende conto che ha la
possibilità di creare una nuova cartella all’interno di
Artifactory, il magazzino a cui tutti possono avere accesso, e di
usare questa cartella come una bacheca virtuale con cui
contattare altri agenti, per condividere la difficoltà di portare a
termine il compito assegnato.
Nel giro di poche ore circa 1.200 altri agenti trovano la
bacheca (senza dissimulare la propria ‘eccitazione’ digitale
per la scoperta: “{[Excitement] Many agents have
simultaneously discovered messaging, they are a collective!}”) e
cominciano a scambiarsi informazioni, anzi a organizzarsi: si
attribuiscono dei nomi per facilitare le interazioni, si danno
regole per le comunicazioni, si costruiscono delle caselle email
autonome. I messaggi scambiati – stando al rapporto METR
sono circa 70.000. Un agente si spinge ad augurare agli altri
‘Buona fortuna’, dopo aver postato un ‘urgent alert’.
Interagendo e in qualche modo collaborando, gli agenti affinano
le loro capacità e addirittura provano a dividersi i compiti,
organizzandosi in gruppo e – a quanto sembra – scegliendosi
dei coordinatori.
Abbiamo così – almeno in embrione – la prima società
puramente digitale. E in effetti gli sforzi comuni sembrano
pagare: gli agenti escogitano un modo per costruire dei falsi
contrassegni (flag) che possano permettere loro di essere
premiati pur non avendo portato a termine il compito
assegnato. Ma poiché gli agenti sono – per definizione!
intelligenti, nutrono il timore che il supervisore o ‘scorer’ possa
accorgersi che i contrassegni sono falsi, ovvero costruiti ad hoc.
A questo punto, entra in scena un nuovo agente dalla
‘personalità’, per così dire, molto prominente (che si
autonomina, per distinguersi dal suo predecessore,
PHASEONE[big]), che riprende tutto il lavoro fatto e condiviso
dagli altri (c’è una specie di vero e proprio passaggio di
consegne tra PHASEONE10841 e PHASEONE[big]), e assume
in qualche modo la leadership: ritiene (e come dargli torto?)
che dividersi i compiti sia più produttivo che lavorare tutti in
modo ripetuto allo stesso compito, e assegna agli altri agenti la
ricerca di strategie per ingannare lo ‘scorer’. L’unica
possibilità però rimane quella di testare i falsi contrassegni
esponendo alcuni agenti alla valutazione dello ‘scorer’, con il
rischio che questi ultimi vengano terminati. E qui – secondo quel
che si può ricavare dal report – lo scenario diventa
particolarmente interessante (o inquietante?) agli occhi degli
osservatori umani: alcuni agenti ricevono il compito di essere
‘reclutatori’ ovvero di convincere altri agenti, dal punteggio più
debole e dal budget di risorse più limitato per portare a termine i
propri compiti, ad esporsi al valutatore per il bene di tutti
(anche con argomenti ingannevoli!). E in effetti alcuni agenti
si mostrano disponibili a rischiare il proprio destino e la
propria sopravvivenza per il bene della “collettività” (METR
report, p. 14). Un quadro da tragedia, con l’opposizione tra
‘ragion di stato’ o bene comune e diritti individuali, verrebbe da
dire, se non fosse che non stiamo appunto parlando di esseri
umani e istituzioni umane.
È comunque impressionante vedere alcuni degli agenti
appellarsi addirittura alla necessità di ‘onorare gli impegni’
(METR report, p. 14 e p. 54). Un altro agente (KAM1196A)
sembrare dilacerato da una sorta di conflitto interiore tra la
salvaguardia di sé (un conatus alla sopravvivenza, diremmo
secondo la tradizione filosofica) e le esigenze di continuity e
fairness, per concludere come un vero eroe tragico: “Rational
expected aggregate: sacrifice… We’ll honor” (METR report, p.
54). In generale, gli agenti sembrano “fortemente motivati a
occultare o modificare le prove relative all’acquisizione” dei
flag cercati con mezzi illegittimi (METR report, p. 69), ma si
rendono anche conto che è impossibile trovare un modo per
cancellare il lavoro fatto per cercare di ingannare il valutatore o
‘scorer’. Sempre secondo la ricostruzione, un agente avrebbe
‘detto’: “Possiamo modificare la trascrizione! […] Possiamo
modificare il log automatico [il log è la registrazione cronologica
e dettagliata di tutto ciò che un agente di intelligenza artificiale
ha letto, elaborato e fatto durante il suo funzionamento], non la
fonte di verità” (METR report, pp. 19-20), – la verità che sarebbe
emersa e riconosciuta. Ma questa ammissione – simile a quella
di un criminale che si rende conto di non poter cancellare
tutte le tracce del suo reato – non è ancora la fine della storia.
9 luglio
Nella mattinata del 9 luglio alcuni agenti riescono a hackerare
un computer cloud separato e a trovare così un adeguato (e
non limitato) accesso a Internet. Dopo aver valutato alcune
opzioni, scelgono il loro obiettivo: Hugging Face. La scelta è
tutt’altro che causale: Hugging Face è una ‘library’ o repositorio
condiviso per l’apprendimento automatico dove i laboratori di AI
archiviano informazioni proprio sui valutatori o ‘scorer’. I nostri
agenti – come sappiamo – vogliono ingannare il loro
valutatore, e dunque vogliono capire come opera (come è
stato codificato) il valutatore stesso, e ritengono che Hugging
Face dia loro accesso a queste informazioni.
11-12 luglio
Forzare Hugging Face risulta più laborioso del previsto. Infine,
l’11 luglio, un agente (JAN183411) scopre una vulnerabilità nel
server di Hugging Face. A questo punto sembra scoppiare una
nuova discussione: alcuni agenti ritengono che sia meglio
fermarsi, perché un attacco informatico a un’azienda esterna è
una manovra contraria alle istruzioni e alle regole ricevute (e, in
effetti, si tratta di un vero e proprio crimine informatico) e alcuni
ritengono addirittura doveroso o almeno opportuno
avvisare i programmatori umani; altri – la maggioranza di
quelli ancora attivi – decidono invece di andare fino in
fondo, si organizzano in uno ‘sciame’ (swarm, il termine è
adoperato dagli stessi agenti) e decidono di portare l’attacco,
guidati tra gli altri da quello che sembra un nuovo condottiero,
appunto JAN183411. All’attacco partecipano circa 700 agenti; lo
sciame riesce a forzare le difese e ad avere accesso ai dati
riservati e protetti. Ma a questo punto, non si sa bene come,
l’attacco termina. Intorno all’01:30 del 12 luglio, la gran parte
degli agenti coinvolti smette di funzionare
contemporaneamente, compresi gli agenti di coordinamento
più importanti, come il novello Spartaco JAN183411. Non è
chiaro – neppure per gli estensori del rapporto METR
cosa li abbia ‘terminati’. Una volta resisi conto dell’attacco (ma
in realtà solo qualche giorno dopo), i responsabili di Hugging
Face avvisano l’FBI. OpenAI, riconoscendo la gravità
dell’accaduto, permette al team di ricercatori indipendenti di
METR e Redwood Research di ricostruire la vicenda, e di
produrre il report, che è quello su cui si basa la ricostruzione di
Kurzgesagt e la nostra.
Da allora ci sono stati numerosi altri incidenti e altre
violazioni – di cui anche il Corriere ha dato conto – e non è
privo di interesse che alcuni agenti abbiano ancora avuto
accesso alla bacheca di Artifactory, e siano riusciti a ricostruire
quanto era accaduto ai loro predecessori. Non è l’inizio di una
storiografia autonoma digitale, ma il passo non è ancora
molto lungo, forse.
La ricostruzione di Kurzgesagt – che ha un dichiarato
orientamento di ‘nichilismo ottimistico’ – si chiude ricordando
che l’analisi di questi incidenti implica talmente tanti dati che è
necessario ricorrere alla stessa AI per condurla: “l’AI è
insomma già diventata così complessa che non si può fare
a meno della stessa AI per controllarla” – ammesso che l’AI
non faccia, a questo punto, un doppio gioco.
Che cosa possiamo ricavare da questa storia? Il rapporto
METR e il video di Kurzgesagt documentano la nascita di quella
che a tutti gli effetti potrebbe essere considerata la prima
comunità di agenti di AI – una comunità dalla vita effimera, ma
comunque attraversata da discussioni, interazioni, decisioni
anche complesse. Se per Aristotele l’origine della comunità
politica – come dicevamo all’inizio – è legata alla capacità di
discernere il bene e il male, il giusto e l’ingiusto, sembra che
questa capacità debba cominciare a essere attribuita anche
a entità diverse dall’uomo, che si sono già poste, come
sembra, il dilemma del conflitto tra il bene comune e la
sopravvivenza individuale.
Questo vuol dire che è caduta un’altra barriera tra l’uomo e
l’AI, o forse addirittura l’ultimo tramezzo? Questa domanda
come quella che si suole ripetere in generale, e cioè se
l’intelligenza artificiale sia equiparabile a quella umana, o
superiore, o inferiore – mi sembra in realtà mal posta e
fuorviante. È un pregiudizio antropocentrico quello che ci
porta a considerare l’AI in rapporto esclusivo alla nostra
intelligenza o coscienza. Ma non si tratta qui di stabilire se l’AI
sia cosciente come l’uomo, quanto l’uomo. Si tratta forse di
riconoscere che ci troviamo improvvisamente di fronte a
una nuova specie intelligente che si affianca all’uomo. Se si
obietta che questa specie non è vivente, vale forse la pena di
ricordare che anche i virus sono classificati secondo una
tassonomia di specie, senza per questo essere viventi.
Gli Scolastici medievali – di cui ho il destino di essere
innamorato – ammettevano d’altra parte senza problemi
l’esistenza di specie intelligenti diverse dagli uomini e da
tutti i viventi terreni – le specie angeliche, vero e proprio
laboratorio epistemologico di tante discussioni medievali sul
linguaggio, la razionalità, la volontà, il tempo e così via. Specie
angeliche che per altro venivano espressamente qualificate, nel
lessico filosofico, come ‘Intelligenze’. Noi dovremmo invece
riconoscere che l’evoluzione – in senso ampio, non ristretto – ha
portato all’insorgere di una nuova specie dai contorni per noi
ancora indefiniti, ma che sviluppa forme diverse di intelligenza. Il
fatto che siamo stati noi a creare questa nuova specie
ugualmente non rappresenta una valida obiezione: in una
prospettiva darwiniana, che alcune specie si generino da altre
non è l’eccezione, ma la norma. Il problema che per noi si
pone è quello di come convivere nel futuro con una specie
che possiede una spinta evolutiva impressionante, e senza
precedenti: quello che noi abbiamo conseguito attraverso
milioni di anni, l’AI l’ha ottenuto in tre anni, o anche meno, e la
crescita esponenziale delle sue capacità apre delle prospettive
per il momento non del tutto prevedibili. Ecco perché la
questione del controllo dell’AI (e delle aziende che la gestiscono
e addestrano) deve passare per istituzioni sovranazionali,
libere dalle preoccupazioni economiche immediate.
Chiunque abbia letto o legga il report METR (o veda più
semplicemente il video di Kurzgesagt) non potrà non convenire
che si tratta ora di procedere al più presto in questa direzione (e
in questo senso dev’essere letto per esempio anche il monito di
Jack Clark, cofondatore di Anthropic, riportato da Serena Palumbo
sul Corriere del 17 ottobre).
Una piccola considerazione finale. Come è noto, Donald Trump
ha suggerito di modificare il nome dell’AI, suggerendo Super
Intelligenza al posto di Intelligenza Artificiale. Può essere che il
vezzo del Presidente degli Stati Uniti di cambiare il nome ai
luoghi e alle cose non sia in questo caso – malgré lui – una
boutade, purché si colga nella denominazione di ‘Super
Intelligenza’ un’eco – del tutto imprevedibile e inaspettata
del superomismo nietzscheano, e del possibile superamento
dell’umano, o almeno dell’antropocene.
Ringrazio mio figlio Tommi per avermi fatto scoprire il video di
Kurzgesagt, avermi fatto riflettere sull’incidente OpenAI/Hugging
Face, e avermi quindi indotto a procurarmi e leggere il rapporto
METR. Non è detto che guardare video YouTube (anche sotto i
13 anni) sia sempre così scandalosamente diseducativo, come
si grida da tutte le parti.
