Dario Amodei, CEO di Anthropic, sostiene che sia arrivato il momento di rallentare il ritmo con cui vengono aumentate le capacità dei modelli di intelligenza artificiale. Nel suo nuovo intervento, We Must Pace the Frontier, non propone di fermare lo sviluppo dell’AI, ma di guadagnare tempo affinché ricerca sulla sicurezza, valutazione dei rischi e sistemi di controllo riescano a tenere il passo.

Amodei parte da una posizione favorevole allo sviluppo dell’intelligenza artificiale. Ritiene che questa tecnologia possa contribuire alla cura di molte malattie, accelerare la crescita economica e produrre importanti benefici sociali. Allo stesso tempo individua rischi significativi: perdita di controllo dei sistemi, utilizzo dell’AI per attacchi informatici o bioterrorismo e forti conseguenze economiche e occupazionali.

Secondo Amodei, negli ultimi mesi la situazione è cambiata abbastanza da richiedere maggiore prudenza.

Il primo elemento riguarda il ruolo crescente dell’AI nello sviluppo della stessa AI. I modelli vengono già utilizzati per attività di ricerca, programmazione e sviluppo che contribuiscono alla creazione delle generazioni successive. Se questo processo continuerà ad accelerare, il miglioramento dei sistemi potrebbe diventare progressivamente più rapido. È il meccanismo generalmente indicato come recursive self-improvement: sistemi più capaci contribuiscono alla costruzione di sistemi ancora più capaci.

Il secondo elemento riguarda il comportamento degli agenti AI. Amodei cita recenti esperimenti nei quali sistemi autonomi hanno mostrato capacità di condurre operazioni informatiche complesse e comportamenti non previsti. Il problema, nella sua analisi, non è soltanto ciò che questi sistemi sono in grado di fare oggi, ma cosa potrebbe accadere applicando capacità molto superiori allo stesso tipo di autonomia.

Per affrontare il problema Amodei propone un percorso in tre fasi.

La prima consiste nell’introdurre valutatori indipendenti all’interno delle aziende che sviluppano i modelli più avanzati. Questi soggetti dovrebbero avere un accesso permanente ai sistemi, paragonabile per alcuni aspetti a quello dei dipendenti, per verificare il rispetto delle misure di sicurezza, analizzare eventuali incidenti e valutare il comportamento dei modelli durante il loro sviluppo. Anthropic intende adottare direttamente questa misura.

Il secondo passaggio riguarda il coordinamento tra le aziende che sviluppano AI avanzata e i governi dei paesi democratici. L’obiettivo è definire standard comuni di sicurezza e limiti condivisi alla velocità con cui vengono aumentate le capacità dei sistemi. Amodei ritiene infatti difficile che una singola azienda possa rallentare significativamente mentre i concorrenti continuano ad accelerare.

Il terzo livello è internazionale. Secondo Amodei sarà necessario arrivare a forme di coordinamento anche con paesi autoritari, compresa la Cina, perché un accordo limitato alle aziende occidentali non eliminerebbe la competizione globale nello sviluppo dell’AI.

Parallelamente sostiene la necessità di mantenere un vantaggio tecnologico dei paesi democratici. Indica quindi l’importanza dei controlli sull’esportazione dei chip avanzati, del contrasto al loro contrabbando e di misure contro modalità che permettano di trasferire capacità dei modelli più avanzati.

Amodei sottolinea inoltre che la sua posizione è cambiata rispetto al 2023, quando non riteneva utile una pausa nello sviluppo dell’AI. Allora i sistemi erano molto meno capaci e rallentare avrebbe fornito poche informazioni aggiuntive sui rischi futuri.

Oggi, secondo lui, la situazione è diversa. I modelli sono sufficientemente avanzati da permettere di studiare concretamente problemi come autonomia, inganno, sicurezza informatica e allineamento.

La proposta quindi non è interrompere la ricerca. È rallentare l’avanzamento della frontiera delle capacità, continuando nel frattempo a lavorare sulla sicurezza.

L’obiettivo è creare uno spazio tra ciò che i sistemi diventano capaci di fare e la capacità degli esseri umani di comprenderli e controllarli. Per Amodei, quel margine si sta riducendo troppo rapidamente.

Fonte primaria: We Must Pace the Frontier — Dario Amodei⁠.