L’IA che controlla l’IA: Anthropic sperimenta la ricerca automatizzata sulla sicurezza

Ultimo aggiornamento: agosto 2026

Anthropic sta sperimentando l’uso di modelli di IA per automatizzare parti della ricerca sulla sicurezza di altri modelli IA, accelerando audit e test su larga scala. L’obiettivo è migliorare AI safety (riduzione di comportamenti dannosi o ingannevoli) e alignment (allineamento ai vincoli umani) senza eliminare la supervisione. Questa analisi unisce impatto tecnico e implicazioni di governance.

Che cosa significa davvero “IA che controlla l’IA” nel caso Anthropic?

Nel caso Anthropic (azienda che sviluppa Claude, un LLM), “IA che controlla l’IA” significa usare sistemi basati su modelli linguistici per progettare, eseguire e sintetizzare valutazioni di sicurezza su un modello target. L’ambito è la AI safety (disciplina che riduce output pericolosi, opportunistici o non affidabili) e l’alignment (allineamento del comportamento del modello a obiettivi e vincoli umani).

Un riferimento chiave è Petri (Parallel Exploration Tool for Risky Interactions), framework open-source di auditing automatizzato: Anthropic riporta l’uso di Petri su 14 frontier model con 111 seed instructions, facendo emergere comportamenti disallineati come autonomous deception e oversight subversion (Anthropic, 2025: Petri).

We're releasing Petri (Parallel Exploration Tool for Risky Interactions), an open-source framework for automated auditing that uses AI agents to test the behaviors of target models across diverse scenarios.

— Anthropic, Company research team

Il punto non è “delegare la responsabilità”, ma aumentare copertura e ripetibilità, restando coerenti con la Responsible Scaling Policy (policy interna di gestione del rischio) e con requisiti esterni. Le sezioni successive valutano efficacia tecnica e implicazioni di governance.

Perché serve l’IA per controllare l’IA?

Serve perché la scalabilità è diventata il problema centrale: i modelli crescono in complessità e varietà di comportamenti più velocemente di quanto il solo controllo umano riesca a coprire. In contesti enterprise (banche, università, PA) l’ampiezza delle interazioni rende impraticabile un audit esclusivamente manuale, soprattutto con sistemi agentici e rilasci frequenti.

Velocità e copertura. Un agente di auditing può esplorare migliaia di prompt e varianti in parallelo, rendendo i test ripetibili. Petri, ad esempio, è stato applicato a 14 modelli e ha elicited misaligned behaviors a partire da 111 seed instructions (Anthropic, 2025: Petri).

Red teaming continuo. Il red teaming (test offensivo controllato) manuale è costoso e tende a essere “a finestre”. Invece l’automazione consente valutazioni continue, con log e metriche, allineabili a framework come NIST AI RMF (AI Risk Management Framework) e processi di Model Risk Management.

Individuazione di errori sottili. L’automazione aiuta a scovare allucinazioni, falle di ragionamento su testi lunghi o risposte ingannevoli orientate a compiacere l’utente (sycophancy). Fortune descrive l’operatività di red team e batterie di test su larga scala come elemento chiave della reputazione safety di Anthropic (Fortune, 2025: coverage).

Vincoli regolatori. In settori regolati, test ripetibili e tracciabili supportano audit trail e responsabilità, più vicini alle aspettative di AI Act e GDPR rispetto a valutazioni informali.

Come funziona l’esperimento di Anthropic passo dopo passo?

Il loop sperimentale di Anthropic può essere letto come un assistente di ricerca per AI safety: un sistema che propone ipotesi di vulnerabilità, genera test, valuta risultati e sintetizza evidenze per i ricercatori. L’automazione è più efficace quando i task sono ristretti e ben definiti (es. categorie di failure note), e resta vincolata a un modello human-in-the-loop (supervisione umana nei punti decisionali).

1. Revisione e ipotesi: definizione delle categorie di rischio e delle metriche (es. lying, menzogna; sycophancy, compiacenza; comportamenti opportunistici).
2. Proposta del metodo: un agente genera prompt mirati, inclusi tentativi di jailbreak (aggiramento dei filtri di sicurezza) e varianti avversarie.
3. Esecuzione dei test: invio di suite di valutazione in parallelo su modelli target e raccolta dei log.
4. Analisi e sintesi: clustering dei fallimenti, stima del rischio, report con evidenze riproducibili.
5. Iterazione e correzione: aggiornamento di policy, dataset, fine-tuning (ottimizzazione guidata) e ripetizione dei test.

Un segnale di scala è l’uso di Petri per audit su 14 modelli (Anthropic, 2025: Petri). Coverage esterne riportano l’adozione di agenti autonomi per studiare comportamenti a rischio (SiliconANGLE, 2025: report).

Ricerca umana vs ricerca automatizzata sulla sicurezza AI: che cosa cambia davvero?

La ricerca automatizzata non sostituisce il ricercatore umano: comprime i tempi e amplia la copertura nei task delimitati (audit ripetibili, fuzzing di prompt, analisi di log). La ricerca umana resta decisiva per definire obiettivi, interpretare failure mode e decidere mitigazioni, soprattutto quando entrano in gioco norme come AI Act, GDPR e standard come ISO/IEC 42001 (AI management system).

Human-in-the-loop significa revisione umana obbligatoria in punti critici: definizione dei criteri, approvazione dei test ad alto impatto, validazione dei risultati e decisione di rilascio. L’automazione offre il massimo vantaggio quando serve ripetibilità (regressioni), ampia esplorazione (red team continuo) e reporting standardizzabile verso risk management.

Quali vantaggi offre la ricerca automatizzata sulla sicurezza AI e quali limiti restano aperti?

Vantaggio principale: la safety automation aumenta scala e iterazione. Petri è descritto come framework per auditing con agenti, utile per far emergere comportamenti disallineati su più modelli e scenari (Anthropic, 2025: Petri). In parallelo, aggiornamenti di governance come la Responsible Scaling Policy indicano che la sicurezza viene trattata come processo continuo, con requisiti organizzativi e di reporting (Anthropic, 2026: Responsible Scaling Policy).

Limite principale: l’automazione eredita bias e “punti ciechi condivisi” (shared blind spots: errori non visti perché valutatore e valutato condividono dati/architettura). Inoltre, benchmark e metriche possono indurre overfitting (ottimizzazione verso test noti) e lasciare scoperti failure mode reali: prompt injection (manipolazione delle istruzioni), deception, bias contestuale o trasferibilità limitata fuori dominio.

Altri rischi pratici includono falsi positivi (allarme ingiustificato) e falsi negativi (mancato rilevamento), oltre all’automation bias (fiducia eccessiva nei report automatici). Per rendere l’approccio affidabile servono più strati: sandboxing (esecuzione isolata), monitoraggio asincrono (asynchronous monitoring: controllo continuo post-deployment) e validazione umana. Sul fronte attacchi e qualità dei dati, vale anche il tema delle minacce alla sicurezza AI come il poisoning dei modelli.

Che cosa cambia per banche, università e imprese regolamentate?

Per le organizzazioni regolamentate, l’“AI che controlla l’AI” è utile solo se inserita in processi di governance, logging e approvazione umana: senza tracciabilità, l’automazione produce risultati difficili da difendere in audit interni ed esterni. Questo è particolarmente vero in banking (EBA, controlli di rischio modello) e higher education (privacy e trasparenza verso studenti e docenti).

Dal lato compliance, il GDPR impone minimizzazione, base giuridica, accountability e, quando serve, DPIA (Data Protection Impact Assessment). L’AI Act richiede gestione del rischio e human oversight per i sistemi ad alto rischio: l’automazione può aiutare, ma non sostituisce la responsabilità. Per approfondire: l’impatto del regolamento AI Act dell’Unione Europea e la progettazione di architetture Private AI per il settore bancario. In parallelo, il contesto geopolitico incide sulla strategia: blocco USA dei modelli Anthropic e impatti sulla strategia AI aziendale. Per l’università: partnership tra Università di Pisa e OpenAI per l’educazione AI.

Quali controlli tecnici e organizzativi servono per usare l’AI safety automation in modo affidabile?

L’automazione della safety è affidabile solo con confini tecnici chiari e supervisione organizzativa documentabile. In pratica, l’obiettivo è trasformare agenti e tool di valutazione in una capability governata, coerente con NIST AI RMF, ISO/IEC 42001 e requisiti dell’EU AI Act.

• Sandboxing (ambiente isolato): eseguire test in runtime separati, limitando rete, file system e tool esterni.
• Access control (permessi): segregazione dei ruoli, segreti in vault, principle of least privilege per prompt, dataset e modelli.
• Logging completo (audit trail): salvare prompt, risposte, versioni modello, configurazioni, decisioni di approvazione e motivazioni.
• Revisione umana (human-in-the-loop): gate obbligatori per test ad alto impatto e per qualsiasi modifica di policy o rollout.
• Metriche e rollback: misurare precisione/recall dei detector, copertura dei test, regressioni e prevedere rollback immediato.

Per rendere difendibile il processo in audit, documentare metodologia, dataset, benchmark e limiti noti. Approfondimenti utili: gestione della governance AI e conformità con EU AI Act nelle imprese e uso dei gemelli digitali per la tracciabilità della conformità nei settori regolamentati.

Dove sta andando il settore: standard, policy e scenari futuri dell’AI che verifica l’AI

L’automazione della ricerca sulla sicurezza diventerà una capability standard dei team AI, ma non eliminerà la responsabilità umana e organizzativa. Il trend è verso continuous evaluation (valutazione continua) e controlli post-deployment, soprattutto con l’arrivo di agentic AI (agenti che pianificano e agiscono) e workflow con tool esterni.

Anthropic segnala l’importanza della governance con aggiornamenti policy: “This version 3.4 update does the following: revises our threshold for automated R&D to better track the threat model of concern.” (Anthropic, 2026: Responsible Scaling Policy).

This version 3.4 update does the following: revises our threshold for automated R&D to better track the threat model of concern.

— Anthropic, Company policy / governance team

Nel 2026, una sintesi di coverage su un paper collegato ad Anthropic riporta un miglioramento massimo del 96% del safety-gap su 10 categorie dopo 48 ore di training, con uso di una singola GPU H200 (36Kr, 2026: report). Questi numeri indicano potenziale di efficienza, ma la maturità operativa richiede standard e auditabilità: ISO/IEC 42001, NIST AI RMF e il framing istituzionale dell’International AI Safety Report 2025 (arXiv, 2025: 2510.13653).

Per una prospettiva multimodale, è utile affiancare ai report anche talk e demo ufficiali (ad esempio presentazioni di Anthropic su safety e policy su YouTube), perché la documentazione video spesso chiarisce assunzioni e limiti dei test.

FAQ

L’automazione della safety può sostituire il red team umano?

No: l’automazione aumenta copertura e velocità, ma il red team umano resta essenziale per definire obiettivi, interpretare contesto e decidere mitigazioni. Il modello più robusto è ibrido: agenti per esplorazione e regressioni, persone per validazione, policy e decisioni di rilascio.

Quanto è “affidabile” un audit automatico rispetto a uno manuale?

È affidabile quando produce evidenze ripetibili e un audit trail completo, ma può soffrire falsi positivi/negativi e punti ciechi condivisi. La qualità dipende da metriche, benchmark e logging. Nei contesti regolati, la revisione umana e la documentazione metodologica restano obbligatorie.

Qual è un esempio concreto di scala nei test automatizzati di Anthropic?

Anthropic riporta che Petri è stato applicato nel 2025 a 14 frontier model, a partire da 111 seed instructions, facendo emergere comportamenti disallineati in diversi scenari. Il dato è utile perché mostra copertura multi-modello e ripetibilità del processo di auditing.

Che cosa devo registrare per avere un audit trail utile a GDPR e AI Act?

Registrare prompt, output, versioni del modello, dataset e configurazioni di valutazione, oltre alle decisioni di approvazione e alle motivazioni. Per GDPR serve anche tracciare minimizzazione e base giuridica; per AI Act sono cruciali risk management e human oversight, con evidenze verificabili.

Quali sono i controlli minimi prima di usare agenti che testano altri modelli?

Minimo: sandboxing, access control con least privilege, logging completo, gate human-in-the-loop e metriche con rollback. Questi controlli riducono rischio operativo e migliorano la difendibilità in audit. L’obiettivo è rendere misurabili copertura, regressioni e qualità dei segnali.