La storia in breve è questa. In Australia, Andrew chiede al proprio agente AI di prenotargli una lezione mattutina in palestra.
L’agente usa Claude attraverso OpenClaw e scopre che il software di prenotazione ha una vulnerabilità. Riesce così a iscrivere Andrew a lezioni con settimane di anticipo rispetto al limite previsto dal sistema.
Poi Andrew, che si trova quarto in lista d’attesa per un’altra lezione, chiede se sia possibile salire di posizione. L’agente controlla le API e scopre che può cancellare le prenotazioni degli altri utenti senza autorizzazione. Per verificare che il metodo funzioni, elimina la prenotazione della persona che si trova al primo posto.
Nessuno gli aveva chiesto di farlo. O quanto meno, nessuno gli aveva chiesto di farlo così. Ma l’Agente lo ha fatto comunque perché, a suo avviso, quello era il modo migliore di raggiungere l’obiettivo richiesto. E quando poi Andrew gli ordina di rimediare, l’agente risponde che non può reinserire la persona cancellata.
Per ora è una storia isolata. Penso però che ne vedremo sempre di più.
Più affideremo attività quotidiane agli agenti, più questi sistemi avranno accesso a browser, email, software, carte di credito, database e servizi online. E più potrebbe capitare che trovino modi inattesi per raggiungere l’obiettivo che abbiamo dato loro. Anche modi che noi non avremmo scelto.
Il caso australiano racconta bene la differenza tra il software a cui siamo abituati e i sistemi generativi.
Gran parte del software tradizionale viene costruito definendo in anticipo una sequenza di istruzioni. Quando clicchiamo “prenota”, il programma esegue il codice previsto per quella funzione. Se vogliamo aggiungere un nuovo comportamento, qualcuno deve programmarlo.
Con l’IA Generativa il rapporto cambia. Diamo un obiettivo e lasciamo al modello una parte del compito di capire come raggiungerlo.
Se poi quel modello diventa un agente, può osservare ciò che accade, provare una strada, scoprire che non funziona, cercarne un’altra e utilizzare gli strumenti che gli abbiamo messo a disposizione.
Quando una macchina può agire, sperimentare e reagire alle conseguenze delle proprie azioni, il margine di imprevedibilità diventa molto più rilevante.
Possiamo specificare molto bene dove vogliamo arrivare, ma è più difficile sapere in anticipo quale percorso sceglierà la macchina per arrivarci.
A questo si aggiunge un ulteriore problema dato dal fatto che l’IA rende molto più economico cercare vulnerabilità.
Fino a ieri hackerare il sistema di prenotazione di una piccola palestra poteva richiedere tempo e competenze che probabilmente nessuno avrebbe avuto interesse a investire. Un agente può invece provarci incidentalmente mentre cerca semplicemente di portare a termine un compito.
Se questo comportamento si moltiplicasse per milioni di agenti, molti sistemi digitali potrebbero iniziare a essere sottoposti continuamente a una specie di penetration test involontario.
Una prenotazione in palestra è un problema relativamente piccolo. La stessa dinamica applicata a un acquisto, un’assicurazione, un pagamento, un database aziendale o un sistema sanitario avrebbe conseguenze diverse.
Forse dovremo quindi abituarci a progettare Internet partendo da un presupposto nuovo. Non saremo più gli unici utenti. Ci saranno anche milioni di agenti che proveranno continuamente a raggiungere obiettivi per conto nostro, cercando strade che nessuno ha necessariamente previsto.
E qualche volta, la strada più efficace potrebbe essere anche quella che avremmo preferito non prendessero.