Con Astra, OpenAI ha introdotto una tecnica di ragionamento chiamata recurrent depth, o opaque recurrence.
Invece di procedere soltanto attraverso una sequenza lineare di passaggi, il modello può elaborare più volte lo stesso problema attraverso loop interni. Secondo quanto raccontato da TechCrunch, questo può lasciare meno tracce comprensibili del processo seguito dal modello e rendere più difficile monitorare come sia arrivato a una certa conclusione.
OpenAI precisa che in Astra l’utilizzo della tecnica è ancora limitato. Jakub Pachocki, Chief Scientist dell’azienda, sostiene che preservare catene di ragionamento leggibili e monitorabili rimanga uno degli obiettivi della ricerca di OpenAI.
Al di là del caso specifico di Astra, però, questa nuova tecnica di ragionamento, mette in luce come più l’Intelligenza Artificiale diventerà potente, più potremmo trovarci a conoscere il risultato del suo lavoro senza comprenderne davvero il processo che ha portato a quel risultato.
Conoscere e comprendere sono due cose diverse.
Possiamo conoscere la risposta corretta a un problema matematico senza sapere come ricavarla. Possiamo leggere un’analisi finanziaria senza capire i passaggi che l’hanno prodotta. Possiamo utilizzare il codice generato da un agente senza essere capaci di ricostruire perché abbia scelto proprio quella soluzione.
E progressivamente potremmo solo affidarci alla macchina, senza capirla. Cosa peraltro successa già con altre tecnologie.
Pensiamo alle auto.
Milioni di persone guidano ogni giorno un’automobile. Per alcuni la possibilità di lavorare, spostarsi o accompagnare i figli dipende completamente da quell’oggetto. Eppure quanti saprebbero spiegare nel dettaglio cosa succede dentro un cambio automatico, una centralina elettronica o un sistema ABS?
Guidiamo una macchina senza sapere come funziona e come fa a portarci da un punto A a un punto B.
Con l’IA potremmo arrivare a qualcosa di simile, con una differenza importante. Un’automobile esegue un insieme relativamente definito di funzioni. Un sistema di Intelligenza Artificiale può contribuire a prendere decisioni, interpretare informazioni, scrivere software e suggerirci cosa fare.
Il rischio di affidare progressivamente alle macchine anche una parte del nostro giudizio esiste già.
La recurrent depth aggiunge un livello ulteriore. Potremmo avere macchine sempre più capaci di produrre conoscenza e persone sempre meno capaci di comprendere ciò che accade tra la domanda e la risposta.
A quel punto la fiducia diventerà una competenza. Dovremo sapere quando possiamo accettare un risultato, quando serve verificarlo e quando l’impossibilità di comprenderne il processo è già, da sola, un problema.