Una nuova ricerca di David Strömberg, Victor Lei e Yanhui Wu ha seguito per 30 mesi 26.811 studenti cinesi tra i 12 e i 18 anni, dalla settima alla dodicesima classe, osservando compiti e verifiche in nove materie.
I dati comprendono anche esami mensili a libro chiuso e test di ingresso scolastici e universitari. Lo studio, pubblicato come Discussion Paper del CEPR, utilizza la diversa tempistica con cui gli studenti hanno iniziato a usare l’IA per confrontarne l’andamento.
I risultati vanno in due direzioni opposte.
Dopo l’adozione dell’Intelligenza Artificiale, i voti nei compiti aumentano mediamente del 18% e il tempo necessario per completarli scende del 30%, passando da circa 64 a 45 minuti.
Entro sei mesi, però, i risultati degli stessi studenti negli esami svolti senza IA diminuiscono del 20%. Negli esami di ingresso ad alta posta in gioco il calo stimato arriva, nei due casi analizzati, al 18% e al 24%, con l’effetto completo che emerge dopo circa due anni.
Come evidenziato nella parte superiore di questo grafico pubblicato dall’Economist, la distribuzione dei voti dei compiti si sposta nettamente verso destra dopo l’utilizzo dell’IA.
In pratica, gli studenti consegnano lavori migliori.
Nella parte centrale del grafico è evidente come la curva si sposta verso sinistra, perché il tempo impiegato per terminare i compiti diminuisce molto.
E questo è positivo. Meno tempo per compiti migliori.
La distribuzione dei risultati agli esami però si muove nella direzione opposta. Gli studenti che utilizzano l’IA ottengono risultati peggiori quando devono lavorare senza il suo aiuto.
È una fotografia piuttosto chiara della differenza tra performance e apprendimento. Grazie all’IA, gli studenti aumentano le performance, ma riducono l’apprendimento.
Le perdite di apprendimento si concentrano in circa l’80% degli utilizzatori di IA il cui comportamento è compatibile con quello che i ricercatori definiscono homework outsourcing.
Homework outsourcing: espressione utilizzata dagli economisti David Strömberg, Victor Lei e Yanhui Wu per descrivere l’uso dell’intelligenza artificiale generativa come sostituto dello svolgimento diretto dei compiti scolastici. Gli studenti ottengono così risultati migliori nei compiti in meno tempo, ma delegando all’AI parte del lavoro cognitivo possono imparare meno e peggiorare successivamente negli esami svolti senza assistenza.
Gli studenti che continuano invece a dedicare ai compiti un tempo simile a quello di chi non usa l’IA registrano perdite di apprendimento molto più piccole.
Questo cambia parecchio la lettura dei risultati. La domanda utile riguarda cosa facciamo con l’IA durante quei 45 minuti.
Possiamo chiederle direttamente la soluzione e guadagnare diciannove minuti. Oppure possiamo usarla per farci spiegare un passaggio che non abbiamo capito, costruire un esercizio simile, mettere alla prova il nostro ragionamento o ricevere un feedback.
In entrambi i casi abbiamo “usato l’IA”. L’effetto sull’apprendimento può essere molto diverso. Il compito serve a produrre una risposta o a imparare?
Questa ricerca mette anche in difficoltà uno dei meccanismi su cui la scuola si basa da molto tempo. Il compito viene assegnato per esercitare una competenza. Il voto sul compito viene poi utilizzato come indicatore, imperfetto, di quanto quella competenza sia stata acquisita.
Con l’IA le due cose possono separarsi. Uno studente può consegnare un elaborato da 9 e possedere una preparazione da 6.
Più gli strumenti generativi diventeranno capaci di produrre risposte corrette, meno il prodotto finale ci dirà qualcosa sul processo che è avvenuto nella testa dello studente.
Per questo premiare il ragionamento più dell’esecuzione potrebbe diventare uno dei cambiamenti necessari nella scuola.
Se vogliamo capire cosa uno studente ha imparato, dovremo guardare sempre più a come arriva alla risposta, a come la argomenta e a cosa succede quando gli togliamo l’assistente.