Diogo Almeida, ex ricercatore OpenAI che ha contribuito alla ricerca alla base di ChatGPT, ha appena presentato con la sua startup TypeSafe AI un modello costruito seguendo una logica molto diversa da quella tipica dei chatbot.
Si chiama Jev.
Per capire come funziona possiamo partire da ChatGPT.
Un LLM riceve una richiesta e genera una risposta parola dopo parola, o meglio token dopo token. Può spiegare, argomentare, scrivere codice e conversare.
Jev invece cambia completamente la prospettiva.
In pratica, riceve dei dati e una serie di possibili decisioni definite dal software. Poi restituisce direttamente un valore strutturato, insieme alla probabilità e a un punteggio che indica quanto è sicuro della risposta.
Tutto questo in parallelo, invece di costruire una frase un token alla volta.
Immaginiamo, per esempio, un sistema antifrode.
A ChatGPT potremmo chiedere di analizzare una transazione e spiegarci se sembra sospetta.
A Jev potremmo chiedere direttamente di scegliere tra fraud e not_fraud, assegnando a quella scelta una probabilità.
Il software può poi decidere autonomamente cosa fare. Se la probabilità supera il 99%, blocca la transazione. Se è più bassa, la passa a un essere umano.
Per questo TypeSafe definisce Jev un “System One Model”, richiamando il Sistema 1 di Kahneman, il pensiero rapido e immediato.
Secondo i dati pubblicati dall’azienda, una risposta richiede tra 70 e 500 millisecondi e, nei task per cui è stato progettato, può essere tra 40 e 200 volte più veloce rispetto ai modelli frontier usati nello stesso tipo di workflow. Il prezzo è di 0,042 dollari per milione di token in ingresso, mentre l’output non viene fatto pagare.
Oltre al guadagno in termini di performance e costi, TypeSafe parla anche di «zero hallucinations».
Jev non può inventarsi una risposta diversa da quelle consentite dallo schema. Se deve scegliere tra A, B e C, non improvviserà D o inizierà a raccontarci una storia. Questo non significa che scelga sempre l’opzione corretta. Può sbagliare la decisione, ed è proprio per questo che restituisce anche il proprio livello di confidenza. La stessa TypeSafe precisa inoltre che il dato sulle allucinazioni deriva dalla garanzia sul rispetto dello schema, non da una misura empirica della correttezza di ogni decisione.
Jev suggerisce una possibile evoluzione dell’IA diversa dalla corsa al chatbot sempre più intelligente e generalista.
Potremmo avere modelli linguistici per comunicare, modelli di coding per programmare, modelli matematici per dimostrare e modelli come Jev per prendere milioni di piccole decisioni dentro il software.
Almeida lo descrive come qualcosa di «più simile a un database che a un collega». Un software che prende decisioni dentro il software che usiamo ogni giorno.