Una startup di Bengaluru può pagare ogni richiesta all’IA più di una concorrente di Austin, semplicemente perché usa una lingua diversa.
È uno degli esempi riportati da Rest of World per raccontare la disuguaglianza derivante dal costo della lingua con cui parliamo alle macchine.
I modelli linguistici elaborano il testo dividendolo in token, piccoli blocchi che possono corrispondere a parole intere, parti di parole o singoli caratteri. Ma questa suddivisione cambia da una lingua all’altra. Lo stesso contenuto può occupare pochi token in inglese e molti di più in un’altra lingua.
Per chi utilizza servizi di IA pagando a consumo, come le aziende che li integrano nelle proprie applicazioni, più token significano una fattura più alta.
I ricercatori della Coalition for Language Equity in AI Research chiamano questo fenomeno “tokenizer tax”. Nello studio pubblicato a settembre hanno confrontato testi equivalenti in circa 200 lingue: nel caso peggiore, la lingua più penalizzata richiedeva 17 volte i token di quella trattata con maggiore efficienza.
Anche limitandosi alle venti lingue più presenti sul web, il divario arrivava a 4,5 volte.
A determinare questa differenza contribuisce la quantità di testi disponibili online, ma anche il sistema di scrittura. L’asturiano, pur avendo relativamente pochi parlanti, beneficia dell’alfabeto latino e della parentela con lingue più rappresentate, come l’italiano. Il birmano, il tibetano e il khmer, invece, figurano tra le lingue più penalizzate perché i loro sistemi di scrittura vengono spesso frammentati in molte più unità.
L’italiano si trova quindi dalla parte relativamente avvantaggiata di questa disuguaglianza, grazie all’alfabeto e alla sua presenza nei dati. Ma questo non significa che scrivere in italiano costi sempre quanto scrivere in inglese.
Il problema, inoltre, va oltre la spesa. Se una lingua consuma più token, nello stesso spazio entrano meno documenti, meno spiegazioni e meno conversazione. Un tutor digitale può così avere meno informazioni a disposizione sugli errori precedenti di uno studente proprio perché quello studente parla una lingua meno rappresentata.
Per anni l’inglese è stato un vantaggio per accedere alla conoscenza, lavorare e comunicare. Con l’IA può diventare anche uno sconto sull’uso della tecnologia. Portando così le persone a rinunciare alla propria lingua per ottenere di più, spendendo meno.
Una scelta comprensibile per il singolo, che su larga scala rischia di rendere ancora meno presenti le lingue già marginalizzate.
Se vogliamo un’IA accessibile a tutti, anche la lingua deve entrare tra i criteri con cui ne valutiamo la qualità. Parlare alla tecnologia nella propria lingua dovrebbe essere una possibilità normale, senza un sovrapprezzo.