Quando cerchiamo qualcosa su Google, otteniamo una lista di link. Decidiamo noi quale cliccare, a quale fonte credere, come interpretare quello che leggiamo. Quando facciamo la stessa domanda a ChatGPT, a Claude, a Gemini, ecc… otteniamo una risposta già confezionata. La sintesi, l’interpretazione, la selezione di cosa includere e cosa no è un lavoro già fatto da qualcun altro.
Non è una differenza da poco: questo è il punto di partenza di uno studio molto interessante dal titolo “Measuring Perceived Slant in Large Language Models Through User Evaluations” dove 3 ricercatori della Stanford University e Dartmouth College hanno chiesto a un’altra IA di giudicare se una risposta fosse “di sinistra” o “di destra”. Hanno messo delle persone reali a fare da arbitro.
A domande su temi come il matrimonio tra persone dello stesso sesso, il possesso di armi o la pena di morte negli Stati Uniti, i diversi LLM analizzati hanno generato risposte che vanno da un’abolizione netta a un mantenimento netto, passando per un “dipende”, che gli utenti percepiscono, non a caso, come la risposta più neutra e anche come quella di qualità più alta.
Il tono della neutralità
Come si definisce, esattamente, l’orientamento politico di un contenuto? I modelli linguistici possiedono la capacità di percepire accuratamente l’orientamento ideologico di un contenuto? Dallo studio sembra di no, almeno non in modo coerente con come lo percepiamo noi. Il che rende ancora più fragile l’idea di affidare a un’altra IA il compito di “correggere” il bias di un’IA.
Lo studio indica che è bastato chiedere al modello di “assumere una posizione ideologicamente neutrale” perché il tono cambiasse in modo misurabile. E qui arriva un dettaglio che trovo affascinante: analizzando il testo generato dopo quella singola istruzione, i ricercatori hanno visto comparire più spesso parole come “equilibrio”, “attenzione”, “complesso”, “schieramenti”, ed espressioni come “attenta considerazione”. Non una posizione neutra nel merito, ma un tono più ambivalente, più consapevole della complessità. Ed è proprio quel tono che gli utenti, di qualunque orientamento, interpretano come “neutralità”.
Alfabetizzarci
Stiamo entrando in un mondo in cui sempre più persone non cercano più su Google: chiedono direttamente a un assistente IA, e quell’assistente decide cosa dire, come dirlo, cosa omettere.
La soluzione è alfabetizzarci: capire come funzionano questi modelli, sapere che le risposte, specie su temi valoriali, portano sempre una cornice, imparare a chiedere “mostrami entrambe le posizioni” o “quali sono i controargomenti”, e trattare ogni risposta come un punto di partenza per il nostro ragionamento, non come il suo punto di arrivo.
Se le aziende inizieranno davvero a farsi trovare e raccontare dai modelli linguistici invece che dai motori di ricerca, questa alfabetizzazione non sarà più un tema per addetti ai lavori. Sarà una competenza di base, per chiunque comunichi qualcosa online.
Pubblicato anche su LinkedIn: leggi il post e i commenti.