Italian Tech

L'analisi

L'IA che seduce gli investitori non sa chi ha vinto la Serie A. Ed è un problema

Immagine creata con Dall-E 3 di OpenAI
Immagine creata con Dall-E 3 di OpenAI 
Una semplice domanda, "Chi ha vinto l'ultima Serie A?", ha messo in crisi Perplexity, l'intelligenza artifciale che vuole fare concorrenza a Google. Le risposte inventate dall'IA però non spaventano gli investitori: il valore di mercato (stimato) di Perplexity ha appena raggiunto il miliardo di dollari
2 minuti di lettura

Perplexity, il motore di ricerca che usa l'IA per conversare in modo naturale con gli utenti, è diventato un unicorno.

La sua valutazione ha raggiunto, sulla carta, un miliardo di dollari. A gennaio scorso era di appena 512 milioni di dollari. In pratica la metà.

L'entusiasmo degli investitori per questa piattaforma, considerata "Google con gli steroidi", è evidente. Su Perplexity hanno puntato, recentemente, anche NVIDIA e Jeff Bezos.

Questa intelligenza artificiale, di cui esiste anche una app per Android e iOS, conta circa 10 milioni di utenti mensili.

Perplexity fa un buon lavoro quando le viene chiesta un’informazione che implica un ragionamento o la spiegazione di un concetto complesso. È comodo il fatto che in risposta a una domanda non si ottengono una lista di link, come avviene su Google, ma una sintesi ordinata delle fonti consultate sul web su un determinato argomento.

Ma i limiti di Perplexity sono evidenti. Soprattutto se viene utilizzata in italiano. Oppure se le vengono chiesti fatti molto recenti.

Perplexity, per fare un esempio banale, non ha risposto correttamente alle domande "Chi ha vinto l'ultima Serie A" e "Chi ha vinto l'ultimo scudetto della Serie A".

Alla prima domanda ha risposto in modo doppiamente errato, indicando il Milan (e non il Napoli) come club vincente della serie A 2022-2023. Alla seconda domanda l'IA ha risposto ancora Milan, ma riferendosi al campionato 2021-2022.

A due giorni dalla vittoria dello scudetto dell’Inter - la squadra che effettivamente ha vinto l’ultima Serie A - Perplexity sosteneva che il campionato fosse ancora in corso quando le è stato chiesto, in modo specifico, chi avesse vinto “la serie A 2023-2024”.

Soltanto quando le è stato domandato in inglese "Who won last Serie A?" Perplexity ha risposto correttamente "Inter".

Alle prime due domande in italiano, invece, Google ha invece risposto al primo colpo senza esitare, aggiungendo anche un'animazione per festeggiare il trionfo della squadra di Milano.

A sinistra, il risultato errato di Perplexity. A destra il risultato di Google alla domanda: "Chi ha vinto l'ultima Serie A?"
A sinistra, il risultato errato di Perplexity. A destra il risultato di Google alla domanda: "Chi ha vinto l'ultima Serie A?" 

Se avesse fatto gli stessi errori di Perplexity, Google lo avrebbe sicuramente pagato in borsa con un crollo del valore di miliardi di dollari.

Mettere a confronto un colosso tech con una startup può sembrare azzardato. Ma il confronto tra Google e Perplexity in realtà è di metodo: da una parte c’è la ricerca tradizionale, quella che restituisce le fonti e lascia all’utente il compito più laborioso di selezionare quelle più attendibili, di scavare nelle pagine e di estrarre le informazioni rilevanti; dall’altra c’è la ricerca “generativa” di un chatbot che risponde alle domande come un essere umano e offre contenuti liberi da Gdpr, per esempio, video invasivi, pubblicità e informazioni poco rilevanti. L’IA, insomma, va dritta al punto, offre immediatamente ciò che serve.

Ma che succede quando l’intelligenza artificiale sbaglia clamorosamente?

Non è solo una questione dicrollo in borsa, ma di danno enorme alla reputazione dell’azienda che sviluppa l’IA. E questo non riguarda solo il business del search. Abbiamo visto, per esempio, cosa è successo a Humane, la startup di due ex dipendenti Apple che ha creato una spilla (AI Pin) definita “lo smartphone del futuro”.

È facile intuire che una tecnologia, per conquistare la fiducia degli utenti, non può funzionare a singhiozzo, né può fornire risposte errate, né può essere influenzata dalla lingua utilizzata o dalla semantica.

Il problema delle “allucinazioni” di Perplexity, vale a dire la tendenza a fornire risposte inventate o errate, non è recente.

Il suo Ceo, Aravind Srinivas, si è confrontato con le lamentele degli utenti già a gennaio scorso, con un post sul social X che iniziava proprio così: “Riguardo le allucinazioni di Perplexity”.

Srinivas si giustificava scrivendo che molte critiche provenivano dagli utenti che usavano Perplexity in modalità free. E poi spiegava che il modello non era ancora abbastanza intelligente, poiché puntava su velocità e accuratezza in modo congiunto. A questo si univa il problema delle pagine web indicizzate in modo non corretto.

Il Ceo di Perplexity, nello stesso post di gennaio 2024, prometteva di aggiustare l’IA impiegando più GPU - e dunque aumentando la potenza di calcolo - e migliorando costantemente l’indicizzazione delle pagine.

Ma tre mesi dopo il post di Srinivas, le allucinazioni persistono. Mentre il valore di Perplexity è appunto raddoppiato.