La complessità e la potenza di calcolo necessaria per far si che un LLM funzioni a dovere non sono certo poche. Per questa ragione i modelli linguistici di grandi dimensioni (LLM) non sono istantanei, con un ritardo tra la richiesta e la risposta. Google ora sta facendo sentire Bard più veloce con una nuova opzione “rispondi in tempo reale“.
Pertanto, “le risposte verranno visualizzate in tempo reale durante lo svolgimento“. C’è ancora un’attesa in cui vedrai Google Bard rotante scintillare in diversi colori, ma dopo viene visualizzato il testo riga per riga.
Se capisci che la risposta non sarà utile, sopra il campo di testo appare un pulsante blu “Salta risposta” per fermare Bard e provare qualcos’altro. Questa sembra essere la nuova impostazione predefinita per Bard con una spiegazione più lunga offerta.
Il comportamento alternativo e originale ha risposte “mostrate una volta completate” con la risposta che arriva molto più rapidamente rispetto all’opzione tradizionale. Molto probabilmente questa nuova modalità riduce la complessità del modello, velocizzando quindi i tempi di elaborazione di una risposta. Di contro, un modello con meno parametri ha una “qualità di risposta” inferiore.
Chissà se questa funzionalità sarà implementata di default in Assistant con Bard.
Per modificare questa impostazione in Google Bard, tocca l’icona dell’ingranaggio delle impostazioni e troverai “Rispondi in tempo reale” e “Rispondi una volta completato”.
Questa impostazione in tempo reale è stata lanciata negli ultimi giorni e non appare nel registro delle modifiche degli aggiornamenti Bard di Google. Molto probabilmente è in una sorta di beta test a cui l’azienda sta facendo partecipare una parte di coloro che usano regolarmente il chatbot AI.
