Durante l’annuncio del modello Gemini, Google ha indicato la disponibilità di tre diverse edizioni: Ultra, Pro e Nano. Quest’ultimo è pensato per essere eseguito in locale sugli smartphone e la prima implementazione la stiamo già vedendo sul Google Pixel 8 Pro attraverso l’app Registratore.
Gemini Nano su Pixel 8 Pro supporta infatti la funzione “Riassumi” in Registratore.
Tale funzione richiede l’aggiornamento all”app Registratore 4.2.20231031.x, che contiene diverse stringhe che descrivono in dettaglio come funzionerà. Google spiega che “Pixel Recorder utilizza un modello linguistico di grandi dimensioni per riassumere il contenuto della trascrizione” e che è necessario “Scaricare il modello per continuare“. Se non sei connesso al Wi-Fi, viene visualizzato il messaggio “Questo aggiornamento richiede 1 GB di dati mobili“.
Quando apri una registrazione e accedi alla scheda “Trascrizione”, toccando “Riassumi” in alto verranno generati circa tre punti elenco. Data la natura dell’intera app sul dispositivo, il riepilogo funzionerà anche quando sei offline.
Per riferimento, Gemini Nano è disponibile in due versioni: “parametri 1.8B (Nano-1) e 3.25B (Nano-2), destinati rispettivamente a “dispositivi con poca e tanta memoria”. Android AICore è presumibilmente coinvolto, se non interamente responsabile, nel processo di download.
Guardando al futuro, Google afferma che “la famiglia più ampia di modelli Gemini sbloccherà nuove funzionalità per l’esperienza Assistant with Bard all’inizio del prossimo anno su Pixel”.
AICore permette il funzionamento di Gemini Nano
Dietro le quinte, le app accedono a Gemini Nano, che può anche eseguire correzioni di bozze e correzioni grammaticali avanzate, utilizzando Android AICore. Si tratta del “nuovo servizio di sistema per modelli di base su dispositivo” di Android 14 che gestisce la gestione dei modelli, i tempi di esecuzione e le funzionalità di sicurezza.
AICore consente la messa a punto del Low Rank Adaption (LoRA) con Gemini Nano. Questo potente concetto consente agli sviluppatori di app di creare piccoli adattatori LoRA basati sui propri dati di addestramento. L’adattatore LoRA viene caricato da AICore, risultando in un potente modello linguistico di grandi dimensioni ottimizzato per i casi d’uso dell’app.
Oltre alla privacy e ai dati che non lasciano il tuo dispositivo, Google sottolinea come la natura del funzionamento locale sul dispositivo “consenti esperienze coerenti con latenza deterministica, quindi le funzionalità sono sempre disponibili anche in assenza di rete”.
AICore è privato per natura, seguendo l’esempio del Private Compute Core di Android con isolamento dalla rete tramite API open source, garantendo trasparenza e verificabilità. Nell’ambito dei nostri sforzi per creare e implementare l’IA in modo responsabile, abbiamo anche creato funzionalità di sicurezza dedicate per renderla più sicura e inclusiva per tutti.
AICore utilizza la TPU su Tensor G3, mentre ci sarà anche il supporto per le NPU nei chip di punta Qualcomm, Samsung e MediaTek. Google afferma che altri dispositivi e partner in silicio verranno annunciati “nei prossimi mesi”.
