[ad_1]
Qualcomm non è estraneo all’esecuzione di sistemi di intelligenza artificiale e apprendimento automatico sul dispositivo e senza una connessione Internet. Lo fanno da anni con i chipset delle loro fotocamere. Ma martedì allo Snapdragon Summit 2023, la società ha annunciato che l’intelligenza artificiale integrata sul dispositivo arriverà finalmente sui dispositivi mobili e sui PC Windows 11 come parte dei nuovi chip Snapdragon 8 Gen 3 e X Elite.
Entrambi i chipset sono stati costruiti da zero pensando alle capacità di intelligenza artificiale generativa e sono in grado di supportare una varietà di modelli linguistici di grandi dimensioni (LLM), modelli di visione linguistica (LVM) e modelli di riconoscimento vocale automatico (ASR) basati su rete di trasformatori, fino a a 10 miliardi di parametri per SD8 gen 3 e 13 miliardi di parametri per X Elite, interamente sul dispositivo. Ciò significa che sarai in grado di eseguire qualsiasi cosa, da ERNIE 3.5 di Baidu a Whisper di OpenAI, Llama 2 di Meta o Gecko di Google sul tuo telefono o laptop, senza una connessione Internet. I chip di Qualcomm sono ottimizzati per input vocali, di testo e di immagini.
“È importante avere un’ampia gamma di supporto sotto il cofano affinché questi modelli possano funzionare e quindi il calcolo eterogeneo è estremamente importante”, ha detto ai giornalisti Durga Malladi, SVP e General Manager, Technology Planning & Edge Solutions di Qualcomm, in un ultimo prebriefing settimana. “Disponiamo di processori CPU, GPU e NPU (Neural Processing Unit) all’avanguardia che vengono utilizzati contemporaneamente, poiché più modelli sono in esecuzione in un dato momento.”
Il Qualcomm AI Engine è composto dalla CPU Oryon, dalla GPU Adreno e dalla NPU Hexagon. Insieme, gestiscono fino a 45 TOPS (trilioni di operazioni al secondo) e possono elaborare 30 token al secondo sui laptop, 20 token al secondo sui dispositivi mobili: i token sono l’unità di testo/dati di base da cui gli LLM possono elaborare/generare. I chipset utilizzano la DRAM LP-DDR5x da 4,8 GHz di Samsung per l’allocazione della memoria.
“L’intelligenza artificiale generativa ha dimostrato la capacità di affrontare compiti molto complessi, risolverli e risolverli in modo molto efficiente”, ha continuato. I potenziali casi d’uso potrebbero includere il riepilogo di riunioni e documenti o la stesura di e-mail per i consumatori e la generazione di codici informatici o musica basati su prompt per applicazioni aziendali, ha osservato Malladi.
Oppure potresti semplicemente usarlo per scattare belle foto. Qualcomm sta integrando il suo lavoro precedente con edge AI, Cognitive ISP. I dispositivi che utilizzano questi chipset saranno in grado di modificare le foto in tempo reale e su un massimo di 12 livelli. Saranno anche in grado di catturare immagini più chiare in condizioni di scarsa illuminazione, rimuovere oggetti indesiderati dalle foto (come la gomma magica di Google) o espandere gli sfondi delle immagini. La scansione degli utenti può anche filigranare i propri scatti come reali e non generati dall’intelligenza artificiale, utilizzando l’acquisizione di foto Truepic.
Avere un’intelligenza artificiale che vive principalmente sul tuo telefono o dispositivo mobile, piuttosto che nel cloud, offrirà agli utenti una miriade di vantaggi rispetto al sistema attuale. Proprio come le IA aziendali che prendono un modello generale (ad esempio GPT-4) e lo ottimizzano utilizzando i dati interni di un’azienda per fornire risposte più accurate e pertinenti, un’IA archiviata localmente “nel tempo… viene gradualmente personalizzata”, ha affermato Malladi, “nel senso che… l’assistente diventa più intelligente e migliore, funzionando sul dispositivo stesso.”
Inoltre, il ritardo intrinseco presente quando il modello deve interrogare il cloud per l’elaborazione o le informazioni non esiste quando tutte le risorse sono locali. Pertanto, sia X Elite che SD8 gen 3 sono in grado non solo di eseguire Stable Diffusion sul dispositivo ma di generare immagini in meno di 0,6 secondi.
La capacità di gestire modelli più grandi e più capaci e di interagire con essi utilizzando le nostre parole parlate anziché quelle digitate, potrebbe in definitiva rivelarsi il più grande vantaggio per i consumatori. “C’è un modo davvero unico in cui iniziamo a interfacciare i dispositivi e la voce diventa un’interfaccia molto più naturale verso questi dispositivi, oltre a tutto il resto”, ha affermato Malladi. “Crediamo che abbia il potenziale per essere un momento di trasformazione, in cui inizieremo a interagire con i dispositivi in un modo molto diverso rispetto a quello che abbiamo fatto prima.”
I dispositivi mobili e i PC sono solo l’inizio dei piani AI su dispositivo di Qualcomm. Il limite di 10-13 miliardi di parametri si sta già spostando verso oltre 20 miliardi di parametri man mano che l’azienda sviluppa nuove iterazioni di chip. “Si tratta di modelli molto sofisticati”, ha commentato Malladi. “I casi d’uso che costruisci su questo sono piuttosto impressionanti.”
“Quando inizi a pensare agli ADAS (sistemi avanzati di assistenza alla guida) e hai la multimodalità [data] proveniente da più telecamere, sensori IR, radar, lidar – oltre alla voce, che è l’essere umano che si trova all’interno del veicolo stesso”, ha continuato. “Le dimensioni di quel modello sono piuttosto grandi, parliamo già di 30-60 miliardi di parametri.” Alla fine, secondo le stime di Qualcomm, questi modelli on-device potrebbero avvicinarsi a 100 miliardi di parametri o più.
Questo articolo è apparso originariamente su Engadget all’indirizzo https://www.engadget.com/qualcomm-brings-on-device-ai-to-mobile-and-pc-190030938.html?src=rss
[ad_2]
Source link
