Come installare ed eseguire LLM localmente su un telefono Android

Eseguendo modelli linguistici di grandi dimensioni (LLM) in locale sul tuo telefono Android puoi accedere a tali modelli di intelligenza artificiale senza dover ricorrere a server cloud o a una connessione Internet . Questa configurazione locale garantisce la privacy mantenendo i tuoi dati al sicuro e sul dispositivo. Grazie ai progressi nell'hardware mobile, l'esecuzione di modelli di intelligenza artificiale in locale è diventata una realtà. Con l'app MLC Chat puoi sperimentare questa potente tecnologia direttamente sul tuo telefono.

Questo articolo spiegherà l'importanza di eseguire LLM in locale sui telefoni Android e fornirà istruzioni dettagliate per installarlo ed eseguirlo utilizzando l'app MLC Chat.

Perché eseguire LLM su un telefono Android?

Gli LLM vengono solitamente eseguiti su server cloud poiché richiedono una notevole potenza di calcolo. Anche se i telefoni Android presentano alcune limitazioni quando eseguono LLM, aprono anche alcune possibilità interessanti.

  • Maggiore privacy : poiché tutte le operazioni di elaborazione vengono eseguite sul telefono, i dati rimangono locali, il che è importante per tutte le informazioni sensibili che condividi.
  • Accesso offline : non è richiesta alcuna connessione Internet persistente per accedere o interagire con questi modelli. Questa funzionalità è particolarmente utile per gli utenti che vivono in aree remote o che hanno una connettività Internet limitata.
  • Conveniente : l'esecuzione di LLM su server cloud comporta costi operativi quali archiviazione cloud e potenza di elaborazione. Questo metodo fornisce una soluzione conveniente per gli utenti.

Guida passo passo per installare ed eseguire MLC Chat su Android

L'applicazione MLC Chat è progettata per consentire agli utenti di eseguire e interagire con modelli linguistici di grandi dimensioni (LLM) in locale su una varietà di dispositivi, compresi i telefoni cellulari, senza dover ricorrere a servizi basati sul cloud. Per eseguire LLM in locale sul tuo dispositivo Android, segui i passaggi indicati di seguito.

Passaggio 1: installa l'applicazione MLC Chat

Per prima cosa, devi scaricare l'APK per l'app MLC Chat (112 MB) dal link sottostante.

File APK dell'applicazione MLC Chat

Come installare ed eseguire LLM localmente su un telefono Android
Installa l'app MLC Chat

Una volta scaricato l'APK, tocca il file per avviare l'installazione.

Passaggio 2: Scarica LLM

Dopo aver installato correttamente l'app, aprila e vedrai un elenco di LLM disponibili per il download. Sono disponibili modelli di diverse dimensioni e capacità, come LLama-3.2, Phi-3.5 e Mistral. Seleziona il modello più adatto alle tue esigenze e clicca sull'icona di download accanto per avviare il download. Ad esempio, se utilizzi un telefono di fascia media come Redmi Note 10, scegli un modello leggero come Qwen-2.5 per prestazioni più fluide.

Come installare ed eseguire LLM localmente su un telefono Android
Scarica LLM

Passaggio 3: eseguire l'LLM installato

Una volta scaricato il modello, accanto ad esso apparirà un'icona della chat. Fare clic sull'icona per iniziare la modellazione.

Come installare ed eseguire LLM localmente su un telefono Android
Eseguire l'LLM installato

Una volta che il modello è pronto, puoi iniziare a digitare i prompt e a interagire con l'LLM locale.

Come installare ed eseguire LLM localmente su un telefono Android

Ad esempio, su un dispositivo come il Redmi Note 10, l'esecuzione di un modello più piccolo come Qwen2.5 garantisce un'esperienza piuttosto fluida, generando circa 1,4 token al secondo. Sebbene queste prestazioni siano più lente rispetto a dispositivi di fascia alta come il Galaxy S23 Ultra , funzionano comunque bene per attività di base come brevi chat e semplice creazione di contenuti.

L'esecuzione di LLM in locale sui dispositivi Android tramite l'app MLC Chat fornisce un modo accessibile e protetto dalla privacy per interagire con i modelli di intelligenza artificiale. Le prestazioni dipendono fortemente dall'hardware del telefono. Questa soluzione è ideale per gli utenti che necessitano di accesso offline ai modelli di intelligenza artificiale, testano LLM in tempo reale o sono preoccupati per la privacy. Con il continuo miglioramento dell'hardware mobile, le capacità dell'LLM locale continueranno ad aumentare, rendendo questa una frontiera entusiasmante per la tecnologia dell'intelligenza artificiale.

Sign up and earn $1000 a day ⋙

Leave a Comment

Come installare TWRP Recovery su Android (non è richiesto il root)

Come installare TWRP Recovery su Android (non è richiesto il root)

TWRP consente agli utenti di salvare, installare, effettuare il backup e ripristinare il firmware sui propri dispositivi senza doversi preoccupare di compromettere lo stato del dispositivo durante il rooting, il flashing o l'installazione di un nuovo firmware sui dispositivi Android.

App per sostituire la galleria fotografica predefinita di Android

App per sostituire la galleria fotografica predefinita di Android

Sul Google Play Store sono disponibili numerose app alternative alla galleria predefinita di Android. Offrono funzionalità più interessanti rispetto alla libreria predefinita, come la connessione agli account Dropbox o Google Foto, ecc. A seconda delle tue esigenze e dei tuoi desideri, puoi scegliere le seguenti applicazioni.

Dimensioni degli screenshot di App Store e Google Play

Dimensioni degli screenshot di App Store e Google Play

È importante lavorare sull'immagine che si sta selezionando per la revisione nella domanda. Ecco perché è importante sapere che aspetto hanno i tuoi screenshot per catturare l'attenzione degli utenti e convincerli a scaricarli.

Le 5 migliori app per contare le calorie sul tuo telefono

Le 5 migliori app per contare le calorie sul tuo telefono

Ecco alcune delle migliori app per il conteggio delle calorie disponibili sia sulle piattaforme mobili Android che iOS.

Come ingrandire la tastiera Android

Come ingrandire la tastiera Android

Per semplificare la navigazione sul tuo dispositivo mobile, puoi modificare la dimensione del carattere su Android. Quando il testo, i caratteri e i simboli sono più facili da vedere, potresti voler ingrandire la tastiera Android.

Qual è la differenza tra i telefoni Samsung e quelli Android?

Qual è la differenza tra i telefoni Samsung e quelli Android?

Se non sei esperto di tecnologia, potresti facilmente confonderti tra diversi sistemi operativi, produttori, modelli di dispositivi e specifiche. Un esempio è quando le persone considerano Samsung e Android come sinonimi, il che non è del tutto corretto.

10 funzionalità del Samsung Galaxy che tutti i telefoni Android dovrebbero imparare

10 funzionalità del Samsung Galaxy che tutti i telefoni Android dovrebbero imparare

Se utilizzi un telefono Samsung da qualche anno, scoprirai che le fantastiche funzionalità offerte dalla linea Galaxy sono difficili da battere.

Come fare uno screenshot su Samsung Galaxy

Come fare uno screenshot su Samsung Galaxy

Anche fare screenshot sui telefoni Samsung Galaxy è estremamente semplice.

Come impostare il livello di volume predefinito per ogni applicazione

Come impostare il livello di volume predefinito per ogni applicazione

Impostare un livello di volume predefinito per ogni applicazione può essere utile in alcuni casi, ad esempio quando si guarda un video con l'applicazione Youtube e si desidera ridurre il volume della suoneria e del tono dei messaggi per non essere disturbati.

Come eliminare e disinstallare completamente le app su Android

Come eliminare e disinstallare completamente le app su Android

Cercare di eliminare e disinstallare completamente un'app su Android non è sempre semplice come toccare Disinstalla. Al contrario, i file rimangono indietro e ingombrano il sistema, ma esistono dei modi per sbarazzarcene.

Le migliori app di fotografia su iOS e Android

Le migliori app di fotografia su iOS e Android

Le app predefinite della fotocamera del tuo telefono possono fare molto, ma non dispongono ancora di molti strumenti più avanzati per la fotografia creativa. Ecco le migliori app per scattare fotografie con il telefono.

Come usare Shelter per mettere in sandbox le app su Android

Come usare Shelter per mettere in sandbox le app su Android

Nell'articolo seguente, Quantrimang parlerà del funzionamento di Shelter e di come utilizzare questo strumento.

9 funzionalità di accessibilità Android che ogni utente dovrebbe provare

9 funzionalità di accessibilità Android che ogni utente dovrebbe provare

Sebbene le funzionalità di accessibilità di Android siano progettate tenendo conto di esigenze specifiche, alcune di esse possono essere utili a tutti.

5 funzionalità Android per un multitasking senza interruzioni

5 funzionalità Android per un multitasking senza interruzioni

Dover destreggiarsi tra più app sul telefono per portare a termine le cose a volte può sembrare stressante. Fortunatamente, Android offre una serie di funzionalità che rendono il multitasking un gioco da ragazzi.

Come disattivare leffetto vibrazione dei tasti su Android

Come disattivare leffetto vibrazione dei tasti su Android

La maggior parte delle app per tastiere virtuali include una funzione di feedback tramite vibrazione, nota anche come "feedback tattile", per rendere più realistica la digitazione su un touchscreen.

Come risolvere il problema delliPhone che non si accende

Come risolvere il problema delliPhone che non si accende

Esistono molti fattori diversi che possono impedire all'iPhone di rispondere o addirittura di accendersi. La buona notizia è che puoi risolvere la maggior parte di questi problemi senza portare il tuo dispositivo in un centro assistenza.

I 5 filtri più popolari per la fotocamera delliPhone

I 5 filtri più popolari per la fotocamera delliPhone

Dopo aver provato tutti i filtri fotografici sul tuo iPhone, alla fine sceglierai quelli che preferisci. Ecco i filtri migliori che dovresti usare per le tue foto.

Come impostare una password per scaricare le applicazioni su Android

Come impostare una password per scaricare le applicazioni su Android

Per limitare il download di applicazioni indesiderate su Android, dovresti impostare una password per scaricare le applicazioni su Android.

Come installare TWRP Recovery su Android (non è richiesto il root)

Come installare TWRP Recovery su Android (non è richiesto il root)

TWRP consente agli utenti di salvare, installare, effettuare il backup e ripristinare il firmware sui propri dispositivi senza doversi preoccupare di compromettere lo stato del dispositivo durante il rooting, il flashing o l'installazione di un nuovo firmware sui dispositivi Android.

Come mantenere acceso lo schermo del tuo telefono Android

Come mantenere acceso lo schermo del tuo telefono Android

Sui telefoni Android è disponibile un'opzione per regolare la modalità di blocco dello schermo quando l'utente è inattivo. Quindi, come si fa a tenere acceso lo schermo?

Perché lorario del lancio delliPhone è sempre 9:41?

Perché lorario del lancio delliPhone è sempre 9:41?

Negli eventi di lancio dei nuovi prodotti Apple, tra cui iPhone, iOS, macOS... l'orario è sempre 9:41.

App per sostituire la galleria fotografica predefinita di Android

App per sostituire la galleria fotografica predefinita di Android

Sul Google Play Store sono disponibili numerose app alternative alla galleria predefinita di Android. Offrono funzionalità più interessanti rispetto alla libreria predefinita, come la connessione agli account Dropbox o Google Foto, ecc. A seconda delle tue esigenze e dei tuoi desideri, puoi scegliere le seguenti applicazioni.

Cambia facilmente le note sulliPhone con questo semplice trucco!

Cambia facilmente le note sulliPhone con questo semplice trucco!

iOS 18 ha aggiunto una nuova funzionalità che semplifica questo processo e consente di accedere alle note recenti con pochi tocchi.

Come impedire ai telefoni Android di intercettare silenziosamente le conversazioni

Come impedire ai telefoni Android di intercettare silenziosamente le conversazioni

La funzione di assistente vocale di Google sul telefono aiuta molto gli utenti nella vita quotidiana e nel lavoro. Tuttavia, ciò potrebbe avere ripercussioni sulla privacy dell'utente.

Come visualizzare più fusi orari sullo schermo delliPhone

Come visualizzare più fusi orari sullo schermo delliPhone

Invece di calcolare manualmente la differenza oraria tra le città, puoi utilizzare il tuo iPhone per visualizzare più fusi orari.

Come sfocare i volti delle persone nelle foto usando lo strumento di pulizia delliPhone

Come sfocare i volti delle persone nelle foto usando lo strumento di pulizia delliPhone

Clean Up è uno strumento dell'app Foto di iOS 18 che consente di rimuovere oggetti indesiderati dalle foto. A volte, però, si verifica lo strano comportamento di sfocare i volti anziché eliminarli.

Come visualizzare lindice di salute notturno su iPhone

Come visualizzare lindice di salute notturno su iPhone

Il nuovo aggiornamento dell'iPhone aggiunge un widget con informazioni sulla salute notturna nell'app Salute. Quando aggiungi il widget alla schermata iniziale del tuo iPhone, tutti i tuoi parametri di salute verranno registrati mentre utilizzi il tuo Apple Watch.

Usa liPhone come webcam con queste 5 app

Usa liPhone come webcam con queste 5 app

Sapevi che puoi usare il tuo iPhone come webcam? Questa pratica presenta alcuni vantaggi pratici. Se hai un vecchio iPhone in giro, usarlo come webcam può farti risparmiare una notevole quantità di denaro.

Come impedire alle app Android di accedere a Internet utilizzando i dati mobili in background

Come impedire alle app Android di accedere a Internet utilizzando i dati mobili in background

Ti dà spesso fastidio il fatto che ogni volta che attivi il 3G sul tuo smartphone Android, le applicazioni fanno a gara per notificare gli aggiornamenti, mentre il budget per la rete dati mobile è limitato?

Come trovare le password trapelate nellapp Password di iPhone

Come trovare le password trapelate nellapp Password di iPhone

Non appena l'app Password rileva un account con una password debole, vulnerabile o trapelata, ti informerà sullo stato di tale password.