Come installare ed eseguire LLM localmente su un telefono Android

Eseguendo modelli linguistici di grandi dimensioni (LLM) in locale sul tuo telefono Android puoi accedere a tali modelli di intelligenza artificiale senza dover ricorrere a server cloud o a una connessione Internet . Questa configurazione locale garantisce la privacy mantenendo i tuoi dati al sicuro e sul dispositivo. Grazie ai progressi nell'hardware mobile, l'esecuzione di modelli di intelligenza artificiale in locale è diventata una realtà. Con l'app MLC Chat puoi sperimentare questa potente tecnologia direttamente sul tuo telefono.

Questo articolo spiegherà l'importanza di eseguire LLM in locale sui telefoni Android e fornirà istruzioni dettagliate per installarlo ed eseguirlo utilizzando l'app MLC Chat.

Perché eseguire LLM su un telefono Android?

Gli LLM vengono solitamente eseguiti su server cloud poiché richiedono una notevole potenza di calcolo. Anche se i telefoni Android presentano alcune limitazioni quando eseguono LLM, aprono anche alcune possibilità interessanti.

  • Maggiore privacy : poiché tutte le operazioni di elaborazione vengono eseguite sul telefono, i dati rimangono locali, il che è importante per tutte le informazioni sensibili che condividi.
  • Accesso offline : non è richiesta alcuna connessione Internet persistente per accedere o interagire con questi modelli. Questa funzionalità è particolarmente utile per gli utenti che vivono in aree remote o che hanno una connettività Internet limitata.
  • Conveniente : l'esecuzione di LLM su server cloud comporta costi operativi quali archiviazione cloud e potenza di elaborazione. Questo metodo fornisce una soluzione conveniente per gli utenti.

Guida passo passo per installare ed eseguire MLC Chat su Android

L'applicazione MLC Chat è progettata per consentire agli utenti di eseguire e interagire con modelli linguistici di grandi dimensioni (LLM) in locale su una varietà di dispositivi, compresi i telefoni cellulari, senza dover ricorrere a servizi basati sul cloud. Per eseguire LLM in locale sul tuo dispositivo Android, segui i passaggi indicati di seguito.

Passaggio 1: installa l'applicazione MLC Chat

Per prima cosa, devi scaricare l'APK per l'app MLC Chat (112 MB) dal link sottostante.

File APK dell'applicazione MLC Chat

Come installare ed eseguire LLM localmente su un telefono Android
Installa l'app MLC Chat

Una volta scaricato l'APK, tocca il file per avviare l'installazione.

Passaggio 2: Scarica LLM

Dopo aver installato correttamente l'app, aprila e vedrai un elenco di LLM disponibili per il download. Sono disponibili modelli di diverse dimensioni e capacità, come LLama-3.2, Phi-3.5 e Mistral. Seleziona il modello più adatto alle tue esigenze e clicca sull'icona di download accanto per avviare il download. Ad esempio, se utilizzi un telefono di fascia media come Redmi Note 10, scegli un modello leggero come Qwen-2.5 per prestazioni più fluide.

Come installare ed eseguire LLM localmente su un telefono Android
Scarica LLM

Passaggio 3: eseguire l'LLM installato

Una volta scaricato il modello, accanto ad esso apparirà un'icona della chat. Fare clic sull'icona per iniziare la modellazione.

Come installare ed eseguire LLM localmente su un telefono Android
Eseguire l'LLM installato

Una volta che il modello è pronto, puoi iniziare a digitare i prompt e a interagire con l'LLM locale.

Come installare ed eseguire LLM localmente su un telefono Android

Ad esempio, su un dispositivo come il Redmi Note 10, l'esecuzione di un modello più piccolo come Qwen2.5 garantisce un'esperienza piuttosto fluida, generando circa 1,4 token al secondo. Sebbene queste prestazioni siano più lente rispetto a dispositivi di fascia alta come il Galaxy S23 Ultra , funzionano comunque bene per attività di base come brevi chat e semplice creazione di contenuti.

L'esecuzione di LLM in locale sui dispositivi Android tramite l'app MLC Chat fornisce un modo accessibile e protetto dalla privacy per interagire con i modelli di intelligenza artificiale. Le prestazioni dipendono fortemente dall'hardware del telefono. Questa soluzione è ideale per gli utenti che necessitano di accesso offline ai modelli di intelligenza artificiale, testano LLM in tempo reale o sono preoccupati per la privacy. Con il continuo miglioramento dell'hardware mobile, le capacità dell'LLM locale continueranno ad aumentare, rendendo questa una frontiera entusiasmante per la tecnologia dell'intelligenza artificiale.

Sign up and earn $1000 a day ⋙

Leave a Comment

7 semplici modi per rendere il tuo telefono Samsung meno noioso

7 semplici modi per rendere il tuo telefono Samsung meno noioso

Il tuo costoso Samsung Galaxy non deve per forza essere identico a tutti gli altri telefoni sul mercato. Con qualche piccolo accorgimento, puoi renderlo più personale, elegante e unico.

Perché così tante persone decidono di passare a Samsung dopo anni di utilizzo di iPhone?

Perché così tante persone decidono di passare a Samsung dopo anni di utilizzo di iPhone?

Dopo essersi stancati di iOS, sono finalmente passati ai telefoni Samsung e non si sono pentiti di questa decisione.

Come cambiare DNS su iPhone e telefoni Android

Come cambiare DNS su iPhone e telefoni Android

Cambiare il DNS su iPhone o cambiare il DNS su Android ti aiuterà a mantenere una connessione stabile, ad aumentare la velocità della connessione di rete e ad accedere ai siti web bloccati.

Come rendere la fotocamera ultra grandangolare del tuo telefono incredibilmente fantastica

Come rendere la fotocamera ultra grandangolare del tuo telefono incredibilmente fantastica

Molte persone non avrebbero mai pensato che la fotocamera più debole del loro telefono potesse trasformarsi in un'arma segreta per la fotografia creativa.

Le 11 migliori app di clic automatico per Android senza root

Le 11 migliori app di clic automatico per Android senza root

Con le applicazioni con clic automatico, non dovrai fare molto mentre giochi, utilizzi applicazioni o esegui attività disponibili sul dispositivo.

6 funzionalità esclusive di Pixel che puoi trasferire su qualsiasi telefono Android

6 funzionalità esclusive di Pixel che puoi trasferire su qualsiasi telefono Android

A seconda delle tue esigenze, probabilmente otterrai una serie di funzionalità esclusive di Pixel in esecuzione sul tuo dispositivo Android attuale.

Come recuperare 22 GB di spazio di archiviazione sul telefono Samsung senza eliminare dati importanti

Come recuperare 22 GB di spazio di archiviazione sul telefono Samsung senza eliminare dati importanti

La soluzione non prevede necessariamente l'eliminazione delle foto o delle app preferite: One UI include alcune opzioni che semplificano il recupero di spazio.

10 dispositivi che possono essere collegati alla porta di ricarica dello smartphone

10 dispositivi che possono essere collegati alla porta di ricarica dello smartphone

La maggior parte di noi considera la porta di ricarica del proprio smartphone come se il suo unico scopo fosse quello di mantenere in carica la batteria. Ma quella piccola porta è molto più potente di quanto si creda.

11 consigli da condividere quando si scattano foto con il telefono

11 consigli da condividere quando si scattano foto con il telefono

Se sei stanco di consigli generici che non funzionano mai, eccone alcuni che stanno silenziosamente trasformando il tuo modo di scattare foto.

Come leggere facilmente le specifiche dello smartphone

Come leggere facilmente le specifiche dello smartphone

Se siete alla ricerca di un nuovo smartphone, la prima cosa che guarderete sarà la scheda tecnica. È piena di indizi su prestazioni, durata della batteria e qualità del display.

Come usare Emojimix per combinare emoticon uniche

Come usare Emojimix per combinare emoticon uniche

L'applicazione Emojimix creerà emoji unici in base ai tuoi desideri, mescolando 2 emoji insieme per crearne uno che non hai mai visto prima.

Sei dipendente dal tuo telefono? Questa impostazione Samsung ti darà la risposta!

Sei dipendente dal tuo telefono? Questa impostazione Samsung ti darà la risposta!

Prova Digital Wellbeing sul tuo telefono Samsung per scoprire quanto tempo sprechi al telefono durante il giorno!

10 app per chiamate false su Android

10 app per chiamate false su Android

L'applicazione per chiamate false ti aiuta a creare chiamate dal tuo telefono per evitare situazioni imbarazzanti e indesiderate.

Come utilizzare il widget Locket per Android

Come utilizzare il widget Locket per Android

La nuova app Locket Widget è disponibile anche per Android, dopo che in precedenza gli utenti iOS avevano potuto utilizzare Locket Widget su iPhone.

Semplice trucco per controllare Apple TV con qualsiasi telefono Android

Semplice trucco per controllare Apple TV con qualsiasi telefono Android

Nonostante il rigido ecosistema Apple, alcune persone hanno trasformato i loro telefoni Android in affidabili telecomandi per la loro Apple TV.

7 semplici modi per rendere il tuo telefono Samsung meno noioso

7 semplici modi per rendere il tuo telefono Samsung meno noioso

Il tuo costoso Samsung Galaxy non deve per forza essere identico a tutti gli altri telefoni sul mercato. Con qualche piccolo accorgimento, puoi renderlo più personale, elegante e unico.

Perché così tante persone decidono di passare a Samsung dopo anni di utilizzo di iPhone?

Perché così tante persone decidono di passare a Samsung dopo anni di utilizzo di iPhone?

Dopo essersi stancati di iOS, sono finalmente passati ai telefoni Samsung e non si sono pentiti di questa decisione.

Come risolvere lerrore di accesso allaccount Apple sul Web

Come risolvere lerrore di accesso allaccount Apple sul Web

L'interfaccia web dell'account Apple nel tuo browser ti consente di visualizzare le tue informazioni personali, modificare le impostazioni, gestire gli abbonamenti e altro ancora. A volte, però, non riesci ad accedere per diversi motivi.

Come cambiare DNS su iPhone e telefoni Android

Come cambiare DNS su iPhone e telefoni Android

Cambiare il DNS su iPhone o cambiare il DNS su Android ti aiuterà a mantenere una connessione stabile, ad aumentare la velocità della connessione di rete e ad accedere ai siti web bloccati.

5 consigli per rendere più preciso Dovè su iPhone

5 consigli per rendere più preciso Dovè su iPhone

Quando la funzione Dov'è diventa imprecisa o inaffidabile, apporta qualche modifica per renderla più precisa quando è più necessaria.

Come rendere la fotocamera ultra grandangolare del tuo telefono incredibilmente fantastica

Come rendere la fotocamera ultra grandangolare del tuo telefono incredibilmente fantastica

Molte persone non avrebbero mai pensato che la fotocamera più debole del loro telefono potesse trasformarsi in un'arma segreta per la fotografia creativa.

Come attivare NFC su iPhone in modo semplice e veloce

Come attivare NFC su iPhone in modo semplice e veloce

La Near Field Communication è una tecnologia wireless che consente ai dispositivi di scambiarsi dati quando si trovano molto vicini tra loro, in genere entro pochi centimetri.

Potenza adattiva e risparmio energetico: quale modalità di risparmio della batteria delliPhone dovresti usare?

Potenza adattiva e risparmio energetico: quale modalità di risparmio della batteria delliPhone dovresti usare?

Apple ha introdotto Adaptive Power, che funziona insieme alla modalità Risparmio energetico. Entrambe prolungano la durata della batteria dell'iPhone, ma funzionano in modi molto diversi.

Le 11 migliori app di clic automatico per Android senza root

Le 11 migliori app di clic automatico per Android senza root

Con le applicazioni con clic automatico, non dovrai fare molto mentre giochi, utilizzi applicazioni o esegui attività disponibili sul dispositivo.

6 funzionalità esclusive di Pixel che puoi trasferire su qualsiasi telefono Android

6 funzionalità esclusive di Pixel che puoi trasferire su qualsiasi telefono Android

A seconda delle tue esigenze, probabilmente otterrai una serie di funzionalità esclusive di Pixel in esecuzione sul tuo dispositivo Android attuale.

Come recuperare 22 GB di spazio di archiviazione sul telefono Samsung senza eliminare dati importanti

Come recuperare 22 GB di spazio di archiviazione sul telefono Samsung senza eliminare dati importanti

La soluzione non prevede necessariamente l'eliminazione delle foto o delle app preferite: One UI include alcune opzioni che semplificano il recupero di spazio.

10 dispositivi che possono essere collegati alla porta di ricarica dello smartphone

10 dispositivi che possono essere collegati alla porta di ricarica dello smartphone

La maggior parte di noi considera la porta di ricarica del proprio smartphone come se il suo unico scopo fosse quello di mantenere in carica la batteria. Ma quella piccola porta è molto più potente di quanto si creda.

11 consigli da condividere quando si scattano foto con il telefono

11 consigli da condividere quando si scattano foto con il telefono

Se sei stanco di consigli generici che non funzionano mai, eccone alcuni che stanno silenziosamente trasformando il tuo modo di scattare foto.

Come leggere facilmente le specifiche dello smartphone

Come leggere facilmente le specifiche dello smartphone

Se siete alla ricerca di un nuovo smartphone, la prima cosa che guarderete sarà la scheda tecnica. È piena di indizi su prestazioni, durata della batteria e qualità del display.

Istruzioni per confermare laffidabilità delle applicazioni su iPhone

Istruzioni per confermare laffidabilità delle applicazioni su iPhone

Quando installi un'applicazione sul tuo iPhone da un'altra fonte, dovrai confermare manualmente che l'applicazione sia attendibile. Dopodiché, l'applicazione verrà installata sul tuo iPhone e pronta per l'uso.