Come installare ed eseguire LLM localmente su un telefono Android

Eseguendo modelli linguistici di grandi dimensioni (LLM) in locale sul tuo telefono Android puoi accedere a tali modelli di intelligenza artificiale senza dover ricorrere a server cloud o a una connessione Internet . Questa configurazione locale garantisce la privacy mantenendo i tuoi dati al sicuro e sul dispositivo. Grazie ai progressi nell'hardware mobile, l'esecuzione di modelli di intelligenza artificiale in locale è diventata una realtà. Con l'app MLC Chat puoi sperimentare questa potente tecnologia direttamente sul tuo telefono.

Questo articolo spiegherà l'importanza di eseguire LLM in locale sui telefoni Android e fornirà istruzioni dettagliate per installarlo ed eseguirlo utilizzando l'app MLC Chat.

Perché eseguire LLM su un telefono Android?

Gli LLM vengono solitamente eseguiti su server cloud poiché richiedono una notevole potenza di calcolo. Anche se i telefoni Android presentano alcune limitazioni quando eseguono LLM, aprono anche alcune possibilità interessanti.

  • Maggiore privacy : poiché tutte le operazioni di elaborazione vengono eseguite sul telefono, i dati rimangono locali, il che è importante per tutte le informazioni sensibili che condividi.
  • Accesso offline : non è richiesta alcuna connessione Internet persistente per accedere o interagire con questi modelli. Questa funzionalità è particolarmente utile per gli utenti che vivono in aree remote o che hanno una connettività Internet limitata.
  • Conveniente : l'esecuzione di LLM su server cloud comporta costi operativi quali archiviazione cloud e potenza di elaborazione. Questo metodo fornisce una soluzione conveniente per gli utenti.

Guida passo passo per installare ed eseguire MLC Chat su Android

L'applicazione MLC Chat è progettata per consentire agli utenti di eseguire e interagire con modelli linguistici di grandi dimensioni (LLM) in locale su una varietà di dispositivi, compresi i telefoni cellulari, senza dover ricorrere a servizi basati sul cloud. Per eseguire LLM in locale sul tuo dispositivo Android, segui i passaggi indicati di seguito.

Passaggio 1: installa l'applicazione MLC Chat

Per prima cosa, devi scaricare l'APK per l'app MLC Chat (112 MB) dal link sottostante.

File APK dell'applicazione MLC Chat

Come installare ed eseguire LLM localmente su un telefono Android
Installa l'app MLC Chat

Una volta scaricato l'APK, tocca il file per avviare l'installazione.

Passaggio 2: Scarica LLM

Dopo aver installato correttamente l'app, aprila e vedrai un elenco di LLM disponibili per il download. Sono disponibili modelli di diverse dimensioni e capacità, come LLama-3.2, Phi-3.5 e Mistral. Seleziona il modello più adatto alle tue esigenze e clicca sull'icona di download accanto per avviare il download. Ad esempio, se utilizzi un telefono di fascia media come Redmi Note 10, scegli un modello leggero come Qwen-2.5 per prestazioni più fluide.

Come installare ed eseguire LLM localmente su un telefono Android
Scarica LLM

Passaggio 3: eseguire l'LLM installato

Una volta scaricato il modello, accanto ad esso apparirà un'icona della chat. Fare clic sull'icona per iniziare la modellazione.

Come installare ed eseguire LLM localmente su un telefono Android
Eseguire l'LLM installato

Una volta che il modello è pronto, puoi iniziare a digitare i prompt e a interagire con l'LLM locale.

Come installare ed eseguire LLM localmente su un telefono Android

Ad esempio, su un dispositivo come il Redmi Note 10, l'esecuzione di un modello più piccolo come Qwen2.5 garantisce un'esperienza piuttosto fluida, generando circa 1,4 token al secondo. Sebbene queste prestazioni siano più lente rispetto a dispositivi di fascia alta come il Galaxy S23 Ultra , funzionano comunque bene per attività di base come brevi chat e semplice creazione di contenuti.

L'esecuzione di LLM in locale sui dispositivi Android tramite l'app MLC Chat fornisce un modo accessibile e protetto dalla privacy per interagire con i modelli di intelligenza artificiale. Le prestazioni dipendono fortemente dall'hardware del telefono. Questa soluzione è ideale per gli utenti che necessitano di accesso offline ai modelli di intelligenza artificiale, testano LLM in tempo reale o sono preoccupati per la privacy. Con il continuo miglioramento dell'hardware mobile, le capacità dell'LLM locale continueranno ad aumentare, rendendo questa una frontiera entusiasmante per la tecnologia dell'intelligenza artificiale.

Sign up and earn $1000 a day ⋙

Leave a Comment

Come correggere le foto sfocate su Android

Come correggere le foto sfocate su Android

Impariamo come correggere (parzialmente) le foto sfocate sui telefoni Android.

I 6 migliori file manager per Android TV

I 6 migliori file manager per Android TV

Ogni utente di Android TV ha bisogno di installare un file manager per una serie di motivi.

Come verificare quali app utilizzano più RAM su Android

Come verificare quali app utilizzano più RAM su Android

Se un'applicazione "consuma" troppa RAM del dispositivo, ridurrà notevolmente la capacità multitasking del sistema, oltre a causare ritardi, compromettendo seriamente l'esperienza.

Come usare FaceTime su Android?

Come usare FaceTime su Android?

Infine, Apple consente agli utenti di dispositivi Android di utilizzare FaceTime.

Divertiti con queste 6 app per cambiare la voce su Android

Divertiti con queste 6 app per cambiare la voce su Android

Hai mai desiderato fare uno scherzo ai tuoi amici con una voce buffa? Grazie ad alcune app per smartphone, non è più necessario disporre di ingombranti software per farlo.

Come proteggersi dalle app Android SpyLoan che usano i tuoi dati per ricattarti

Come proteggersi dalle app Android SpyLoan che usano i tuoi dati per ricattarti

Un caso tipico è l'app SpyLoan che inganna gli utenti promettendo prestiti a basso interesse, ma in realtà raccoglie dati personali e li ricatta con tali dati.

Come risolvere il problema di Android Auto che non funziona

Come risolvere il problema di Android Auto che non funziona

Nell'articolo seguente, Quantrimang ti fornirà alcuni suggerimenti per risolvere i problemi di Android Auto, sia sullo schermo del telefono che su quello dell'auto.

Istruzioni per acquisire uno screenshot scorrevole di un dispositivo Android per catturare lintera pagina web

Istruzioni per acquisire uno screenshot scorrevole di un dispositivo Android per catturare lintera pagina web

Invece di "bombardare" i messaggi dei tuoi amici con decine di screenshot, puoi catturare uno screenshot scorrevole e inviarlo.

Come correggere i recenti errori di crash delle app su Android

Come correggere i recenti errori di crash delle app su Android

Sembra che gli smartphone Android siano affetti da un fastidioso bug che causa frequenti arresti anomali delle applicazioni sul dispositivo.

4 segnali che indicano che le app Android ti stanno monitorando

4 segnali che indicano che le app Android ti stanno monitorando

Un consumo anomalo della batteria o picchi di dati non sono necessariamente un bug. Potrebbe trattarsi di un'app dannosa che traccia segretamente la tua posizione, le tue abitudini, ecc.

6 modi per nascondere e limitare le app su Android

6 modi per nascondere e limitare le app su Android

È facile distrarsi a causa delle numerose app presenti sul telefono. Il modo migliore per ridurre il tempo trascorso davanti allo schermo è quello di allontanare queste app dalla vista.

Tencent porta i giochi Android sul Microsoft Store Windows 11

Tencent porta i giochi Android sul Microsoft Store Windows 11

All'inizio di quest'anno, Microsoft ha annunciato la decisione di interrompere il supporto per il sottosistema Windows per Android, progettato per consentire l'esecuzione nativa delle app Android su Windows 11.

Come non pagare mai per giochi e app su Android

Come non pagare mai per giochi e app su Android

Grazie a Google Opinion Rewards, da anni molte persone non spendono più soldi veri quando fanno acquisti sul Play Store.

Cosa significano le icone sulla barra di stato di Android?

Cosa significano le icone sulla barra di stato di Android?

Man mano che vengono aggiunte nuove funzionalità, compaiono più icone, il che a volte può creare confusione. Ecco cosa significano tutti questi simboli.

Come disattivare le chiamate Wi-Fi su Android

Come disattivare le chiamate Wi-Fi su Android

Le chiamate Wi-Fi sono una funzionalità completamente gratuita che consente di effettuare chiamate e inviare messaggi tramite la rete Wi-Fi sui telefoni Android. L'articolo seguente ti guiderà nella disattivazione della funzione di chiamata Wi-Fi su Android.

10 modi sorprendenti per usare il tuo telefono Android

10 modi sorprendenti per usare il tuo telefono Android

Che si tratti di un caricabatterie wireless, di un fitness tracker o di un metro a nastro, il tuo telefono Android ha un numero sorprendente di funzioni nascoste.

Come disattivare AirDrop su iPhone/iPad e Mac

Come disattivare AirDrop su iPhone/iPad e Mac

Puoi disattivare AirDrop sul tuo iPhone o iPad nel Centro di Controllo o nelle Impostazioni. Su Mac, puoi disattivare AirDrop nel Centro di Controllo, nelle Preferenze di Sistema o nel Finder.

Picture in Picture su iPhone: come abilitare e utilizzare Picture in Picture (PIP)

Picture in Picture su iPhone: come abilitare e utilizzare Picture in Picture (PIP)

Su iOS 14 puoi usare Picture in Picture (PiP) per guardare video di YouTube fuori dallo schermo, ma YouTube ha bloccato questa funzione sull'app, quindi non puoi usare PiP direttamente; devi aggiungere altri piccoli passaggi che ti guideremo nel dettaglio di seguito.

Come correggere le foto sfocate su Android

Come correggere le foto sfocate su Android

Impariamo come correggere (parzialmente) le foto sfocate sui telefoni Android.

Chrome è il motivo per cui la batteria del tuo iPhone si scarica così rapidamente

Chrome è il motivo per cui la batteria del tuo iPhone si scarica così rapidamente

Alcune persone hanno condiviso suggerimenti per migliorare la durata della batteria disinstallando una singola app: Chrome. La durata della batteria sarà migliore!

I 6 migliori file manager per Android TV

I 6 migliori file manager per Android TV

Ogni utente di Android TV ha bisogno di installare un file manager per una serie di motivi.

Le utili funzionalità Galaxy che gli utenti iPhone vorrebbero avere

Le utili funzionalità Galaxy che gli utenti iPhone vorrebbero avere

Gli screenshot sono ottimi per salvare informazioni, ma spesso ti lasciano con il dubbio su dove hai trovato tali informazioni. I dispositivi Samsung Galaxy risolvono questo problema con una fantastica funzionalità: gli screenshot che rimandano al sito web originale.

Come verificare quali app utilizzano più RAM su Android

Come verificare quali app utilizzano più RAM su Android

Se un'applicazione "consuma" troppa RAM del dispositivo, ridurrà notevolmente la capacità multitasking del sistema, oltre a causare ritardi, compromettendo seriamente l'esperienza.

6 modi per ridurre le dimensioni dei video su iPhone

6 modi per ridurre le dimensioni dei video su iPhone

Le grandi dimensioni non solo influiscono sulla capacità di archiviazione, ma rendono anche più difficile la condivisione dei file. Inoltre, l'invio di file di grandi dimensioni esaurirà rapidamente i dati mobili e la larghezza di banda.

Riepilogo di alcuni modi per risolvere lerrore Nessun servizio su iPhone

Riepilogo di alcuni modi per risolvere lerrore Nessun servizio su iPhone

Alcune cause dell'errore Nessun servizio sono la mancanza di copertura, un problema con la scheda SIM, un errore di sistema iOS, ecc. Poiché le cause sono molteplici e diverse, puoi provare alcune soluzioni per risolvere il problema Nessun servizio su iPhone seguendo le istruzioni riportate di seguito.

Come cambiare le unità di misura su iPhone in modo estremamente semplice

Come cambiare le unità di misura su iPhone in modo estremamente semplice

Su iOS 17 è presente un'impostazione per cambiare l'unità di misura direttamente nelle opzioni del documento quando evidenziamo l'iPhone, senza dover installare altre applicazioni di supporto.

Come risolvere lavviso Liquido rilevato nel connettore USB-C su iPhone

Come risolvere lavviso Liquido rilevato nel connettore USB-C su iPhone

Stai provando a caricare il tuo iPhone ma vedi un avviso che ti informa che è stato rilevato del liquido nel connettore? Ecco i passaggi per risolvere il problema segnalato dall'avviso di presenza di liquido e far sì che il tuo iPhone torni a ricaricarsi normalmente.

Come correggere le foto sottoesposte su iPhone e Android

Come correggere le foto sottoesposte su iPhone e Android

In condizioni di scarsa illuminazione, le foto possono risultare sottoesposte, poco nitide e di scarsa qualità, ma puoi facilmente risolvere questo problema direttamente nell'app foto nativa del tuo telefono. Ecco come correggere le foto sottoesposte su iPhone e Android!

Come nascondere le app scaricate su iPhone

Come nascondere le app scaricate su iPhone

Per mantenere segrete le applicazioni scaricate sull'iPhone, possiamo eliminarle dall'elenco, come indicato nell'articolo seguente.

Come creare la tua mascotte Android personalizzata

Come creare la tua mascotte Android personalizzata

Ora puoi creare la tua versione della mascotte Android chiamata The Bot. Puoi personalizzare The Bot a tuo piacimento scegliendo materiali, vestiti, accessori e oggetti di scena.