Come installare ed eseguire LLM localmente su un telefono Android

Eseguendo modelli linguistici di grandi dimensioni (LLM) in locale sul tuo telefono Android puoi accedere a tali modelli di intelligenza artificiale senza dover ricorrere a server cloud o a una connessione Internet . Questa configurazione locale garantisce la privacy mantenendo i tuoi dati al sicuro e sul dispositivo. Grazie ai progressi nell'hardware mobile, l'esecuzione di modelli di intelligenza artificiale in locale è diventata una realtà. Con l'app MLC Chat puoi sperimentare questa potente tecnologia direttamente sul tuo telefono.

Questo articolo spiegherà l'importanza di eseguire LLM in locale sui telefoni Android e fornirà istruzioni dettagliate per installarlo ed eseguirlo utilizzando l'app MLC Chat.

Perché eseguire LLM su un telefono Android?

Gli LLM vengono solitamente eseguiti su server cloud poiché richiedono una notevole potenza di calcolo. Anche se i telefoni Android presentano alcune limitazioni quando eseguono LLM, aprono anche alcune possibilità interessanti.

• Maggiore privacy : poiché tutte le operazioni di elaborazione vengono eseguite sul telefono, i dati rimangono locali, il che è importante per tutte le informazioni sensibili che condividi.
• Accesso offline : non è richiesta alcuna connessione Internet persistente per accedere o interagire con questi modelli. Questa funzionalità è particolarmente utile per gli utenti che vivono in aree remote o che hanno una connettività Internet limitata.
• Conveniente : l'esecuzione di LLM su server cloud comporta costi operativi quali archiviazione cloud e potenza di elaborazione. Questo metodo fornisce una soluzione conveniente per gli utenti.

Guida passo passo per installare ed eseguire MLC Chat su Android

L'applicazione MLC Chat è progettata per consentire agli utenti di eseguire e interagire con modelli linguistici di grandi dimensioni (LLM) in locale su una varietà di dispositivi, compresi i telefoni cellulari, senza dover ricorrere a servizi basati sul cloud. Per eseguire LLM in locale sul tuo dispositivo Android, segui i passaggi indicati di seguito.

Passaggio 1: installa l'applicazione MLC Chat

Per prima cosa, devi scaricare l'APK per l'app MLC Chat (112 MB) dal link sottostante.

File APK dell'applicazione MLC Chat

Una volta scaricato l'APK, tocca il file per avviare l'installazione.

Passaggio 2: Scarica LLM

Dopo aver installato correttamente l'app, aprila e vedrai un elenco di LLM disponibili per il download. Sono disponibili modelli di diverse dimensioni e capacità, come LLama-3.2, Phi-3.5 e Mistral. Seleziona il modello più adatto alle tue esigenze e clicca sull'icona di download accanto per avviare il download. Ad esempio, se utilizzi un telefono di fascia media come Redmi Note 10, scegli un modello leggero come Qwen-2.5 per prestazioni più fluide.

Passaggio 3: eseguire l'LLM installato

Una volta scaricato il modello, accanto ad esso apparirà un'icona della chat. Fare clic sull'icona per iniziare la modellazione.

Una volta che il modello è pronto, puoi iniziare a digitare i prompt e a interagire con l'LLM locale.

Ad esempio, su un dispositivo come il Redmi Note 10, l'esecuzione di un modello più piccolo come Qwen2.5 garantisce un'esperienza piuttosto fluida, generando circa 1,4 token al secondo. Sebbene queste prestazioni siano più lente rispetto a dispositivi di fascia alta come il Galaxy S23 Ultra , funzionano comunque bene per attività di base come brevi chat e semplice creazione di contenuti.

L'esecuzione di LLM in locale sui dispositivi Android tramite l'app MLC Chat fornisce un modo accessibile e protetto dalla privacy per interagire con i modelli di intelligenza artificiale. Le prestazioni dipendono fortemente dall'hardware del telefono. Questa soluzione è ideale per gli utenti che necessitano di accesso offline ai modelli di intelligenza artificiale, testano LLM in tempo reale o sono preoccupati per la privacy. Con il continuo miglioramento dell'hardware mobile, le capacità dell'LLM locale continueranno ad aumentare, rendendo questa una frontiera entusiasmante per la tecnologia dell'intelligenza artificiale.