I 9 migliori LLM locali/offline che puoi provare subito

Con gli LLM quantistici ora disponibili su HuggingFace e gli ecosistemi di intelligenza artificiale come H20, Text Gen e GPT4All che consentono di caricare i pesi LLM sul computer, ora hai un'opzione per un'intelligenza artificiale gratuita, flessibile e sicura. Ecco i 9 migliori LLM locali/offline che puoi provare subito!

Sommario

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Falcon Instruct GPTQ
• 4. GPT4ALL-J Groovy
• 5. Istruzioni DeepSeek Coder V2
• 6. Mixtral-8x7B
• 7. Mago Vicuna non censurato-GPTQ
• 8. Orca Mini-GPTQ
• 9. Llama 2 13B Chat GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro è un modello linguistico avanzato messo a punto da Nous Research. Utilizza una versione aggiornata e semplificata del set di dati OpenHermes 2.5, insieme ai nuovi set di dati Function Calling e JSON sviluppati dalla stessa azienda. Questo modello si basa sull'architettura Mistral 7B ed è stato addestrato su 1.000.000 di istruzioni/conversazioni di qualità GPT-4 o superiore, per lo più dati sintetici.

L'Hermes 2 Pro sul Mistral 7B è il nuovo modello di punta dell'Hermes 7B, che offre prestazioni migliorate in una varietà di benchmark, tra cui AGIEval, BigBench Reasoning, GPT4All e TruthfulQA. Le sue funzionalità avanzate lo rendono adatto a numerose attività di elaborazione del linguaggio naturale (NLP), come la generazione di codice, la creazione di contenuti e le applicazioni di intelligenza artificiale conversazionale.

2. Zephyr 7B Beta

Zephyr è una serie di modelli linguistici addestrati per fungere da assistenti utili. Zephyr-7B-Beta è il secondo modello della serie, perfezionato da Mistral-7B-v0.1 utilizzando la Direct Preference Optimization (DPO) su una combinazione di set di dati sintetici disponibili al pubblico.

Eliminando l'allineamento incorporato dei set di dati di addestramento, Zephyr-7B-Beta dimostra prestazioni migliorate su benchmark come MT-Bench, aumentando la sua utilità in una varietà di attività. Tuttavia, questa modifica può dare luogo a una generazione di testo problematica quando richiesta in determinati modi.

3. Falcon Instruct GPTQ

Questa versione quantizzata di Falcon si basa su un'architettura esclusivamente decodificatrice, perfezionata sul modello grezzo Falcon-7b di TII. Il modello base Falcon viene addestrato utilizzando 1,5 trilioni di token in circolazione provenienti dalla rete Internet pubblica. Falcon Instruct è un modello di decodifica basato solo sui comandi e con licenza Apache 2, perfetto per le piccole aziende che cercano un modello da utilizzare per la traduzione linguistica e l'inserimento di dati.

Tuttavia, questa versione di Falcon non è ideale per la messa a punto fine ed è pensata solo per l'inferenza. Per ottimizzare Falcon, è necessario utilizzare il modello raw, il che potrebbe richiedere l'accesso ad hardware di formazione di livello aziendale come NVIDIA DGX o AMD Instinct AI Accelerators.

4. GPT4ALL-J Groovy

GPT4All-J Groovy è un modello esclusivamente decoder ottimizzato da Nomic AI e concesso in licenza con Apache 2.0. GPT4ALL-J Groovy si basa sul modello GPT-J originale, noto per la sua efficacia nel generare testo dai prompt. GPT4ALL -J Groovy è stato modificato in un modello conversazionale, ideale per applicazioni di generazione di testo rapide e creative. Ciò rende GPT4All-J Groovy ideale per i creatori di contenuti, in quanto li supporta nella scrittura e composizione, che si tratti di poesia, musica o racconti.

Sfortunatamente, il modello di base GPT-J è stato addestrato su un set di dati solo in inglese, il che significa che anche questo modello GPT4ALL-J perfezionato può conversare ed eseguire applicazioni di generazione di testo solo in inglese.

5. Istruzioni DeepSeek Coder V2

DeepSeek Coder V2 è un modello linguistico avanzato che migliora la programmazione e il ragionamento matematico. DeepSeek Coder V2 supporta numerosi linguaggi di programmazione e offre una lunghezza di contesto estesa, rendendolo uno strumento versatile per gli sviluppatori.

Rispetto al suo predecessore, DeepSeek Coder V2 presenta miglioramenti significativi nelle attività relative al codice, al ragionamento e alle capacità generali. Estende il supporto per i linguaggi di programmazione da 86 a 338 ed estende la lunghezza del contesto da 16K a 128K token. Nei benchmark, supera modelli come GPT-4 Turbo, Claude 3 Opus e Gemini 1.5 Pro nei benchmark crittografici e matematici.

6. Mixtral-8x7B

Mixtral-8x7B è una combinazione di modelli esperti (MoE) sviluppata da Mistral AI. Dispone di 8 esperti per MLP, per un totale di 45 miliardi di parametri. Tuttavia, durante l'inferenza vengono attivati ​​solo due esperti per token, il che lo rende computazionalmente efficiente, con velocità e costi paragonabili a un modello da 12 miliardi di parametri.

Mixtral supporta una lunghezza di contesto di 32k token e supera Llama 2 di 70B nella maggior parte dei benchmark, eguagliando o superando le prestazioni di GPT-3.5. Parla fluentemente diverse lingue, tra cui inglese, francese, tedesco, spagnolo e italiano, il che lo rende una scelta versatile per una varietà di attività di PNL.

7. Mago Vicuna non censurato-GPTQ

Wizard-Vicuna GPTQ è la versione quantistica di Wizard Vicuna basata sul modello LlaMA. A differenza della maggior parte degli LLM resi pubblici, Wizard-Vicuna è un modello non censurato, in cui l'associazione è stata rimossa. Ciò significa che il modello non ha gli stessi standard di sicurezza ed etici della maggior parte degli altri modelli.

Sebbene possa rappresentare un problema per il controllo dell'allineamento dell'IA, avere un LLM non censurato fa emergere il meglio del modello consentendogli di rispondere senza vincoli. Ciò consente inoltre agli utenti di aggiungere il proprio allineamento personalizzato su come l'IA dovrebbe agire o rispondere in base a un determinato prompt.

8. Orca Mini-GPTQ

Vuoi testare un modello addestrato utilizzando un metodo di apprendimento unico? Orca Mini è un'implementazione non ufficiale del documento di ricerca Orca di Microsoft. Questo modello viene addestrato utilizzando un approccio di apprendimento insegnante-studente, in cui il set di dati è riempito di spiegazioni anziché solo di richieste e risposte. In teoria, questo dovrebbe rendere lo studente più intelligente, in quanto il modello riesce a comprendere il problema anziché limitarsi a cercare coppie di input e output, come avviene nel tradizionale LLM.

9. Llama 2 13B Chat GPTQ

Llama 2 è il successore dell'originale Llama LLM e offre prestazioni e versatilità migliorate. La variante 13B Chat GPTQ è ottimizzata per le applicazioni di intelligenza artificiale conversazionale per il dialogo in inglese.

Alcuni dei modelli sopra elencati sono disponibili in più versioni in termini di specifiche. In generale, le versioni con specifiche più elevate producono risultati migliori ma richiedono hardware più potente, mentre le versioni con specifiche più basse producono risultati di qualità inferiore ma possono essere eseguite su hardware di fascia bassa. Se non sei sicuro che il tuo PC possa supportare questo modello, prova prima una versione con specifiche inferiori, quindi continua finché non ritieni che il calo delle prestazioni non sia più accettabile.