È meglio Llama 3 o GPT-4?

Llama 3 e GPT-4 sono due dei modelli linguistici di grandi dimensioni (LLM) più avanzati disponibili al pubblico. Vediamo quale LLM è migliore confrontando entrambi i modelli in termini di multimodalità, lunghezza del contesto, prestazioni e costi.

Sommario

• Che cosa è GPT-4?
• Cos'è Llama 3?
• Multimodal
• Lunghezza del contesto
• Efficienza
• Prezzo
• Accessibilità
• Qual è meglio GPT-4 o Llama 3?

Che cosa è GPT-4?

GPT-4 è l'ultimo modello linguistico di grandi dimensioni (LLM) sviluppato da OpenAI. Si basa sui vecchi modelli GPT-3, ma utilizza tecniche di addestramento e ottimizzazione diverse, avvalendosi di un set di dati molto più ampio. Ciò ha aumentato significativamente la dimensione dei parametri di GPT-4, che si dice abbia un totale di 1,7 trilioni di parametri dai suoi modelli esperti più piccoli. Grazie a una nuova formazione, ottimizzazioni e un numero maggiore di parametri, GPT-4 apporta miglioramenti nel ragionamento, nella risoluzione dei problemi, nella comprensione del contesto e nella gestione di istruzioni più complesse.

Attualmente esistono 3 varianti del modello:

• GPT-4 : un'evoluzione di GPT-3 con miglioramenti significativi in ​​termini di velocità, precisione e base di conoscenza.
• GPT-4 Turbo : una versione ottimizzata di GPT-4, progettata per offrire prestazioni più rapide riducendo al contempo i costi operativi.
• GPT-4o (Omni) : estende le capacità di GPT-4 integrando input e output multimodali, tra cui testo, immagini e audio.

Ora puoi accedere a tutti e tre i modelli GPT-4 iscrivendoti al servizio API di OpenAI, interagendo con ChatGPT o tramite servizi come Descript, Perplexity AI e molti altri servizi ausiliari di Microsoft.

Cos'è Llama 3?

Llama 3 è un LLM open source sviluppato da Meta AI (società madre di Facebook, Instagram e WhatsApp), addestrato utilizzando una combinazione di ottimizzazione supervisionata, campionamento e ottimizzazione delle policy con un set di dati eterogeneo, tra cui milioni di annotazioni umane. Ad esempio, il suo programma di formazione si concentra su prompt di alta qualità e sulla classificazione delle priorità, con l'obiettivo di creare un modello di intelligenza artificiale flessibile e capace.

Puoi accedere a Llama 3 tramite Meta AI, il suo chatbot con intelligenza artificiale generativa. In alternativa, puoi eseguire LLM localmente sul tuo computer scaricando i modelli Llama 3 e caricandoli tramite Ollama, Open WebUI o LM Studio.

Multimodal

Il rilascio di GPT-4o ha finalmente fornito le prime informazioni che dimostrano che GPT-4 è multimodale. Ora puoi accedere a queste funzionalità multimodali interagendo con ChatGPT utilizzando il modello GPT-4o. A giugno 2024, GPT-4o non dispone di alcun metodo integrato per generare video e audio. Tuttavia, è in grado di generare testo e immagini sulla base di input video e audio.

Llama 3 prevede inoltre di offrire un modello multimodale per il prossimo Llama 3 400B. Molto probabilmente integrerà tecnologie simili con CLIP (Contrast Language-Imager Pre-Training) per generare immagini utilizzando tecniche di apprendimento Zero-shot. Tuttavia, poiché il Llama 400B è ancora in fase di addestramento, l'unico modo per i modelli 8B e 70B di generare immagini è utilizzare estensioni come LLaVa, Visual-LLaMA e LLaMA-VID. Al momento, Llama 3 è un modello basato esclusivamente sul linguaggio, in grado di accettare testo, immagini e audio come input per generare testo.

Lunghezza del contesto

La lunghezza del contesto si riferisce alla quantità di testo che un modello può elaborare contemporaneamente. Si tratta di un fattore importante da considerare quando si considerano le capacità di un LLM, poiché determina la quantità di contesto in cui il modello può operare quando interagisce con l'utente. In generale, una maggiore lunghezza del contesto rende l'LLM migliore perché fornisce un livello più elevato di coerenza e continuità e può ridurre la ripetizione degli errori durante l'interazione.

I modelli Llama 3 hanno una lunghezza effettiva del contesto di 8.000 token (circa 6.400 parole). Ciò significa che il modello Llama 3 avrà una memoria contestuale di circa 6.400 parole in interazione. Qualsiasi parola che superi il limite di 8.000 token verrà ignorata e non fornirà alcun contesto aggiuntivo durante l'interazione.

Al contrario, GPT-4 ora supporta lunghezze di contesto significativamente maggiori, pari a 32.000 token (circa 25.600 parole) per gli utenti di ChatGPT e 128.000 token (circa 102.400 parole) per coloro che utilizzano l'endpoint API. Ciò conferisce al modello GPT-4 un vantaggio nella gestione di conversazioni estese e la capacità di leggere documenti lunghi o addirittura interi libri.

Efficienza

Confrontiamo le prestazioni esaminando il report di benchmark Llama 3 del 18 aprile 2024 di Meta AI e GPT-4 del 14 maggio 2024, report GitHub di OpenAI. Ecco i risultati:

Ecco cosa misura ogni criterio:

• MMLU (Massive Multitask Language Understanding) : valuta la capacità del modello di comprendere e rispondere a domande su una varietà di argomenti accademici.
• GPTQA (General Purpose Question Answering) : valuta la capacità del modello di rispondere a domande del mondo reale in un dominio aperto
• MATEMATICA : testare la capacità del modello di risolvere i problemi.
• HumanEval : misura la capacità del modello di generare codice corretto in base a specifici prompt di programmazione umana.
• DROP (Ragionamento discreto sui paragrafi) : valuta la capacità del modello di eseguire ragionamenti discreti e rispondere a domande basate su passaggi di testo.

I benchmark recenti evidenziano le differenze di prestazioni tra i modelli GPT-4 e Llama 3. Mentre il modello Llama 3 8B sembra essere significativamente indietro, i modelli 70B e 400B hanno prestazioni inferiori ma simili sia al modello GPT-4o che al GPT-4 Turbo in termini di cultura generale e accademica, lettura e comprensione, ragionamento e logica e codifica. Tuttavia, nessun modello Llama 3 ha ancora raggiunto le prestazioni del GPT-4 in termini puramente matematici.

Prezzo

Per molti utenti il ​​costo è un fattore importante. Il modello GPT-4o di OpenAI è disponibile gratuitamente per tutti gli utenti di ChatGPT con un limite di 16 messaggi ogni 3 ore. Se ne hai bisogno di più, dovrai abbonarti a ChatGPT Plus per 20 $ al mese per aumentare il limite dei messaggi di GPT-4o a 80 e avere accesso ad altri modelli GPT-4.

D'altro canto, entrambi i modelli Llama 3 8B e 70B sono open source e gratuiti, il che può rappresentare un vantaggio significativo per sviluppatori e ricercatori che cercano una soluzione conveniente senza compromettere le prestazioni.

Accessibilità

I modelli GPT-4 sono ampiamente accessibili tramite il chatbot di intelligenza artificiale generativa ChatGPT di OpenAI e tramite la sua API. È possibile utilizzare GPT-4 anche su Microsoft Copilot, che rappresenta un modo gratuito per utilizzare GPT-4 . Questa ampia disponibilità garantisce che gli utenti possano facilmente sfruttarne le capacità in diversi casi d'uso. Al contrario, Llama 3 è un progetto open source che offre flessibilità al modello e incoraggia una sperimentazione e una collaborazione più ampie all'interno della comunità dell'intelligenza artificiale. Questo approccio di libero accesso potrebbe democratizzare la tecnologia dell'intelligenza artificiale, rendendola disponibile a un pubblico più vasto.

Sebbene siano disponibili entrambi i modelli, GPT-4 è molto più semplice da utilizzare perché è integrato nei più diffusi strumenti e servizi di produttività. D'altro canto, Llama 3 è integrato principalmente in piattaforme di ricerca e aziendali come Amazon Bedrock, Ollama e DataBricks (ad eccezione del supporto alla chat Meta AI), il che non risulta interessante per un mercato più ampio di utenti non tecnici.

Qual è meglio GPT-4 o Llama 3?

Quindi, qual è il LLM migliore? GPT-4 è un LLM migliore. GPT-4 eccelle nella multimodalità con capacità avanzate nella gestione di input di testo, immagini e audio, mentre funzionalità simili di Llama 3 sono ancora in fase di sviluppo. GPT-4 offre inoltre una lunghezza di contesto molto più ampia e prestazioni migliori, ed è ampiamente accessibile tramite strumenti e servizi diffusi, il che rende GPT-4 più intuitivo.

Tuttavia, è importante sottolineare che i modelli Llama 3 hanno funzionato molto bene per essere un progetto gratuito e open source. In quanto tale, Llama 3 rimane un LLM di rilievo, preferito da ricercatori e aziende per la sua natura gratuita e open source, offrendo al contempo prestazioni impressionanti, flessibilità e affidabili funzionalità di sicurezza. Anche se il consumatore medio potrebbe non trovare immediatamente utile il Llama 3, esso resta l'opzione più praticabile per molti ricercatori e aziende.

In sintesi, mentre GPT-4 si distingue per le sue avanzate capacità multimodali, la maggiore lunghezza del contesto e la perfetta integrazione in strumenti ampiamente utilizzati, Llama 3 offre una valida alternativa grazie alla sua natura open source, consentendo maggiore personalizzazione e risparmi sui costi. Quindi, in termini di applicazione, GPT-4 è ideale per chi cerca semplicità d'uso e funzionalità complete in un unico modello, mentre Llama 3 è più adatto a sviluppatori e ricercatori che cercano flessibilità e adattabilità.