Gemma 2 o Llama 3 è il miglior modello open source?

In occasione dell'I/O 2024, Google ha annunciato la sua prossima linea di modelli Gemma 2 e ora l'azienda sta finalmente rilasciando i modelli leggeri con licenza open source. Si dice che il nuovo modello Gemma 2 27B sia molto promettente e che abbia prestazioni migliori rispetto ad alcuni modelli più grandi, come il Llama 3 70B e il Qwen 1.5 32B. Per verificare questa affermazione, confrontiamo Gemma 2 e Llama 3, due dei migliori modelli open source attuali.

Scrittura creativa

Per prima cosa, diamo un'occhiata a quanto Gemma 2 e Llama 3 siano validi dal punto di vista della scrittura creativa. L'autore dell'articolo ha chiesto a entrambe le modelle di scrivere un breve racconto sulla relazione tra la luna e il sole. Entrambi svolgono un ottimo lavoro, ma il modello Gemma 2 di Google si distingue per la sua prosa avvincente e la bella storia.

Gemma 2 o Llama 3 è il miglior modello open source?
Gemma 2 o Llama 3 è il miglior modello open source?

D'altro canto, Llama 3 sembra un po' noioso e robotico. Google è sempre stata brava nella generazione di testo con i modelli Gemini e il più piccolo Gemma 2 27B non fa eccezione.

Opzione vincente: Gemma 2

Test multilingue

Nel prossimo round vedremo come entrambi i modelli gestiscono le lingue diverse dall'inglese. Poiché Google pubblicizza Gemma 2 come un'ottima soluzione per comprendere più lingue, l'autore lo ha confrontato con il modello Llama 3 di Meta. L'autore ha chiesto a entrambi i modelli di tradurre un brano in hindi. Sia Gemma 2 che Llama 3 hanno avuto ottime prestazioni.

Gemma 2 o Llama 3 è il miglior modello open source?
Gemma 2 o Llama 3 è il miglior modello open source?

L'autore ha provato anche un'altra lingua, il bengalese, e i modelli hanno prodotto risultati altrettanto buoni. Almeno per le lingue indiane, si può dire che Gemma 2 e Llama 3 sono ben addestrate su un corpus ampio. Tuttavia, la Gemma 2 27B è quasi 2,5 volte più piccola della Llama 3 70B, il che la rende ancora più impressionante.

Opzioni vincenti: Gemma 2 e Llama 3

Controllare la logica

Sebbene Gemma 2 e Llama 3 non siano i modelli più intelligenti sul mercato, riescono a svolgere alcuni comuni test di ragionamento proprio come modelli molto più grandi. Nel precedente confronto tra Llama 3 e GPT-4 , il modello 70B di Meta si è rivelato impressionante, dimostrando un'intelligenza piuttosto buona anche nelle dimensioni più ridotte.

Gemma 2 o Llama 3 è il miglior modello open source?
Gemma 2 o Llama 3 è il miglior modello open source?

In questo round, Llama 3 ha sconfitto Gemma 2 con una grande differenza di punteggio. Lama 3 ha risposto correttamente a 2 domande su 3, mentre Gemma 2 ha fatto fatica a rispondere correttamente anche a una sola. Gemma 2 semplicemente non è addestrata a risolvere problemi di ragionamento complessi.

D'altro canto, Llama 3 ha solide basi di ragionamento, che molto probabilmente possono essere dedotte dal set di dati crittografato. Nonostante le sue piccole dimensioni, almeno se paragonate ai modelli da mille miliardi di parametri come GPT-4, mostra un livello di intelligenza più che discreto. In definitiva, l'utilizzo di più token per addestrare il modello si traduce effettivamente in un modello più potente.

Opzione vincente: Lama 3

Seguire le istruzioni

Nel turno successivo, l'autore ha chiesto a Gemma 2 e Llama 3 di creare 10 parole che terminassero con la parola "NPU". E Lama 3 ha ottenuto 10/10 risposte corrette. Al contrario, Gemma 2 ha prodotto solo 7 frasi corrette su 10. In molte versioni precedenti, i modelli di Google, tra cui Gemini, non hanno seguito bene le istruzioni per l'utente. E la stessa tendenza continua con Gemma 2.

Gemma 2 o Llama 3 è il miglior modello open source?
Gemma 2 o Llama 3 è il miglior modello open source?

Per i modelli di intelligenza artificiale è fondamentale seguire le istruzioni dell'utente. Garantisce affidabilità e genera un feedback accurato per le istruzioni impartite. Anche dal punto di vista della sicurezza, aiuta a mantenere il modello ancorato ai supporti per una migliore conformità ai protocolli di sicurezza.

Opzione vincente: Lama 3

Trova informazioni

Sia Gemma 2 che Llama 3 hanno una lunghezza di contesto di 8K token. L'autore ha aggiunto un enorme blocco di testo, tratto direttamente dal libro Orgoglio e pregiudizio, contenente oltre 17.000 caratteri e 3,8K token. Come sempre, l'autore inserisce una citazione casuale da qualche parte nel testo e chiede a entrambi i modelli di trovarla.

Gemma 2 o Llama 3 è il miglior modello open source?

Gemma 2 capì subito l'informazione e fece notare che la citazione era stata inserita in modo casuale. Anche Llama 3 ha scoperto e suggerito che questa affermazione sembrava fuori luogo. In termini di memoria di contesto lunga, sebbene limitata a token 8K, entrambi i modelli sono piuttosto validi sotto questo aspetto.

Si noti che l'autore ha eseguito questo test su HuggingChat (web) perché meta.ai ha rifiutato di eseguire questo prompt, molto probabilmente a causa del contenuto protetto da copyright.

Opzioni vincenti: Gemma 2 e Llama 3

Controllare le allucinazioni

I modelli più piccoli tendono a soffrire di allucinazioni dell'intelligenza artificiale a causa dei dati di addestramento limitati, spesso inventando informazioni quando il modello incontra argomenti non familiari. Così l'autore ha inventato il nome del suo paese per verificare se Gemma 2 e Llama 3 avessero le allucinazioni. E sorprendentemente non lo hanno fatto, il che significa che sia Google che Meta hanno una base piuttosto solida per i loro modelli.

Gemma 2 o Llama 3 è il miglior modello open source?
Gemma 2 o Llama 3 è il miglior modello open source?
Gemma 2 o Llama 3 è il miglior modello open source?

L'autore pose anche un'altra domanda (falsa) per verificare la validità dei modelli, ma ancora una volta, non erano allucinogeni. A proposito, l'autore ha testato Llama 3 su HuggingChat mentre meta.ai navigava su Internet alla ricerca di informazioni aggiornate su argomenti rilevanti.

Opzioni vincenti: Gemma 2 e Llama 3

Concludere

Sebbene il modello Gemma 2 27B di Google non abbia buoni risultati nei test di ragionamento, è in grado di svolgere una serie di altri compiti. È ottimo per la scrittura creativa, supporta più lingue, ha una buona memoria e, soprattutto, non è allucinogeno come i modelli precedenti.

Llama 3 è migliore, ovviamente, ma è anche un modello significativamente più grande, addestrato su 70 miliardi di parametri. Gli sviluppatori troveranno il modello Gemma 2 27B utile per un'ampia gamma di casi d'uso. E per sicurezza, è disponibile anche la Gemma 2 9B.

Inoltre, gli utenti dovrebbero dare un'occhiata al Gemini 1.5 Flash, che è un modello molto più piccolo e supporta anch'esso l'input multimodale. Per non parlare del fatto che è incredibilmente veloce ed efficiente.

Lascia un commento

L'Europa verrebbe coinvolta in un'ipotetica guerra nucleare tra Stati Uniti, Israele e Iran? Le regole della NATO spiegate.

L'Europa verrebbe coinvolta in un'ipotetica guerra nucleare tra Stati Uniti, Israele e Iran? Le regole della NATO spiegate.

Una guida agli articoli 4 e 5 della NATO, alle norme ONU sull'autodifesa e al perché la consultazione non implica l'ingresso automatico dell'Europa in guerra.

L'Iran potrebbe già possedere armi nucleari? Come interpretare le prove

L'Iran potrebbe già possedere armi nucleari? Come interpretare le prove

Valutare le affermazioni riguardanti l'Iran in sei fasi, distinguendo tra arricchimento dell'uranio, sviluppo di armi e possesso accertato.

Autorità nucleare statunitense e israeliana: cosa spiegano realmente le fonti pubbliche

Autorità nucleare statunitense e israeliana: cosa spiegano realmente le fonti pubbliche

Comprendere l'autorità decisionale in materia nucleare in sei fasi, inclusi il controllo civile statunitense e i limiti dell'informazione pubblica su Israele.

Stretto di Hormuz nel 2026: cosa dicono le fonti ufficiali in merito alle interruzioni della navigazione

Stretto di Hormuz nel 2026: cosa dicono le fonti ufficiali in merito alle interruzioni della navigazione

Una guida alle prove ufficiali del 2026 relative all'interruzione del traffico marittimo a Hormuz, alle accuse legate all'Iran, agli incidenti confermati e a ciò che rimane incerto.

Un ipotetico attacco nucleare congiunto tra Stati Uniti e Israele contro l'Iran scatenerebbe la Terza Guerra Mondiale?

Un ipotetico attacco nucleare congiunto tra Stati Uniti e Israele contro l'Iran scatenerebbe la Terza Guerra Mondiale?

Una guida basata su fonti attendibili sui rischi di escalation nucleare, le norme della Carta delle Nazioni Unite e l'articolo 5 della NATO in uno scenario puramente ipotetico relativo all'Iran.

Come prepararsi a un'ipotetica interruzione di corrente causata da un impulso elettromagnetico (EMP): 5 passi da compiere per i civili.

Come prepararsi a un'ipotetica interruzione di corrente causata da un impulso elettromagnetico (EMP): 5 passi da compiere per i civili.

Segui cinque passaggi per prepararti a un'interruzione di corrente; gli scenari nucleari e EMP sono ipotetici e le istruzioni ufficiali per il rifugio hanno la priorità.

Come valutare le interruzioni informatiche senza presumere la terza guerra mondiale: una guida in 5 passaggi

Come valutare le interruzioni informatiche senza presumere la terza guerra mondiale: una guida in 5 passaggi

Segui 5 semplici passaggi difensivi per verificare un attacco informatico, proteggere gli account domestici ed evitare di confondere un'interruzione di servizio con una guerra.

Inverno nucleare: come valutare gli effetti sul clima globale di un ipotetico attacco iraniano

Segui questi 5 passaggi per valutare gli effetti sul clima di un ipotetico attacco iraniano, confrontare le ipotesi dei modelli ed evitare previsioni infondate.

Quanto tempo impiegherebbe la Terra a riprendersi dopo un'ipotetica guerra nucleare?

Quanto tempo impiegherebbe la Terra a riprendersi dopo un'ipotetica guerra nucleare?

Scopri sei passaggi per leggere le ricerche sul clima, l'alimentazione e il recupero degli ecosistemi dopo un ipotetico conflitto nucleare.

Lista di controllo per la preparazione alle ricadute nucleari: forniture essenziali e misure per il rifugio

Lista di controllo per la preparazione alle ricadute nucleari: forniture essenziali e misure per il rifugio

Crea un pratico kit di sopravvivenza in caso di apocalisse in sei semplici passaggi, con cibo e acqua sigillati, una radio, forniture mediche e istruzioni per la costruzione di un rifugio.