Cerebras lancia la tecnologia di inferenza AI più veloce al mondo, con prestazioni 20 volte superiori a quelle di NVIDIA

Cerebras Systems ha appena annunciato ufficialmente Cerebras Inference, considerata la soluzione di inferenza AI più veloce al mondo. Questa inferenza Cerebras garantisce prestazioni fino a 1.800 token al secondo per i modelli Llama 3.1 8B (8 miliardi di parametri) e 450 token al secondo per Llama 3.1 70B, ovvero fino a quasi 20 volte più veloce delle soluzioni di inferenza AI basate su GPU NVIDIA disponibili negli attuali cloud iperscalabili in tutto il mondo, tra cui Microsoft Azure.

Oltre alle incredibili prestazioni, il prezzo del servizio di questa nuova soluzione di inferenza è anche molto conveniente, a una frazione del prezzo delle popolari piattaforme cloud GPU. Ad esempio, un cliente può ottenere un milione di token per soli 10 centesimi, ottenendo così un rapporto prezzo/prestazioni 100 volte superiore per i carichi di lavoro di intelligenza artificiale.

La precisione a 16 bit e la velocità di inferenza 20 volte superiore di Cerebras consentiranno agli sviluppatori di creare applicazioni di intelligenza artificiale ad alte prestazioni di nuova generazione senza compromettere velocità o costi. Questo rapporto prezzo/prestazioni rivoluzionario è reso possibile dal sistema Cerebras CS-3 e dal processore AI Wafer Scale Engine 3 (WSE-3). CS-3 offre una larghezza di banda di memoria 7.000 volte maggiore rispetto a Nvidia H100, risolvendo la sfida tecnica della larghezza di banda di memoria per l'intelligenza artificiale generativa.

Cerebras lancia la tecnologia di inferenza AI più veloce al mondo, con prestazioni 20 volte superiori a quelle di NVIDIA

Cerebras Inference è attualmente disponibile ai seguenti tre livelli:

  • Il livello gratuito offre a chiunque si iscriva l'accesso gratuito all'API e generosi limiti di utilizzo.
  • Il livello Developer è progettato per distribuzioni flessibili e senza server, offrendo agli utenti endpoint API a una frazione del costo delle alternative esistenti sul mercato, con i modelli Llama 3.1 8B e 70B al prezzo rispettivamente di soli 10 centesimi e 60 centesimi per milione di token.
  • I piani Enterprise Tier offrono modelli ottimizzati, accordi di servizio personalizzati e supporto dedicato. Ideale per carichi di lavoro persistenti, le aziende possono accedere a Cerebras Inference tramite il cloud privato gestito da Cerebras o in locale.

Grazie a prestazioni record, prezzi competitivi e accesso API aperto, Cerebras Inference stabilisce un nuovo standard per lo sviluppo e l'implementazione di LLM aperti. Essendo l'unica soluzione in grado di fornire sia formazione che inferenza ad alta velocità, Cerebras apre possibilità completamente nuove per l'intelligenza artificiale.

Con le tendenze dell'intelligenza artificiale in rapida evoluzione e con NVIDIA che attualmente detiene una posizione dominante sul mercato, l'emergere di aziende come Cerebras e Groq segnala un potenziale cambiamento nelle dinamiche dell'intero settore. Con l'aumento della domanda di soluzioni di inferenza AI più rapide e convenienti, soluzioni come Cerebras Inference sono ben posizionate per tentare la fortuna di NVIDIA, soprattutto nel settore dell'inferenza.

Sign up and earn $1000 a day ⋙

Leave a Comment

Differenza tra TV normale e Smart TV

Differenza tra TV normale e Smart TV

Le smart TV hanno davvero preso d'assalto il mondo. Grazie alle sue numerose funzionalità e alla connettività Internet, la tecnologia ha cambiato il nostro modo di guardare la TV.

Perché il congelatore non ha la luce mentre il frigorifero sì?

Perché il congelatore non ha la luce mentre il frigorifero sì?

I frigoriferi sono elettrodomestici comuni nelle case. I frigoriferi hanno solitamente 2 scomparti: lo scomparto freddo è spazioso e ha una luce che si accende automaticamente ogni volta che l'utente lo apre, mentre lo scomparto congelatore è stretto e non ha luce.

2 modi per risolvere la congestione della rete che rallenta il Wi-Fi

2 modi per risolvere la congestione della rete che rallenta il Wi-Fi

Oltre ai router, alla larghezza di banda e alle interferenze, le reti Wi-Fi sono influenzate da molti fattori, ma esistono alcuni modi intelligenti per potenziare la propria rete.

Come eseguire il downgrade da iOS 17 a iOS 16 senza perdere dati utilizzando Tenorshare Reiboot

Come eseguire il downgrade da iOS 17 a iOS 16 senza perdere dati utilizzando Tenorshare Reiboot

Se vuoi tornare alla versione stabile di iOS 16 sul tuo telefono, ecco la guida di base per disinstallare iOS 17 ed effettuare il downgrade da iOS 17 a 16.

Cosa succede al corpo se mangi yogurt ogni giorno?

Cosa succede al corpo se mangi yogurt ogni giorno?

Lo yogurt è un alimento meraviglioso. Fa bene mangiare yogurt tutti i giorni? Se mangiassi yogurt ogni giorno, come cambierebbe il tuo corpo? Scopriamolo insieme!

Quale tipo di riso è migliore per la salute?

Quale tipo di riso è migliore per la salute?

In questo articolo vengono illustrati i tipi di riso più nutrienti e come sfruttare al massimo i benefici per la salute offerti dal tipo di riso scelto.

Come svegliarsi puntuali la mattina

Come svegliarsi puntuali la mattina

Tra le misure che possono aiutarti a dormire meglio e a svegliarti puntuale al mattino c'è quella di stabilire un orario per dormire e una routine per andare a dormire, cambiare la sveglia e modificare la tua dieta.

Suggerimenti per giocare a Rent Please! Simulazione del proprietario di casa per principianti

Suggerimenti per giocare a Rent Please! Simulazione del proprietario di casa per principianti

Affitto per favore! Landlord Sim è un gioco di simulazione per dispositivi mobili, disponibile per iOS e Android. Giocherai nei panni del proprietario di un complesso di appartamenti e inizierai ad affittare un appartamento con l'obiettivo di migliorarne gli interni e prepararli per gli inquilini.

Ultimi codici di difesa della torre del bagno e come inserirli

Ultimi codici di difesa della torre del bagno e come inserirli

Ottieni il codice del gioco Roblox Bathroom Tower Defense e riscattalo per ottenere fantastiche ricompense. Ti aiuteranno a potenziare o sbloccare torri con danni maggiori.

Struttura, simboli e principi di funzionamento dei trasformatori

Struttura, simboli e principi di funzionamento dei trasformatori

Impariamo a conoscere la struttura, i simboli e i principi di funzionamento dei trasformatori nel modo più accurato.

4 modi in cui lintelligenza artificiale sta migliorando le smart TV

4 modi in cui lintelligenza artificiale sta migliorando le smart TV

Dalla migliore qualità dell'immagine e del suono al controllo vocale e molto altro, queste funzionalità basate sull'intelligenza artificiale stanno rendendo le smart TV molto migliori!

Perché ChatGPT è migliore di DeepSeek

Perché ChatGPT è migliore di DeepSeek

Inizialmente le aspettative per DeepSeek erano alte. In quanto chatbot basato sull'intelligenza artificiale, pubblicizzato come un forte concorrente di ChatGPT, promette funzionalità ed esperienze di chat intelligenti.

Scopri Fireflies.ai: la segretaria AI gratuita che ti fa risparmiare ore di lavoro

Scopri Fireflies.ai: la segretaria AI gratuita che ti fa risparmiare ore di lavoro

È facile trascurare dettagli importanti quando si prendono appunti di altre cose essenziali, e cercare di prendere appunti mentre si chiacchiera può distrarre. Fireflies.ai è la soluzione.

Come allevare lAxolotl in Minecraft, addomesticare la Salamandra in Minecraft

Come allevare lAxolotl in Minecraft, addomesticare la Salamandra in Minecraft

Gli Axolot di Minecraft saranno degli ottimi aiutanti per i giocatori che operano sott'acqua, se sapranno come usarli.

A Quiet Place: The Road Ahead Configurazione del gioco per PC

A Quiet Place: The Road Ahead Configurazione del gioco per PC

La configurazione di A Quiet Place: The Road Ahead ha ricevuto recensioni piuttosto positive, quindi è opportuno valutarla attentamente prima di decidere di scaricarla.