Cerebras lancia la tecnologia di inferenza AI più veloce al mondo, con prestazioni 20 volte superiori a quelle di NVIDIA

Cerebras Systems ha appena annunciato ufficialmente Cerebras Inference, considerata la soluzione di inferenza AI più veloce al mondo. Questa inferenza Cerebras garantisce prestazioni fino a 1.800 token al secondo per i modelli Llama 3.1 8B (8 miliardi di parametri) e 450 token al secondo per Llama 3.1 70B, ovvero fino a quasi 20 volte più veloce delle soluzioni di inferenza AI basate su GPU NVIDIA disponibili negli attuali cloud iperscalabili in tutto il mondo, tra cui Microsoft Azure.

Oltre alle incredibili prestazioni, il prezzo del servizio di questa nuova soluzione di inferenza è anche molto conveniente, a una frazione del prezzo delle popolari piattaforme cloud GPU. Ad esempio, un cliente può ottenere un milione di token per soli 10 centesimi, ottenendo così un rapporto prezzo/prestazioni 100 volte superiore per i carichi di lavoro di intelligenza artificiale.

La precisione a 16 bit e la velocità di inferenza 20 volte superiore di Cerebras consentiranno agli sviluppatori di creare applicazioni di intelligenza artificiale ad alte prestazioni di nuova generazione senza compromettere velocità o costi. Questo rapporto prezzo/prestazioni rivoluzionario è reso possibile dal sistema Cerebras CS-3 e dal processore AI Wafer Scale Engine 3 (WSE-3). CS-3 offre una larghezza di banda di memoria 7.000 volte maggiore rispetto a Nvidia H100, risolvendo la sfida tecnica della larghezza di banda di memoria per l'intelligenza artificiale generativa.

Cerebras lancia la tecnologia di inferenza AI più veloce al mondo, con prestazioni 20 volte superiori a quelle di NVIDIA

Cerebras Inference è attualmente disponibile ai seguenti tre livelli:

  • Il livello gratuito offre a chiunque si iscriva l'accesso gratuito all'API e generosi limiti di utilizzo.
  • Il livello Developer è progettato per distribuzioni flessibili e senza server, offrendo agli utenti endpoint API a una frazione del costo delle alternative esistenti sul mercato, con i modelli Llama 3.1 8B e 70B al prezzo rispettivamente di soli 10 centesimi e 60 centesimi per milione di token.
  • I piani Enterprise Tier offrono modelli ottimizzati, accordi di servizio personalizzati e supporto dedicato. Ideale per carichi di lavoro persistenti, le aziende possono accedere a Cerebras Inference tramite il cloud privato gestito da Cerebras o in locale.

Grazie a prestazioni record, prezzi competitivi e accesso API aperto, Cerebras Inference stabilisce un nuovo standard per lo sviluppo e l'implementazione di LLM aperti. Essendo l'unica soluzione in grado di fornire sia formazione che inferenza ad alta velocità, Cerebras apre possibilità completamente nuove per l'intelligenza artificiale.

Con le tendenze dell'intelligenza artificiale in rapida evoluzione e con NVIDIA che attualmente detiene una posizione dominante sul mercato, l'emergere di aziende come Cerebras e Groq segnala un potenziale cambiamento nelle dinamiche dell'intero settore. Con l'aumento della domanda di soluzioni di inferenza AI più rapide e convenienti, soluzioni come Cerebras Inference sono ben posizionate per tentare la fortuna di NVIDIA, soprattutto nel settore dell'inferenza.

Lascia un commento

L'Europa verrebbe coinvolta in un'ipotetica guerra nucleare tra Stati Uniti, Israele e Iran? Le regole della NATO spiegate.

L'Europa verrebbe coinvolta in un'ipotetica guerra nucleare tra Stati Uniti, Israele e Iran? Le regole della NATO spiegate.

Una guida agli articoli 4 e 5 della NATO, alle norme ONU sull'autodifesa e al perché la consultazione non implica l'ingresso automatico dell'Europa in guerra.

L'Iran potrebbe già possedere armi nucleari? Come interpretare le prove

L'Iran potrebbe già possedere armi nucleari? Come interpretare le prove

Valutare le affermazioni riguardanti l'Iran in sei fasi, distinguendo tra arricchimento dell'uranio, sviluppo di armi e possesso accertato.

Autorità nucleare statunitense e israeliana: cosa spiegano realmente le fonti pubbliche

Autorità nucleare statunitense e israeliana: cosa spiegano realmente le fonti pubbliche

Comprendere l'autorità decisionale in materia nucleare in sei fasi, inclusi il controllo civile statunitense e i limiti dell'informazione pubblica su Israele.

Stretto di Hormuz nel 2026: cosa dicono le fonti ufficiali in merito alle interruzioni della navigazione

Stretto di Hormuz nel 2026: cosa dicono le fonti ufficiali in merito alle interruzioni della navigazione

Una guida alle prove ufficiali del 2026 relative all'interruzione del traffico marittimo a Hormuz, alle accuse legate all'Iran, agli incidenti confermati e a ciò che rimane incerto.

Un ipotetico attacco nucleare congiunto tra Stati Uniti e Israele contro l'Iran scatenerebbe la Terza Guerra Mondiale?

Un ipotetico attacco nucleare congiunto tra Stati Uniti e Israele contro l'Iran scatenerebbe la Terza Guerra Mondiale?

Una guida basata su fonti attendibili sui rischi di escalation nucleare, le norme della Carta delle Nazioni Unite e l'articolo 5 della NATO in uno scenario puramente ipotetico relativo all'Iran.

Come prepararsi a un'ipotetica interruzione di corrente causata da un impulso elettromagnetico (EMP): 5 passi da compiere per i civili.

Come prepararsi a un'ipotetica interruzione di corrente causata da un impulso elettromagnetico (EMP): 5 passi da compiere per i civili.

Segui cinque passaggi per prepararti a un'interruzione di corrente; gli scenari nucleari e EMP sono ipotetici e le istruzioni ufficiali per il rifugio hanno la priorità.

Come valutare le interruzioni informatiche senza presumere la terza guerra mondiale: una guida in 5 passaggi

Come valutare le interruzioni informatiche senza presumere la terza guerra mondiale: una guida in 5 passaggi

Segui 5 semplici passaggi difensivi per verificare un attacco informatico, proteggere gli account domestici ed evitare di confondere un'interruzione di servizio con una guerra.

Inverno nucleare: come valutare gli effetti sul clima globale di un ipotetico attacco iraniano

Segui questi 5 passaggi per valutare gli effetti sul clima di un ipotetico attacco iraniano, confrontare le ipotesi dei modelli ed evitare previsioni infondate.

Quanto tempo impiegherebbe la Terra a riprendersi dopo un'ipotetica guerra nucleare?

Quanto tempo impiegherebbe la Terra a riprendersi dopo un'ipotetica guerra nucleare?

Scopri sei passaggi per leggere le ricerche sul clima, l'alimentazione e il recupero degli ecosistemi dopo un ipotetico conflitto nucleare.

Lista di controllo per la preparazione alle ricadute nucleari: forniture essenziali e misure per il rifugio

Lista di controllo per la preparazione alle ricadute nucleari: forniture essenziali e misure per il rifugio

Crea un pratico kit di sopravvivenza in caso di apocalisse in sei semplici passaggi, con cibo e acqua sigillati, una radio, forniture mediche e istruzioni per la costruzione di un rifugio.