Cerebras lancia la tecnologia di inferenza AI più veloce al mondo, con prestazioni 20 volte superiori a quelle di NVIDIA

Cerebras Systems ha appena annunciato ufficialmente Cerebras Inference, considerata la soluzione di inferenza AI più veloce al mondo. Questa inferenza Cerebras garantisce prestazioni fino a 1.800 token al secondo per i modelli Llama 3.1 8B (8 miliardi di parametri) e 450 token al secondo per Llama 3.1 70B, ovvero fino a quasi 20 volte più veloce delle soluzioni di inferenza AI basate su GPU NVIDIA disponibili negli attuali cloud iperscalabili in tutto il mondo, tra cui Microsoft Azure.

Oltre alle incredibili prestazioni, il prezzo del servizio di questa nuova soluzione di inferenza è anche molto conveniente, a una frazione del prezzo delle popolari piattaforme cloud GPU. Ad esempio, un cliente può ottenere un milione di token per soli 10 centesimi, ottenendo così un rapporto prezzo/prestazioni 100 volte superiore per i carichi di lavoro di intelligenza artificiale.

La precisione a 16 bit e la velocità di inferenza 20 volte superiore di Cerebras consentiranno agli sviluppatori di creare applicazioni di intelligenza artificiale ad alte prestazioni di nuova generazione senza compromettere velocità o costi. Questo rapporto prezzo/prestazioni rivoluzionario è reso possibile dal sistema Cerebras CS-3 e dal processore AI Wafer Scale Engine 3 (WSE-3). CS-3 offre una larghezza di banda di memoria 7.000 volte maggiore rispetto a Nvidia H100, risolvendo la sfida tecnica della larghezza di banda di memoria per l'intelligenza artificiale generativa.

Cerebras lancia la tecnologia di inferenza AI più veloce al mondo, con prestazioni 20 volte superiori a quelle di NVIDIA

Cerebras Inference è attualmente disponibile ai seguenti tre livelli:

  • Il livello gratuito offre a chiunque si iscriva l'accesso gratuito all'API e generosi limiti di utilizzo.
  • Il livello Developer è progettato per distribuzioni flessibili e senza server, offrendo agli utenti endpoint API a una frazione del costo delle alternative esistenti sul mercato, con i modelli Llama 3.1 8B e 70B al prezzo rispettivamente di soli 10 centesimi e 60 centesimi per milione di token.
  • I piani Enterprise Tier offrono modelli ottimizzati, accordi di servizio personalizzati e supporto dedicato. Ideale per carichi di lavoro persistenti, le aziende possono accedere a Cerebras Inference tramite il cloud privato gestito da Cerebras o in locale.

Grazie a prestazioni record, prezzi competitivi e accesso API aperto, Cerebras Inference stabilisce un nuovo standard per lo sviluppo e l'implementazione di LLM aperti. Essendo l'unica soluzione in grado di fornire sia formazione che inferenza ad alta velocità, Cerebras apre possibilità completamente nuove per l'intelligenza artificiale.

Con le tendenze dell'intelligenza artificiale in rapida evoluzione e con NVIDIA che attualmente detiene una posizione dominante sul mercato, l'emergere di aziende come Cerebras e Groq segnala un potenziale cambiamento nelle dinamiche dell'intero settore. Con l'aumento della domanda di soluzioni di inferenza AI più rapide e convenienti, soluzioni come Cerebras Inference sono ben posizionate per tentare la fortuna di NVIDIA, soprattutto nel settore dell'inferenza.

Lascia un commento

TARI a Ferrara: come fare voltura, cessazione e variazione

TARI a Ferrara: come fare voltura, cessazione e variazione

Guida aggiornata per gestire TARI e Tariffa Corrispettiva Puntuale a Ferrara: documenti, voltura, cessazione, variazione e controlli finali.

Ritiro rifiuti ingombranti a Napoli: come prenotarlo e quando scegliere un’alternativa

Ritiro rifiuti ingombranti a Napoli: come prenotarlo e quando scegliere un’alternativa

Come prenotare il ritiro dei rifiuti ingombranti a Napoli con ASIA, cosa si può conferire e quando convengono Ecopunti Mobili o centri di raccolta.

Come smaltire un frigorifero: RAEE, ritiro gratuito e 4 passaggi pratici

Come smaltire un frigorifero: RAEE, ritiro gratuito e 4 passaggi pratici

Come smaltire un frigorifero in Italia: regole RAEE, ritiro uno contro uno, centro di raccolta, preparazione e errori da evitare.

Come smaltire una power bank a Palermo: dove portarla e come farlo in sicurezza

Come smaltire una power bank a Palermo: dove portarla e come farlo in sicurezza

Guida pratica per smaltire una power bank a Palermo: CCR RAP, ritiro nei negozi, regole RAEE e precauzioni per batterie al litio danneggiate.

Ritiro rifiuti ingombranti a Reggio Emilia: come prenotarlo con Iren

Ritiro rifiuti ingombranti a Reggio Emilia: come prenotarlo con Iren

Scopri come prenotare il ritiro dei rifiuti ingombranti a Reggio Emilia con Iren Ambiente, quali informazioni preparare e come verificare le regole locali.

Come smaltire una bombola del gas a Catania: canali sicuri e cosa evitare

Come smaltire una bombola del gas a Catania: canali sicuri e cosa evitare

Guida pratica per smaltire una bombola GPL a Catania: rivenditore, Dusty, trasporto sicuro, casi urgenti e errori da evitare.

Come smaltire una bicicletta a Firenze: riuso, Ecocentro o ritiro ingombranti?

Come smaltire una bicicletta a Firenze: riuso, Ecocentro o ritiro ingombranti?

Come smaltire una bicicletta a Firenze: come scegliere tra riuso, Ecocentro e ritiro ingombranti, con criteri pratici e verifiche utili prima del conferimento.

Come smaltire un portatile a Padova: dove portarlo e come cancellare i dati

Come smaltire un portatile a Padova: dove portarlo e come cancellare i dati

Devi smaltire un portatile a Padova? Scopri centri di raccolta, ritiro in negozio, regole RAEE e come proteggere i dati prima della consegna.

Come smaltire pile esauste a Salerno: dove portarle e cosa fare prima del conferimento

Come smaltire pile esauste a Salerno: dove portarle e cosa fare prima del conferimento

Guida aggiornata per smaltire pile esauste a Salerno: negozi, centri di raccolta Fratte e Arechi, centro mobile, pile al litio e errori da evitare.

Come smaltire un piumone a Rimini: riuso, raccolta e alternative da verificare

Come smaltire un piumone a Rimini: riuso, raccolta e alternative da verificare

Come smaltire un piumone a Rimini: quando scegliere il riuso, come usare l’Area del Riuso di via Nataloni e cosa verificare nel Rifiutologo prima di buttarlo.