Lintelligenza artificiale di Alibaba trasforma le foto in suoni e canti

EMO (Emotive Portrait Alive) è una nuova intelligenza artificiale generativa studiata dall'Institute of Intelligent Computing (IIC) di Alibaba, dotata della capacità di trasformare "magicamente" qualsiasi immagine in un parlato o un canto realistico.

In altre parole, l'intelligenza artificiale di Alibaba è in grado di trasformare un'immagine di riferimento statica e un audio vocale in un video in grado di parlare e cantare con espressioni naturali.

Le IA precedenti modificavano solo la bocca e parte del viso, mentre EMO può creare espressioni facciali, espressioni naturali della bocca, una sincronizzazione labiale precisa, muovere le sopracciglia, aggrottare la fronte o persino ondeggiare a ritmo di musica.

Alibaba ha pubblicato alcuni video che mostrano come le immagini vengono trasformate in video e come vengono cantate al volo le canzoni importate. EMO supporta inglese, cinese e molte altre lingue.

Alibaba ha rivelato che, per poter creare espressioni facciali realistiche, EMO è stato addestrato con una grande quantità di dati di immagini, audio e video attraverso il suo modello di diffusione chiamato Audio2Video.

Per affrontare l'attuale grande sfida del realismo e dell'espressività nella generazione di video da immagini e suoni, il team di ricerca si è concentrato sulla relazione e sulle sfumature tra segnali audio e movimenti facciali, bypassando il collegamento intermedio del modello 3D o i punti di riferimento facciali, effettuando transizioni fluide tra i fotogrammi e preservando la coerenza nel video.

Alibaba non ha ancora rivelato quando renderà pubblica questa intelligenza artificiale, ma ha pubblicato i dati di EMO su Github e i documenti di ricerca su ArXiv.

Lascia un commento

Come smaltire una lavatrice a Taranto: ritiro, centro di raccolta o rivenditore?

Come smaltire una lavatrice a Taranto: ritiro, centro di raccolta o rivenditore?

Come smaltire una lavatrice a Taranto: confronto tra centro comunale, ritiro domiciliare Kyma Ambiente e ritiro uno contro uno del rivenditore.

TARI a Ferrara: come fare voltura, cessazione e variazione

TARI a Ferrara: come fare voltura, cessazione e variazione

Guida aggiornata per gestire TARI e Tariffa Corrispettiva Puntuale a Ferrara: documenti, voltura, cessazione, variazione e controlli finali.

Ritiro rifiuti ingombranti a Napoli: come prenotarlo e quando scegliere un’alternativa

Ritiro rifiuti ingombranti a Napoli: come prenotarlo e quando scegliere un’alternativa

Come prenotare il ritiro dei rifiuti ingombranti a Napoli con ASIA, cosa si può conferire e quando convengono Ecopunti Mobili o centri di raccolta.

Come smaltire un frigorifero: RAEE, ritiro gratuito e 4 passaggi pratici

Come smaltire un frigorifero: RAEE, ritiro gratuito e 4 passaggi pratici

Come smaltire un frigorifero in Italia: regole RAEE, ritiro uno contro uno, centro di raccolta, preparazione e errori da evitare.

Come smaltire una power bank a Palermo: dove portarla e come farlo in sicurezza

Come smaltire una power bank a Palermo: dove portarla e come farlo in sicurezza

Guida pratica per smaltire una power bank a Palermo: CCR RAP, ritiro nei negozi, regole RAEE e precauzioni per batterie al litio danneggiate.

Ritiro rifiuti ingombranti a Reggio Emilia: come prenotarlo con Iren

Ritiro rifiuti ingombranti a Reggio Emilia: come prenotarlo con Iren

Scopri come prenotare il ritiro dei rifiuti ingombranti a Reggio Emilia con Iren Ambiente, quali informazioni preparare e come verificare le regole locali.

Come smaltire una bombola del gas a Catania: canali sicuri e cosa evitare

Come smaltire una bombola del gas a Catania: canali sicuri e cosa evitare

Guida pratica per smaltire una bombola GPL a Catania: rivenditore, Dusty, trasporto sicuro, casi urgenti e errori da evitare.

Come smaltire una bicicletta a Firenze: riuso, Ecocentro o ritiro ingombranti?

Come smaltire una bicicletta a Firenze: riuso, Ecocentro o ritiro ingombranti?

Come smaltire una bicicletta a Firenze: come scegliere tra riuso, Ecocentro e ritiro ingombranti, con criteri pratici e verifiche utili prima del conferimento.

Come smaltire un portatile a Padova: dove portarlo e come cancellare i dati

Come smaltire un portatile a Padova: dove portarlo e come cancellare i dati

Devi smaltire un portatile a Padova? Scopri centri di raccolta, ritiro in negozio, regole RAEE e come proteggere i dati prima della consegna.

Come smaltire pile esauste a Salerno: dove portarle e cosa fare prima del conferimento

Come smaltire pile esauste a Salerno: dove portarle e cosa fare prima del conferimento

Guida aggiornata per smaltire pile esauste a Salerno: negozi, centri di raccolta Fratte e Arechi, centro mobile, pile al litio e errori da evitare.