Il progetto “EMO: Emote Portrait Alive” propone un framework innovativo per la generazione di video ritratti espressivi sincronizzati con l’audio, utilizzando un modello di diffusione audio-video in condizioni deboli. Questo approccio supera i limiti delle tecniche tradizionali, evitando la necessità di modelli 3D intermedi o landmark facciali, e produce animazioni realistiche e altamente espressive. I risultati sperimentali dimostrano che EMO può generare non solo video parlati convincenti, ma anche video cantati in vari stili, con prestazioni superiori ai metodi esistenti in termini di espressività e realismo. Puoi leggere il dettaglio completo di questo studio qui.