Cómo Crear Vídeos de Humanos y Dibujos Digitales con Voz & LipSync usando GenAI en Hedra

Hoy sábado, que tengo planeado ir a hacer algo de deporte, no quería dejaros sin contaros algo, así que os traigo una de esas plataformas para que podáis jugar vosotros un poco con la GenerativeAI, en este caso para hacer unos vídeos de personas o personajes animados a partir de una fotografía, a los que puedes poner audio para que te haga el sincronizado de labios (LipSync), que se llama Hedra, y con la que podéis probar cosas en la versión gratuita.

Figura 1: Como Crear Vídeos de Humanos y Dibujos Digitales

con Voz & LipSync usando GenAI en Hedra

La idea es poder crear un Humano Digital o un Personaje Digital a partir de una fotografía, y funciona de forma sencilla, que es casi un "One-Buttom Project" como a a mí me gusta llamarlos.

Figura 2: En Hedra Prompt para animar, audio e imagen

para generar un vídeo

Te abres una cuenta en Hedra.com y tienes un chat donde basta con subir un audio, y una fotografía del frame inicial, y darle alguna indicación en el Prompt.

Figura 3: Cuando subes el audio puedes filtrar el fondo con AI

Yo he cortado un audio de 20 segundos de la intro de una entrevista en podcast que va a ser publicado en breve, y para la primera prueba he utilizado uno de lo stickers que me hice con ChatGPT para animar mi WhatsApp.

Figura 4: Vídeo generado.

Una vez hecho, te genera el vídeo con el LypSinc realizado, tal y como podéis ver en este primer vídeo que está aquí mismo.

Figura 5: Primera prueba con Hedra

He querido probarlo un poco más, para daros alguna idea, y para ello me he creado un personaje en vectorial con Perplexity Pro a partir de la imagen esa mía del año 2016 que seguro que alguna vez habéis visto.

Figura 6: Generando un personaje a partir de una foto con Perplexity Pro

Luego le he pedido que me lo anime con algo de emoción en las expresiones añadiendo solo algo de información en el Prompt de Hedra.com.

Figura 7: Pidiéndole a Hedra en el Prompt que ponga emoción

El resultado es un vídeo en el que lo hace casi todo bien, ya que el ordenador lo ha tomado como parte de la vestimenta - podría ser por lo pegado que lo llevo siempre -, y ha quedado un poco raruno.

Figura 8: Segunda prueba con Hedra

La última prueba que he hecho ha sido a partir de un fotograma de una conferencia mía. He pillado una imagen, y le he pedido que lo anime bien, y en este caso lo ha hecho muy bien, la verdad.

Figura 9: Prueba con un fotograma de una conferencia

Anima perfectamente la mano y los brazos, los movimientos de la cabeza y el sincronizado de labios. Com punto curioso es el "lifting" facial ese que me hace en la cara que me deja un poco raro a mis ojos, pero queda muy aparente.

Figura 10: Tercera prueba en Hedra

Hoy en día tienes plataformas muy completas y profesionales, pensadas para hacer presentaciones a partir de documentos, con voz clonada, con generación de las explicaciones de cada una de las diapositivas, y con humanos digitales basados en tu fotografía que hacen exactamente esto, pero para que podáis probar podéis usar esta plataforma. 

Figura 11: Vídeo final de la tercera prueba

(una Deepfake)

Con esto he cumplido mi tarea con mi blog, así que ya puedo ponerme las zapatillas, la ropa de deporte e ir a ver si sudo un poco haciendo algo de ejercicio. Feliz sábado.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)