Adobe anunció nuevas herramientas de inteligencia artificial para generar video a partir de texto. La empresa está enfocada en aprovechar las bondades la IA generativa de su modelo Firefly en Premiere Pro. Muy pronto los usuarios podrán crear clips de video a partir de un prompt para insertarlos en su software de edición de video.
En una entrada publicada en su web, Adobe anunció una actualización a las funciones de IA generativa que llegarán a Premiere Pro. Algunas de las características que se presentaron en abril — como la extensión generativa — estarán disponibles muy pronto, mientras que otras muestran los avances en su modelo de video para Firefly. Adobe, al igual que OpenAI y Midjourney, experimenta con modelos de difusión que generan video desde una línea de texto.
Entre las opciones experimentales, Adobe está probando una IA capaz de producir un clip de unos cuantos segundos a partir de una frase. El usuario solo tiene que introducir un prompt detallado — como en ChatGPT — y la herramienta se encargará de generarlo. El modelo de Firefly ofrece opciones adicionales para cambiar el aspecto, fotogramas, ángulo de cámara o velocidad de movimiento.
Otra característica llamativa es la posibilidad de crear video a partir de una imagen. Para lograrlo, solo deberás cargar una foto o ilustración y teclear un prompt para generar una animación o video.
A primera vista, la nueva herramienta se aleja de lo que hemos visto de Sora y otros experimentos de IA. Adobe está puliendo su modelo para integrarlo al flujo de trabajo de sus aplicaciones creativas. En lugar de generar un video realista, podremos crear clips con efectos especiales, texto animado y cortinillas que podríamos añadir a nuestro proyecto de After Effects o Premiere Pro.
Adobe integrará la IA de OpenAI en Premiere Pro
Sumado a las nuevas opciones, Adobe reveló hace tiempo que integrará modelos de terceros en suite Creative Cloud. La compañía mencionó que las primeras exploraciones permiten generar b-roll para Premiere Pro usando los modelos de lenguaje de OpenAI y Runway. También será posible combinar el editor de Pika con la función extensión generativa para Premiere, la cual extiende una escena de forma rápida a partir de fotogramas creados con IA.
"Los clientes de Adobe quieren opciones e infinitas posibilidades a medida que crean y editan la próxima generación de entretenimiento y medios", dijo la compañía. "Ya sea que se trate de Adobe Firefly u otros modelos de IA especializados, Adobe está trabajando para que el proceso de integración sea lo más fluido posible desde las aplicaciones de Adobe."
Adobe dijo que las funciones de texto a video e imagen a video estarán disponibles a finales de año desde la web de Firefly, mientras que la extensión generativa se integrará a Premiere Pro. También se ofrecerá una función para añadir y eliminar objetos con un toque. Esta opción permite arrastrar o sustituir elementos de una escena de Premiere con la ayuda de la IA.
La compañía hizo hincapié en que Firefly es seguro y se entrena con contenido con licencia y material de dominio público. Adobe no quiere seguir los pasos de Midjourney y Stable Diffusion y busca evitar una multa millonaria por infringir derechos de autor. El modelo de video no se entrenará con tus archivos, a menos que otorgues autorización explícita a Adobe para hacerlo.