OpenAI se adelanta una vez más con algo nuevo y emocionante: Sora. Este modelo de inteligencia artificial, que convierte texto en video, promete cambiar la manera en que generamos y consumimos contenido digital. Ya sea que estés planeando una campaña de marketing o buscando formas innovadoras de contar historias, Sora parece ser la herramienta que muchos esperaban. Este artículo te llevará a través de lo que es Sora, cómo funciona, y el amplio abanico de posibilidades que ofrece, tanto para la creatividad como para la comunicación.

¿Qué es Sora?

A primera vista, puede parecer otro avance tecnológico más, pero lo que hace especial a Sora es su habilidad para convertir texto en videos que pueden transmitir una historia o mensaje de manera directa y eficiente. Para aquellos en el campo del marketing digital y la tecnología, esto abre nuevas vías para captar la atención y conectar con el público.

Rompiendo con lo tradicional

En el ámbito de la inteligencia artificial, especialmente en los modelos que transforman texto en vídeo, hemos visto una variedad de técnicas como redes recurrentes, redes generativas adversarias, transformadores autorregresivos y modelos de difusión. Estos enfoques suelen centrarse en contenidos visuales específicos, limitándose a clips cortos o vídeos de tamaño estándar. Sin embargo, Sora de OpenAI se desmarca de estas restricciones al ser un modelo versátil capaz de producir videos e imágenes en una amplia gama de duraciones, relaciones de aspecto y resoluciones, logrando hasta un minuto de vídeo en alta definición.

Operando bajo un modelo de difusión

Operando bajo un modelo de difusión, Sora inicia el proceso de generación de video desde un estado inicial que se asemeja a ruido estático, refinándolo progresivamente a través de numerosos pasos. Esta capacidad le permite no solo crear vídeos completos en un solo proceso sino también mejorar vídeos existentes, aumentando su longitud y manteniendo la coherencia de los sujetos, incluso cuando desaparecen momentáneamente del encuadre.

La difusión se refiere a un modelo generativo de IA que crea su resultado generando un vídeo o una imagen con algo que parece más bien “ruido estático” y transformándolo gradualmente mediante la “eliminación del ruido” a lo largo de varios pasos.

Fuente

Inspirándose en los principios de diseño de los modelos GPT, Sora se basa en una arquitectura de transformador, lo que le permite escalar de manera impresionante. El modelo trata los vídeos e imágenes como ensamblajes de segmentos de datos más pequeños, conocidos como parches, similares a los tokens en los modelos GPT, lo que facilita una aproximación unificada en la representación de datos.

Además, Sora toma elementos de los trabajos fundacionales de DALL·E y los modelos GPT, incorporando técnicas de recaptación para mejorar la capacidad del modelo de seguir las instrucciones textuales de los usuarios en los vídeos generados.

Contribuciones clave

1. Transformación de datos visuales en parches: Aplicando principios similares a los modelos de lenguaje, Sora utiliza parches visuales para procesar una diversidad de tipos de videos e imágenes, lo que ha demostrado ser una manera escalable y efectiva de entrenar modelos generativos.
2. Red de compresión de vídeo: Para gestionar la complejidad de los datos visuales, Sora incluye una red que comprime los datos tanto temporal como espacialmente, convirtiendo el video crudo en una representación latente que luego puede generar y decodificar.
3. Parches latentes de espacio tiempo: Tratando los datos comprimidos mediante secuencias de parches de espacio-tiempo, Sora puede manejar datos de entrenamiento con diversas resoluciones y duraciones, ajustando el tamaño del video generado según sea necesario.
4. Escalado de transformadores para la generación de vídeo: Incorporando un enfoque de modelo de difusión dentro de una arquitectura de transformador, Sora aprende a predecir el estado original de parches ruidosos, permitiendo una escalabilidad efectiva en diferentes tareas de generación de datos visuales.
5. Flexibilidad en la salida: A diferencia de modelos anteriores, Sora entrena con datos en su tamaño nativo, permitiendo generar videos en una amplia gama de tamaños y relaciones de aspecto, adecuados para diversas plataformas y dispositivos.

Estos detalles técnicos apenas rozan la superficie de lo que Sora puede hacer. Se espera que OpenAI publique pronto un informe técnico más detallado que arrojará más luz sobre las capacidades de este innovador modelo de generación de video.

¿Hasta dónde puede llegar Sora de momento?

A pesar de las impresionantes capacidades de Sora para transformar descripciones escritas en secuencias visuales, hay aspectos fundamentales de la realidad y la física que todavía no logra captar del todo. Una de las limitaciones señaladas por OpenAI es que Sora no tiene un entendimiento implícito de las leyes físicas, lo que puede resultar en videos donde las normas del “mundo real” no se aplican consistentemente.

Ejemplos Ilustrativos

• Causa y efecto: En un ejemplo proporcionado, un video muestra un balón pasando a través de un aro de baloncesto que luego explota, pero sorprendentemente, la red se restaura por sí sola después de la explosión. Este tipo de inconsistencias revela que Sora puede tener dificultades para comprender y aplicar la lógica de causa y efecto en sus creaciones. Ver el vídeo aquí >
• Posicionamiento espacial: Otro ejemplo muestra a unos lobos jugando, donde los animales aparecen de manera espontánea y sus posiciones a veces se superponen de formas poco naturales. Este desafío subraya los problemas de Sora con la coherencia espacial y el seguimiento de objetos a lo largo del tiempo. Ver el vídeo aquí >

¿Es confiable?

La confiabilidad de los resultados generados por Sora es otro punto de interrogante. Aunque los ejemplos mostrados por OpenAI son de alta calidad, no está claro cuánta selección de los mejores casos se ha realizado. Con herramientas de generación de imágenes a partir de texto, es común producir múltiples resultados para seleccionar el más adecuado.

La pregunta que surge es cuántos videos necesita generar Sora para obtener uno de calidad comparable a los ejemplos mostrados. Si se requiere producir cientos o miles de videos para obtener uno utilizable, esto podría representar una barrera significativa para su adopción masiva. La respuesta a esta incógnita dependerá de la disponibilidad generalizada de la herramienta y las experiencias de los usuarios al emplearla en diversos contextos.

Estas limitaciones no restan el valor y el potencial revolucionario de Sora, pero sí ofrecen una perspectiva equilibrada sobre lo que los usuarios pueden esperar y los desafíos que aún están por superar. Como con cualquier avance tecnológico, el camino hacia la perfección es progresivo, y Sora representa un paso impresionante hacia el futuro de la generación de contenido digital. 🦾