El equipo de investigación de Adobe ha presentado una tecnología de escalado de imagen que hace que los vídeos se vean con mayor nitidez y manteniendo la consistencia temporal, resolviendo el problema de imagen borrosa que generan las soluciones de este tipo.
VideoGigaGAN es un nuevo modelo de superrsolución de vídeo (VSR, por sus siglas en inglés) con el que Adobe aborda el problema del escalado de imagen, ya que, aunque este tipo de modelos mantienen la consistencia temporal, suelen generar resultados borrosos.
Para evitar este problema, la compañía de edición de ‘software‘ ha recurrido a un muestrario de imágenes a gran escala, GigaGAN, para entrenar su nuevo modelo. Esta utiliza una red generativa adversial para la generación de imágenes estáticas de resolución superior, pero su aplicación a los vídeo produce parpadeos.
Para evitar esto, y dado que inflar GigaGAN con módulos temporales no soluciona el problema, Adobe ha empleado un módulo de propagación de características guiado por flujo recurrente para fomentar la agregación de información a través de diferentes fotogramas, como detallan en el texto de la investigación, publicado en Arxiv.org.
Esto se complementó con la aplicación de bloques de suavizado para abordar el parpadeo temporal y una lanzadera de alta frecuencia para añadir detalles a los vídeos.
El resultado es un modelo VSR que puede producir vídeos de alta calidad con una resolución hasta ocho veces superior a la original, esto es, de 128 x 128 a 1.024 x 1.024. El vídeo, además de mostrar una imagen detallada, también mantiene la consistencia temporal.
