VVDNet: Red de doble flujo visión-video para superresolución de video

VVDNet (Red de doble flujo visión-video) es una arquitectura de aprendizaje profundo para superresolución de video (VSR) — mejorar video de baja resolución a alta resolución usando información espaciotemporal.

Descripción de la arquitectura

Diseño de doble flujo

  • Flujo de visión (Espacial): Procesa frames individuales para recuperación de detalle espacial
    • Bloques residuales, atención por canal
    • Aprende textura, bordes, estructura de objetos por frame
  • Flujo de video (Temporal): Procesa secuencias de frames para coherencia de movimiento
    • Convoluciones deformables / alineación por flujo óptico
    • Aprende correspondencia entre frames, trayectorias de movimiento

Módulos de fusión espacial-temporal

  • Fusionar características de visión + video en múltiples escalas
  • Flujo de información bidireccional
  • Ponderación basada en atención: "dónde mirar" espacialmente + "cuándo confiar" temporalmente

Innovaciones técnicas

  • Alineación deformable: Maneja movimiento grande/complejo mejor que el alineamiento por flujo óptico
  • Fusión multiescala: Refinamiento de grosor a fino
  • Recurrente / ventana deslizante: Procesa fragmentos (ej. 5–7 frames) para eficiencia de memoria
  • Funciones de pérdida: Pixel (L1/L2) + Perceptual (VGG) + Adversarial (GAN) + Consistencia temporal

Contexto de rendimiento

  • Referencias: REDS4, Vid4, Vimeo-90K, SPMCS
  • Métricas: PSNR, SSIM, LPIPS, error de alineación temporal
  • Compara con: EDVR, BasicVSR, RealBasicVSR, SwinIR, VRT
  • Ganancia típica: 0.5–1.5 dB PSNR sobre SR de frame único (ESRGAN, SwinIR)

Aplicaciones

  • Streaming: Reducción de ancho de banda (transmitir LR, escalar del lado del cliente)
  • Restauración: Material antiguo, archivos comprimidos, vigilancia
  • Móvil: VSR en tiempo real en el dispositivo (integración ISP Snapdragon, MediaTek)
  • Juegos en la nube: Codificar 720p → escalar a 1080p/4K del lado del cliente

Consideraciones de implementación

  • Cómputo: Pesado (convolución deformable, multiframe) — necesita GPU/NPU
  • Latencia: Alineación de frame + fusión = 50–200 ms típico
  • Cuantización: INT8 / FP16 para implementación móvil
  • Consistencia temporal: Crítica — el parpadeo es peor que el desenfraz estático

VVDNet representa el paradigma de doble flujo que dominó la investigación VSR 2020–2023, sucedido desde entonces por arquitecturas basadas en transformadores (VRT, SwinVSR) y basadas en propagación (BasicVSR++, RealBasicVSR) — pero sus principios de fusión siguen siendo influyentes.