О проблемах измерения качества нейросетевых алгоритмов обработки видео

Бенчмарки лаборатории МГУ находятся в топе задач "Image Quality Assessment" (1 и 2 место из 3), "Video Quality Assessment" (1, 4 и 6 место из 10) и "Video Super-Resolution" (1, 2, 3 место из 16); иными словами, измерено больше всего опенсорсных методов в своей категории для разных подзадач. Также проведены 3 челленджа по качеству видео на ECCV 2024, челлендж на CVPR 2025 и планируются 3 челленджа на ICCV 2025. За последние 4 года были сделаны 5 публикаций на А* конференциях (ICML, AAAI, ICLR и NeurIPS), посвященных в основном устойчивости метрик качества изображений и видео. Если бы удалось построить устойчивую метрику, ее можно было бы использовать в качестве функции потерь. Однако эта проблема остается не решенной, как и еще несколько проблем, ярко проявившихся в бенчмарках и челленджах. О серьезном прогрессе в области и ее новых больших вызовах и пойдет речь.