Upscale для старых видео
В прошлом веке, во времена аналоговой техники, когда для видео использовали видеокамеры стандарта VHS, записывали видео на видеокассеты такого же стандарта и смотрели на кинескопных телевизорах — нам казалось, что картинка вполне норм.
Но разрешение такой записи в стандартном режиме — примерно 240–250 телевизионных линий (ТВЛ). То есть приблизительно 320×240 точек в цифре. Там, правда, есть нюанс — картинка на ТВ передается полукадрами, чересстрочно, поэтому видимых строк около 480 — но это существенно только для черно-белой картинки, так как для цветной сигналы цветности вынужденно передаются в строках разные (цветоразностные, поэтому одна цветная строка получается из двух строк передачи).
Получается, что в канале яркости (ч/б) разрешение картинки на аналоговом ТВ теоретически может достигать 640×480 точек — но с целью упрощения VHS магнитофон не только пишет 240 строк, но еще и сильно ограничивает полосу частот в строке — так что разрешение внутри строки не превышает тех же 320 точек.
Магнитофоны SVHS писали уже картинку с четкостью 640×480 пикселей — но ввиду дороговизны они не получили существенного распространения, в основном используясь в студиях.
Таким образом, из прежней эпохи нам остался огромный массив видеозаписей в формате VHS, разрешение которых фактически ограничено уровнем 320×240 точек. По современным понятиям — этого чудовищно мало даже для просмотра в интернете на мобильнике.
Однако современное развитие нейросетей позволило создать Upscaler-ы (увеличители) даже для столь низкокачественных картинок, и на увеличении до 4-кратного они уже дают вполне приличные результаты, в лучших моделях.
Давайте же посмотрим, на что способны эти технологии. Для теста возьмем вот такой видеофайл:
Его разрешение — 292×240, что примерно соответствует четкости видеофайла VHS. Для начала посмотрим, как с ним справится популярный опенсорсный апскейлер Real Video Enhancer, будем делать увеличение в 4 раза, то есть до 1168×960 точек (если получится):
Модель nomos8k в режиме «оригинал низкого качества» с предварительной обработкой для устранения артефактов компрессии:
Модель nomos8k в режиме «оригинал низкого качества» без предварительной обработки:
Как видите, особой разницы нет. Модель nomos8k в режиме «оригинал высокого качества» предсказуемо дает еще более худшие результаты, так что я даже не стал выкладывать видео.
Теперь модель openproteus — она жестко блокирована в режиме 2x, поэтому увеличить сможет лишь вдвое, до 584×480 точек:
И, наконец, модель realisticvideo — она самая медленная и ресурсозатратная из тех, что сейчас есть в составе Real Video Enhancer:
Остальные модели в составе Real Video Enhancer заточены на мультипликацию, применять их к фотореалистичным видео бессмысленно, результаты ужасны.
Как видите, опенсорсный апскейлер плохо подходит для работы с видео низкого разрешения.
Посмотрим, что нам покажет коммерческий продукт:
Упс, какие чудеса! Вот так работает HitPaw Video Enhancer, «портретная» модель (специально натренированная на наиболее качественное восстановление лиц). Да, он работает примерно в 8 раз медленнее, чем Real Video Enhancer — но результат лучше, и сильно лучше.
Пока что это, похоже, наилучший вариант из доступных на рынке для локального запуска процесса на вашем компьютере, без обращения к облачным сервисам. Topaz Video AI и AVC Labs Video Enhancer работают с видео низких разрешений хуже.
PS. Скажу сразу — я специально взял сложное для обработки видео, если бы на входе были более контрастные сцены с менее монотонным фоном — результат был бы сильно лучше. Но смысл теста был в том, чтобы наглядно увидеть — какой продукт работает лучше, и мы это увидели.
Вот это поднято из старого видео размером 480×360 пикселов, апскейл в два раза. Можете поглядеть по кадрам и обратите внимание на мелкие детали — волосы, текстуру кожи и губ, вот это всё. Апскейл в 4 раза был бы еще более красивый, но не вижу смысла занимать место на сайте большими файлами.