Оцифровка и реставрация видео с помощью нейросети

Как нейросеть спасает старые видеозаписи с кассет

Старые кассеты хранят свадьбы, выпускные и первые шаги детей. После оцифровки эти записи часто выглядят хуже, чем помнилось. Причина не в оцифровщике. Причина в самом формате.

Оцифровка видео с кассеты: почему картинка разочаровывает

Кассета VHS дает примерно 240 линий четкости. Файл после оцифровки имеет размер 720 на 576 точек. Современный телевизор показывает 3840 на 2160. На большом экране старая запись расплывается, дрожит и шумит. К этому добавляются выцветшие краски, полосы от износа ленты и чересстрочная развертка. С кинопленкой похожая история: царапины, пыль, мерцание.

Реставрация видео нейросетью: что изменилось

Раньше реставрация видео требовала ручной работы над каждым кадром. Сегодня реставрацию видео выполняют нейросети. Их обучили на миллионах пар кадров: испорченный и чистый. Нейросеть узнает типичные дефекты и заменяет их правдоподобными деталями. Программа анализирует каждый кадр и учитывает соседние. Поэтому лица не плывут, а движение остается плавным.

Восстановление видео: помехи, цвет и резкость

Для восстановления видео применяют несколько этапов. Сначала убирают шум, «снег» и полосы от ленты. Затем устраняют чересстрочность, которая дает эффект «гребенки» на движущихся объектах. Потом нейросеть повышает резкость и прорисовывает контуры. Отдельный модуль восстанавливает лица. Он возвращает четкость глазам и мимике. В конце правят цвет. Уходит желтизна, возвращается естественный тон кожи. Запись без цвета можно даже раскрасить.

Улучшение качества видео: разрешение и частота кадров

Для улучшения качества видео нейросеть увеличивает разрешение в 2 или 4 раза. Из 576 строк получается Full HD или 4K. Вторая задача: повысить частоту кадров. Кассета дает 25 кадров в секунду. ИИ дорисовывает промежуточные кадры и доводит поток до 50 или 60. Движение становится плавным, как в современном ролике.

Какого результата ждать от улучшения качества видео? Чуда не будет. Нейросеть не вернет детали, которых на пленке не было. Но запись станет чище, ярче и приятнее для просмотра. Лучший результат дает связка: качественная оцифровка на исправном видеомагнитофоне и затем обработка ИИ. Поэтому стоит выбирать студию, где есть и то, и другое.