Пользователь Reddit под ником DagothHertil работает над проектом по улучшению качества кинематографических роликов из старых игр при помощи нейронных сетей. Он уже обработал 2 ролика из Warcraft III — финал кампании Reign of Chaos за людей и финал кампании Frozen Throne за нежить.

Финал кампании Reign of Chaos

Финал кампании Frozen Throne

Детали проекта

Автор опубликовал оба ролика на Reddit, вместе с подробностями процесса их обработки.

Пост автора на Reddit:

Я работаю над этим проектом уже довольно долго. Моя цель — улучшить качество старых видео с низким разрешением и FPS, используя компьютерное зрение и нейронные сети. Вот полный список того, что я использую на данный момент:

OpenCV и C++,
https://github.com/tensorlayer/srgan
https://github.com/sniklaus/pytorch-s
https://github.com/jiangsutx/SRN-Deblur

Вот видео со сравнением двух роликов (обработанный сверху, оригинальный снизу): https://youtu.be/UjJlKUa5GRI
Также имеется русскоязычная версия:
https://youtu.be/05HojCkXX1I (смотрите в 1080, 60 fps).

Это первая версия, и еще многое предстоит улучшить (например, подрагивание картинки и общую размытость видео). В качестве первого шага я собираюсь перейти от реализации SRN-Deblur к DeblurGAN.
Надеюсь, вам понравилось

По сути, это уже вторая версия моего проекта по улучшению синематиков старых игр. По сравнению с предыдущей, качество и стабильность видео заметно улучшились.

Здесь вы можете сравнить оригинальный и улучшенный ролики: https://youtu.be/R9jXwm_CTDM
Я также загрузил ролик кампании людей с использованием нового подхода:https://youtu.be/VREdwGHJls8
Сравнение роликов: https://youtu.be/TPYRxQ9Ct4o

На данный момент, самая большая проблема, с которой я столкнулся, связана с размытием в движении. Динамические сцены не получает значительных улучшений из-за размытия, и все решения, которые я сейчас использую, уменьшают его, но не до желаемой степени, так что впереди еще много работы.

Если вы знаете синематики из других игр, который стоит улучшить, то дайте мне знать. Я с нетерпением жду продолжения работы над этим проектом, но хочу иметь больший набор видео для работы.

Источник: Wowhead.