Исследователи из компании NVIDIA рассказали об обученной ими нейросети, которая способна «замедлять» видео, снятые при 30 кадрах в секунду, увеличивая эту частоту до нескольких сотен.

При помощи нескольких графических процессоров Tesla V100 и системы «глубокого обучения» PyTorch ИИ «скормили» одиннадцать тысяч роликов, записанных при 240 FPS. На их основе он стал способен «предсказывать» и дополнять видео сотнями кадров с недостающей информацией.

Для наглядности в компании сопоставили видео, воспроизведённые при 12% от оригинальной скорости с результатами работы алгоритма.

На полученных кадрах трудно заметить какие-либо артефакты, а движение на них плавное. Разрешение и чёткость при этом не отличается от источника.

Работы ИИ всё же уступают роликам, записанным, например при помощи камер Phantom, стоимость которых достигает десятков тысяч долларов. Однако преимущество разработки NVIDIA в её универсальности.

С помощью нейросети можно в том числе ещё больше «замедлять» ролики со «слоу-мо». Алгоритм в качестве примера опробовали на видео с YouTube-канала The Slow Mo Guys.

Разработчики из NVIDIA отмечают, что несмотря на то, что поддержка съёмки при 240 FPS есть в современных смартфонах, пока что она очень энергозатратна и не слишком практична в некоторых случаях.

Нейросеть же может работать с уже отснятыми роликами, несмотря на то, что для обработки видео ей требуется больше времени, чем на нативную съёмку.

ИСТОЧНИК: DTF