Прогрес

Нейросеть создает видео из размытого изображения

воробейНовая программа, работающая со сверхточными и рекуррентными нейросетями, способна превращать размытые изображения в необычные короткие видео, каждое из которых может включать до 10 кадров.

Уникальная идея восстановить некое движение из его артефактов на размытом изображении, и превратить его в полноценное короткое видео возникла у специалистов в Индийском технологическом институте. Под руководством А. Н. Раджагопалана, ученые разработали специальных алгоритм на базе сверточных нейросетей (используется для распознавания изображений автоматически) и рекуррентных нейросетей.

Суть методики в следующем: модель тренируют на многих роликах, разбитых на кадры, после чего она выбирает эпизод, артефакт на котором более всего соответствует таковому в тренировочной выборке. Затем декодер генерирует артефакты фрагмента в тренировочной выборке в действие на видео. В итоге нейросеть создает из размытого фото видеоролик, состоящий из 10 кадров.

Такой алгоритм в будущем может использоваться для улучшения восстановленных размытых картинок и видео.

Источник: VistaNews

Аспекты.net