В MIT научились воссоздавать видео по теням

Научные сотрудники Лаборатории компьютерных технологий и искусственного интеллекта Массачусетского технологического института представили технологию, позволяющую восстанавливать видеоизображение по теням, находящимся вне поля зрения камеры. Научная работа, посвященная "слепому методу инверсии" была опубликована 6 декабря на научном портале Корнелльского университета.

Ученые создали алгоритм, работающий по принципу "театра теней", только в обратном порядке. В театре теней источником формы является кукла. Искусственный интеллект отталкивается не от физического объекта, а от самой тени, предсказывая движения бликов света. Определяя паттерны, по которым перемещаются свет и тени, алгоритм рисует геометрию объекта, а затем определяет его физическую принадлежность.

Высокая точность работы при этом достигается путем объединения двух сверхточных нейросетей, одна из которых работает на дешифровку изображения, а другая генерирует видеопоток с полученными данными.

Конечно, полученный результат далек от идеала. Пока что искусственный интеллект не может детально восстановить картинку, а анализ данных и генерация видеопотока в совокупности занимают около двух часов. Но научные сотрудники MIT видят вполне конкретные перспективы, позволяющие возлагать на проект большие надежды. Метод "слепой инверсии" можно использовать для модернизации камер, устанавливаемых на беспилотных автомобилях. Такие камеры потенциально смогут "увидеть" объект, собирающийся пересечь дорогу, еще до того, как он попадет в поле "основного зрения" машины.

Источник: https://www.digitaltrends.com/photography/mit-csail-blind-inverse-light/