Бельгийский исследователь научил нейрость визуализировать музыку

Как-то раз Ференц Лист поверг в недоумение музыкантов Веймарского оркестра, попросив их играть "чуть менее розово". Композитор не шутил - он был синестетиком и ощущал звуки иначе, чем обычные люди: каждая нота имела для него определенный цвет и запах.

Синестезия - редкое явление даже для спонтанной человеческой природы. Распространенность синестезии составляет в среднем 4,4%. При этом в большинстве своем феномен проявляется как способность ощущать в цвете дни недели. Способность видеть музыку в цвете присуща на более 1% людей. Тем более удивительно, что современные ученые смогли привить этот слабоизученный способ восприятия нейросети, научив искусственный интеллект визуализировать звуки.

Изобретение принадлежит бельгийскому исследователю Ксандеру Стинбрюгге. Он разработал проект «Neural Synesthesia», в рамках которого искусственный интеллект подбирает визуальные формы для музыкальных композиций. Работа Стинбрюгге с алгоритмом состоит из 4х шагов:

1. Сбор информации, которая определит визуальный стиль будущей работы;
2. Обучение нейросети на основе собранных данных;
3. Обработка аудио и извлечение звукоряда;
4. Создание изображений с помощью смешивающихся и повторяющихся визуальных эффектов, воссозданных нейросетью.

Завораживающие, сюрреалистичные видео, созданные алгоритмом, можно увидеть на канале Стинбрюгге в Vimeo. При этом исследователь отмечает, что получившиеся видеоклипы - результат совместного сотрудничества оператора и нейросети: первый определяет визуальный стиль и подбирает базу данных, второй - создает продукт. "Нельзя сказать, что искусственный интеллект - автор этих работ. Но и я тоже не являюсь автором. Мы создаем их в сотрудничестве", - говорит исследователь.
Источник: https://www.techcult.ru/soft/7532-novaya-nejroset-vidit-muzyku