Математики научили нейросеть очищать память во время сна

Итальянские математики трансформировали нейронную сеть Хопфилда, максимально приблизив её к форме функционирования человеческого мозга. Как следует из статьи, опубликованной в журнале Sciencedirect, исследователи сумели «научить» сеть погружаться в сон и таким образом избавляться от ненужной информации. Открытие позволит довести информационную емкость искуственного интеллекта до максимального уровня и во много раз повысить эффективность алгоритма.

Основной для опытов стала нейронная сеть Хопфилда – полносвязный алгоритм с симметричной матрицей связи. Авторы исследования изменили программу, добавив в сеть полноценный цикл сна. Предполагалось, что за время «отдыха» нейросеть сможет консолидировать ненужную информацию и избавляться от нее, освобождая пространство оперативной памяти. Это принцип повторяет механизм работы человеческого мозга, который, как считают ученые, во время сна уничтожает слабые связи между нейронами и очищает нервную систему от токсинов.

Результаты эксперимента оказались впечатляющими. После периодических циклов сна емкость сети Хопфилда выросла с 0,14 битов до единицы. Этот показатель является теоритическим максимумом, доступным для искуственного интеллекта. Исследователи утверждают, что открытие доказывает важность сна в процессе консолидации и обработки информации. Причем это касатеся не только искуственного, но и живого интеллекта. Регулярная бессонница и депривация сна у человека аналогичным образом ограничивает способность воспринимать информацию: мозгу просто не хватает свободных нейронных связей для того, чтобы обработать новые данные.

Интересно отметить, что ученые не просто научили нейросеть спать, но и реконструировали процесс человеческого сна. Фаза отдыха, придуманная для искуственного интеллекта, полностью повторяла фазы настоящего сна: алгоритм поэтапно погружался то в глубокий, то в быстрый сон, поочередно консолидируя и высвобождая память. Это позволяло нейросети не просто освобождать пространство для новых паттернов, но укреплять уже существующие связи.

По мнению исследователей, умение погружать нейросеть в сон пока что не несет практического значения. Тем не менее, это открытие очень важно для всей IT-сферы в целом, так как подтверждает эффективность простого подражания живым организмам. Ученые утверждают: даже в тех случаях, когда принцип работы человеческого мозга до конца не ясен, простое копирование его механизмов помогает эффективно развивать технологии искуственного интеллекта.

Источник: https://www.forbes.ru/tehnologii/372439-iskusstvennyy-intellekt-nauchilsya-spat-i-videt-sny