Обмани меня: 5 способов "взломать" искусственный интеллект

Рынок решений на основе искусственного интеллекта стремительно растет. По экспертным оценкам, инвестиции в технологии, связанные с ИИ, увеличились в три раза с 2014 по 2017 год. По оценке консалтинговой компании Frost & Sullivan, в ближайшем будущем эти темпы сохранятся: вплоть до 2022 года ежегодный прирост составит 30%. К 2024 году объем рынка достигнет $ 140 млрд.

Нет ничего удивительного в том, что бурный рост технологического тренда вызывает желание "поживиться" на нем. Хакеры подменяют датасеты, создают двойники системы, путают датчики, чтобы запутать искусственный интеллект или использовать в корыстных целях. Чем совершеннее становятся технологии, тем более изощренные способы взлома придумывают злоумышленники.

Вот 5 главных способов обмануть ИИ:

1. Неправильное обучение

Самый надежный и в то же время самый сложный способ — замена данных в датасете, используемом для обучения нейросети. Например, если ИИ учится отличать кошку от других животных, и в его датасет случайно попадет изображение собаки, он начнет считать всех собак кошками. Такой фокус можно провернуть только если у хакера есть непосредственный доступ к алгоритму обучения нейросети. Зато, заложив закладку единожды, злоумышленник может быть уверен, что её не так-то просто будет обнаружить.

2. Двойники

Хакеры, у которых нет прямого доступа к процессу обучения ИИ, могут создать цифрового двойника нейросети, опираясь на данные об алгоритме обучения. Двойник используется для тестирования и поиска слабых мест в системе. Ирония заключается в том, что такой же метод совершенствования ИИ используют и его создатели, вступая в негласное соревнования с хакерами — кто из них быстрее обнаружит "пробивной" датасет.

3. Ложные знаки и сигналы

Этот способ активно используется для взлома беспилотников и тех систем, которые тесно связаны с навигаторами. Классический пример — акция берлинского художника Симона Веккерта, который взломал алгоритм Google Maps, протащив по мосту тележку с сотней смартфонов. Карта Google мгновенно зафиксировала на пустой улице пробку, заставив водителей города искать пути объезда. Кроме смартфонов, в деле запутывания ИИ хакерам помогают дополнительная лже-разметка и наклейки, заставляющие датчики БПЛА неправильно реагировать на дорожные знаки. Например, сбрасывать скорость вместо того, чтобы остановиться.

4. ИИ против ИИ

Метод, отдаленно схожий с созданием двойника нейросети. Разница в том, что хакеры не дублируют сеть — они создают собственную, атакующую другой искусственный интеллект. Принцип состязательного машинного обучения Adversarial ML заставляет

обе системы "оттачивать" свои навыки друг на друге: чем выше защита исходного алгоритма, тем более совершенные способы взлома разрабатывает его "антипод".

5. Физическое воздействие

Против лома нет приема — и в тех случаях, когда физическое воздействие на ИИ возможно, этот способ является самым надежным. Достаточно вспомнить компактные лазеры, использовавшиеся в июне 2019 года во время массовых забастовок в Гонконге. Демонстранты использовали их для противодействия полиции и вывода из строя камер наблюдения.

По мере того, как искусственный интеллект получает распространение, "гонка на опережение" между разработчиками и хакерами приобретает все более серьезный контекст. Для выработки эффективных мер противодействия киберугрозам уже недостаточно индивидуального вклада каждого — нужны глобальные стандарты. Именно поэтому проблемы кибербезопасности из локальных проблем стали актуальной повесткой для международной дискуссии: в сентябре 2020 года вопросы сетевой безопасности обсудят на полях очередной сессии ГА ООН.

Источник: https://www.cnews.ru/articles/2020-02-17_kak_obmanyvayut_iskusstvennyj_intellekt