Ученые создали нейросеть для изучения языка жестов

Канадский стартап Stradigi AI анонсировал– специальную программу, которая в легкой форме учит языку жестов. В основе лежит ИИ-технология, распознающая человеческие жесты и оценивающая правильность повторения определенных движений.

Принцип игры прост: The ASL Alphabet Game предлагает участникам повторить 26 букв алфавита на американском языке жестов. Нейросеть оценивает правильность выполнения движений с помощью трехэтапной системы, фиксирующейся на местах соединения рук. После классификации и оценки жеста ИИ выдает игрокам баллы.

При этом точность распознавания и оценки жестов составляет 99, 03%. Разработчики добились такого показателя, благодаря тщательному подходу к обучению нейросети. В ходе обучения было использовано более 100 тыс изображений максимально нейтрального характера: инженеры стремились создать систему, которую не могли бы ввести в заблуждение слишком длинные или слишком короткие пальцы, крупные украшения и другие отвлекающие факторы.

Над проектом работали более 30 разработчиков Stradigi AI, а также дизайнеры, программисты и приглашенные консультанты. По словам авторов проекта, The ASL Alphabet Game создана как пример "доброго искусственного интеллекта". Главная задача игры – помочь социализации глухих и слабослышащих людей, приоткрыть дверь в их закрытый мир. Создатели надеются, что игра сделает изучение амслена – жестового языка – легким и приятным.