В компании «Открытый код» запущен уникальный проект по обучению ИИ распознаванию жестовой речи
6
В рамках реализации одного из проектов по созданию инклюзивного цифрового интерфейса, компания «Открытый код» приступила к тренировке искусственного интеллекта на распознавание русского жестового языка (РЖЯ).
Особое внимание уделяется точной интерпретации ключевых слов и фраз, используемых в повседневном и официальном общении глухих и слабослышащих людей.
Для подготовки обучающего датасета команда «Открытого кода» организовала съёмки в профессиональной студии, пригласив участников из сообщества слабослышащих — носителей РЖЯ. В течение нескольких дней десятки волонтёров «наговорили» с помощью жестов сотни ключевых лексем: от базовых бытовых понятий до специализированных терминов.
Каждый жест был зафиксирован с нескольких ракурсов при оптимальном освещении и фоне, чтобы обеспечить максимальную точность последующего анализа нейросетью.
Полученные видеозаписи станут основой для обучения моделей компьютерного зрения и мультимодальных алгоритмов, способных не только распознавать отдельные жесты, но и учитывать контекст, мимику, положение тела и темп речи — всё то, без чего понимание РЖЯ невозможно.
Участие самих носителей РЖЯ на всех этапах — от сбора данных до тестирования модели — гарантирует уважительное и корректное представление языка.
Такой подход помогает избежать стереотипов и ошибок, часто возникающих при «внешнем» моделировании жестовой речи.
Более того, проект создаёт прецедент: ИИ обучается не «о людях с ограниченными возможностями», а вместе с ними, как равноправными соавторами технологического процесса.
Автор фото: Анастасия Кнор
Следите за нашими публикациями в Telegram на канале «Другой город» и ВКонтакте