Цифровой мост: студенты АлтГУ создают систему перевода текста на язык жестов

В Алтайском государственном университете разработан проект, способный стать важным шагом к преодолению коммуникационного барьера для людей с нарушениями слуха. Студенты Сергей Меньшиков и Геннадий Казаков под руководством заведующего кафедрой информатики, к. ф.-м. н., доцента Дениса Юрьевича Козлова представили на конкурс «Лучшие проекты информатизации на Алтае имени В.И. Берегового» свою разработку - систему автоматического перевода русского текста в последовательность жестов.

Проект представляет собой rule-based пайплайн, который переводит письменную речь на русский жестовый язык (РЖЯ) и визуализирует результат в виде видео с субтитрами. В условиях, когда русский жестовый язык является низкоресурсным и не имеет больших размеченных массивов данных для обучения нейросетей, такой подход становится прагматичным и эффективным решением. Он позволяет получить работающую систему даже при ограниченном словарном запасе, который на данный момент составляет около 500 жестов.

Технологическая основа проекта включает в себя несколько ключевых модулей. Сначала текст обрабатывается с помощью библиотеки Stanza для токенизации и определения частей речи. Затем в дело вступает модуль лексического маппинга, который ищет соответствия в словаре. Для разрешения многозначности слов, например, омонимов, используется нейросетевая модель ruBERT, которая анализирует контекст предложения. Финальным этапом становится визуализация: с помощью OpenCV и Pillow система склеивает видеофайлы отдельных жестов в единый ролик с наложенными субтитрами и подсветкой текущего жеста.

Социальная значимость разработки не вызывает сомнений. В России около 13 миллионов человек имеют нарушения слуха разной степени, и для многих из них русский жестовый язык является основным средством общения. При этом большая часть государственных и образовательных онлайн-сервисов не адаптирована для них. Автоматический перевод текста в жесты может помочь в создании доступных учебных материалов, упростить коммуникацию и снизить зависимость от услуг сурдопереводчиков в повседневной жизни .

В перспективе студенты планируют расширить словарную базу, улучшить алгоритмы для работы со сложными грамматическими конструкциями и перейти к гибридной архитектуре, комбинирующей правила с нейросетевыми моделями. Также в системе уже реализована поддержка немецкого жестового языка (DGS) через интеграцию со сторонним решением, что показывает потенциал для дальнейшего масштабирования на другие жестовые языки .

Один из разработчиков проекта, Сергей Меньшиков, так прокомментировал его значимость:

«Русский жестовый язык - это полноценная лингвистическая система, но его цифровая доступность остается крайне низкой. Наш проект - это не просто лабораторная работа, а реальный инструмент, который может помочь глухим и слабослышащим людям в образовании и повседневной жизни. Использование rule-based подхода позволяет нам создавать работающие решения здесь и сейчас, даже при ограниченных данных, и мы видим большой потенциал для его развития в будущем».

 

Пожелаем успехов ребятам и дальнейшего развития проекту!