Разработана программная система (rule-based пайплайн), которая автоматически переводит русский текст в последовательность жестов русского жестового языка (РЖЯ) и создаёт итоговое видео с показом этих жестов и субтитрами.

Система состоит из модулей предобработки текста, поиска соответствий в словаре (~500 жестов), разрешения многозначности слов (с помощью ruBERT) и склейки видео. Дополнительно реализована поддержка немецкого жестового языка (DGS) через интеграцию со сторонним решением.

Является промежуточным решением перед переходом к нейросетевой архитектуре.

Перечень решаемых задач (функциональные требования):

1. Приём текста — система принимает на вход предложение на русском языке (строка текста).

2. Предобработка текста — выполняется токенизация, удаление служебных слов (предлоги, союзы), лемматизация и определение частей речи.

3. Видовая нормализация глаголов — глаголы совершенного вида (например, «сказал») преобразуются в несовершенный вид («говорить») для корректного сопоставления с жестом.

4. Лексический маппинг — каждое слово сопоставляется с соответствующим глоссом из словаря РЖЯ (с поддержкой точного и нечёткого сравнения).

5. Разрешение лексической многозначности (WSD) — для слов-омонимов с несколькими возможными глоссами выбирается правильный вариант с использованием модели ruBERT на основе контекста предложения.

6. Визуализация результата — создаётся итоговое видео: последовательная склейка видеофайлов жестов с наложением субтитров и подсветкой текущего жеста.

7. Поддержка мультиязычности — при выборе немецкого жестового языка (DGS) система вызывает сторонний проект spoken-to-signed-translation для выполнения перевода.

Функциональные возможности системы

1. Ввод текста — пользователь подаёт на вход предложение на русском языке (до 500 символов).

2. Автоматический анализ текста — система определяет части речи, леммы и синтаксические зависимости, удаляя всё лишнее (предлоги, союзы).

3. Перевод в глоссы — каждое слово сопоставляется с жестом из словаря РЖЯ (~500 записей). Если слово не найдено, система пытается:

   • преобразовать глагол совершенного вида в несовершенный;

   • отрезать приставку (префиксальный анализ);

   • найти нечёткое совпадение (с порогом 60%);

   • или помечает слово как неизвестное.

4. Разрешение омонимии — для многозначных слов (например, «ключ») система автоматически выбирает правильный вариант жеста, анализируя контекст с помощью модели ruBERT.

5. Генерация видео — из найденных видеофайлов жестов склеивается один ролик (MP4) с наложенными субтитрами, где текущий жест выделяется синим цветом.

6. Поддержка DGS — при выборе немецкого жестового языка система переключается на внешний модуль spoken-to-signed-translation, обрабатывающий немецкие тексты.

Основные элементы проекта (модули)

Итоговый результат на выходе: пользователь получает:

• Видеофайл формата MP4 с последовательным показом жестов и текстовыми субтитрами.

Платформы:

• Операционные системы: Windows 10/11, Ubuntu 22.04 LTS (поддерживаются обе).

• Среда выполнения: Python 3.11 (для русского модуля) и Python 3.14 (для немецкого модуля).

• Система контроля версий: Git, репозиторий на GitHub.

Средства разработки (библиотеки и инструменты):

Кратко: Python 3.11/3.14 + Stanza (NLP) + ruBERT (WSD) + OpenCV/Pillow (видео) + rapidfuzz (поиск) — всё это работает на Windows/Linux и управляется через Git.

Перспективы развития системы

1. Расширение словарной базы — увеличить словарь с текущих ~500 записей до нескольких тысяч жестов за счёт краудсорсинга и интеграции с открытыми словарями (Spreadthesign, SLOVO и др.). Это позволит обрабатывать более широкий спектр текстов.

2. Улучшение синтаксического реордеринга — доработать алгоритмы для корректной обработки сложных конструкций: вложенных придаточных предложений, пассивных оборотов, сложных временных форм.

3. Переход к гибридной архитектуре — комбинировать rule-based подход с нейросетевыми моделями на тех этапах, где правила показывают недостаточную точность (например, разрешение многозначности или определение порядка слов в сложных предложениях), особенно при появлении достаточных размеченных корпусов.

4. Расширение мультиязычности — добавить поддержку дополнительных жестовых языков (например, американского ASL, французского LSF, британского BSL) через унификацию форматов данных и модульную архитектуру.

5. Оптимизация производительности — внедрить кэширование эмбеддингов ruBERT и предзагрузку моделей для ускорения обработки запросов.

6. Интеграция в комплексные системы синтеза жестов — использовать разработанный модуль text-to-gloss как часть полного пайплайна text-to-pose (генерация анимированных 3D-персонажей, выполняющих жесты).

Итог: система является базой для дальнейших исследований и разработок, с потенциалом превращения в полноценный коммерческий или социально значимый сервис для глухих и слабослышащих.

Достижение поставленных целей

Разработка rule-based пайплайна автоматической генерации глосс из русского текста для русского жестового языка, включая выбор целевого жестового языка (РЖЯ или DGS), отображение глосс и воспроизведение сгенерированного видео.

Степень достижения: Цель полностью достигнута.

Актуальность

Научная актуальность:

1. РЖЯ — низкоресурсный язык — отсутствуют большие параллельные корпуса «текст — глоссы» (десятки тысяч размеченных примеров), нет общедоступных синхронных аннотаций. Это затрудняет применение нейросетевых методов.

2. Rule-based подход — единственная стратегия — позволяет получать работающие системы даже при ограниченном словарном запасе и отсутствии больших обучающих выборок.

3. Пробел в исследованиях — на момент разработки отсутствовала открытая система text-to-gloss для РЖЯ (стр. 12-13).

Социальная актуальность:

Социальная полезность

Экономическая полезность

1. Выбор rule-based подхода

2. Выбор архитектурного стиля

3. Выбор технологического стека

4. Выбор формата хранения данных

5. Архитектура модулей

6. Поддержка мультиязычности

Краткий итог: Все проектные решения обоснованы либо техническими ограничениями (низкоресурсность РЖЯ, малый словарь), либо прагматическими соображениями (простота разработки и развёртывания, использование проверенных open-source инструментов, отсутствие необходимости в сложной инфраструктуре на этапе прототипирования).

Оригинальность и новизна

1. Первая открытая rule-based система text-to-gloss для РЖЯ — на момент разработки отсутствовало готовое открытое решение для автоматической генерации глосс именно для русского жестового языка.

2. Адаптация под низкоресурсные условия — система работает без больших параллельных корпусов, используя rule-based подход, что является единственно возможной стратегией для РЖЯ на текущий момент.

3. Мультиязычность в одной системе — поддержка РЖЯ + DGS не реализована ни в одном из аналогов для РЖЯ.

4. Комбинация технологий — впервые применена связка: rule-based маппинг + ruBERT для WSD + OpenCV-визуализация в едином пайплайне для РЖЯ.