Жест
Идея: Создание интуитивно понятной и доступной среды, позволяющей людям с ограниченными возможностями эффективно управлять устройствами и общаться с миром вокруг них.
Краткое описание: проект направлен на помощь людям с ограниченными возможностями в повседневной жизни. Оно использует технологии распознавания жестов и голос, чтобы обеспечить доступ к информации и облегчить коммуникацию.
С помощью жестов или голосовых команд пользователи могут управлять устройствами, получать доступ к информации или общаться с другими людьми. Это может быть особенно полезно для людей с ограниченной подвижностью или нарушениями слуха и речи.1. Обеспечение доступности: внедрение функционала, способствующего доступности взаимодействия с компьютером людям с ограниченными возможностями
2. Социальная интеграция: Обеспечение способов коммуникации между пользователями системы, чтобы они могли взаимодействовать с компьютером и с окружающим миром, поддерживая социальные связи.
Проект позволяет управлять компьютером с помощью жестовых команд или с помощью голоса.
Проект включает в себя несколько ключевых функциональных возможностей, направленных на улучшение взаимодействия пользователя с компьютером:
1. Жестовое управление:
- Распознавание жестов: Система использует веб-камеру компьютера для отслеживания движений рук и распознавания жестов, которые могут выполнять различные команды.
- Кастомизация жестов: Пользователи могут настраивать и создавать собственные жесты путем комбинации статических жестов, привязывая их к определенным функциям или программам, что позволяет повысить удобство использования.
2. Голосовое управление:
- Контекстное понимание: Система способна понимать контекст команд и предложений, что позволяет выполнять более сложные задачи без необходимости в точных формулировках.
- Интеграция с приложениями: Возможность управления различными приложениями (например, открытие файлов, выполнение задач, управление медиаплеером) с помощью голосовых команд.
3. Интерфейс пользователя:
- Интуитивно понятный интерфейс: Графический интерфейс программы обеспечивает легкий доступ к настройкам и функциям, позволяя пользователям быстро обучаться использованию системы.
- Обратная связь через звук и визуальные эффекты: Система предоставляет пользователю обратную связь о выполнении команд через звуковые сигналы и визуальные индикации, что помогает повышать уверенность в использовании.
4. Безопасность и конфиденциальность:
- Аутентификация пользователей: Дополнительные меры безопасности, такие как биометрическая аутентификация (распознавание лиц), для защиты личных данных и доступа к системе.
- Настройки конфиденциальности: Пользователи могут управлять настройками конфиденциальности, контролируя, какие данные собираются и используются для обучения системы.
6. Обучение и адаптация:
- Индивидуальное обучение системы: Проект использует методы машинного обучения для адаптации под предпочтения и характеристики пользователя, улучшая распознавание жестов и голоса с течением времени.
- Обратная связь от пользователей: Возможность отправки отзывов и предложений для улучшения системы, что способствует ее постоянному развитию и актуализации функционала.· Модель resnet-18 для распознавания жестов
· Модель resnet-18 для распознавания голоса
· Менеджер управления файлами для работы с компьютером
· PyQt интуитивно понятный интерфейс
· Внедрение средств распознавания голоса
· Расширение функционала управления компьютером
· Адаптация программного обеспечения под разные устройства и операционные системы
1. Инклюзия и доступность: Проект способствует созданию более инклюзивного общества, где люди с ограниченными возможностями могут участвовать в повседневной жизни на равных условиях с другими. Это помогает устранить барьеры, которые часто встречаются в коммуникации и доступе к информации.
2. Улучшение качества жизни: Использование технологий распознавания жестов и голоса может значительно улучшить качество жизни людей с ограниченными возможностями, предоставляя им возможность самостоятельно управлять своими устройствами и получать необходимую информацию, что увеличивает их независимость и уверенность.
3. Социальная интеграция: Проект может способствовать социальной интеграции людей с ограниченными возможностями, облегчая взаимодействие с окружающими и участию в различных социальных, образовательных и профессиональных мероприятиях.
4. Образование и информированность: Реализация проекта может повысить общественную осведомленность о потребностях людей с ограниченными возможностями, способствуя изменению общественного восприятия и создания более толерантной среды.
5. Снижение изоляции: Возможности для общения и взаимодействия с помощью технологий помогают снизить чувство изоляции, которое часто испытывают люди с ограниченными возможностями.
6. Поддержка инноваций: Проект может стать катализатором для дальнейших исследований и разработок в области assistive technology, что приведет к новым решениям и улучшениям для людей с различными ограничениями.
В целом, проект имеет потенциал значительно улучшить жизнь людей с ограниченными возможностями, способствуя созданию более доступного и справедливого общества.Экономическая полезность: Расширение возможностей для людей с ограниченными возможностями также может иметь экономическую ценность. Увеличение их участия в рабочей силе и социальной активности может привести к позитивным изменениям как для самих людей, так и для общества в целом.
Социальная полезность: Проект предоставляет людям с ограниченными возможностями инструменты для более независимого и активного участия в повседневной формальной и неформальной сферах жизни. Создание интуитивно понятной среды способствует социальному вовлечению людей с ограниченными возможностями, что позволяет разрушить барьеры в коммуникации и взаимодействии с окружающими. Это, в свою очередь, может способствовать лучшему пониманию и принятию таких людей в обществе.Интерфейс программного обеспечения адаптирован под социальную задачу проекта, а также его целевую аудиторию. Минимализм убирает лишние детали и позволяет пользователю ПО сосредоточиться на важных вещах. Присутствуют гармония и согласованность в визуальном и функциональном оформлении всех элементов системы.
Пока что программное обеспечение адаптировано только на работу на компьютерах с операционной системой windows. В дальнейшем планируется расширить проект и перенести программное обеспечение на другие устройства и другие операционные системы.
Для нейросетей используется архитектура Оптимальным вариантом будет архитектура ResNet, который известен своей способностью эффективно обучаться на больших объемах данных. Основное преимущество ResNet заключается в использовании skip connections, которые позволяют успешно обучать глубокие нейронные сети, избегая проблемы затухания градиента.
Также оптимальным выбором стало создание менеджера управления файлами, который работает при помощи функций перехвата (хук-функций). Для управления компьютером с помощью жестов функцией перехвата будет являться жест, инструкцией – вызываемая жестом функция, описанная в программе для связи жеста и системных команд для работы с компьютером, а планируемой функцией – набор системных команд.
Необходимо, чтобы система работала без использования лишней периферии, потому использоваться будут стандартные устройства – микрофон и веб-камера.Существуют системы, которые переводят жестовый язык в текст:
- SignAll: Система, которая переводит американский жестовый язык (ASL) в текст и речь с помощью камер и искусственного интеллекта. Она направлена на облегчение общения между глухими и слышащими людьми.
- HandTalk: Приложение, которое переводит текст на португальский жестовый язык с использованием 3D-аватара, предоставляя доступ к информации пользователям, использующим жестовый язык.
Существуют специализированные голосовые интерфейсы:
- Amazon Alexa и Google Assistant: Эти голосовые помощники позволяют управлять умными домами и получать доступ к информации с помощью голосовых команд, что может быть очень полезно для людей с ограниченной подвижностью.
- Dragon NaturallySpeaking: Программа для распознавания голоса, позволяющая пользователям управлять компьютером, диктовать тексты и выполнять другие задачи с помощью голоса.
Хотя эти технологии уже существуют, прогресс в области доступности и инклюзии продолжается. Исследователи и разработчики постоянно ищут способы улучшить эти системы, чтобы сделать их более интуитивно понятными и эффективными для конечных пользователей. Более того – мной не было найдено готовых программных продуктов, которые объединяют весь придуманный функционал.Пользователь быстро понимает, как пользоваться продуктом без необходимости в обучении, а также быстро достигает своих целей с минимальными усилиями и временем. Продукт минимизирует количество возможных ошибок и предоставляет пользователям понятные способы их исправления.
