Разработка платформы жестовой коммуникации (старшие курсы)

Актуальность
В России около 5% населения, или более 7 млн человек, имеют инвалидизирующую потерю слуха, находясь в информационной блокаде. Проект направлен на преодоление этой проблемы, устраняя барьеры в коммуникации между глухими и слышащими людьми, что способствует их социальной интеграции. Существующие словари жестового языка ограничены и не могут служить основой для автоматизированных систем перевода. Наше решение включает фиксацию жестов и обучение им в динамическом формате с использованием аватарной технологии, что позволяет создать адаптивные системы перевода. Современные технологии, такие как 3D-моделирование, машинное зрение и ИИ, делают проект актуальным в условиях нового технологического уклада. Междисциплинарный подход объединяет компьютерные науки, робототехнику, психологию, социологию и лингвистику, что может привести к созданию универсального интерфейса для взаимодействия между людьми и машинами. Проект будет адаптирован для различных жестовых языков, расширяя его применение в разных отраслях. Разработка учебных материалов и курсов подготовит специалистов, способных работать с жестовыми системами и новыми технологиями. Система, обеспечивающая доступ к жестовому языку, значительно повысит качество жизни людей с ограниченными возможностями слуха, предоставляя им больше возможностей для общения и участия в обществе. Проект открывает новые горизонты для научных исследований и междисциплинарного сотрудничества, внося вклад в развитие науки и образования.
Проблема
Жестовые языки и иные системы жестовой коммуникации не имеют письменной фиксации - это пространственно-кинетические системы. Жесты - неотделимая часть коммуникации людей, а так же - единственный способ передачи информации человеком, когда другие каналы связи заблокированы. Необходимо зафиксировать жестовые системы средствами IT для их изучения и дальнейшего внедрения как одного из инструментов ИИ. Еще одной проблемой является то, что текущий словарь основан на применении видео-технологий для демонстрации жестов. Данная технология является тупиковой и не позволяет генерировать потоковый контент.
Цель
1. Разработка электронной платформы для систематизации знаний по русскому жестовому языку. 2. Создание датасета русского жестового языка с помощью 3d-технлогий. 3. Создание инструмента для автоматизации подготовки учебных пособий по жестовому языку. 4. Внедрение аватарной технологии на сайт жестового словаря для демонстрации жестов. 5. Создание прототипа антропоморфного робота для жестовой коммуникации (подпроект)
Задачи
Разработка специализированных нейросетей для работы с лингвистической информацией разной модальности. Разработка модуля перевода, обеспечивающего перевод между жестовым и письменным языком. Разработка антропоморфного робота для жестовой коммуникации. Задачи по аватару: Разработать формат "Формат А" для хранения информации о жестах, используемой в качестве инструкций для 3D-аватара. Создать функционал для сохранения и изменения информации о каждом жесте в формате А. Интегрировать 3D-аватара на сайт жестового русского словаря, заменив существующий медиа-блок. Задачи по учебным пособиям: Формирование тем уроков для изучения жестового языка. Комплектование тем из имеющейся базы литературных примеров русского языка с переводом на жестовый язык. Формирование лексикона для изучения из отобранных литературных примеров. Создание наборов упражнений на основе отобранных литературных примеров. Разработка сервиса для перефразирования литературных примеров с сохранением смысла для создания наборов упражнений для рабочих тетрадей. Задачи по роботу: Разработка механической структуры: проектирование рук и пальцев робота, выбор актуаторов для точного воспроизведения жестов. Создание системы управления: разработка алгоритмов для управления движениями и программирование последовательностей жестов. Поиск доступных контроллеров и сенсоров, анализ их возможностей. Начало проектирования внутренностей робота в пределах габаритов скана человека, имеющегося у проекта.
Результат
Выпуск новой версии системы в виде обновлённого сайта, включающего 3D-автара под управлением специализированных нейросетей и прототипа антропоморфного робота, способного не только воспроизводить жесты, но и выполнять большинство двигательных функций человека.
Партнёры проекта
ЦНИИ русского жестового языка
***