Компьютерный слух. Программно-аппаратный комплекс для беспилотных автомобилей

Актуальность
Безопасность и надежность остаются ключевыми барьерами на пути внедрения автономного вождения. Согласно статистике, около 63% ДТП с участием автономных ТС происходит именно в автономном режиме, причем большинство аварий связано с ошибками восприятия окружающей среды — наиболее уязвимого звена современных АВ-систем. Существующие сенсорные решения (камеры, лидары, радары) имеют принципиальные ограничения в условиях тумана, снегопада, плотного трафика и при окклюзиях. Предлагаемый в проекте подход — внедрение цифровой обработки акустических сигналов («компьютерного слуха») — позволяет качественно дополнить традиционное сенсорное восприятие. Звук менее подвержен погодным воздействиям, не требует прямой видимости, дает информацию о типе дорожного покрытия, техническом состоянии ТС и приближении экстренных служб. При этом ведущие автопроизводители (Bosch, Volkswagen, BYD, Volvo, Hyundai) уже активно исследуют эту тему, подтверждая высокую индустриальную востребованность. Однако комплексных решений по интеграции акустических методов в системы автономного вождения с разработкой новых алгоритмов слияния данных на сегодня недостаточно. Проект направлен на восполнение этого пробела, что определяет его научную и практическую значимость.
Проблема
Существующие системы восприятия окружающей среды для автономных транспортных средств (камеры, лидары, радары) имеют критические ограничения: они теряют эффективность в условиях тумана, снегопада, дождя, при окклюзиях (загораживании объектов) и не способны оценивать такие важные параметры, как тип дорожного покрытия или техническое состояние автомобиля по звуку. Это приводит к ошибкам восприятия, которые, согласно статистике, являются причиной большинства ДТП в автономном режиме. При этом акустические сигналы, несущие богатую и зачастую уникальную информацию об окружающей обстановке (звуки сирен, шин, двигателей, дорожного полотна), в существующих системах автономного вождения практически не используются. Отсутствуют как методы надежной цифровой обработки таких сигналов в реальном времени, так и алгоритмы их комплексирования с данными традиционных датчиков. Таким образом, ключевая проблема — низкая отказоустойчивость и недостаточная полнота восприятия систем автономного вождения из-за неиспользования акустического канала, что снижает безопасность и доверие к технологии автономного вождения.
Цель
Разработка и экспериментальная верификация новых методов и алгоритмов цифровой обработки акустических сигналов, интегрируемых в систему восприятия высокоавтоматизированных транспортных средств. В рамках цели предполагается: создание алгоритмов обнаружения, классификации и локализации акустических событий (звуки сирен, шин, двигателей, дорожного покрытия); разработка подходов к комплексированию акустических данных с информацией от камер, лидаров и радаров для повышения отказоустойчивости; а также внедрение методов акустической диагностики технического состояния автомобиля. Итоговый результат — повышение полноты и надежности восприятия окружающей среды автономным транспортным средством, снижение риска ошибок восприятия и, как следствие, повышение безопасности движения в сложных погодных условиях, при окклюзиях и в плотном трафике.
Задачи
Анализ и формализация требований – определение классов акустических событий, значимых для безопасности АВ (сирены, сигналы, шум шин, двигателей, дорожного покрытия), а также сценариев их применения. Создание размеченного датасета – сбор и аннотирование акустических записей в реальных дорожных условиях (различные погода, покрытия, трафик) для обучения и валидации моделей. Разработка методов выделения признаков – создание алгоритмов временно-частотного анализа (мел-спектрограммы, БПФ) для акустических сигналов в реальном времени. Создание алгоритмов детекции, классификации и локализации – обучение нейросетевых моделей (CNN, SNN и др.) для распознавания звуковых событий и определения их направления/расстояния с использованием микрофонных решеток. Разработка методов комплексирования данных – интеграция акустической информации с данными камер, лидаров и радаров для повышения отказоустойчивости системы восприятия. Экспериментальная валидация – тестирование разработанных алгоритмов на созданном датасете и в натурных условиях, оценка точности и надежности.
Результат
По завершении проекта будет разработан программно-алгоритмический комплекс обработки акустических сигналов для систем восприятия автономных транспортных средств, включающий: размеченный датасет акустических событий в дорожной среде (сирены, шум шин, сигналы, звуки двигателей, типы покрытий); библиотеку алгоритмов обнаружения, классификации и локализации звуковых источников на основе нейросетевых моделей; модуль комплексирования акустических данных с информацией от камер, лидаров и радаров; программные прототипы для интеграции в ADAS/AD-системы.
Партнёры проекта
—
***