Симулятор для робота курьера (Яндекс Ровер) на игровом движке Unigine

Разработчик: Киселёв Кирилл Контакты для связи Telegram, VK: @kxsxlxv @ GitHub: kslv101 (репозиторий с проектом возможно скоро тут) В рамках исследовательской курсовой работы в МАИ (каф. 704) была разработана системы визуализации для тестирования алгоритмов мобильных роботов в виртуальной среде. Система позволяет: 1. Отрабатывать алгоритмы компьютерного зрения в реалистичных условиях 2. Ускорять внедрение новых технологий за счет цифровых двойников 3. Снижать риски ошибок и повысить безопасность на этапе реальных испытаний На сегодняшний день существует множество решений по симуляции мобильных роботов в различных средах. В большинстве подобных систем основным упором является физическая правдоподобность и управление роботом, тогда как симуляция задач компьютерного зрения в реалистичном уличном окружении зачастую отсутствует или отстаёт по скорости и удобству настройки. Поэтому была разработана визуализация с интеграцией нейронных сетей компьютерного зрения в реальном времени в связке с игровым движком при использовании аппаратного ускорения. Основа системы визуализации это игровой движок Unigine с бесплатной лицензией Community. Он обладает полноценным C API. Unigine предоставляет богатый функционал для управления рендером, физикой, пользовательским интерфейсом и аудио на чистом C . И имеет поддержку точности 64 бита на координату, что подходит для сцен размером с Солнечную систему. Поддерживает интеграцию с ROS и Matlab. Интеграция компьютерного зрения это главная фича визуализации. Так как сейчас роботы всё чаще используют компьютерное зрение, стоит задача симулировать эту технологию. В систему визуализации можно интегрировать такую же модель, которая будет работать и на настоящем роботе, для решения задачи детекции объектов или сегментации, для распознавания окружающей обстановки. Чтобы интегрировать модель компьютерного зрения в визуализцию, необходимо сначала сконвертировать её в формат для аппаратного ускорения, тем самым снизив задержку до минимума и повысив производительность в 40 раз, относительно работы на центральном процессоре. Для корректной работы модели компьютерного зрения, визуализация должна генерировать фотореалистичное изображение, которое будет использоваться для инференса. В качестве тестового робота будет использоваться Яндекс Ровер. Он обладает 5 камерами, из которых главными являются передняя и задняя камера, они и реализованы в визуализации. Так же добавлен вид от третьего лица со свободным вращением для удобства контроля обстановки и приборная панель на которой отображается информация от систем робота. Виртуальная среда включает в себя: высокодетализированный городской район, который был создан с помощью процедурной генерации. саму модель робота с ходовыми и габаритными огнями динамические объекты (пешеходы и машины с интеллектуальным планированием маршрута) локацию с интерактивным подземным переходом для тестирования новых алгоритмов по взаимодействию роботов с лифтом. Сама система визуализации имеет: функционал по отображению результатов работы нейронной сети. режим оператора для ручного управления роботом. смены времени суток в реальном времени. смена погодных условий в реальном времени. оперативный выбор камеры для инференса (передней или задней). задания пути для динамических объектов. выбора стартовой точки для начала маршрута. Итого, в ходе выполнения курсовой работы была разработана уникальная система визуализации для мобильных роботов с интеграцией нейронной сети компьютерного зрения YOLO версии 12 для детекции объектов. Методика испытаний подтвердила корректность и точность работы системы при любых условиях освещённости: средняя погрешность детекции объектов не превышает 1 экземпляра на секунду, а задержка управления составляет в среднем 35 мс. Таким образом, разработанная система демонстрирует высокую эффективность и пригодность для отладки и тестирования алгоритмов восприятия и управления мобильных роботов в виртуальной среде. В перспективе возможна дальнейшая интеграция дополнительных моделей детекции, расширение сценариев (например, погодные условия, динамические препятствия) и применение системы для обучения методов автономной навигации и планирования. 3D Модель робота: