Mitsubishi Electric разрабатывает первую в мире технологию естественно-интуитивного взаимодействия человека с машиной

Корпорация Mitsubishi Electric объявила о разработке первой в мире технологии естественно-интуитивного взаимодействия, основанной на способности воспринимать происходящее в окружающей среде и переводить мультимодальную сенсорную информацию на доступный язык.

Разработка включает в себя запатентованную Mitsubishi Electric технологию компактного искусственного интеллекта Maisart®, который помогает анализировать мультимодальную сенсорную информацию и трансформировать её в интуитивное взаимодействие с людьми посредством голосовых сообщений.

Технология распознает объекты и происходящее на основе информации с мультимодальных датчиков: фото и видео с камер, звуковой информации с микрофонов, и геопозиции, которая определяется через лидар. Лидар - это устройство, которое обеспечивает очень широкий горизонтальный угол сканирования. Оно предназначено для самоуправляемых транспортных средств и позволяет распознавать объекты по ходу движения.

Чтобы установить приоритетность категорий информации, Mitsubishi Electric разработала технологию Attentional Multimodal Fusion (многоуровневая система синтеза информации на основе ИИ), которая способна автоматически оценивать значимую информацию для высокоточного описания действий. Во время финального тестирования технология мультимодального синтеза использовала для анализа значения аудио- и видеоинформации для оценки изображения на основе оценки (CIDEr). Данный способ распознавания признан на 29% эффективнее, чем в случае использования только визуальной информации.

Технология, разработанная компанией Mitsubishi Electric, представляет собой мощную кросс-функциональную систему для понятного взаимодействия с пользователем в разных ситуациях.

Законченное решение — технология осознанного взаимодействия с внешней средой —  предоставит водителям расширенные рекомендации по маршруту. Например, вместо того, чтобы инструктировать водителя «поверните направо через пятьдесят метров», система предоставит более детальное ориентирование на местности: «поверните направо перед почтовым ящиком» или «следуйте за серой машиной, поворачивающей направо». Кроме того, система будет генерировать голосовые предупреждения, такие как «пешеход переходит улицу», когда для близлежащих объектов будет спрогнозировано пересечение с траекторией автомобиля. Для достижения подобной функциональности, система анализирует окружающую среду выявляет визуальные ориентиры, движущиеся предметы и людей, а затем использует технологию распознавания объектов и происходящего для создания понятных инструкций.