Обнаружение препятствий для людей с нарушениями зрения с использованием глубокого обучения и аудиосигналов

Obstacle Detection for the Visually Impaired Using Deep Learning and Audio Cues
Rayes Jordan Pradana, Ammar Yaafi Adhinegoro, Owen Bernhard, Rhio Sutoyo
2025-11-06

сегментация экземпляровоценка глубины по монокулярному изображениюобнаружение препятствийпространственная ауди обратная связьнавигация для слабовидящих
Зрение — одно из пяти чувств, играющее важную роль в повседневной жизни. Люди с нарушениями зрения часто сталкиваются с трудностями в повседневной деятельности. Цель данного исследования — помочь людям с нарушениями зрения ориентироваться на дорогах, в том числе незнакомых или содержащих множество препятствий. В отличие от предыдущих разработок, в которых создавались системы, требующие специализированного оборудования, в данном исследовании было принято решение разработать мобильное приложение, способное работать на устройствах, уже имеющихся у большинства людей. Система разработана на основе сочетания модели сегментации экземпляров, модели оценки глубины по монокулярному изображению и пространственной аудиосвязи для предоставления пользователям обратной связи. Для оценки фактической эффективности системы было проведено тестирование в реальных условиях с участием людей с нарушениями зрения. Результаты исследования показывают, что предложенная система обладает значительным потенциалом и рядом положительных характеристик, включая точное обнаружение препятствий, интуитивность для пользователей, простоту освоения и другие преимущества, однако некоторые ключевые аспекты требуют улучшения. К ним относятся неспособность различать препятствия, расположенные выше уровня пользователя, звуковые сигналы обратной связи, способные заглушать окружающий шум, а также ряд других ограничений. Выявленные недостатки дают ценные уроки и подчеркивают ключевые направления совершенствования в последующих итерациях разработки.
1
Разработано мобильное приложение для навигации людей с нарушениями зрения без необходимости использования специализированного оборудования.
2
Звуковые сигналы могли заглушать окружающий шум, что указывает на важное ограничение удобства использования.
3
Живое тестирование с участниками с нарушениями зрения показало точное обнаружение препятствий, интуитивность взаимодействия и лёгкость обучения.
4
Система объединяет сегментацию экземпляров, монокулярную оценку глубины и пространственную аудиосвязь для информирования о препятствиях.
5
Система не могла надёжно различать препятствия, расположенные выше уровня пользователя.
6
Тестирование пользователей продемонстрировало перспективность системы, но также выявило направления для дальнейшего совершенствования.

Мобильное навигационное приложение для людей с нарушениями зрения, работающее в дорожной среде с препятствиями

Точность обнаружения препятствий и удобство использования пространственных аудиоподсказок приложения для навигации, включая ограничения при обнаружении препятствий, расположенных выше уровня пользователя, и при конкуренции с окружающим шумом

Publication Details
Publication Date
2025-11-06
Journal
Publisher
ISSN
Cited by
0
Access Type
Author Information
Authors
Rayes Jordan Pradana
Ammar Yaafi Adhinegoro
Owen Bernhard
Rhio Sutoyo
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%