RU2802853C1 - Пространственная звуковая система для навигации людей с нарушениями зрения - Google Patents

Пространственная звуковая система для навигации людей с нарушениями зрения Download PDF

Info

Publication number
RU2802853C1
RU2802853C1 RU2022129973A RU2022129973A RU2802853C1 RU 2802853 C1 RU2802853 C1 RU 2802853C1 RU 2022129973 A RU2022129973 A RU 2022129973A RU 2022129973 A RU2022129973 A RU 2022129973A RU 2802853 C1 RU2802853 C1 RU 2802853C1
Authority
RU
Russia
Prior art keywords
sensor
unit
processing unit
user
digital
Prior art date
Application number
RU2022129973A
Other languages
English (en)
Inventor
Димитриос Палогианнидис
Ханади Солиман
Original Assignee
Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" (СПбТЭТУ "ЛЭТИ")
Filing date
Publication date
Application filed by Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" (СПбТЭТУ "ЛЭТИ") filed Critical Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" (СПбТЭТУ "ЛЭТИ")
Application granted granted Critical
Publication of RU2802853C1 publication Critical patent/RU2802853C1/ru

Links

Abstract

Изобретение относится к области устройств, дающих пациентам с дефектами зрения возможность замены прямого зрительного восприятия другим видом восприятия. Пространственная звуковая система для навигации людей с нарушениями зрения, содержит ультразвуковой датчик (5) расстояния, лидар датчик (7), инфракрасный датчик (6) приближения, блок обработки (2), блок памяти (10) и источник питания (4), размещенные на оправе, а также модуль воспроизведения звука (3). Три-осевой гироскоп-акселерометр (8) системы объединен с ультразвуковым датчиком (5), лидар датчиком (7) и инфракрасным датчиком (6) в блок датчиков (1). Блок обработки (2) включает в себя аналого-цифровой преобразователь (11), вычислительное устройство (9), цифро-аналоговый преобразователь (12) и блок памяти (10). Источник питания (4) питает блок датчиков через блок обработки (2). Система выполнена с возможностью передачи данных от блока датчиков (1) в блок обработки (2) через аналого-цифровой преобразователь (11), который генерирует пространственные звуки после объединения данных от блока датчиков (1) с данными гироскопа-акселерометра (8). Блок памяти (10) сохраняет и использует показания датчиков для генерации амплитуды и частоты пространственного звука. Обеспечивается точное определение пользователем положения препятствий в пространстве с помощью автономного устройства для навигации в пространстве людей с нарушением зрения. 9 ил.

Description

Изобретение относится к области устройств, дающих пациентам с дефектами зрения возможность замены прямого зрительного восприятия другим видом восприятия.
Нарушение зрения, также известное как ухудшение зрения или потеря зрения, - это снижение способности видеть до такой степени, что возникают проблемы, не устранимые обычными средствами, такими как очки. Нарушение зрения встречается чаще, чем кажется. Вот краткие данные, приведенные WHO:
• Во всем мире число людей с нарушениями зрения оценивается в 2,2 миллиарда, из них 39 миллионов - слепые.
• Люди в возрасте 50 лет и старше составляют 82% всех слепых.
• Значительными причинами нарушения зрения являются:
неисправленные аномалии рефракции (43%) и катаракта (33%); первой причиной слепоты является катаракта (51%).
• Нарушение зрения в 2010 году является одной из основных глобальных проблем здравоохранения: предотвратимые причины составляют до 80% от общего глобального бремени.
Количество людей с нарушениями зрения (НЗ) достаточно велико, чтобы заинтересовать ученых в области медицины и биомедицины в поиске новых способов улучшения качества жизни людей с НЗ.
В целом, все концепции имеют один и тот же принцип. Некий датчик размещается на части тела, которая постоянно свободна от помех. Он получает сигнал из окружающей среды, который анализируется процессором. Этот блок будет выдавать выходной сигнал, который зритель будет воспринимать с помощью других органов чувств. Как и трость или собака-поводырь, традиционные методы устарели, сопряжены с риском и неэффективны.
В частности, в документе US 20200228914 А1 описано мобильное устройство, используемое для помощи слепым, людям с деменцией и лицам, которые в целом не знают (или забыли), как ориентироваться в определенном месте. Устройство подключается к внешним наушникам, используемым для воспроизведения направленных звуковых волн непрерывного тона, звукового сигнала или голосовой фразы. Звуки имеют переменную частоту и интенсивность. Устройство должно иметь заранее определенное (выбранное) целевое назначение для оказания помощи этим людям. Устройство также используется в качестве приемника данных о местоположении. Оно использует данные GPS для определения направления движения пользователя по нелинейной траектории.
В этом устройстве было обнаружено несколько недостатков. А именно, устройство может давать указания только относительно заданного целевого местоположения, не предоставляя пользователю никакой информации о повторяющихся препятствиях, которые он может встретить, таких как другие люди, киоски, автобусные остановки и другие. Более того, использование GPS может быть ограничено, поскольку на прием GPS влияют внешние факторы, такие как лесистая местность, вода и искусственные сооружения. Кроме того, GPS-приемник потребляет много энергии, что требует большего количества циклов зарядки, которые быстрее истощают аккумулятор.
В документе WO 2015112651 А1 описано оптическое устройство для людей с ослабленным зрением и способ эксплуатации такого устройства людьми, сохранившими хотя бы остаточную способность различать свет и цвета. Это само по себе ограничивает целевую группу потенциальных пользователей. Конструкция описывается как устройство для крепления на голове в виде оправы для очков, состоящее из оптических и акустических датчиков, помогающих людям ориентироваться в окружающей обстановке и перемещаться по ней. Стеклянные линзы оснащены светодиодными матрицами, которые загораются при обнаружении препятствия. Две широкоугольные видеокамеры идентифицируют препятствия. Помимо оптической обратной связи, пользователю также предоставляется дополнительная акустическая обратная связь. Устройство использует преимущества остаточной зрительной функции человека в качестве основного канала передачи информации. Компоненты установлены на оправе и подключены к портативному вычислительному устройству. Вычислительное устройство питается от внутренней батареи, которая может быть перезаряжаемой. Батарея также питает компоненты на оправе. Устройство способно распознавать объекты, текст и лица. Устройство оснащено голосовым управлением.
Несмотря на то, что это устройство является многофункциональным, оно обладает недостатком. Прежде всего, функциональность устройства основана на остаточном зрении пользователя. Это является ограничением, но также вызывает сомнения, поскольку нет возможности убедиться, что пользователь сможет правильно идентифицировать обратную связь, предоставляемую светодиодами. Более того, если объект не идентифицирован, пользователю будет дана инструкция повторно представить его под другим углом (например, изменив свое относительное положение). Это может быть потенциально опасно в незнакомом пространстве. Также неизвестно, как устройство будет правильно распознавать множество объектов, текст и людей, поскольку нет данных о точности и времени обработки алгоритма, так как распознавание изображений основано на сравнении очертаний и оттенков обнаруженных объектов с теми, что хранятся в созданных библиотеках. Кроме того, внутренний аккумулятор заявлен как возможно перезаряжаемый и недостаточный, что означает, что устройство может быть нефункциональным для использования в течение всего дня.
Ближайшим аналогом является эхолокационное устройство (US 2014269189), которое может использовать человек без зрения, и метод генерирования звуков, которые могут облегчить навигацию человека без зрения в окружающей среде. Это портативное устройство было создано для того, чтобы помочь слабовидящим людям усовершенствовать навыки эхолокации и научить их определять свое окружение (расположение и размер объектов). Устройство содержит оправу очков для крепления на голове, ультразвуковой датчик, представляющий собой источник акустического сигнала и преобразователь эхосигнала, лидар датчик, инфракрасный (ИК) датчик, с обеспечением обратной связи с защитой (пьезоэлектрический динамик) и блоком обработки (процессор), а также источником питания, интерфейсом для ввода данных пользователем, усилителем мощность, регулятор напряжения, блок памяти.
Функциональность устройства основана на двух блоках памяти. Каждый из них генерирует звуки (которые уже занесены в блок памяти) в соответствии с размерами помещения. Устройство издает звуки, а пользователь должен определить, из чего состоит окружающая среда, по эху. Интерфейс с ячейками Брайля обеспечивает работу устройства через пользовательский интерфейс.
Несмотря на то, что данное устройство имеет иной подход, чем те, которые обсуждались ранее, в том смысле, что оно используется для обучения пользователей самостоятельному использованию эхолокации, необходимо подчеркнуть некоторые моменты, касающиеся его использования. Наиболее важным является то, что точность устройства слишком сильно зависит от способности пользователя определять объекты по их эхолокации. Это означает, что человеческая ошибка, которая может быть ограничивающей и потенциально опасной, не говоря уже о летальном исходе, является неизбежным параметром использования устройства. Более того, точность устройства слишком сильно зависит от способности пользователя определять объекты по их эхосигналу. Наконец, не гарантируется эффективность аккумулятора, так как отмечается, что он может функционировать не менее 7 часов без указания максимального времени. Этого может быть достаточно для некоторых людей, но может не соответствовать требованиям других.
Анализ существующих патентов и оценка их сильных и слабых сторон показали, что ни одно из них не было полностью независимым от внешних источников информации, таких как технологии GPS. Большинство существующих патентов описывают устройства, для которых необходимо заранее задать определенный маршрут.
Задачей изобретения является создание надежного автономного устройства для навигации в пространстве людей с нарушением зрения.
Техническим результатом является обеспечение точности определения пользователем положения препятствий в пространстве.
Задача решается за счет того, что пространственная звуковая система для навигации людей с нарушениями зрения содержит ультразвуковой датчик расстояния, лидар датчик, инфракрасный датчик приближения, блок обработки, блок памяти и источник питания, размещенные на оправе. Устройство дополнительно содержит три-осевой гироскоп-акселерометр, объединенный с ультразвуковым датчиком, лидар датчиком и инфракрасным датчиком в блок датчиков, размещенный на оправе, а также модуль воспроизведения звука. Блок обработки включает в себя аналого-цифровой преобразователь, вычислительное устройство, цифроаналоговый преобразователь и блок памяти. Причем выход блока датчиков соединен со входом блока обработки, являющимся входом аналого-цифрового преобразователя, при этом выход аналого-цифрового преобразователя соединен с первым входом вычислительного устройства, первый выход которого соединен с цифроаналоговым преобразователем, а второй - с блоком памяти, выход которой соединен с вторым входом вычислительного устройства. Выход цифроаналогового преобразователя соединен со входом модуля воспроизведения звука. Источник питания питает блок датчиков через блок обработки. Система выполнена с возможностью передачи данных, полученных от блока датчиков, в блок обработки через аналого-цифровой преобразователь, который генерирует пространственные звуки после объединения данных от блока датчиков с данными, полученными гироскопом-акселерометром. Блок памяти выполнен с возможностью сохранения и использования показаний датчиков для генерации амплитуды и частоты пространственного звука.
Технический результат достигается за счет того, что устройство содержит набор датчиков, позволяющих объективно определить положение препятствий относительно пользователя, и формирует информационный звуковой сигнал для пользователя, сформированный на основании измерения этих датчиков, частота и амплитуда которого будут различны для различных положений препятствия.
Изобретение поясняется фигурами, где:
Фиг. 1 - Систематическая схема блоков системы пространственной звуковой навигации,
Фиг. 2 - Схематическое изображение основных компонентов и процессов устройства,
Фиг. 3 - Структура шага восприятия расстояния, показывающая обмен данными между средой и устройством, и также между устройством и пользователями,
Фиг. 4 - Схематическое объяснение восприятия препятствий при перемещении в пространстве. По мере продвижения пользователя (круг) смежная вертикаль остается неизменной, а противоположная вертикаль и гипотенуза изменяются. Гипотенуза (расстояние до объекта) рассчитывается на основе теоремы Пифагорейского тригонометрического тождества,
Фиг. 5 - Иллюстрация изменения горизонтального разрешения, рассчитанного с помощью азимутального разрешения , возникающего при вычитании максимального и минимального азимутальных углов и , образованных краями препятствия,
Фиг. 6 - Расширение поля зрения (ПЗ) человека с помощью пространственного аудио,
Фиг. 7 - Схематическое изображение поворота пользователя под углом при одновременном функционировании всех датчиков,
Фиг. 8 - Схематическая иллюстрация определения местоположения препятствия в 2D,
Фиг. 9 - Демонстрация пространственной генерации звука с использованием HRTF для 8 препятствий в среде пользователя. HRTF - Функция передачи звука относительно головы - это математическое выражение способности человека определять положение источника звука путем фильтрации звуковых волн при их прохождении от источника через воздух до достижения ушей слушателя.
Схема устройства представлена на фиг. 1, где показаны все секции и компоненты. В устройстве имеется четыре основных блока, обозначенные пунктирной линией. А именно: блок датчиков (БД) 1, блок обработки (БО) 2, модуль воспроизведения звука (МВЗ) 3 и источник питания (ИП) 4. Блок датчиков 1 включает в себя четыре типа датчиков: ультразвуковой (УЗД) 5, инфракрасный (ИКД) 6, лидар датчик (ЛД) 7 и три-осевой гироскоп (Г) 8. Блок обработки 2 представляет собой плату разработки "все в одном" (AIO). Он включает в себя вычислительное устройство 9, блок памяти (БП) 10, аналого-цифровой (АЦП) 11 и цифроаналоговый (ЦАП) 12 преобразователи. Выход блока датчиков 1 соединен со входом АЦП 11, являющимся входом блока обработки 2. Выход АПЦ 11 соединен с первым входом вычислительного устройства 9. Первый выход вычислительного устройства 9 соединен со входом ПАП 12. Второй вход и второй выход вычислительного устройства 9 подключены к выходу и входу блока памяти 10 соответственно. Выход ПАП 12 подключен ко входу модуля воспроизведения звука 3. Модуль воспроизведения звука 3 включает в себя основные компоненты для генерации пространственных звуков и обеспечения пользователей аудиосигналом. Источник питания 4 подает питание блок обработки 2, который в свою очередь питает блок датчиков 1 (подача питания показана на фиг. 1 пунктирной линий). Компоненты всех секций обозначены сплошной линией, а каналы передачи данных и питания имеют свои сплошные и пунктирные стрелки, соответственно.
Источник питания 4 обеспечивает блок обработки 2 постоянным напряжением 5 В постоянного тока. Блок обработки 2, в свою очередь, питает датчики 5, 6, 7 и 8, через параллельное соединение. Датчики используют последовательный протокол для связи с блоком обработки.
Сигналы с блока датчиков 1 передаются в АЦП 11, где они оцифровываются, а затем передаются на вычислительное устройство 9, где обрабатываются показания датчиков, которое передает их в блок памяти 10 для сохранения и использования в генерации амплитуды и частоты пространственного звука. Они сортируются, отбираются и повторно передаются вычислительному сбору 9, который отправляет их на ЦАП 12. Для генерации пространственных звуков эти показания преобразуются обратно в аналоговые в ЦАП 12. На основании вычислений вычислительного устройства 9 ЦАП 12 формирует сигналы, которые передает на модуль воспроизведения звука 3.
На фиг. 2 показано схематическое изображение основных компонентов и процессов устройства. Датчики 5, 6 и 7 взаимодействуют с окружающей средой 13 и оценивают расстояния до объектов. Данные поступают в блок обработки 2 и с помощью данных гироскопа 8 преобразуются в пространственный звук. Показаны четыре датчика (5, 6, 7 и 8), сканирующие и измеряющие расстояние до обнаруженных объектов в окружении пользователя 14. Полученные данные отправляются и временно хранятся в блоке обработки 2. Гироскоп 8 отслеживает ориентацию пользователя по отношению к точке отсчета. Эти данные объединяются с данными, полученными датчиками. Модуль воспроизведения звука 3 генерирует пространственные звуки, воспринимаемые пользователями 14, уведомляя их о точном расположении препятствий в пространстве.
Время пролета (ВП) - это измерение времени, затрачиваемого объектом, частицей или волной (акустической, электромагнитной или другой природы) на прохождение расстояния через среду. Эта информация может быть использована для измерения скорости или длины пути.
Поскольку сигналы, передаваемые датчиками, квантованы, плата легко вычисляет расстояние между датчиком и объектом. Расчет основан на принципе времени полета. Для каждого квантованного сигнала, передаваемого датчиком, существует определенное время, необходимое для того, чтобы он столкнулся с препятствием на заданном расстоянии и вернулся к датчику.
На основе простого уравнения
или
где v - скорость хода сигнала, Δх - расстояние, пройденное сигналом, Δt - время, за которое сигнал прошел это расстояние.
Расстояние до каждого объекта рассчитывается мгновенно.
Представленная схема на фиг. 3 представляет собой более компактную, но в то же время поясняющую версию работы устройства. Эта схема показывает процессы хода сигнала датчиков блока 1 от препятствия 15 окружающей среды. Полученные данные передаются в блок обработки сигнала 2 через АЦП 11, который генерирует пространственные звуки после объединения этих данных с данными, полученными гироскопом 8. Затем, через ЦАП 12, модуль воспроизведения звука 3 обеспечивает пользователя 14 пространственным звуком, который помогает ему в навигации, помогая выбрать четкий путь.
Обеспечение навигации устройства при обнаружении препятствия 15 лучше всего видно на фиг. 4, иллюстрирующий восприятия препятствий при перемещении в пространстве. По мере продвижения пользователя 14 смежная вертикаль А остается неизменной, а противоположная вертикаль В и гипотенуза С изменяются. Гипотенуза С (расстояние до объекта) рассчитывается на основе Пифагорейского тригонометрического тождества. На этой схеме изображены три прямоугольных треугольника. По мере продвижения пользователя по оси X, всегда держа обнаруженное препятствие по диагонали справа от себя, смежная вертикаль А остается неизменной, а противоположная вертикаль В и гипотенуза С изменяются. Пространственный звук, воспринимаемый пользователем, повторяет след гипотенузы в каждом треугольнике, постоянно предупреждая пользователя о местонахождении объекта.
Поле зрения (ПЗ) пользователя делится на две категории: горизонтальную и вертикальную (с учетом движения шеи).
Горизонтальное ПЗ представлено следующим уравнением:
где FOVH - горизонтальный ПЗ, - максимальный азимутальный угол, а - минимальный азимутальный угол. Минимальный азимутальный угол соответствует началу поворота головы пользователя, а максимальный азимутальный угол - окончанию.
Полное сканирование области возможно лучше понять, рассмотрев следующие уравнения:
где HRES - разрешение по горизонтали, а разрешение по азимутальному углу в градусах, достигаемое горизонтальным движением шеи человека, и:
где VRES - вертикальное разрешение, a dϕ - разрешение угла возвышения в градусах, достигаемое вертикальным движением шеи человека, и:
где N - общее количество точек сканирования в ПЗ пользователя.
Фиг. 5 иллюстрирует концепцию разрешения, описанную в уравнениях (1)-(4). Иллюстрация изменения горизонтального разрешения, рассчитанного с помощью азимутального разрешения возникающего при вычитании максимального и минимального азимутальных углов образованных краями препятствия, показано разрешение на горизонтальной плоскости, но те же принципы применимы и к вертикальной.
Важным аспектом генерации пространственного звука является время. Пространственный звук будет сопровождать пользователя на каждом шагу во время навигации; следовательно, необходимо рассчитать время, необходимое для полного сканирования кадра, равного 360° как:
где TLINE - время, необходимое для одного полного сканирования в ПЗ и:
где TRES - необходимое время для сбора данных с одной точки. Переменная TFRAME - это время, необходимое для сбора данных на одном полном кадре, рассчитанное в соответствии с уравнением:
где Av - угловая вертикальная скорость каждого датчика, установленная производителем.
На основе вышеприведенных уравнений можно рассчитать угловую скорость в ПЗ пользователя как:
где AHR - угловая скорость на горизонтальной плоскости. Эти уравнения применимы к датчикам лидар, ИК и ультразвуковым датчикам.
Отсканированные точки сохраняются в блоке памяти устройства, генерируются пространственные звуки и передаются в модуль воспроизведения для пользователя. Благодаря такому хранению точек сканирования, звуковое представление препятствий и источника звука будет меняться по мере того, как пользователи будут перемещаться по среде, создавая тем самым пространственный аудиоэффект. Эти звуковые точки сканирования будут сопровождать пользователя во время навигации на ограниченном безопасном расстоянии.
Такое звуковое представление объектов имеет ряд преимуществ, наиболее значимым из которых является восприятие объектов, которые обычно не воспринимаются. ПЗ человека по оси X, включая периферийное зрение, составляет 170 градусов. Однако, несмотря на то, что периферийное зрение жизненно важно для бдительности человека, полезное ПЗ составляет примерно 135 градусов (угол β). После полного сканирования помещения ПЗ человека может быть искусственно расширен до 180 градусов (угол γ). Поскольку уши человека расположены антидиаметрично, ключевым фактором для этого является панорамирование звука. Эта концепция лучше проиллюстрирована на фиг. 6. Пользователь 14 изображен в виде круга, а поле зрения по оси X показано красным цветом и обозначен как 135 градусов (угол β), в то время как расширенное поле зрения составляет 180 градусов (угол γ). Когда пользователь 14 поворачивается под углом в правую сторону, обнаруженное препятствие, находящееся в центре поля зрения, слышно левым ухом больше, чем правым. Когда равна 90 градусам, звук достигает только левого уха пользователя 14, и наоборот.
Общее представление о повороте пользователя под углом вправо по оси X показано на фиг. 7. Пользователь изменяет свой ПЗ под углом В конце поворота пользователь способен воспринимать препятствия с обоих шагов 16 и 17. Препятствия, обнаруженные на промежуточных этапах, игнорируются. Шаг 16 показывает пользователя 14, изображенного кружком, стоящего прямо по оси X; шаг 18 показывает переход, который пользователь собирается совершить относительно своей ориентации; шаг 19 показывает сам переход, а шаг 17 показывает конец перехода. Сплошная линия иллюстрирует начальную и конечную точки перехода, переходный шаг иллюстрируется темной пунктирной линией, а начальная и конечная точки во время перехода - бледной пунктирной линией.
Определение амплитуды акустического сигнала, воспроизводимого блоком воспроизведения звука от системы аналогично расчетному расстоянию.
Для расстояния D между глазами пользователя и препятствием справедливо
где fIR, fLiDAR и fUS - весовые коэффициенты, регулирующие выход сигнала каждого датчика в соответствии с его важностью, представленной с точки зрения точности, указанной производителем (рассчитывается с использованием точности каждого датчика, как указано производителем (см. после уравнения 16)), a OIR, OLiDAR и OUS -цифровые амплитуды выходного сигнала датчика. Индексы IR, LiDAR и US соответствуют инфракрасным, лидар и ультразвуковым датчикам, соответственно.
Весовые коэффициенты рассчитываются на основе характеристик каждого из трех датчиков. Характеристики, определяющие формирование коэффициентов, - это ПЗ датчиков и максимальная дальность действия каждого из них. ПЗ датчиков обратно пропорциональна диапазонам. Человек в целом более чувствителен к звуковым частотам в диапазоне от 2000 до 5000 Гц. Частотный диапазон обратной связи от лидар и ультразвукового датчиков установлен между 300 и 500 Гц. Частоты этого диапазона все еще воспринимаются пользователями и не мешают другим звуковым сигналам, таким как сигналы светофора. Постоянная 1000 (Гц) - это наш выбор частоты оповещения для ПК-датчика, учитывая его бинарное использование.
Следовательно, определение частоты системы может быть выражено следующим уравнением:
где F - линейно генерируемая частота в зависимости от расстояния до сканируемого объекта, a CfD - наклон. CfD рассчитывается как доля разницы между максимальным и минимальным расстоянием, которое датчики могут определить в диапазоне частот, воспринимаемых пользователями как обратная связь, и она равна
Функция передачи звука относительно головы (HRTF) - это математическое выражение способности человека определять положение источника звука путем фильтрации звуковых волн при их прохождении от источника через воздух до достижения ушей слушателя. HRTF - это частотная характеристика человеческого уха. Эта частотная характеристика описывает, как акустический сигнал фильтруется через всю верхнюю часть туловища человека, а именно голову, плечи и особенно пинну наружного слухового прохода, и является основополагающей для генерации пространственных звуков в бинауральных моделях.
HRTF способен генерировать звук для каждого уха отдельно в соответствии с расположением препятствия. Местоположение определяется в двух измерениях, определяемых горизонтальной и вертикальной плоскостью объекта.
Эта концепция лучше проиллюстрирована на фиг. 8, где пользователь 14, изображенный кружком, стоит перед препятствием 15, которое находится под углом ϕ от его уровня глаз, так как его высота h меньше уровня глаз пользователя Н. Две плоскости препятствия образованы вертикальной и горизонтальной линиями, проходящими через его центр. При расширении вертикальной линии вверх она пересекается с линией, проходящей через уровень глаз пользователя Н. Уровень глаз у каждого пользователя разный, и он должен быть предопределен в алгоритме. Красная точка, образованная двумя расширенными линиями, называется точкой пересечения, и она необходима для оценки координат препятствия в 2D, которые выражаются уравнениями:
и
где Х - расстояние между вертикальными плоскостями 20 глаз пользователя 14 и препятствия 15, Y - расстояние между горизонтальными плоскостями глаз пользователя 14 и препятствия 15, а ϕ - угол, образованный горизонтальной плоскостью 21 пользователя и его расстоянием D от препятствия.
Расстояние D варьируется в зависимости от диапазонов датчиков и суммируется как:
Из уравнений (11) и (15) следует, что:
где и - весовые коэффициенты, accUS - точность ультразвукового датчика, и accLiDAR - точность лидарного датчика, предоставляются производителем.
В заключение, звуки для левого и правого уха, генерируемые HTRF, выражается уравнением:
где AR - амплитуда для правого уха, AL - выходной сигнал для левого уха, а X и Y - расчетные расстояния по уравнениям (13) и (14).
Устройство может быть реализовано на основе следующих компонент.
Основным датчиком является датчик LiDAR TFmini Plus. Это самый мощный датчик, обеспечивающий максимальную дальность действия от 12 метров до 0,1 метра с точностью 0,1 м~12 м при 90% отражательной способности и точностью ±5 см при 0,1-6 м и ±1% при 6 м - 12 м. Принцип метода, который он использовал, заключается в - ВП, которое требуется лазерному лучу, чтобы отразиться от поверхности и вернуться к датчику. Не случайно он выбран множеством наземных транспортных средств и самолетов для оценки местоположения по окружающей обстановке.
Датчик, используемый для сопровождения, и дополнения датчика лидар, - это ультразвуковой датчик расстояния - в качестве него может быть использован HC-SR04. Он служит той же цели, что и датчик лидар, и выполняет функцию измерения ВП, хотя вместо лазерного луча он излучает ультразвуковую волну. Недостатком этого датчика является то, что на него влияют внешние звуковые помехи; поэтому он не является основным датчиком и используется в основном во внутренних, тихих условиях. Кроме того, он имеет меньший радиус действия, чем лидар; однако, ПЗ шире. Это предпочтительный выбор в качестве вторичного датчика, вместо использования другого лидар, из-за меньшего энергопотребления, более низкой стоимости и возможности сравнения и проверки перекрестных сигналов.
В качестве Третьего используемого датчика может быть использован - инфракрасный датчик приближения, обхода препятствий Waveshare IR, расчетное расстояние - 2 ~ 30 см. ВП - это, опять же, принцип используемого метода. Он имеет самый короткий диапазон из трех и самый широкий угол обзора. Однако необходимо было иметь датчик, который бы действовал как выключатель и предупреждал пользователя о близких препятствиях на более широком ПЗ, что потенциально может стать проблемой для людей с ослабленным зрением.
В качестве гироскопа может быть использован три-осевой гироскоп-акселерометр, а именно MPU-6050 GY-521 3-Axis Accelerometer & Gyroscope Sensor Module. Это недорогой, но мощный компонент, сочетающий в себе 3-осевой гироскоп и акселерометр в небольшом форм-факторе. Гироскоп оснащен цифровым процессором движения (DMP). Пространственная амплитуда звука для левого Ал и правого Ап уха генерируется с использованием функции передачи звука относительно головы (HRTF) после определения азимута X и высоты препятствий Y по данным, полученным от датчиков 5-7 и гироскопа 8, показано на фиг. 9.
Компоненты, указанные выше, могут быть подключены к плате разработчика Arduino, а воспроизведение звука может быть реализовано с любой парой проводных стереонаушников.

Claims (1)

  1. Пространственная звуковая система для навигации людей с нарушениями зрения, содержащая ультразвуковой датчик расстояния, лидар датчик, инфракрасный датчик приближения, блок обработки, блок памяти и источник питания, размещенные на оправе, отличающаяся тем, что устройство дополнительно содержит три-осевой гироскоп-акселерометр, объединенный с ультразвуковым датчиком, лидар датчиком и инфракрасным датчиком в блок датчиков, размещенный на оправе, а также модуль воспроизведения звука, причем блок обработки включает в себя аналого-цифровой преобразователь, вычислительное устройство, цифро-аналоговый преобразователь и блок памяти, причем выход блока датчиков соединен со входом блока обработки, являющимся входом аналого-цифрового преобразователя, при этом выход аналого-цифрового преобразователя соединен с первым входом вычислительного устройства, первый выход которого соединен с цифро-аналоговым преобразователем, а второй – с блоком памяти, выход которой соединен с вторым входом вычислительного устройства, а выход цифро-аналогового преобразователя соединен со входом модуля воспроизведения звука, при этом источник питания питает блок датчиков через блок обработки, причем система выполнена с возможностью передачи данных, полученных от блока датчиков, в блок обработки через аналого-цифровой преобразователь, который генерирует пространственные звуки после объединения данных от блока датчиков с данными, полученными гироскопом-акселерометром, а блок памяти выполнен с возможностью сохранения и использования показаний датчиков для генерации амплитуды и частоты пространственного звука.
RU2022129973A 2022-11-18 Пространственная звуковая система для навигации людей с нарушениями зрения RU2802853C1 (ru)

Publications (1)

Publication Number Publication Date
RU2802853C1 true RU2802853C1 (ru) 2023-09-05

Family

ID=

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2674977A1 (fr) * 1991-04-02 1992-10-09 Desclos Laurent Dispositif emetteur recepteur infrarouge pour systemes de signalisation et guidage.
JPH10302184A (ja) * 1997-04-28 1998-11-13 Mitsubishi Precision Co Ltd 情報案内システム
KR20130020361A (ko) * 2011-08-19 2013-02-27 한양대학교 에리카산학협력단 시각장애인용 보행 안내장치
TW201316980A (zh) * 2011-10-26 2013-05-01 Cheng-Liang Huang 超音波導盲眼鏡
KR101825889B1 (ko) * 2017-09-22 2018-02-05 김창환 스마트 벨트 및 이를 포함하는 시각장애인 안내장치
CN113143587A (zh) * 2021-05-25 2021-07-23 深圳明智超精密科技有限公司 一种盲人用智能导向眼镜
RU2768454C1 (ru) * 2021-01-25 2022-03-24 Федеральное государственное бюджетное образовательное учреждение высшего образования Балтийский государственный технический университет "ВОЕНМЕХ" им. Д.Ф. Устинова (БГТУ "ВОЕНМЕХ") Трость для инвалида по зрению

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2674977A1 (fr) * 1991-04-02 1992-10-09 Desclos Laurent Dispositif emetteur recepteur infrarouge pour systemes de signalisation et guidage.
JPH10302184A (ja) * 1997-04-28 1998-11-13 Mitsubishi Precision Co Ltd 情報案内システム
KR20130020361A (ko) * 2011-08-19 2013-02-27 한양대학교 에리카산학협력단 시각장애인용 보행 안내장치
TW201316980A (zh) * 2011-10-26 2013-05-01 Cheng-Liang Huang 超音波導盲眼鏡
KR101825889B1 (ko) * 2017-09-22 2018-02-05 김창환 스마트 벨트 및 이를 포함하는 시각장애인 안내장치
RU2768454C1 (ru) * 2021-01-25 2022-03-24 Федеральное государственное бюджетное образовательное учреждение высшего образования Балтийский государственный технический университет "ВОЕНМЕХ" им. Д.Ф. Устинова (БГТУ "ВОЕНМЕХ") Трость для инвалида по зрению
CN113143587A (zh) * 2021-05-25 2021-07-23 深圳明智超精密科技有限公司 一种盲人用智能导向眼镜

Similar Documents

Publication Publication Date Title
US11852493B1 (en) System and method for sensing walked position
Shoval et al. Mobile robot obstacle avoidance in a computerized travel aid for the blind
US7855657B2 (en) Device for communicating environmental information to a visually impaired person
Bousbia-Salah et al. A navigation aid for blind people
US9370459B2 (en) System and method for alerting visually impaired users of nearby objects
Shoval et al. Computerized obstacle avoidance systems for the blind and visually impaired
Lakde et al. Navigation system for visually impaired people
Ton et al. LIDAR assist spatial sensing for the visually impaired and performance analysis
US9801778B2 (en) System and method for alerting visually impaired users of nearby objects
Bouhamed et al. New electronic cane for visually impaired people for obstacle detection and recognition
US10062302B2 (en) Vision-assist systems for orientation and mobility training
Bharathi et al. Effective navigation for visually impaired by wearable obstacle avoidance system
CN2843397Y (zh) 用于帮助盲人行走、识别障碍物的电子装置
KR102267840B1 (ko) 드론 모니터링 시스템
Ali et al. Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera
Sadi et al. Automated walk-in assistant for the blinds
KR20190111262A (ko) 시각 장애인을 위한 장애물 거리 측정 단말기
Milios et al. Sonification of range information for 3-D space perception
KR102081193B1 (ko) 시각장애인 보행 보조기구 및 이를 구비한 보행시스템
RU2802853C1 (ru) Пространственная звуковая система для навигации людей с нарушениями зрения
Singh et al. A survey of current aids for visually impaired persons
CN117323185A (zh) 基于计算机视觉的盲人室内导航***、方法及训练方法
KR100563193B1 (ko) 시각 장애인의 실내/실외 보행을 위한 시각 정보를 청각및 촉각 정보로 변환하는 보행 안내 장치 및 방법
Lesecq et al. INSPEX: Design and integration of a portable/wearable smart spatial exploration system
KR20210022394A (ko) 시각 장애인용 이동 로봇 및 그 제어 방법