RU2681346C2 - Способ и система точной локализации слабовидящего или слепого человека - Google Patents
Способ и система точной локализации слабовидящего или слепого человека Download PDFInfo
- Publication number
- RU2681346C2 RU2681346C2 RU2016120110A RU2016120110A RU2681346C2 RU 2681346 C2 RU2681346 C2 RU 2681346C2 RU 2016120110 A RU2016120110 A RU 2016120110A RU 2016120110 A RU2016120110 A RU 2016120110A RU 2681346 C2 RU2681346 C2 RU 2681346C2
- Authority
- RU
- Russia
- Prior art keywords
- visually impaired
- surrounding space
- blind person
- objects
- map
- Prior art date
Links
- 230000001771 impaired effect Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000004807 localization Effects 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 230000002123 temporal effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000035807 sensation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 11
- 210000001525 retina Anatomy 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Educational Technology (AREA)
- Vascular Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Business, Economics & Management (AREA)
- Rehabilitation Therapy (AREA)
- Educational Administration (AREA)
- Heart & Thoracic Surgery (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Navigation (AREA)
Abstract
Техническое решение относится к системам помощи слабовидящим и слепым. Технический результат заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов, и оповещении об этом пользователя. Способ характеризуется тем, что получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека. 2 н. и 12 з.п. ф-лы, 2 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Техническое решение относится к области медицинских технических систем помощи слабовидящим и слепым - тифлотехническим устройствам и предназначено для точной локализации слабовидящего или слепого пользователя и информирования о потенциальных препятствиях.
УРОВЕНЬ ТЕХНИКИ
Тифлотехнические средства реабилитации инвалидов по зрению предназначены для облегчения жизни людей с нарушенным зрением.
Современная электронная техника для незрячих позволяет им опосредованно получать информацию о явлениях окружающей среды, предметах и их свойствах. С помощью разнообразных технических средств незрячие могут ориентироваться в пространстве, читать плоскопечатную литературу, распознавать цвета и определять источник света.
Современная тифлотехническая промышленность выпускает разнообразные устройства, способные облегчить незрячим быт и процесс ориентирования в пространстве. К подобным устройствам относят:
разнообразные звуковые брелки, предназначенные для поиска ключей, мобильных телефонов, сумок и других мелких вещей;
ультразвуковой фонарь, который предназначен для дополнения тактильной трости с целью обнаружения препятствий на пути пешехода, в том числе предметов, находящиеся на уровне груди или головы человека;
электронная трость, маленькая ультразвуковая система, предназначенная для обнаружения препятствий при передвижении пешехода с тростью.
Известны два основных вида методов комплексирования локальной информации (локальной карты): от телевизионных камер (3D камеры) и приемника сигналов глобальных систем позиционирования.
Из уровня техники известен способ обновления картографических данных «Updating map data from camera images» (US 20120166074 A1, Research In Motion Limited, опубликовано 28.06.2012). Данное изобретение описывает метод обновления карты на предмет появления новых объектов с использованием мобильного устройства, оснащенного GPS приемником. Уточнение локальной карты предлагается посредством использования, лазерного дальномера, компаса, много-ракурсной съемки или стереокамеры. Из уровня техники известна стереокамера с возможностью определения местоположения «Stereoscopic camera with haptic feedback for object and location detection» (US 8526677 B1, Google Inc., опубликовано 03.09.2013), взятая за ближайший аналог.
Архитектура системы включает в себя следующие аппаратные части: телевизионную стереокамеру, GPS приемник, компас, коммуникационный модуль, вибратор, микрофон, процессор. Схема работы данной системы: стереокамера получает 3D данные, строит локальную карту окружающей сцены, GPS приемник выдает координаты глобального местоположения мобильного устройства, коммуникационный модуль скачивает карты местности с удаленного сервера. Процессор определяет локализацию, как минимум одного объекта, обозначенного на карте, посредством сопоставления данных GPS и данных с 3D камеры.
Оба, указанных изобретения могут быть использованы для создания устройства точной локализации (совмещенной как глобальной, так и локальной) слабовидящего и слепого, но обладают следующими недостатками:
1. В архитектуре устройств не используется акселерометр и гироскоп, что не позволяет точно определять скорость и точное направление движения пользователя.
2. Не используется модуль обнаружения свободного пространства для движения слабовидящего с учетом габаритов пользователя.
3. Отсутствует синтезатор речи для детального описания окружающей обстановки.
4. Тактильный отклик реализован на базе единственного вибратора, что не позволит использовать тактильный актуатор для навигации.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.
Технический результат от использования данного технического решения заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя.
Данный технический результат достигается за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.
Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
Точная локализация слабовидящего или слепого человека ведется циклично.
Глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.
Синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.
Возможна реализация функции голосового интерфейса.
Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.
Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.
Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
Точная локализация слабовидящего или слепого человека ведется циклично.
В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - описание диспаратности;
Фиг. 2 - блок-схема выполнения способа точной локализации слабовидящего или слепого человека в цикличном варианте.
ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ
В данном устройстве под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.
Актуатор - представляет собой техническое устройство или спусковой механизм, передающий усилие от управляющего на управляемый объект. Само воздействие может быть разнообразным: от линейного до вращающего. При этом в зависимости от того, как прилагается усилие, определяется разнообразие приборов.
Гироскоп (от др. - греч. - круг + - смотрю) - устройство, способное реагировать на изменение углов ориентации тела, на котором оно установлено, относительно инерциальной системы отсчета.
Акселерометр (лат. accelero - ускоряю и др. - греч. «измеряю») прибор, измеряющий проекцию кажущегося ускорения (разности между истинным ускорением объекта и гравитационным ускорением). Как правило, акселерометр представляет собой чувствительную массу, закрепленную в упругом подвесе. Отклонение массы от ее первоначального положения при наличии кажущегося ускорения несет информацию о величине этого ускорения.
Карта глубины (depth map) - это изображение, на котором для каждого пикселя, вместо цвета, храниться его расстояние до камеры. Карта глубины может быть получена с помощью специальной камеры глубины (например, сенсор Kinect является своего рода такой камерой), а так же может быть построена по стереопаре изображений.
Данное техническое решение обеспечивает повышение точности локализации пользователя, получение информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.
Согласно предлагаемому техническому решению, способ точной локализации слабовидящего или слепого человека включает следующие шаги:
Получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства.
Глобальные координаты текущего местоположения и двумерная карта окружающего пространства могут быть получены при помощи мобильного устройства по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.), при этом, связь с мобильным устройством может осуществляться по технологии Wi-Fi, Bluetooth, Infrared Data Association (инфакрасный порт).
Мобильное устройство (например, смартфон) или непосредственно модуль определения координат может использовать технологии LBS (Location-based service), A-GPS (Assisted GPS) для повышения скорости процесса получения глобальных координат местонахождения слабовидящего или слепого человека и двумерной карты окружающего пространства.
Получают трехмерную карту окружающего пространства, при этом:
3D камера (например, сенсор Kinect) продуцирует 3D облако точек, на базе, которого строится карта глубины, сегментируются объекты 3D пространства, на базе которых на следующем шаге будет произведено распознавание объектов сцены.
После получения карты глубины происходит ее пространственная и временная фильтрация. Пространственная фильтрация реализуется поиском на карте глубины малых областей с одинаковой или близкой диспарантностью. Диспаратность характеризуется разностью горизонтальных и вертикальных угловых координат изображения точки на сетчатках двух глаз. На Фиг. 1 изображена поверхность, заданная точками A1, А2, A3, которые находятся на одинаковом расстоянии от наблюдателя. На точку А2 (точку фиксации) направлен взгляд наблюдателя, поэтому она проецируется в fovea (центральную ямку) сетчаток его глаз (точки Ol, Or). Поверхности левой и правой сетчаток связаны с системами координат OlXL, OrXR таким образом, что центр fovea находится в точке 0. Пусть слева от точек Ol и Or лежит область отрицательных значений координат. Проекции точки А1 имеют на левой и правой сетчатке координаты x1l и x1r соответственно, проекции точки A3 - координаты х31 и x3r. Координаты проекций точек, отстоящих от наблюдателя на то же расстояние, что и точка фиксации, на обеих сетчатках совпадают, то есть x1l=x1r, х3l=x3r. Говорят, что эти точки пространства проецируются на соответственные (корреспондирующие) точки сетчаток. Рассмотрим точку А4, расположенную ближе, чем точка фиксации. Координаты проекций такой точки связаны неравенством х4l<x4r (так как х4l<0, х4r<0). Для точки А5 (не показана на рисунке), расположенной дальше точки фиксации, справедливо неравенство х5l>х5r. Эти точки окружающего мира проецируются на некорреспондирующие или диспаратные точки сетчаток или, что то же самое, обнаруживают диспаратность. Выделяют конвергентную (у точек, расположенных ближе точки фиксации) и дивергентную (у точек, расположенных дальше точки фиксации) диспаратность. Распределение диспаратностей по изображению иногда называют картой диспаратностей.
Такие области считаются шумом и не учитываются в дальнейшем. Временная фильтрация позволяет получить более точную карту глубины, используя данные с соседних кадров.
Для поиска препятствий и определения свободного прохода карта глубины разделяется на крупные зоны, для которых определяется их занятость (зона считается занятой, если расстояние до ближайшего препятствия в ней меньше заданного пользователем порога). Для определения ближайшего препятствия в зоне находится медианное среднее значение всех расстояний в ней, при этом, если в зоне мало точек с данным расстоянием, оно не учитывается. Если зона состоит целиком из шума, то ее занятость определяется по соседним зонам. При наличии занятых зон на пути движения пользователя проверяется занятость зон справа и слева, при отсутствии препятствий с одной или с обеих сторон выдается соответствующее сообщение о наличии свободного прохода, в противном случае - сообщение о наличии препятствия с указанием расстояния до него (им считается расстояние до ближайшей зоны).
Для обнаружения неровностей рельефа (так называемые «низкие» препятствия, о которые можно споткнуться, ямы и ступеньки) производится сегментация карты глубины. Для этого определяется поверхность пола, а оставшиеся точки разделяются на находящиеся выше либо ниже этой поверхности. При наличии существенного количества точек выше поверхности пола считается обнаруженным препятствие, аналогично точки ниже поверхности пола считаются ямой. Ступеньки определяются как наличие одного или нескольких перепадов высоты поверхности.
Выделяют базовые признаки для распознавания объектов окружающего пространства.
Для распознавания объектов на сцене предлагается использовать распознавание значимых объектов типа: угол дома, светофор скамейка, одиноко стоящее дерево. Данный подход реализуется на базе использования метода выделения устойчивых признаков SURF (Speeded Up Robust Features) из базы объектов.
Кроме того, производится пространственное сопоставление распознанных объектов между собой и нанесение их на оперативную карту местности для сопоставления, в дальнейшем, например - с картой навигатора.
SURF решает две задачи - поиск особых точек изображения и создание их дескрипторов, инвариантных к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер и будет повернут (здесь и далее мы будем говорить только о вращении в плоскости изображения). Кроме того, сам поиск ключевых точек тоже должен обладать инвариантностью. Так, что бы повернутый объект сцены имел тот же набор ключевых точек, что и образец.
Метод выделения устойчивых признаков SURF ищет особые точки с помощью матрицы Гессе. Детерминант матрицы Гессе (т.н. гессиан) достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий.
Гессиан инвариантен относительно вращения. Но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов.
Для каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе.
Градиент в точке вычисляется с помощью фильтров Хаара.
После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки (что понимается под флуктуацией - рассмотрим ниже). Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами.
Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек.
Флуктуации градиента окрестностей ключевой точки считаются относительно направления градиента вокруг точки в целом (по всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба.
Распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства.
Реализуется через поиск надписей и других графических символов на изображении (например: надпись на табличке адреса дома, вывеска на магазине и пр.) Распознавание производится на базе методов распознавания печатного текста. Далее объект наносится на текущую карту местности и сопоставляется, например, с картой навигатора.
Оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства.
Оценка расстояния происходит на базе триангуляционных вычислений по следующим данным:
1. Угол (вычисленный на основе вычисления диспарантности) по направлению на одну и ту же точку видную из каждой камеры
2. Расстояние между оптическими осями телевизионных матриц.
3. Данные коррекции оптических искажений оптики.
Выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека.
Выделение объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может производиться с помощью сравнения расстояний до объекта-препятствия с порогом обнаружения препятствия, который мультивариантнен и может быть задан заранее и меняться в процессе самим пользователем. Критерием выделения объектов является сегментация, может быть выделена на базе близости точек по расстоянию, цвету и яркости. После выделения объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может быть проведено обнаружение свободного пути.
Синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
По результатам действия специального программного обеспечения модулем голосового синтеза, генерируется голосовое сообщение о местоположении пользователя (например: город, улица, дом) и локальной обстановке (например: наличие/отсутствие препятствия на пути следования) и путях свободного движения. При этом голосовые сообщения возможно прослушать через внешние динамики, наушники, подключенные к устройству и\или через беспроводную гарнитуру. Также при помощи навигационных систем может быть построен маршрут движения из текущей или заданной точки местоположения в пространстве в требуемую.
Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.
Точная локализация слабовидящего или слепого человека может производиться циклично. Способ точной локализации слабовидящего и слепого человека в данном случае описывается следующей последовательностью, изображен на Фиг. 2:
1. Получение глобальных координат по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.).
2. Получение 3D образа окружающей среды.
3. Распознавание объектов сцены и сопоставление с объектами, представленными на карте.
4. Обнаружение и дополнение карты, выделение объектов препятствий, нанесение их на карту устройства.
5. Привязка по компасу, включение акселерометра-гироскопа для вычисления скорости и направления движения субъекта.
6. Комплексирование данных всех датчиков.
7. Динамическое обнаружение свободного пути.
8. Синтез голосовых сообщений о возможности свободного движения.
9. Переход к п. 1.
Специалисту в данной области, очевидно, что конкретные варианты осуществления способа и системы точной локализации слабовидящего или слепого человека были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема изобретения.
Claims (32)
1. Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что:
- получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства;
- получают трехмерную карту окружающего пространства, при этом:
- создают карту глубины окружающего пространства,
- затем производят пространственную и временную фильтрацию,
- полученную карту глубины делят на части,
- после чего производят сегментацию объектов на базе карты глубины;
- выделяют базовые признаки для распознавания объектов окружающего пространства;
- распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства;
- оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства;
- выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека;
- синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.
2. Способ по п. 1, характеризующийся тем, что точная локализация слабовидящего или слепого человека ведется циклично.
3. Способ по п. 1, характеризующийся тем, что глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.
4. Способ по п. 1, характеризующийся тем, что синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.
5. Способ по п. 1, характеризующийся тем, что реализована функция голосового интерфейса.
6. Способ по п. 1, характеризующийся тем, что дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.
7. Способ по п. 1, характеризующийся тем, что дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.
8. Система точной локализации слабовидящего или слепого человека, содержащая объединенные общей шиной:
- по крайней мере одно устройство обработки команд;
- по крайней мере одно устройство хранения данных;
- по крайней мере один синтезатор человеческой речи;
- по крайней мере один динамик;
- по крайней мере один приемник сигналов глобальных систем позиционирования;
по крайней мере одну стереокамеру или другую 3D камеру;
- одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-7.
9. Система по п. 8, характеризующаяся тем, что в состав включен электронный компас.
10. Система по п. 8, характеризующаяся тем, что в состав включен акселерометр.
11. Система по п. 8, характеризующаяся тем, что в состав включен гироскоп.
12. Система по п. 8, характеризующаяся тем, что в состав включен по крайней мере один вибромотор для обеспечения тактильного интерфейса с пользователем.
13. Система по п. 8, характеризующаяся тем, что в состав включен микрофон для обеспечения голосового интерфейса с пользователем.
14. Система по п. 8, характеризующаяся тем, что в состав включен коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016120110A RU2681346C2 (ru) | 2017-03-10 | 2017-03-10 | Способ и система точной локализации слабовидящего или слепого человека |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016120110A RU2681346C2 (ru) | 2017-03-10 | 2017-03-10 | Способ и система точной локализации слабовидящего или слепого человека |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2016120110A RU2016120110A (ru) | 2018-09-10 |
RU2016120110A3 RU2016120110A3 (ru) | 2018-12-14 |
RU2681346C2 true RU2681346C2 (ru) | 2019-03-06 |
Family
ID=63478970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016120110A RU2681346C2 (ru) | 2017-03-10 | 2017-03-10 | Способ и система точной локализации слабовидящего или слепого человека |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2681346C2 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2723357C1 (ru) * | 2019-04-29 | 2020-06-10 | Федеральное государственное автономное образовательное учреждение высшего образования "Балтийский федеральный университет имени Иммануила Канта" (БФУ им. И. Канта) | Устройство для незрячих на основе сенсорного замещения |
WO2022086358A1 (ru) * | 2020-10-21 | 2022-04-28 | Публичное Акционерное Общество "Сбербанк России" | Способ и система определения местоположения пользователя |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120166074A1 (en) * | 2010-12-23 | 2012-06-28 | Research In Motion Limited | Updating map data from camera images |
RU2490694C2 (ru) * | 2008-06-30 | 2013-08-20 | Универсидаде Ду Порту | Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями |
US8526677B1 (en) * | 2012-07-16 | 2013-09-03 | Google Inc. | Stereoscopic camera with haptic feedback for object and location detection |
US8797386B2 (en) * | 2011-04-22 | 2014-08-05 | Microsoft Corporation | Augmented auditory perception for the visually impaired |
RU155039U1 (ru) * | 2014-11-26 | 2015-09-20 | Общество с ограниченной ответственностью "ПРОзрение" | Устройство навигации для слабовидящих и слепых |
-
2017
- 2017-03-10 RU RU2016120110A patent/RU2681346C2/ru not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2490694C2 (ru) * | 2008-06-30 | 2013-08-20 | Универсидаде Ду Порту | Система ориентирования, навигации и информации, специально адаптированная для слепых или людей с ограниченными зрительными возможностями |
US20120166074A1 (en) * | 2010-12-23 | 2012-06-28 | Research In Motion Limited | Updating map data from camera images |
US8797386B2 (en) * | 2011-04-22 | 2014-08-05 | Microsoft Corporation | Augmented auditory perception for the visually impaired |
US8526677B1 (en) * | 2012-07-16 | 2013-09-03 | Google Inc. | Stereoscopic camera with haptic feedback for object and location detection |
RU155039U1 (ru) * | 2014-11-26 | 2015-09-20 | Общество с ограниченной ответственностью "ПРОзрение" | Устройство навигации для слабовидящих и слепых |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2723357C1 (ru) * | 2019-04-29 | 2020-06-10 | Федеральное государственное автономное образовательное учреждение высшего образования "Балтийский федеральный университет имени Иммануила Канта" (БФУ им. И. Канта) | Устройство для незрячих на основе сенсорного замещения |
WO2022086358A1 (ru) * | 2020-10-21 | 2022-04-28 | Публичное Акционерное Общество "Сбербанк России" | Способ и система определения местоположения пользователя |
Also Published As
Publication number | Publication date |
---|---|
RU2016120110A (ru) | 2018-09-10 |
RU2016120110A3 (ru) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12039644B2 (en) | Method and sytem for presenting a digital information related to a real object | |
WO2021128777A1 (en) | Method, apparatus, device, and storage medium for detecting travelable region | |
CN110967011B (zh) | 一种定位方法、装置、设备及存储介质 | |
JP7082545B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
CN107771342B (zh) | 一种增强现实显示方法及头戴式显示设备 | |
JP6484228B2 (ja) | 視覚強化ナビゲーション | |
US8526677B1 (en) | Stereoscopic camera with haptic feedback for object and location detection | |
US20150324646A1 (en) | Navigation methods and apparatus for the visually impaired | |
US9037407B2 (en) | Method and system for determining position of an inertial computing device in a distributed network | |
EP2672232A2 (en) | Method for Providing Navigation Information, Machine-Readable Storage Medium, Mobile Terminal, and Server | |
KR20170137636A (ko) | 탑승자 모니터링에 기초한 정보 획득 시스템 | |
CN104771132A (zh) | 基于眼睛会聚检测视觉疏忽 | |
US9547412B1 (en) | User interface configuration to avoid undesired movement effects | |
US10254123B2 (en) | Navigation system with vision augmentation mechanism and method of operation thereof | |
US20200349727A1 (en) | Obstacle detection method, mobile platform, and computer readable storage medium | |
JP2016157197A (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
KR20210147855A (ko) | 시각 특징 맵 생성 방법 및 시스템 | |
KR20230043215A (ko) | 융합 데이터를 사용한 객체 추적을 위한 시스템들 및 방법들 | |
RU2681346C2 (ru) | Способ и система точной локализации слабовидящего или слепого человека | |
JP7477596B2 (ja) | 深度推定のための方法、深度推定システム、およびコンピュータプログラム | |
JP6393000B2 (ja) | 3dマップに関する仮説的ラインマッピングおよび検証 | |
CN112291701B (zh) | 定位验证方法、装置、机器人、外部设备和存储介质 | |
US20190147654A1 (en) | Apparatus and method for providing virtual reality content of moving means | |
JP2019109653A (ja) | 自己位置推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200311 |