CN113674593A - 一种用于触觉显示的头戴式额机*** - Google Patents
一种用于触觉显示的头戴式额机*** Download PDFInfo
- Publication number
- CN113674593A CN113674593A CN202110984254.1A CN202110984254A CN113674593A CN 113674593 A CN113674593 A CN 113674593A CN 202110984254 A CN202110984254 A CN 202110984254A CN 113674593 A CN113674593 A CN 113674593A
- Authority
- CN
- China
- Prior art keywords
- touch
- control signal
- haptic
- navigation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001061 forehead Anatomy 0.000 title claims abstract description 30
- 230000010365 information processing Effects 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 230000000638 stimulation Effects 0.000 claims description 25
- 230000033764 rhythmic process Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 5
- 208000029257 vision disease Diseases 0.000 abstract description 11
- 230000004438 eyesight Effects 0.000 abstract description 10
- 206010047571 Visual impairment Diseases 0.000 abstract description 7
- 230000004393 visual impairment Effects 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 4
- 230000036541 health Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000035807 sensation Effects 0.000 description 6
- 230000001771 impaired effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002508 contact lithography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229920001169 thermoplastic Polymers 0.000 description 1
- 239000004416 thermosoftening plastic Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
- G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种用于触觉显示的头戴式额机***，包括：头戴式设备，头戴式设备设有电源模块、信息处理模块、视觉成像模块和人机交互模块，人机交互模块包括紧贴于用户额头的触觉显示屏，触觉显示屏、信息处理模块和视觉成像模块连接；视觉成像模块用于采集外部场景图像；信息处理模块用于生成触觉显示控制信号；触觉显示屏一侧设有多个触觉单元，用于根据触觉显示控制信号进行触觉显示。本发明的用户可以无需通过视觉获取外部信息，而是通过触觉进行信息获取，能够保护用户视力、颈椎或手臂等部位的身体健康，从而提高用户体验；同时视力障碍人士能够通过触觉获取外部信息，从而快速适应外界信息的高速变化，为其日常生活提供更多便利。
Description
技术领域
本发明属于触觉显示技术领域，具体涉及一种用于触觉显示的头戴式额机***。
背景技术
智能终端，例如智能手机，是一种以视觉接口加键盘或触摸屏操作的信息终端，其具有独立的操作***和便捷的操作屏幕，该操作屏幕通常采用触摸电容屏或触摸电阻屏，功能十分强大且适用性高，因此在人们的生活和工作中起到不可或缺的作用。
然而，过度使用智能手机，对使用者的视力、颈椎和手臂等均会造成一定程度的损伤，尤其对于正处于生长期的青少年，过度使用手机会十分影响青少年的健康成长。
此外，对于视力障碍人士，由于视力受损，视障人士获取外界信息的有效方式十分有限，通常只能通过触觉和听觉进行感官代偿，而对于外界丰富多彩的图形图像信息，他们无法有效进行信息获取。传统方法通过纸张制作触觉图像，或者通过语音来描述色彩和图像，比如通过压印、盲文触点打印和热塑等方式，根据图形寓意，改变纸张的凸起，然后通过语音形式对画面中色彩的理解进行描述。但人为描述色彩的方式存在一定的人为意识理解，不能无损的传达色彩或图形信息，纸质触觉图像的种类、图像信息和内容有限。尤其在互联网时代，人为的帮助无法适应外界信息的高速变化，无法很好地为视障人士提供便利。
发明内容
本发明的目的是一种用于触觉显示的头戴式额机***，用于解决现有技术中存在的至少一个技术问题。
为了实现上述目的，本发明采用以下技术方案：
本发明提供一种用于触觉显示的头戴式额机***，包括：
用于佩戴在用户头部的头戴式设备，所述头戴式设备设有电源模块、信息处理模块、视觉成像模块和人机交互模块，所述人机交互模块包括紧贴于用户额头的触觉显示屏，所述触觉显示屏、所述信息处理模块和所述视觉成像模块两两通信连接；
所述视觉成像模块用于采集外部场景图像，并对所述外部场景图像处理后发送至所述信息处理模块；
所述信息处理模块用于获取用户需求信息或处理后的外部场景图像，并对所述用户需求信息或外部场景图像处理后生成触觉显示控制信号；
所述触觉显示屏面向用户额头的一侧设有以阵列形式排列的多个触觉单元，多个所述触觉单元用于接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示。
在一种可能的设计中，所述触觉显示屏包括第一触觉显示屏和第二触觉显示屏，所述第一触觉显示屏和所述第二触觉显示屏用于对触觉显示的图像进行立体显示。
在一种可能的设计中，所述人机交互模块还包括显示外屏，所述显示外屏与所述信息处理模块通信连接，用于显示提示信息。
在一种可能的设计中，所述显示外屏为触摸显示屏，所述触摸显示屏还与所述触觉显示屏通信连接，用于控制所述触觉显示屏进行人机交互和信息切换。
在一种可能的设计中，所述头戴式设备包括机架，所述机架的外侧安装有所述电源模块、所述视觉成像模块和所述触摸显示屏和所述信息处理模块，所述机架的内侧安装有所述触觉显示屏。
在一种可能的设计中，当接收所述第一触觉显示控制信号，并根据所述第一触觉显示控制信号进行触觉显示时，所述触觉单元具体用于：
接收文字像显示控制信号或图像显示控制信号；
根据所述文字像显示控制信号或图像显示控制信号确定文字像或图像在所述触觉显示屏上的位置区域；
在文字像或图像所在位置区域输出可控频率刺激，以对文字像或图像进行触觉显示。
在一种可能的设计中，当接收所述第二触觉显示控制信号，并根据所述第二触觉显示控制信号进行触觉显示时，所述触觉单元具体用于：
接收距离像触觉显示控制信号，并根据距离像触觉显示控制信号所对应的外部场景图像与用户的相对距离，生成与该相对距离匹配的刺激频率；
输出所述刺激频率对用户额头进行刺激，以对距离像进行触觉显示。
在一种可能的设计中，所述触觉单元为机电触觉单元或电极触觉单元。
在一种可能的设计中，所述信息处理模块还用于：
基于GIS导航***生成初步导航规划；
在初步导航规划的基础上，将所述视觉成像模块采集的实时场景图像输入到深度学习网络中，生成实时精细导航规划；
基于所述实时精细导航规划生成触觉导航控制信号。
在一种可能的设计中，所述触觉显示屏还包括多个触觉指令区，每一所述触觉指令区包括多个所述触觉单元；
所述触觉指令区用于接收所述触觉导航控制信号，并根据所述触觉导航控制信号生成对应的分时节拍导航指令，并基于所述分时节拍导航指令进行触觉显示导航。
在一种可能的设计中，所述人机交互模块还包括音频单元，所述音频单元用于在所述触觉指令区进行触觉显示导航的同时，进行语音提示导航。
在一种可能的设计中，所述***还包括定位模块，所述定位模块用于获取用户的定位信息。
有益效果：
本发明通过设置紧贴于用户额头的触觉显示屏，且触觉显示屏设置有以阵列形式排列的多个触觉单元，触觉单元可以是机电触觉单元或电极触觉单元，通过触觉单元输出不同频率的刺激来表达像素在实际场景中与用户的相对距离，从而实现距离像的触觉显示；通过触觉单元在文字像或图像所在位置区域输出可控频率刺激，从而进行文字像或图像的触觉显示。从而用户可以无需通过视觉获取外部信息，而是通过触觉进行信息获取，能够保护用户视力、颈椎或手臂等部位的身体健康，从而提高用户体验；同时视力障碍人士能够通过触觉获取外部信息，从而快速适应外界信息的高速变化，为其日常生活提供更多便利。
本发明通过信息处理模块基于GIS导航***生成初步导航规划，并在初步导航规划的基础上，将视觉成像模块采集的实时场景图像输入到深度学习网络中，生成实时精细导航规划，并生成触觉导航控制信号，触觉指令区接收到所述触觉导航控制信号后，可生成对应的分时节拍导航指令，并基于分时节拍导航指令进行触觉显示导航。从而对于视力障碍人群能够实现高效导航，提高视力障碍人群正常生活的能力。
附图说明
图1为本实施例中的用于触觉显示的头戴式额机***的硬件结构图；
图2为本实施例中的头戴式额机***另一角度的硬件结构图；
图3为本实施例中的头戴式额机***另一硬件结构图；
图4为本实施例中触觉显示屏的结构示意图；
图5为本实施例中用于触觉显示的头戴式额机***的软件结构框图；
图6为本实施例中距离像的触觉显示成像示意图；
图7为本实施例中文字像的触觉显示成像示意图；
图8为本实施例中触觉指令区的结构示意图；
图9为本实施例中主角指令区的编码示意图；
图10(a)为本实施例中一种指令导航示意图；
图10(b)为本实施例中另一种指令导航示意图；
图10(c)为本实施例中另一种指令导航示意图；
图10(d)为本实施例中另一种指令导航示意图。
其中，1-头戴式额机***；2-机架；3-电源模块；4-信息处理模块；5-视觉成像模块；6-触觉显示屏；61-第一触觉显示屏；62-第二触觉显示屏；7-触觉单元；8-触摸显示屏。
具体实施方式
为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1-8所示，本实施例提供一种用于触觉显示的头戴式额机***1，包括：用于佩戴在用户头部的头戴式设备，所述头戴式设备设有电源模块3、信息处理模块4、视觉成像模块5和人机交互模块，所述人机交互模块包括紧贴于用户额头的触觉显示屏6，所述触觉显示屏6、所述信息处理模块4和所述视觉成像模块5两两通信连接；
其中，需要说明的是，所述电源模块3包括电池组件、电源管理单元和充电接口，所述电池组件采用锂电池组件，所述电源管理单元用于对所述电池组件的运行状态进行监测，所述充电接口用于连接外部充电装置。
其中，需要说明的是，所述触觉显示屏6、所述信息处理模块4 和所述视觉成像模块5两两通信连接时，可通过蜂窝5G通讯、WIFI、蓝牙或NFC等通信方式进行通信连接。
所述视觉成像模块5用于采集外部场景图像，并对所述外部场景图像处理后发送至所述信息处理模块4；
其中，需要说明的是，所述视觉成像模块5包括但不限于双目立体视觉成像单元、激光扫描三维视觉成像单元以及超声波距离检测单元，所述双目立体视觉成像单元用于利用双目视觉差图像重构三维距离像图，所述激光扫描三维视觉成像单元用于扫描获得三维点云距离像图，所述超声波距离检测单元用于进行实时测距，以获取距离像与用户的相对距离。
所述信息处理模块4用于获取用户需求信息或处理后的外部场景图像，并对所述用户需求信息或外部场景图像处理后生成触觉显示控制信号；
其中，需要说明的是，所述信息处理模块4所采用的操作***包括但不限于安卓***、鸿蒙***和iOS***等，此处不做限定；所述用户需求信息包括但不限于用户想要浏览的文字信息和图像信息，所述信息处理模块4可以通过嵌设浏览器软件获取文字信息或图像信息，然后通过信息转化算法将文字信息或图像信息转化为触觉显示方式，并生成所述触觉显示控制信号。
所述触觉显示屏6面向用户额头的一侧设有以阵列形式排列的多个触觉单元7，多个所述触觉单元7用于接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示。
其中，需要说明的是，所述触觉显示屏6采用柔性曲面显示屏，用于紧密贴合于用户额头曲面，在其中一种设计中，如图2所示，所述触觉显示屏6采用整块大屏进行触觉显示，而在另一种设计中，如图3所示，所述触觉显示屏6采用第一触觉显示屏61(如图3中左侧屏)和第二触觉显示屏62(如图3中右侧屏)进行触觉显示，所述第一触觉显示屏61和所述第二触觉显示屏62用于对触觉显示的图像产生立体感感知，以使用户获得触觉显示成像的立体“视觉感”。
其中，需要说明的是，所述以阵列形式排列可以是以M行*N列的形式进行矩阵排列，当然，可以是其他形状的排列形式，例如六边形的排列形式，此处不做限定。
在一种可选的实施方式中，所述头戴式设备包括机架2，所述机架2的外侧安装有所述电源模块3、所述视觉成像模块5和所述触摸显示屏8和所述信息处理模块4，所述机架2的内侧安装有所述触觉显示屏6；优选的，为了进一步提高结构的稳固性，所述机架2上设有多个安装基座，所述电源模块3、所述视觉成像模块5、所述触摸显示屏8、所述信息处理模块4和所述触觉显示屏6分别安装在对应的安装基座上。
在一种可选的实施方式中，所述触觉单元7为机电触觉单元7或电极触觉单元7；其中，所述机电触觉单元7可产生不同频率的振动刺激，所述电极触觉单元7可产生不同频率的微电流刺激，通过振动刺激或微电流刺激，可以对用户额头皮肤产生刺激，从而接收到图像信息。
在一种可选的实施方式中，当接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示时，所述触觉单元7具体用于：
接收文字像显示控制信号或图像显示控制信号；
根据所述文字像显示控制信号或图像显示控制信号确定文字像或图像在所述触觉显示屏6上的位置区域；
在文字像或图像所在位置区域输出可控频率刺激，以对文字像或图像进行触觉显示。
如图4所示，所述触觉显示屏6上的每一方格代表一个触觉刺激单元，当确定文字像或图像在所述触觉显示屏6上的位置区域后，对应的触觉单元7发出振动刺激或电流刺激，此时在触觉显示屏6上出现多个触觉圆点，所有触觉圆点的组合能够形成文字像或图像，例如图6中“中国”这一文字像，其中，触觉圆点的半径代表了刺激频率，半径越大表示刺激的频率越高。
在一种可选的实施方式中，当接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示时，所述触觉单元7具体用于：
接收距离像触觉显示控制信号，并根据距离像触觉显示控制信号所对应的外部场景图像与用户的相对距离，生成与该相对距离匹配的刺激频率；
输出所述刺激频率对用户额头进行刺激，以对距离像进行触觉显示。
如图4所示，所述触觉显示屏6上的每一方格代表一个触觉刺激单元，当根据距离像触觉显示控制信号所对应的外部场景图像与用户的相对距离后，生成与该相对距离匹配的振动刺激或电流刺激，此时在触觉显示屏6上出现多个触觉圆点，所有触觉圆点的组合能够形成距离像，例如图7中“兔子”这一图像，其中，触觉圆点的半径代表了刺激频率，半径越大表示刺激的频率越高，也表示该图像中的物体与用户的相对距离越近。
基于上述公开的内容，通过设置紧贴于用户额头的触觉显示屏6，且触觉显示屏6设置有以阵列形式排列的多个触觉单元7，触觉单元7可以是机电触觉单元7或电极触觉单元7，通过触觉单元7输出不同频率的刺激来表达像素在实际场景中与用户的相对距离，从而实现距离像的触觉显示；通过触觉单元7在文字像或图像所在位置区域输出可控频率刺激，从而进行文字像或图像的触觉显示。从而用户可以无需通过视觉获取外部信息，而是通过触觉进行信息获取，能够保护用户视力、颈椎或手臂等部位的身体健康，从而提高用户体验；同时视力障碍人士能够通过触觉获取外部信息，从而快速适应外界信息的高速变化，为其日常生活提供更多便利。
在一种可选的实施方式中，所述信息处理模块4还用于：
基于GIS导航***生成初步导航规划；
其中，需要说明的是，所述GIS导航***包括但不限于现有的百度导航***、苹果导航***、腾讯导航***和高德导航***等，为了获取用户精准的定位信息，本实施例中还包括定位模块，所述定位模块采用包括但不限于北斗定位***、GPS定位***或六自由度惯性测量组件***进行定位测温，用于辅助生成初步导航规划。
在初步导航规划的基础上，将所述视觉成像模块5采集的实时场景图像输入到深度学习网络中，生成实时精细导航规划；
其中，需要说明的是，所述精细导航规划包括但不限于局部范围内的路径再规划、障碍物检测与分类和障碍规避等。
基于所述实时精细导航规划生成触觉导航控制信号。
如图8所示，在一种可选的实施方式中，所述触觉显示屏6还包括多个触觉指令区，每一所述触觉指令区包括多个所述触觉单元7；
所述触觉指令区用于接收所述触觉导航控制信号，并根据所述触觉导航控制信号生成对应的分时节拍导航指令，并基于所述分时节拍导航指令进行触觉显示导航；在所述触觉显示屏6中，可以设置N个触觉指令区，其中，N为偶数，其中，位于触觉显示屏6左侧的触觉指令区设有2/N个，其编码为Lij，位于触觉显示屏6右侧的触觉指令区设有2/N个，其编码为Rij。
作为其中一种可选的实施方式，在图8中，所述触觉显示屏6的触觉指令区有12个，其中，三个指令区分布在触觉显示屏6上方的左侧，三个指令区分布在触觉显示屏6上方的右侧，三个指令区分布在触觉显示屏6下方的左侧，三个触觉指令区分布在触觉显示屏6下方的右侧；其中，每一触觉指令区对应设有相等数量的触觉单元7，且每一触觉单元7同时接受相同的分时节拍导航指令。
在图9中示出了与图8所示的触觉指令区对应的触觉指令区编码，其中，左侧的六个触觉指令区的编码分别是：L11、L12、L13、 L21、L22和L23，右侧的六个触觉指令区的编码分别是：R11、R12、 R13、R21、R22和R23。
其中，需要说明的是，所述分时节拍导航指令包括但不限于前进、左转、右转、停止、后退、原地转身、上台阶指令、下台阶指令和躲避障碍指令，其中障碍包括但不限于坑洼、水坑、道牙、墙壁、电线杆和树木等。
其中，如表1所示，当所述分时节拍导航指令为前进时，重复表 1中的前进指令节拍：
表1前进指令节拍表
其中，如表2所示，当所述分时节拍导航指令为左转时，重复表 2中的左转指令：
表2左转指令节拍表
其中，如表3所示，当所述分时节拍导航指令为右转时，重复表 3中的右转指令节拍：
表3右转指令节拍表
其中，如表4所示，当所述分时节拍导航指令为后退时，重复表 4中的后退指令节拍：
表4后退指令节拍表
其中，如表5所示，当所述分时节拍导航指令为停止时，重复表 5中的停止指令节拍：
表5停止指令节拍表
其中，如表6所示，当所述分时节拍导航指令为原地转身时，重复表6中的原地转身指令节拍：
表6原地转身节拍表
表6-1原地左转节拍表
表6-2原地右转节拍表
其中，如表7所示，当所述分时节拍导航指令为上台阶时，重复表7中的上台阶指令节拍：
表7上台阶节拍表
其中，如表8所示，当所述分时节拍导航指令为下台阶时，重复表7中的下台阶指令节拍：
表8下台阶节拍表
请参见图10(a)、10(b)、10(c)和·0(d)所示，图10(a) 示出了一种简单场景的实时精细规划，其中右侧图中箭头示出了前进指令，图10(b)示出了一种场景下产生了向左前方前进指令，并在阶梯处产生上台阶指令，在遇到行人时产生停止或右转指令，后续根据行走目的选择不同的指令，图10(c)示出了一种场景下检测到移动的汽车，并且前方没有人行横道线，交通信号灯不是绿色，这时***产生停止指令，图10(d)示出了一种场景中，前方出现水洼，***产生停止指令，随后通过用户左右摆头，***算法可以给出从左侧绕行的指令。
在一种可选的实施方式中，为了更好地为视障人士提供路径导航，所述人机交互模块还包括音频单元，所述音频单元用于在所述触觉指令区进行触觉显示导航的同时，进行语音提示导航。
其中，需要说明的是，所述音频单元包括但不限于外放音响、麦克风和耳机接口，其中，所述耳机接口包括但不限于有线耳机接口和蓝牙接口。
在一种可选的实施方式中，所述人机交互模块还包括显示外屏，所述显示外屏与所述信息处理模块4通信连接，用于显示提示信息。其中，优选的，所述显示外屏采用OLED显示屏或OLC显示屏，当视力障碍人士在使用本实例的***进行路径导航行走过程中，可通过所述显示外屏给外界人员进行信息提示，例如在显示屏上显示“我是盲人”的提示信息。
当然，可以理解的是，所述音频单元也可以结合所述信息处理模块4使用，对信息处理模块4获取的信息进行语音播报，此处不做限定。
在一种可选的实施方式中，所述显示外屏为触摸显示屏8，所述触摸显示屏8还与所述触觉显示屏6通信连接，用于控制所述触觉显示屏6进行人机交互和信息切换。则当触觉显示屏6需要进行人机交互或信息切换时，可通过所述触摸显示屏8进行控制，例如，当用户手指在所述触摸显示屏8上从左至右进行滑动时，所述触觉显示屏6 的显示信息也从左至向进行滑动，从而实现信息切换。
基于上述公开的内容，通过信息处理模块4基于GIS导航***生成初步导航规划，并在初步导航规划的基础上，将视觉成像模块5采集的实时场景图像输入到深度学习网络中，生成实时精细导航规划，并生成触觉导航控制信号，触觉指令区接收到所述触觉导航控制信号后，可生成对应的分时节拍导航指令，并基于分时节拍导航指令进行触觉显示导航。从而对于视力障碍人群能够实现高效导航，提高视力障碍人群正常生活的能力。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于触觉显示的头戴式额机***，其特征在于，包括：
用于佩戴在用户头部的头戴式设备，所述头戴式设备设有电源模块、信息处理模块、视觉成像模块和人机交互模块，所述人机交互模块包括紧贴于用户额头的触觉显示屏，所述触觉显示屏、所述信息处理模块和所述视觉成像模块两两通信连接；
所述视觉成像模块用于采集外部场景图像，并对所述外部场景图像处理后发送至所述信息处理模块；
所述信息处理模块用于获取用户需求信息或处理后的外部场景图像，并对所述用户需求信息或外部场景图像处理后生成触觉显示控制信号；
所述触觉显示屏面向用户额头的一侧设有以阵列形式排列的多个触觉单元，多个所述触觉单元用于接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示。
2.根据权利要求1所述的用于触觉显示的头戴式额机***，其特征在于，所述人机交互模块还包括显示外屏，所述显示外屏与所述信息处理模块通信连接，用于显示提示信息。
3.根据权利要求2所述的用于触觉显示的头戴式额机***，其特征在于，所述显示外屏为触摸显示屏，所述触摸显示屏还与所述触觉显示屏通信连接，用于控制所述触觉显示屏进行人机交互和信息切换。
4.根据权利要求3所述的用于触觉显示的头戴式额机***，其特征在于，所述头戴式设备包括机架，所述机架的外侧安装有所述电源模块、所述视觉成像模块、所述触摸显示屏和所述信息处理模块，所述机架的内侧安装有所述触觉显示屏。
5.根据权利要求1所述的用于触觉显示的头戴式额机***，其特征在于，当接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示时，所述触觉单元具体用于：
接收文字像显示控制信号或图像显示控制信号；
根据所述文字像显示控制信号或图像显示控制信号确定文字像或图像在所述触觉显示屏上的位置区域；
在文字像或图像所在位置区域输出可控频率刺激，以对文字像或图像进行触觉显示。
6.根据权利要求1所述的用于触觉显示的头戴式额机***，其特征在于，当接收所述触觉显示控制信号，并根据所述触觉显示控制信号进行触觉显示时，所述触觉单元具体用于：
接收距离像触觉显示控制信号，并根据距离像触觉显示控制信号所对应的外部场景图像与用户的相对距离，生成与该相对距离匹配的刺激频率；
输出所述刺激频率对用户额头进行刺激，以对距离像进行触觉显示。
7.根据权利要求1所述的用于触觉显示的头戴式额机***，其特征在于，所述触觉单元为机电触觉单元或电极触觉单元。
8.根据权利要求1所述的用于触觉显示的头戴式额机***，其特征在于，所述信息处理模块还用于：
基于GIS导航***生成初步导航规划；
在初步导航规划的基础上，将所述视觉成像模块采集的实时场景图像输入到深度学习网络中，生成实时精细导航规划；
基于所述实时精细导航规划生成触觉导航控制信号。
9.根据权利要求8所述的用于触觉显示的头戴式额机***，其特征在于，
所述触觉显示屏还包括多个触觉指令区，每一所述触觉指令区包括多个所述触觉单元；
所述触觉指令区用于接收所述触觉导航控制信号，并根据所述触觉导航控制信号生成对应的分时节拍导航指令，并基于所述分时节拍导航指令进行触觉显示导航。
10.根据权利要求9所述的用于触觉显示的头戴式额机***，其特征在于，所述人机交互模块还包括音频单元，所述音频单元用于在所述触觉指令区进行触觉显示导航的同时，进行语音提示导航。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110984254.1A CN113674593A (zh) | 2021-08-25 | 2021-08-25 | 一种用于触觉显示的头戴式额机*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110984254.1A CN113674593A (zh) | 2021-08-25 | 2021-08-25 | 一种用于触觉显示的头戴式额机*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674593A true CN113674593A (zh) | 2021-11-19 |
Family
ID=78546330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110984254.1A Pending CN113674593A (zh) | 2021-08-25 | 2021-08-25 | 一种用于触觉显示的头戴式额机*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674593A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114642579A (zh) * | 2022-03-22 | 2022-06-21 | 池浩 | 穿戴式助盲器 |
| KR102453035B1 (ko) * | 2022-05-23 | 2022-10-11 | 오성훈 | 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5636038A (en) * | 1996-06-24 | 1997-06-03 | Lynt; Ingrid H. | Apparatus for converting visual images into tactile representations for use by a person who is visually impaired |
| CN101518482A (zh) * | 2009-03-18 | 2009-09-02 | 东南大学 | 一种触觉图文显示装置及显示方法 |
| CN204709329U (zh) * | 2015-06-08 | 2015-10-21 | 深圳市中科微光医疗器械技术有限公司 | 基于触觉的为视觉障碍人士传达周围环境信息的装置 |
| WO2016113730A1 (en) * | 2015-01-12 | 2016-07-21 | Trekace Technologies Ltd | Navigational devices and methods |
| CN105959572A (zh) * | 2016-07-04 | 2016-09-21 | 张恩洋 | 一种用于人体佩戴的具有红外全景深感知功能的导盲帽 |
| CN106726378A (zh) * | 2016-12-08 | 2017-05-31 | 上海电力学院 | 基于立体视觉和电致触觉阵列的盲人导路器 |
| CN108245384A (zh) * | 2017-12-12 | 2018-07-06 | 清华大学苏州汽车研究院（吴江） | 基于增强学习的双目视觉导盲仪 |
| CN109343716A (zh) * | 2018-11-16 | 2019-02-15 | Oppo广东移动通信有限公司 | 一种图像显示方法及装置、计算机可读存储介质 |
| US20200020211A1 (en) * | 2015-01-12 | 2020-01-16 | Trekace Technologies Ltd. | Intuitive tactile devices, systems and methods |
| CN112451324A (zh) * | 2019-08-19 | 2021-03-09 | 北京超维度计算科技有限公司 | 一种视障人士辅助*** |
| CN112558779A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学 | 一种基于振动阵列的触觉刺激***及方法 |
-
2021
- 2021-08-25 CN CN202110984254.1A patent/CN113674593A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5636038A (en) * | 1996-06-24 | 1997-06-03 | Lynt; Ingrid H. | Apparatus for converting visual images into tactile representations for use by a person who is visually impaired |
| CN101518482A (zh) * | 2009-03-18 | 2009-09-02 | 东南大学 | 一种触觉图文显示装置及显示方法 |
| WO2016113730A1 (en) * | 2015-01-12 | 2016-07-21 | Trekace Technologies Ltd | Navigational devices and methods |
| CN107850438A (zh) * | 2015-01-12 | 2018-03-27 | R·I·加贝 | 导航设备及方法 |
| US20200020211A1 (en) * | 2015-01-12 | 2020-01-16 | Trekace Technologies Ltd. | Intuitive tactile devices, systems and methods |
| CN204709329U (zh) * | 2015-06-08 | 2015-10-21 | 深圳市中科微光医疗器械技术有限公司 | 基于触觉的为视觉障碍人士传达周围环境信息的装置 |
| CN105959572A (zh) * | 2016-07-04 | 2016-09-21 | 张恩洋 | 一种用于人体佩戴的具有红外全景深感知功能的导盲帽 |
| CN106726378A (zh) * | 2016-12-08 | 2017-05-31 | 上海电力学院 | 基于立体视觉和电致触觉阵列的盲人导路器 |
| CN108245384A (zh) * | 2017-12-12 | 2018-07-06 | 清华大学苏州汽车研究院（吴江） | 基于增强学习的双目视觉导盲仪 |
| CN109343716A (zh) * | 2018-11-16 | 2019-02-15 | Oppo广东移动通信有限公司 | 一种图像显示方法及装置、计算机可读存储介质 |
| CN112451324A (zh) * | 2019-08-19 | 2021-03-09 | 北京超维度计算科技有限公司 | 一种视障人士辅助*** |
| CN112558779A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学 | 一种基于振动阵列的触觉刺激***及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114642579A (zh) * | 2022-03-22 | 2022-06-21 | 池浩 | 穿戴式助盲器 |
| CN114642579B (zh) * | 2022-03-22 | 2024-03-29 | 池浩 | 穿戴式助盲器 |
| KR102453035B1 (ko) * | 2022-05-23 | 2022-10-11 | 오성훈 | 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10528815B2 (en) | Method and device for visually impaired assistance | |
| US9792501B1 (en) | Method and device for visually impaired assistance | |
| Hoang et al. | Obstacle detection and warning system for visually impaired people based on electrode matrix and mobile Kinect | |
| CN206214373U (zh) | 用于向盲人提供视觉信息的物体检测、分析及提示*** | |
| US20150125831A1 (en) | Tactile Pin Array Device | |
| CN113674593A (zh) | 一种用于触觉显示的头戴式额机*** | |
| RU2719025C2 (ru) | Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания | |
| CN103973971B (zh) | 信息设备以及信息设备的控制方法 | |
| JPWO2007066717A1 (ja) | 電気触覚ディスプレイ | |
| CN206460410U (zh) | 带增强现实的智能设备 | |
| CN105653020A (zh) | 穿越时空的方法和装置以及使用其的眼镜或头盔 | |
| Sharma et al. | International journal of engineering sciences & research technology a review on obstacle detection and vision | |
| CN108852620A (zh) | 智能颈戴设备及其控制方法 | |
| CN108919498A (zh) | 一种基于多模态成像和多层感知的增强现实眼镜 | |
| Mattoccia et al. | 3D glasses as mobility aid for visually impaired people | |
| Akhter et al. | A Smartphone-based Haptic Vision Substitution system for the blind | |
| JP2011250928A (ja) | 視覚障害者用空間認識装置、方法およびプログラム | |
| Hoang et al. | Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect | |
| CN112506336A (zh) | 具有触觉输出的头戴式显示器 | |
| CN112731688A (zh) | 一种适用于视觉障碍人士的智能眼镜*** | |
| KR20220058941A (ko) | 방향 보조 시스템 | |
| EP3058926A1 (en) | Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons | |
| CN204951532U (zh) | 一种盲人或视力受损者助行设备 | |
| CN111329736B (zh) | 借助振动反馈感知环境图像的*** | |
| CN204242466U (zh) | 手语互译装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211119 |