CN109085926A - 一种多模态成像与多感知交融的增强现实***及其应用 - Google Patents
一种多模态成像与多感知交融的增强现实***及其应用 Download PDFInfo
- Publication number
- CN109085926A CN109085926A CN201810954273.8A CN201810954273A CN109085926A CN 109085926 A CN109085926 A CN 109085926A CN 201810954273 A CN201810954273 A CN 201810954273A CN 109085926 A CN109085926 A CN 109085926A
- Authority
- CN
- China
- Prior art keywords
- perception
- augmented reality
- module
- modality imaging
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 50
- 230000008447 perception Effects 0.000 title claims abstract description 47
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 238000002156 mixing Methods 0.000 title claims abstract description 16
- 239000011521 glass Substances 0.000 claims abstract description 24
- 230000001771 impaired effect Effects 0.000 claims abstract description 16
- 239000000203 mixture Substances 0.000 claims abstract description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 208000000114 Pain Threshold Diseases 0.000 claims description 6
- 230000037040 pain threshold Effects 0.000 claims description 6
- 241001166076 Diapheromera femorata Species 0.000 claims description 5
- 239000007921 spray Substances 0.000 claims description 4
- 230000004424 eye movement Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005424 photoluminescence Methods 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000009897 systematic effect Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000004888 barrier function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000015243 ice cream Nutrition 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多模态成像与多感知交融的增强现实***及其应用，其特点是该***由多模态成像模块、多层感知模块、辅助传感模块和控制终端组成，所述多模态成像模块和辅助传感模块将获取的周边环境信息输入控制终端，并由控制终端将处理后的图像流和数据流反馈至多层感知模块进行全面精准的传递，并通过麦克风与***进行交互，利用该增强现实***架构的增强现实眼镜用于智能执法、视障辅助和驾驶辅助，实现使用者对周边环境的全方位精准可靠的感知。本发明与现有技术相比具有多模态成像与多层感知的交互融合，实现应用场景下有效信息的准确获取和精准传递，以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求，使用方便，可靠性高。
Description
技术领域
本发明涉及多模态成像及多层感知技术领域，尤其是一种多模态成像与多感知交融的增强现实***及其应用。
背景技术
增强现实眼镜在现实生活中的应用前景巨大，自从谷歌开始发布谷歌眼镜以来，世界上很多企业都开始涉足增强现实眼镜领域。就市面上的现有的增强现实及其相关的眼镜产品而言，主要有谷歌眼镜(G. Inc., Google Glass, 2012)、eSight 3 (e. Co.,eSight 3, 2017)、OrCam (O.T. Ltd., OrCam, 2015)、Enchroma (I. Enchroma,Enchroma, 2013)、Intoer (L. Hangzhou KR-VISION Technology Co., Intoer, 2017)等主流产品。其中大部分产品都是产品都是单一的RGB相机作为数据采集设备，然后采用视觉或声音的反馈方式进行信息的传输。这些产品存在的模态和感知形式单一的问题是目前这些产品应用场景受限的最大原因之一。
在我国的专利数据库中以“增强现实眼镜”为关键词来搜索，则会有约540项的专利、325项发明专利(含公开的发明专利)。以下对现有的相关专利进行罗列并分析：如增强现实智能眼镜(申请号：201510009348.1)通过相机实时采集周围环境信息，并将虚拟对象和现实画面叠加现实，产生三维立体效果，通过动作传感器和声音传感器与***进行互动；大视场角增强现实眼镜(申请号：201510573508.5)主要通过光学架构实现了大视场角增强现实眼镜，从而增强了用户的使用体验，该专利申请人在另外一个专利中增加了触摸屏，实现了用户的交互，实际上用户的感知和交互是分不开的，有了感知，才有交互；带增强现实的智能眼镜(申请号：201610035054.0)采用可见光和深度相机协同的方式增强视觉障碍的用户对外界事物的感知；增强现实眼镜(申请号：201610270873.3)采用了双可见光相机加闪光灯的模式大幅改善聚集功能和成像画质；多层式增强现实智能眼镜(申请号：201610316464.2)结合使用滤光镜片、显示镜片、功能镜片的光学设计方案实现了多层的感知；用于实现增强现实交互和展示的方法、设备(申请号：201610049175.0)通过通讯协议实现了不同模块之间的通讯，然后通过视觉、声音、振动的形式来进行用户的多层感知。
现有的专利和论文对增强现实***的阐述都局限于单一的产品或外形展现形态，其中眼镜的形态居多，而增强现实眼镜仅是多模态成像与多感知交融的增强现实***的一种具体应用。在实际的应用中，根据特定的任务，增强现实***还应包括腰带、手套、帽子、手杖、衣服、裤子、鞋子、手环、手表、项链、戒指、脚环、耳钉或包等其他形式的体现和展示。现今，还未有以模块化的形式对增强现实***进行描述的相关专利和论文。
综上所述，现有技术的增强现实***存在着模态单一、感知模式匮乏等问题，未能将感知与进行较好的交互和整合，限制了增强现实***的大规模实际应用，这也是目前这些产品应用场景受限的最大原因之一。
发明内容
本发明的目的是针对现有技术的不足而设计的一种多模态成像与多感知交融的增强现实***及其应用，采用多模态成像融合多层感知的架构，实现复杂应用场景下有效信息的准确获取和精准全面的传递，利用该增强现实***架构的大视角增强现实眼镜，或在手杖、腰带、手套、帽子和衣服上架构作为不同场景应用的辅助装置，以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求，结构简单，使用方便，可靠性高。
本发明的目的是这样实现的：一种多模态成像与多感知交融的增强现实***，其特点是该增强现实***由多模态成像模块、多层感知模块、辅助传感模块和控制终端组成，所述多模态成像模块由可见光/近红外相机、深度相机、远红外热像仪、近红外点阵光源、点阵激光器和栅栏状激光器构成；所述多层感知模块由触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏构成；所述辅助传感模块由陀螺仪、超声波测距传感器、红外测距传感器和麦克风构成；所述控制终端由传输模块和微处理器构成；所述多模态成像模块和辅助传感模块将获取的周边环境信息输入控制终端，并由控制终端将处理后的图像流和数据流反馈至多层感知模块，通过触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏进行全面精准的传递，使用者通过反馈的信息做出相应的行为决策，并通过麦克风与增强现实***进行交互。
所述可见光/近红外相机由点阵激光器和栅栏状激光器实现激光生物散斑的成像模式。
所述近红外点阵光源由转换开关进行可见光/近红外相机在有光模式（白天）和无光模式（夜晚）的切换，并由远红外热像仪、超声波测距传感器和红外测距传感器对获取的应用场景中物体进行测温、测距和测速。
所述触感发生器为产生痛觉阈值之下的热或电刺激。
所述气体喷射器以喷射不同强度的气体传递多模态成像模块获取的应用场景信息。
所述振动发生器为产生痛觉阈值之下的敲打刺激。
所述OLED显示屏为多模态图像信息一一映射到对应的即时场景中的全透模式镜片，并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。
所述传输模块为蓝牙、4G或WIFI进行各模块间的无线传输，或将微处理器的数据传输到云端，并接收云端处理后的数据或决策信息。
一种多模态成像与多感知交融的增强现实***的应用，其特点利用该增强现实***架构的大视角增强现实眼镜用于智能执法、视障辅助和驾驶辅助，或在手杖、腰带、手套、帽子和衣服上架构作为不同场景应用的辅助装置，所述大视角增强现实眼镜是将多模态成像模块、多层感知模块、辅助传感模块和控制终端分别设置在眼镜框架的外沿，实现佩戴者对周边环境的全方位精准可靠的感知。
本发明与现有技术相比具有复杂应用场景下有效信息的准确获取和精准全面的传递，以满足智能执法、视障辅助、辅助驾驶等不同环境下的应用需求，结构简单，使用方便，可靠性高，为高精度的复杂环境下信息的获取和感知提供了一种解决思路，有效整合了可见光相机、近红外相机、远红外相机、激光生物散斑成像技术和深度相机，并辅以近红外点阵光源、点阵激光器和栅栏状激光器等不同类型的结构光，确保在复杂多样环境下信息的高精准获取，高度地整合了包括触觉、视觉和声音等不同人类感知类型层次的感知技术，以及热/电触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏等不同形式的感知数据，可以较大程度地提高***的准确度和鲁棒性，从而满足智能执法、视障辅助、辅助驾驶等不同的应用需求，较大程度地辅助多模态成像模块和多层感知模块完成特定场景下的复杂任务，并可根据实际要求进行相关调整，更好的满足不同场景的应用需求。
附图说明
图1为本发明结构示意图；
图2为多模态成像模块结构示意图；
图3为点阵激光器效果图；
图4为栅栏状激光器的效果图；
图5为多层感知模块结构示意图；
图6为辅助传感模块结构示意图；
图7为控制终端结构示意图；
图8为实施例图。
具体实施方式
参阅附图1，本发明由多模态成像模块1、多层感知模块2、辅助传感模块3和控制终端4组成，所述多模态成像模块1和辅助传感模块3将获取的周边环境信息输入控制终端4，并由控制终端4将处理后的图像流和数据流反馈至多层感知模块2的触感发生器21、气体喷射器22、振动发生器23、骨传导耳机24和OLED显示屏25进行全面精准的传递，使用者通过反馈的信息做出相应的行为决策，并通过麦克风34与增强现实***进行交互。
参阅附图2，所述多模态成像模块1由可见光/近红外相机11、深度相机12、远红外热像仪13、近红外点阵光源14、点阵激光器15和栅栏状激光器16构成，所述可见光/近红外相机11在近红外点阵光源14的辅助照明下获得带有结构光信息的近红外图像流。
参阅附图3~4，所述可见光/近红外相机11由点阵激光器15和栅栏状激光器16实现激光生物散斑的成像模式，获得带有结构光信息的可见光/近红外图像流。
参阅附图5，所述多层感知模块2由触感发生器21、气体喷射器22、振动发生器23、骨传导耳机24和OLED显示屏25构成；所述触感发生器21为产生痛觉阈值之下的热或电刺激；所述气体喷射器22以喷射不同强度的气体传达多模态成像模块1获取的应用场景信息；所述振动发生器23为产生痛觉阈值之下的敲打刺激；所述OLED显示屏25为多模态图像信息一一映射到对应的即时场景中的全透模式镜片，并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。
参阅附图6，所述辅助传感模块3由陀螺仪31、超声波测距传感器32、红外测距传感器33和麦克风34构成；所述超声波测距传感器32和红外测距传感器33对获取的应用场景中物体进行测距和测速。
参阅附图7，所述控制终端4由传输模块41和微处理器42构成；所述传输模块41为蓝牙、4G或WIFI进行各模块间的无线传输，或将微处理器42的数据传输到云端，并接收云端处理后的数据或决策信息。
下面将多模态成像模块1、多层感知模块2、辅助传感模块3和控制终端4分别设置在眼镜框架的外沿，或设置在手杖、腰带、手套、帽子和衣服上架构作为不同场景应用的辅助装置，实现使用者对周边环境的全方位精准可靠感知的运用实例对本发明作进一步的详细说明。
实施例1
参阅附图8，本发明架构的大视角增强现实眼镜由常规镜片17与OLED显示屏25的全透模式镜片组成，将可见光/近红外相机11、近红外点阵光源14、深度相机12和微处理器42设置在镜架20的一侧镜腿上，镜架20的另一侧镜腿上设有触感发生器21、气体喷射器22、传输模块41、振动发生器23和骨传导耳机24，连接两镜片的鼻架上设有点阵激光器15、栅栏状激光器16和陀螺仪31，所述常规镜片17上方设有红外测距传感器23；所述全透模式镜片的OLED显示屏25上方设有超声波测距传感器32和远红外热像仪13，其下方设有麦克风34。
实施例2
本发明在智能执法中的应用，工作人员佩带本发明架构的大视角增强现实眼镜进行现场执法时，远红外热像仪13发现远处商贩的摊位上有不明热源，并通过振动发生器23提醒执法人员，执法人员通过骨传导耳机24提供的信息，将OLED显示屏25上的数据切换到远红外热像仪13的图像，在发现不明热源后，通过麦克风34声控获取该远红外图像，并通过传输模块41将该照片发送至执法总部，同时，执法人员快速前往不明热源处，及时制止潜在灾难的发生。
实施例3
本发明在视障辅助中的应用，视障人士佩带本发明架构的大视角增强现实眼镜时，视障人士原地转圈环顾四周，并根据陀螺仪31的数据确定是否已经全部完成360°的扫描。微处理器42将数据处理后，根据可见光/近红外相机11、深度相机12和远红外热像仪13提供的图像数据确定下一步的行进方向，并通过骨传导耳机24将陀螺仪31的定位数据通过振动发生器23或气体喷射器22直接通过视障人士皮肤的力学感知特定来给出行进方向。在行进的过程中，可见光/近红外相机11通过图像识别技术确定远处100米处有一家便利店，然后通过骨传导耳机24提醒视障人士这个消息，此刻，视障人士正好需要购买相关物品，并根据提示前往目标便利店，然而，由于行进速度太快，超声波测距传感器32和红外测距传感器33同时感知到前方行进路径上有一个障碍物，但是该障碍物由于方位、形态等原因没能被其他的多模态成像检测到，微处理器42将超声波测距传感器32和红外测距传感器33检测到的危险信息通过振动发生器23和气体喷射器22快速提醒视障人士，振动发生器23和气体喷射器22在紧急情况下的振动和喷气频率都会加到可接受的最大值。此时，视障人士感知到前方的危险并暂定前进，进一步通过其他多模态成像的检测排除安全隐患。在到达便利店后，远红外热像仪13感知到冷柜，并通过触感发生21形象地给予视障人士冷感，视障人士前往冷柜，在可见光/近红外相机11的辅助下，拿起一块雪糕，并通过点阵激光器15的照射，可见光/近红外相机11采集到激光生物散斑图像，并通过骨传导耳机24告知视障人士该雪糕为纸质材料包装。
实施例4
本发明在辅助驾驶中的应用，驾驶人员佩带本发明架构的大视角增强现实眼镜时，驾驶人员的车辆正在未有路灯的公路上形式，视线较差，通过骨传导耳机24驾驶人员了解到由栅栏状激光器16辅助可见光/近红外相机11获得的前方障碍物信息，于是，驾驶人员放慢车辆行进速度，并最终确定前方的障碍物，然后绕到其他车道行驶。在长时间驾驶之后，驾驶人员倍感疲劳，但是其自身并未察觉，此刻驾驶人员开始打盹，陀螺仪31、红外测距传感器33和超声波测距传感器32都会显示头部姿势及其变化异常，并符合疲劳驾驶的头部姿势模式后通过振动发生器23、气体喷射器22、触感发生器21和骨传导耳机24来提醒驾驶人员不要疲劳驾驶、注意行车安全。此时，触感发生器 21主要通过电刺激的方式来让驾驶人员能够保持清醒，找到服务区等可以休息的地方进行休息，防止疲劳驾驶。
以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。
Claims (9)
1.一种多模态成像与多感知交融的增强现实***，其特征在于该增强现实***由多模态成像模块、多层感知模块、辅助传感模块和控制终端组成，所述多模态成像模块由可见光/近红外相机、深度相机、远红外热像仪、近红外点阵光源、点阵激光器和栅栏状激光器构成；所述多层感知模块由触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏构成；所述辅助传感模块由陀螺仪、超声波测距传感器、红外测距传感器和麦克风构成；所述控制终端由传输模块和微处理器构成；所述多模态成像模块和辅助传感模块将获取的周边环境信息输入控制终端，并由控制终端将处理后的图像流和数据流反馈至多层感知模块，通过触感发生器、气体喷射器、振动发生器、骨传导耳机和OLED显示屏进行全面精准的传递，使用者通过反馈的信息做出相应的行为决策，并通过麦克风与增强现实***进行交互。
2.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述可见光/近红外相机由点阵激光器和栅栏状激光器实现激光生物散斑的成像模式。
3.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述近红外点阵光源由转换开关进行可见光/近红外相机在有光模式和无光模式的切换，并由远红外热像仪、超声波测距传感器和红外测距传感器对获取的应用场景中物体进行测温、测距和测速。
4.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述触感发生器为产生痛觉阈值之下的热或电刺激。
5.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述气体喷射器以喷射不同强度的气体传递多模态成像模块获取的应用场景信息。
6.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述振动发生器为产生痛觉阈值之下的敲打刺激。
7.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述OLED显示屏为多模态图像信息一一映射到对应的即时场景中的全透模式镜片，并设有眼动或机械开关切换不同模态的图像信息及其融合态显示。
8.根据权利要求1所述多模态成像与多感知交融的增强现实***，其特征在于所述传输模块为蓝牙、4G或WIFI进行各模块间的无线传输，或将微处理器的数据传输到云端，并接收云端处理后的数据或决策信息。
9.一种权利要求1所述多模态成像与多感知交融的增强现实***的应用，其特征在于利用该增强现实***架构的大视角增强现实眼镜用于智能执法、视障辅助和驾驶辅助，或在手杖、腰带、手套、帽子和衣服上架构作为不同场景应用的辅助装置，所述大视角增强现实眼镜是将多模态成像模块、多层感知模块、辅助传感模块和控制终端设置在眼镜框架的外沿，实现佩戴者对周边环境的全方位精准可靠感知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954273.8A CN109085926A (zh) | 2018-08-21 | 2018-08-21 | 一种多模态成像与多感知交融的增强现实***及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954273.8A CN109085926A (zh) | 2018-08-21 | 2018-08-21 | 一种多模态成像与多感知交融的增强现实***及其应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109085926A true CN109085926A (zh) | 2018-12-25 |
Family
ID=64794082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810954273.8A Pending CN109085926A (zh) | 2018-08-21 | 2018-08-21 | 一种多模态成像与多感知交融的增强现实***及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109085926A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246178A (zh) * | 2019-07-09 | 2019-09-17 | 华东师范大学 | 一种模块化智能视障辅助*** |
| CN112402194A (zh) * | 2019-08-23 | 2021-02-26 | 北京超维度计算科技有限公司 | 一种视障人士辅助终端*** |
| CN114120960A (zh) * | 2021-11-19 | 2022-03-01 | 武汉大学 | 一种基于听觉的辅助空间感知***及方法 |
| CN115079423A (zh) * | 2022-08-19 | 2022-09-20 | 歌尔股份有限公司 | 智能眼镜及其超声波触觉反馈方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011106797A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| CN104306102A (zh) * | 2014-10-10 | 2015-01-28 | 上海交通大学 | 针对视觉障碍患者的头戴式视觉辅助*** |
| CN104473717A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对全盲人群的可穿戴式引导设备 |
| CN105094417A (zh) * | 2014-05-19 | 2015-11-25 | 意美森公司 | 沉浸式环境中的非同一位置触觉提示 |
| CN106580294A (zh) * | 2016-12-30 | 2017-04-26 | 上海交通大学 | 基于多模态成像技术的生理信号远程监控***及应用 |
| CN106817577A (zh) * | 2016-11-23 | 2017-06-09 | 杭州视氪科技有限公司 | 一种基于rgb‑d相机和立体声的视障人士障碍物预警眼镜 |
| CN206920723U (zh) * | 2017-07-24 | 2018-01-23 | 深圳市科乐科技有限公司 | 一种增强现实眼镜 |
| CN107884942A (zh) * | 2017-12-18 | 2018-04-06 | 国网浙江省电力公司培训中心 | 一种增强现实显示装置 |
| CN108319022A (zh) * | 2018-03-22 | 2018-07-24 | 巢湖永微信息科技有限公司 | 一种带热传感功能的智能眼镜的*** |
-
2018
- 2018-08-21 CN CN201810954273.8A patent/CN109085926A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011106797A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| CN105094417A (zh) * | 2014-05-19 | 2015-11-25 | 意美森公司 | 沉浸式环境中的非同一位置触觉提示 |
| CN104306102A (zh) * | 2014-10-10 | 2015-01-28 | 上海交通大学 | 针对视觉障碍患者的头戴式视觉辅助*** |
| CN104473717A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对全盲人群的可穿戴式引导设备 |
| CN106817577A (zh) * | 2016-11-23 | 2017-06-09 | 杭州视氪科技有限公司 | 一种基于rgb‑d相机和立体声的视障人士障碍物预警眼镜 |
| CN106580294A (zh) * | 2016-12-30 | 2017-04-26 | 上海交通大学 | 基于多模态成像技术的生理信号远程监控***及应用 |
| CN206920723U (zh) * | 2017-07-24 | 2018-01-23 | 深圳市科乐科技有限公司 | 一种增强现实眼镜 |
| CN107884942A (zh) * | 2017-12-18 | 2018-04-06 | 国网浙江省电力公司培训中心 | 一种增强现实显示装置 |
| CN108319022A (zh) * | 2018-03-22 | 2018-07-24 | 巢湖永微信息科技有限公司 | 一种带热传感功能的智能眼镜的*** |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246178A (zh) * | 2019-07-09 | 2019-09-17 | 华东师范大学 | 一种模块化智能视障辅助*** |
| CN112402194A (zh) * | 2019-08-23 | 2021-02-26 | 北京超维度计算科技有限公司 | 一种视障人士辅助终端*** |
| CN114120960A (zh) * | 2021-11-19 | 2022-03-01 | 武汉大学 | 一种基于听觉的辅助空间感知***及方法 |
| CN114120960B (zh) * | 2021-11-19 | 2024-05-03 | 武汉大学 | 一种基于听觉的辅助空间感知***及方法 |
| CN115079423A (zh) * | 2022-08-19 | 2022-09-20 | 歌尔股份有限公司 | 智能眼镜及其超声波触觉反馈方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109085926A (zh) | 一种多模态成像与多感知交融的增强现实***及其应用 | |
| US9898075B2 (en) | Visual stabilization system for head-mounted displays | |
| EP3014338B1 (en) | Tracking head movement when wearing mobile device | |
| US10656731B2 (en) | Peripheral device for head-mounted display | |
| US10809530B2 (en) | Information processing apparatus and information processing method | |
| WO2016184107A1 (zh) | 用于视线焦点定位的可穿戴设备及视线焦点定位方法 | |
| CN104956252B (zh) | 用于近眼显示设备的***显示器 | |
| CN104603673B (zh) | 头戴式***以及使用头戴式***计算和渲染数字图像流的方法 | |
| US10663729B2 (en) | Peripheral device for head-mounted display | |
| KR20180110051A (ko) | 증강 현실을 위한 시스템들 및 방법들 | |
| CN104808340B (zh) | 头戴式显示装置及其控制方法 | |
| WO2013138647A1 (en) | Using convergence angle to select among different ui elements | |
| CN104618712A (zh) | 一种头戴式虚拟现实设备及包括该设备的虚拟现实*** | |
| CN109358754B (zh) | 一种混合现实头戴显示*** | |
| JPH0749744A (ja) | 頭部搭載型表示入力装置 | |
| CN103748598A (zh) | 用于识别视线跟踪场景参考位置的***和方法 | |
| CN104865701B (zh) | 头戴式显示装置 | |
| KR101203921B1 (ko) | 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치 | |
| WO2022095605A1 (zh) | 一种手柄控制追踪器 | |
| CN109445596B (zh) | 一种一体式混合现实头戴显示*** | |
| CN110275602A (zh) | 人工现实***和头戴式显示器 | |
| WO2018154272A1 (en) | Systems and methods for obtaining information about the face and eyes of a subject | |
| US20120282585A1 (en) | Interest-Attention Feedback System for Separating Cognitive Awareness into Different Left and Right Sensor Displays | |
| CN207220273U (zh) | 可视化海警巡防头盔 | |
| JP7271909B2 (ja) | 表示装置、及び、表示装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181225 |