CN106444023A - 一种超大视场角的双目立体显示的透射式增强现实*** - Google Patents

一种超大视场角的双目立体显示的透射式增强现实*** Download PDF

Info

Publication number
CN106444023A
CN106444023A CN201610755512.8A CN201610755512A CN106444023A CN 106444023 A CN106444023 A CN 106444023A CN 201610755512 A CN201610755512 A CN 201610755512A CN 106444023 A CN106444023 A CN 106444023A
Authority
CN
China
Prior art keywords
lens
augmented reality
module
display screen
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610755512.8A
Other languages
English (en)
Inventor
李永
李明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jing Jing Technology Co Ltd
Original Assignee
Beijing Jing Jing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jing Jing Technology Co Ltd filed Critical Beijing Jing Jing Technology Co Ltd
Priority to CN201610755512.8A priority Critical patent/CN106444023A/zh
Publication of CN106444023A publication Critical patent/CN106444023A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/36—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using refractive optical elements, e.g. prisms, in the optical path between the images and the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

本发明提供了一种超大视场角的双目立体显示的透射式增强现实***，包括头戴式设备，所述头戴式设备包括电路***、用于显示画面的显示屏、两个出瞳位置与人眼瞳孔位置重合的透镜、分束镜及设置在所述电路***前端的空间深度感知设备，所述显示屏位于两个所述透镜上方，所述分束镜位于两个所述透镜下方。本发明提供的透射式增强现实***能够采用增强现实技术将虚拟信息与现实场景叠加起来，且通过显示屏、透镜及分束镜的组合形成超大视场角，且能实现三维立体显示，能够满足人眼视角的实际观看需求，增强用户的感官体验，可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

Description

一种超大视场角的双目立体显示的透射式增强现实***
技术领域
本发明属于多媒体应用技术领域，特别涉及一种超大视场角的双目立体显示的透射式增强现实***。
背景技术
增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，该技术是将原本真实世界一定时间空间范围内很难体验到的信息(如视觉、声音、味道、触觉等)通过电脑技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。增强现实技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。
增强现实头戴式***是增强现实技术在可穿戴式计算机领域的一种应用产品，拥有透射式近眼显示***、独立的操作***和强大的图像处理能力，用户既能看到真实场景又能看到计算机生成的虚拟信息。使用增强现实头戴式***时，用户的手类似于电脑的光标，增强现实头戴式***通过识别用户的手势实现人机交互，用户可以通过变换手势对***显示的界面进行操作，实现单击、双击、缩放、滑动等效果。
目前现有的增强现实***的视场角较小，例如现有专利公开号为CN105425395A公开的一种玻璃方案的大视场角增强现实眼镜，该技术中提供的眼镜能够实现增强现实显示，但是其视场角仍然无法满足用户需求，此外，现有专利公开号为CN103996322A公开了一种基于增强现实的焊接操作训练模拟方法，该方法中提供了增强现实眼镜，该眼镜为单目显示的增强现实眼镜，其在应用过程中不能使用户通过左右眼实时接收到具有立体视差的图像，为此，无法使用户感受到真实的立体效果，不能满足人眼视角的实际观看需求，为此急需开发一种超大视场角的且能够实现三维立体显示的增强现实***。
发明内容
为了解决现有的增强现实***视场角较小，且现有的单目显示的增强现实眼镜不能使用户通过左右眼实时接收到具有立体视差的图像，为此，无法使用户感受到真实的立体效果，不能满足人眼视角的实际观看需求等问题，本发明提供了一种超大视场角的双目立体显示的透射式增强现实***。
本发明具体技术方案如下：
本发明提供了一种超大视场角的双目立体显示的透射式增强现实***，包括头戴式设备，所述头戴式设备包括电路***、用于显示画面的显示屏、两个出瞳位置与人眼瞳孔位置重合的透镜、分束镜及设置在所述电路***前端的空间深度感知设备，所述显示屏位于两个所述透镜上方，所述分束镜位于两个所述透镜下方；
所述空间深度感知设备用于实时拍摄所述头戴式设备前方现实场景的空间图片，并将所述空间图片发送至所述电路***；
所述电路***将接收到的所述空间图片进行分析获得所述空间图片内的空间信息，并根据所述空间信息计算所述现实场景中每一点的深度信息，同时根据所述深度信息将存储在所述电路***内的三维虚拟影像叠加到所述现实场景中形成增强现实影像，所述空间信息为所述现实场景的三维坐标，所述深度信息为所述现实场景中每一点所在位置对应的Z轴坐标。
进一步的，所述显示屏与所述透镜光轴的夹角为0-180°，所述分束镜与所述透镜光轴的夹角为1-90°；所述透镜与所述显示屏的间距小于所述透镜的一倍焦距；
优选的，所述显示屏与所述透镜光轴的夹角为90°。
进一步的，所述透镜由至少两块透镜片叠加组成。
进一步的，所述电路***包括存储模块及与所述存储模块相通讯的处理模块、计算模块、分屏显示模块、图像输出模块，所述处理模块与所述计算模块相通讯，所述计算模块和所述图像输出模块均与所述分屏显示模块相通讯；
所述存储模块内存储有三维虚拟影像；
所述处理模块用于接收所述空间深度感知设备发送的所述空间图片，并对所述空间图片进行图像分析获得所述空间图片内的空间信息，并根据所述空间信息提取每张图片中各像素点的深度值获得深度信息，发送至所述计算模块；
所述计算模块根据所述深度信息计算所述三维虚拟影像在所述现实场景中位置信息，并根据所述位置信息将所述存储模块中的所述三维虚拟影像叠加在所述现实场景中，所述位置信息为所述三维虚拟影像叠加在所述现实场景中的位置坐标；
所述分屏显示模块用于将所述计算模块处理后的所述三维虚拟影像进行分屏处理得到左眼图像和右眼图像，并将所述左眼图像和所述右眼图像发送至所述图像输出模块，所述图像输出模块将将所述左眼图像和所述右眼图像输出至所示显示屏中显示，所述显示屏发出的光线分别经过两个所述透镜后再经过所述分束镜的反射后进入人眼，人眼通过此透射式增强现实***观察到增强现实影像。
进一步的，所述电路***还包括与所述处理模块相通讯的语音识别模块和脑电波识别模块，所述语音识别模块用于读取语音信息并转化为语音操控指令实现交互；所述脑电波识别模块用于采集用户脑电波信号，并对所述脑电波信号进行识别后形成控制指令从而实现交互；
所述头戴式设备还设有若干与所述电路***相通讯的传感设备，所述传感设备为加速度计、罗盘、陀螺仪、GPS中的一种或几种组合，所述传感设备用于采集用户的位姿信息并发送至所述电路***，所述电路***对所述位姿信息进行识别后形成控制指令从而实现体感交互，所述位姿信息包括人的位置以及人体的头部、腿、脚、躯干、手或手臂在空间中的移动轨迹。
进一步的，所述空间深度感知设备为第一深度传感器、第二深度传感器和第三深度传感器中的一种或几种组合，所述第一深度传感器由红外LED灯和红外摄像机组成，所述第二深度传感器由结构光发射器、红外摄像机和RGB摄像头组成，所述第三深度传感器为RGB双目摄像头；
所述空间深度感知设备还用于采集用户的手势动作信息并发送至所述电路***，所述电路***对所述手势动作信息进行识别后形成控制指令从而实现交互，所述手势动作信息包括手指位置、手掌中心位置、手指旋转角度、手指运动角度和手指运动方向。
进一步的，所述头戴式设备还包括用于调节两个所述透镜之间水平距离的瞳距调节件和用于调节所述透镜与所述显示屏之间距离的间距调节件。
进一步的，所述瞳距调节件包括与两个所述透镜一端滑动连接的横杆，所述横杆上横向设有第一滑孔，所述第一滑孔内设有两个可沿所述第一滑孔开设方向滑动的第一滑块，两个所述透镜的端部分别与两块所述第一滑块连接；
所述间距调节件包括两根与所述横杆的左、右两端滑动连接的纵杆，两根所述纵杆上均纵向设有第二滑孔，所述第二滑孔内设有可沿所述第二滑孔开设方向滑动的第二滑块，所述横杆的左、右两端分别与两块所述第二滑块连接。
优选的，所述显示屏的数量为一个或两个，所述分束镜的数量为一个或两个，所述分束镜的反射率为1-100％，所述分束镜的透射率为0-99％；所述透镜为球面透镜、非球面透镜、菲涅尔透镜、自由曲面透镜或消色差双胶合透镜中的一种或几种的叠加。
优选的，所述头戴式设备还包括镜框，所述电路***、所述显示屏、两个所述透镜和所述分束镜均设置在所述镜框上，所述镜框一侧设有与所述电路***连接的麦克风和扬声器。
本发明的有益效果如下：本发明提供的超大视场角的双目立体显示的透射式增强现实***能够采用增强现实技术将虚拟信息与现实场景叠加起来，且通过显示屏、透镜及分束镜的特殊组合以及透镜的优化设计形成超大视场角，此外，通过左、右视角的分屏实现双目立体显示，能够满足人眼视角的实际观看需求，增强用户的感官体验，并增加与用户的互动性，使用户参与到展示中来，从而实现很好的展示效果。
附图说明
图1为实施例1所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的结构示意图；
图2为实施例2所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的侧视图；
图3为实施例3所述的一种超大视场角的双目立体显示的透射式增强现实***的头戴式设备中电路***的结构框图；
图4为实施例4所述的一种超大视场角的双目立体显示的透射式增强现实***的头戴式设备中电路***的结构框图；
图5为实施例6所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的结构示意图；
图6为图5中A的放大图；
图7为实施例8所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的结构示意图一；
图8为实施例8所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的结构示意图二；
图9为实施例8所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的结构示意图三；
图10为实施例8所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的结构示意图四；
图11为实施例8所述的一种超大视场角的双目立体显示的透射式增强现实***中头戴式设备的立体结构示意图。
其中：1、电路***；101、存储模块；102、处理模块；103、计算模块；104、分屏显示模块；105、图像输出模块；106、语音识别模块；107、脑电波识别模块；2、显示屏；3、透镜；4、分束镜；5、空间深度感知设备；6、传感设备；7、横杆；8、第一滑孔；9、第一滑块；10、纵杆；11、第二滑孔；12、第二滑块；13、镜框；14、麦克风。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例1
如图1所示，本发明实施例1提供了一种超大视场角的双目立体显示的透射式增强现实***，包括头戴式设备，头戴式设备可以设计为头盔或眼镜，所述头戴式设备包括电路***1、用于显示画面的显示屏2、两个出瞳位置与人眼瞳孔位置重合的透镜3、分束镜4及设置在所述电路***1前端的空间深度感知设备5，所述显示屏2位于两个所述透镜3上方，所述分束镜4位于两个所述透镜3下方，并与透镜3成一定的角度；所述电路***1位于所述显示屏2上方，当然，所述电路***1也可以设计到其他任何不遮挡光路的位置，只要可以实现处理和数据传输即可。需要说明的是，显示屏2可以为一个或两个组合；每个透镜3可以为一块透镜3镜片，也可以为多块透镜3镜片叠加组成；分束镜4可以为一个或两个组合。
所述空间深度感知设备5用于实时拍摄所述头戴式设备前方现实场景的空间图片，并将所述空间图片发送至所述电路***1，空间图片内包含周围环境的空间信息；优选的，空间深度感知设备5位于***的最前端，当然空间深度感知设备5也可以位于***的其他位置，但是要保证在***使用时，它是始终朝着头戴式设备前方的，从而用于实时拍摄头戴式设备前方的现实场景。
所述电路***1将接收到的所述空间图片进行分析获得所述空间图片内的空间信息，并根据所述空间信息计算所述现实场景中每一点的深度信息，同时根据所述深度信息将存储在所述电路***1内的三维虚拟影像叠加到所述现实场景中形成增强现实影像，所述空间信息为所述现实场景的三维坐标，所述深度信息为所述现实场景中每一点所在位置对应的Z轴坐标。
电路***1可以带有独立处理器，具有独立的操作***，可以独立完成信号的处理和显示，电路***1也可以是一种信号转换电路，将电脑、手机、平板电脑等的画面转换到本***的显示屏2上。
具体使用时，所述空间深度感知设备5用于实时拍摄获取头戴式设备前方的空间信息，电路***1接收此信息，经过计算处理，可以获得空间中每一点的深度信息，根据此深度信息，将三维的虚拟信息精确地叠加到现实场景中，实现增强现实显示。
需要说明的是，所述显示屏2、两个透镜3和分束镜4分别沿左、右透镜3光轴的方向顺次分布，显示屏2左、右两部分发出的光线分别经过左、右透镜3的传播，再经过分束镜4的反射进入人眼，在人眼前方呈放大的虚像。人眼的观察位置位于分束镜4的后方。由于左、右眼看到的虚拟信息具有立体视差，为此，人眼感受到的是三维立体的虚拟信息。
本发明提供的***中头戴式设备的结构组合能够实现超大视场角，电路***1能够根据现实场景的深度信息将三维的虚拟信息精确地叠加到现实场景中，从而实现增强现实显示。该***设计简单，生产成本较低。
本***的成像位置位于人眼的明视距离25cm以外，使用者可以舒适地观看本***所显示的内容，不会对用户眼睛造成伤害。
实施例2
如图2所示，本发明实施例2在实施例1的基础上限定了所述显示屏2与所述透镜3的光轴成一定的角度，优选的，所述显示屏2与所述透镜3光轴的夹角α为0-180°，所述分束镜4与所述透镜3的光轴成一定角度，优选的，所述分束镜4与所述透镜3光轴的夹角β为1-90°；所述透镜3与所述显示屏2的间距小于所述透镜3的一倍焦距。
优选的，所述显示屏2与所述透镜3光轴的夹角为90°。
人眼的观察位置位于分束镜4后方，显示屏2所显示的具有立体视差的左、右眼图像依次通过左、右侧的两个透镜3折射，然后再经过分束镜4反射到人眼中，在人眼前方成放大的虚像，由于左、右眼看到的虚像具有立体视差，所以形成立体视觉，人眼既可以看到外界真实的物体，也可以看到本***显示的立体虚拟物体。
进一步需要说明的是，所述透镜3由至少两块透镜片叠加组成。本技术方案中，通过透镜3的特殊设计，如利用非球面与球面设计相结合，或设计一个自由曲面的透镜3，能够实现的最大水平视场角可以达到100°以上，为此，本发明实现了三维立体成像，且具有最大视场角。
优选的，透镜3为双凸单透镜，一面为非球面，而不是双非球面，这样的设计可以降低加工成本，精确的优化设计面型能够保证观察透镜3具有很出色的成像质量。
实施例3
本发明实施例3在实施例1的基础上进一步限定了电路***1的结构，从而实现了增强现实技术。
如图3所示，需要说明的是，所述电路***1包括存储模块101及与所述存储模块101相通讯的处理模块102、计算模块103、分屏显示模块104、图像输出模块105，所述处理模块102与所述计算模块103相通讯，所述计算模块103和所述图像输出模块105均与所述分屏显示模块104相通讯；
所述存储模块101内存储有三维虚拟影像；
所述处理模块102用于接收所述空间深度感知设备5发送的所述空间图片，并对所述空间图片进行图像分析获得所述空间图片内的空间信息，并根据所述空间信息提取每张图片中各像素点的深度值获得深度信息，发送至所述计算模块103；
所述计算模块103根据所述深度信息计算所述三维虚拟影像在所述现实场景中位置信息，并根据所述位置信息将所述存储模块101中的所述三维虚拟影像放置在所述现实场景中，所述位置信息为所述三维虚拟影像放置在所述现实场景中的位置坐标；
所述分屏显示模块104用于将所述计算模块103处理后的所述三维虚拟影像进行分屏处理得到左眼图像和右眼图像，并将所述左眼图像和所述右眼图像发送至所述图像输出模块105，所述图像输出模块105将将所述左眼图像和所述右眼图像输出至所示显示屏2中显示，所述显示屏2发出的光线分别经过两个所述透镜3后再经过所述分束镜4的反射后进入人眼，人眼通过此透射式增强现实***观察到增强现实影像。
分屏显示模块104主要用于对增强现实影像进行分屏处理，若显示屏2有两个，则左侧显示屏2显示左眼图像，右侧显示屏2显示右眼图像，若显示屏2有一个，则显示屏2左侧显示左眼图像，显示屏2右侧显示右眼图像；使用一个分束镜4时，分束镜4左侧区域反射左眼图像，分束镜4右侧区域反射右眼图像，使用两个分束镜4时，左分束镜4反射左眼图像，右分束镜4反射右眼图像，由于显示屏上显示的左、右眼图像具有立体视差，因此左、右眼配合实现了立体视觉。
实施例4
如图4所示，本发明实施例4在实施例3的基础上进一步限定了所述电路***1还包括与所述处理模块102相通讯的语音识别模块106和脑电波识别模块107，所述语音识别模块106用于读取语音信息并转化为语音操控指令实现交互，使用时，用户通过发送语音指令，使用户可以用语音来完成与***的交互；所述脑电波识别模块107用于采集用户脑电波信号，并对所述脑电波信号进行识别后形成控制指令从而实现交互，脑电波识别模块107通过采集用户脑电波并进行识别，形成控制指令，从而能够实现与***的交互。
进一步的，需要强调的是，所述头戴式设备还设有若干与所述电路***1相通讯的传感设备6，所述传感设备6为加速度计、罗盘、陀螺仪、GPS中的一种或几种组合，所述传感设备6用于采集用户的位姿信息并发送至所述电路***1，所述电路***1对所述位姿信息进行识别后形成控制指令从而实现体感交互，所述位姿信息包括人的位置以及人体的头部、腿、脚、躯干、手或手臂在空间中的移动轨迹。
所述移动轨迹包括人体的头部、腿、脚、躯干、手或手臂在空间中的位移变化和角度变化，所述位移变化包括以下至少一种：前后位移、上下位移或左右位移；所述角度变化包括以下至少一种：左右水平旋转、上下旋转或侧向旋转。
通过加速度计、罗盘、陀螺仪、GPS等传感设备6能够有效采集用户的动作信息传输给电路***1处理，判断出使用者的动作位姿信息，从而使使用者可以通过本***中的传感设备6完成与本***的交互。
实施例5
本实施例5在实施例1的基础上进一步限定了所述空间深度感知设备5为第一深度传感器、第二深度传感器和第三深度传感器中的一种或几种组合，所述第一深度传感器由红外LED灯和红外摄像机组成，所述第二深度传感器由结构光发射器、红外摄像机和RGB摄像头组成，所述第三深度传感器为RGB双目摄像头。
本发明中的空间深度感知设备5可以是基于红外LED灯和红外摄像机原理的深度感知***，也可以是基于结构光发射器、红外摄像机和RGB摄像头的深度感知***，还可以是基于RGB双目摄像头的深度感知***，也可以是基于飞行时间的深度感知***，当然为了提高拍摄精度也可以将上述几种感知***进行组合形成空间深度感知设备5。
所述空间深度感知设备5还用于采集用户的手势动作信息并发送至所述电路***1，所述电路***1对所述手势动作信息进行识别后形成控制指令从而实现交互，所述手势动作信息包括手指位置、手掌中心位置、手指旋转角度、手指运动角度和手指运动方向。手势动作信息的采集，能够使用户的手类似于电脑的光标，头戴式设备通过识别用户的手势实现人机交互，用户可以通过变换手势对设备显示的界面进行操作，实现单击、双击、缩放、滑动等效果，有效实现了使用者与本***的自然交互。
实施例6
如图5所示，本发明实施例6提供的***中，为了适应不同瞳距的用户使用，本技术方案中限定了所述头戴式设备还包括用于调节两个所述透镜3之间水平距离的瞳距调节件，为了实现调节***成像的远近和大小，本技术方案中限定了头戴式设备还包括用于调节所述透镜3与所述显示屏2之间距离的间距调节件。
如图5所示，为了能够使头戴式设备适应不同用户的出瞳距离，需要说明的是，所述瞳距调节件包括与两个所述透镜3一端滑动连接的横杆7，所述横杆7上横向设有第一滑孔8，所述第一滑孔8内设有两个可沿所述第一滑孔8开设方向滑动的第一滑块9，两个所述透镜3的端部分别与两块所述第一滑块9连接。横杆7首先用于对两个透镜3进行支撑，同时横杆7上开设的第一滑孔8内设有第一滑块9，第一滑块9在第一滑孔8内滑动，可以实现拨动两块透镜3，从而实现调节瞳距，当然除了通过滑动拨动透镜3以外，还可以通过其他方式推动来调节两个透镜3之间的距离，本发明中在此不一一限定，只要可以实现调节两个透镜3之间的距离即可。
如图6所示，为了能够实现调节透镜3与显示屏2之间的距离，本技术方案中限定了，所述间距调节件包括两根与所述横杆7的左、右两端滑动连接的纵杆10，两根所述纵杆10上均纵向设有第二滑孔11，所述第二滑孔11内设有可沿所述第二滑孔11开设方向滑动的第二滑块12，所述横杆7的左、右两端分别与两块所述第二滑块12连接。显示屏2两端通过纵杆10连接横杆7，横杆7通过第二滑块12可以在第二滑孔11中纵向滑动，从而实现了透镜3与显示屏2之间距离的调节，该结构设计简单，当然为了实现透镜3与显示屏2之间距离的调节还可以通过多种方式实现，在此不一一限定，只要可以实现透镜3与显示屏2之间距离调节，均在本发明的保护范围之内。
该头戴式设备的成像位置位于人眼的明视距离25cm以外，使用者可以舒适地进行观看，不会对用户眼睛造成伤害。
实施例7
本发明实施例7提供的超大视场角的双目立体显示的透射式增强现实***中，显示屏2发出的光线通过透镜3后再经过分束镜4反射到人眼中，透镜3的出瞳位置与人眼瞳孔位置重合，因为人眼距离分束镜4和透镜3有一定的距离，因此出瞳距离应该设计的大一些，出瞳距离最优设计为10mm以上，最好的是在30-60mm之间，为了使人眼转动或稍微移动时也可以看到显示屏2中的图像，出瞳直径最优设计为大于6mm。
实施例8
优选的，所述显示屏2的数量为一个或两个。
所述分束镜4的数量为一个或两个，且所述分束镜4的反射率为1-100％，所述分束镜4的透射率为0-99％。
本技术方案中优选的选择所述透镜3为球面透镜、非球面透镜、菲涅尔透镜、自由曲面透镜或消色差双胶合透镜中的一种或几种的叠加。
如图7所示，该头戴式设备中包含有一个显示屏2、两个透镜3和两个分束镜4；如图8所示，该头戴式设备中包含有两个显示屏2、两个透镜3和两个分束镜4，如图9所示，该头戴式设备中包含有一个显示屏2、两个透镜3和一个分束镜4，如图10所示，该头戴式设备中包含有两个显示屏2、两个透镜3和一个分束镜4。
如图11所示，优选的，所述头戴式设备还包括镜框13，所述电路***1、所述显示屏2、两个所述透镜3和所述分束镜4均设置在所述镜框13上，所述镜框13一侧设有与所述电路***1连接的麦克风14和扬声器。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种超大视场角的双目立体显示的透射式增强现实***，其特征在于，包括头戴式设备，所述头戴式设备包括电路***(1)、用于显示画面的显示屏(2)、两个出瞳位置与人眼瞳孔位置重合的透镜(3)、分束镜(4)及设置在所述电路***(1)前端的空间深度感知设备(5)，所述显示屏(2)位于两个所述透镜(3)上方，所述分束镜(4)位于两个所述透镜(3)下方；
所述空间深度感知设备(5)用于实时拍摄所述头戴式设备前方现实场景的空间图片，并将所述空间图片发送至所述电路***(1)；
所述电路***(1)将接收到的所述空间图片进行分析获得所述空间图片内的空间信息，并根据所述空间信息计算所述现实场景中每一点的深度信息，同时根据所述深度信息将存储在所述电路***(1)内的三维虚拟影像叠加到所述现实场景中形成增强现实影像，所述空间信息为所述现实场景的三维坐标，所述深度信息为所述现实场景中每一点所在位置对应的Z轴坐标。
2.如权利要求1所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述显示屏(2)与所述透镜(3)光轴的夹角为0-180°，所述分束镜(4)与所述透镜(3)光轴的夹角为1-90°；所述透镜(3)与所述显示屏(2)的间距小于所述透镜(3)的一倍焦距；优选的，所述显示屏(2)与所述透镜(3)光轴的夹角为90°。
3.如权利要求1所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述透镜(3)由至少两块透镜片叠加组成。
4.如权利要求1所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述电路***(1)包括存储模块(101)及与所述存储模块(101)相通讯的处理模块(102)、计算模块(103)、分屏显示模块(104)、图像输出模块(105)，所述处理模块(102)与所述计算模块(103)相通讯，所述计算模块(103)和所述图像输出模块(105)均与所述分屏显示模块(104)相通讯；
所述存储模块(101)内存储有三维虚拟影像；
所述处理模块(102)用于接收所述空间深度感知设备(5)发送的所述空间图片，并对所述空间图片进行图像分析获得所述空间图片内的空间信息，并根据所述空间信息提取每张图片中各像素点的深度值获得深度信息，发送至所述计算模块(103)；
所述计算模块(103)根据所述深度信息计算所述三维虚拟影像在所述现实场景中位置信息，并根据所述位置信息将所述存储模块(101)中的所述三维虚拟影像叠加在所述现实场景中，所述位置信息为所述三维虚拟影像叠加在所述现实场景中的位置坐标；
所述分屏显示模块(104)用于将所述计算模块(103)处理后的所述三维虚拟影像进行分屏处理得到左眼图像和右眼图像，并将所述左眼图像和所述右眼图像发送至所述图像输出模块(105)，所述图像输出模块(105)将将所述左眼图像和所述右眼图像输出至所示显示屏(2)中显示，所述显示屏(2)发出的光线分别经过两个所述透镜(3)后再经过所述分束镜(4)的反射后进入人眼。
5.如权利要求4所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述电路***(1)还包括与所述处理模块(102)相通讯的语音识别模块(106)和脑电波识别模块(107)，所述语音识别模块(106)用于读取语音信息并转化为语音操控指令实现交互；所述脑电波识别模块(107)用于采集用户脑电波信号，并对所述脑电波信号进行识别后形成控制指令从而实现交互；
所述头戴式设备还设有若干与所述电路***(1)相通讯的传感设备(6)，所述传感设备(6)为加速度计、罗盘、陀螺仪、GPS中的一种或几种组合，所述传感设备(6)用于采集用户的位姿信息并发送至所述电路***(1)，所述电路***(1)对所述位姿信息进行识别后形成控制指令从而实现体感交互，所述位姿信息包括人的位置以及人体的头部、腿、脚、躯干、手或手臂在空间中的移动轨迹。
6.如权利要求1所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述空间深度感知设备(5)为第一深度传感器、第二深度传感器和第三深度传感器中的一种或几种组合，所述第一深度传感器由红外LED灯和红外摄像机组成，所述第二深度传感器由结构光发射器、红外摄像机和RGB摄像头组成，所述第三深度传感器为RGB双目摄像头；
所述空间深度感知设备(5)还用于采集用户的手势动作信息并发送至所述电路***(1)，所述电路***(1)对所述手势动作信息进行识别后形成控制指令从而实现交互，所述手势动作信息包括手指位置、手掌中心位置、手指旋转角度、手指运动角度和手指运动方向。
7.如权利要求1所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述头戴式设备还包括用于调节两个所述透镜(3)之间水平距离的瞳距调节件和用于调节所述透镜(3)与所述显示屏(2)之间距离的间距调节件。
8.如权利要求7所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述瞳距调节件包括与两个所述透镜(3)一端滑动连接的横杆(7)，所述横杆(7)上横向设有第一滑孔(8)，所述第一滑孔(8)内设有两个可沿所述第一滑孔(8)开设方向滑动的第一滑块(9)，两个所述透镜(3)的端部分别与两块所述第一滑块(9)连接；
所述间距调节件包括两根与所述横杆(7)的左、右两端滑动连接的纵杆(10)，两根所述纵杆(10)上均纵向设有第二滑孔(11)，所述第二滑孔(11)内设有可沿所述第二滑孔(11)开设方向滑动的第二滑块(12)，所述横杆(7)的左、右两端分别与两块所述第二滑块(12)连接。
9.如权利要求1所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述显示屏(2)的数量为一个或两个，所述分束镜(4)的数量为一个或两个，所述分束镜(4)的反射率为1-100％，所述分束镜(4)的透射率为0-99％；所述透镜(3)为球面透镜、非球面透镜、菲涅尔透镜、自由曲面透镜或消色差双胶合透镜中的一种或几种的叠加。
10.如权利要求5所述的超大视场角的双目立体显示的透射式增强现实***，其特征在于，所述头戴式设备还包括镜框(13)，所述电路***(1)、所述显示屏(2)、两个所述透镜(3)和所述分束镜(4)均设置在所述镜框(13)上，所述镜框(13)一侧设有与所述电路***(1)连接的麦克风(14)和扬声器。
CN201610755512.8A 2016-08-29 2016-08-29 一种超大视场角的双目立体显示的透射式增强现实*** Pending CN106444023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610755512.8A CN106444023A (zh) 2016-08-29 2016-08-29 一种超大视场角的双目立体显示的透射式增强现实***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610755512.8A CN106444023A (zh) 2016-08-29 2016-08-29 一种超大视场角的双目立体显示的透射式增强现实***

Publications (1)

Publication Number Publication Date
CN106444023A true CN106444023A (zh) 2017-02-22

Family

ID=58090065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610755512.8A Pending CN106444023A (zh) 2016-08-29 2016-08-29 一种超大视场角的双目立体显示的透射式增强现实***

Country Status (1)

Country Link
CN (1) CN106444023A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106773068A (zh) * 2017-03-24 2017-05-31 深圳增强现实技术有限公司 一种增强现实可穿戴智能眼镜的光学模组
CN106890441A (zh) * 2017-04-10 2017-06-27 江苏农林职业技术学院 羽毛球互动训练器和羽毛球互动训练方法
CN106918915A (zh) * 2017-05-16 2017-07-04 核桃智能科技（常州）有限公司 近眼显示***
CN107274891A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于语音识别引擎的ar界面交互方法及***
CN108109478A (zh) * 2018-01-22 2018-06-01 北京费米赛因教育科技有限公司 一种可展开为实验台的便携式实验箱
CN108572450A (zh) * 2017-03-09 2018-09-25 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示***
CN108830944A (zh) * 2018-07-12 2018-11-16 北京理工大学 光学透视式三维近眼显示***及显示方法
CN109254406A (zh) * 2018-11-07 2019-01-22 深圳市传智科技有限公司 一种多功能增强现实眼镜
WO2019041614A1 (zh) * 2017-09-04 2019-03-07 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN110874135A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 光学畸变的校正方法、装置、终端设备及存储介质
WO2020048461A1 (zh) * 2018-09-03 2020-03-12 广东虚拟现实科技有限公司 三维立体显示方法、终端设备及存储介质
WO2020143546A1 (zh) * 2019-01-07 2020-07-16 京东方科技集团股份有限公司 增强现实***及控制方法
CN112710608A (zh) * 2020-12-16 2021-04-27 深圳晶泰科技有限公司 实验观测方法及***
CN113542719A (zh) * 2021-06-07 2021-10-22 支付宝(杭州)信息技术有限公司 图像采集设备
CN115774335A (zh) * 2022-11-11 2023-03-10 Oppo广东移动通信有限公司 虚拟图像显示设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实***的立体头盔显示器
CN102096194A (zh) * 2010-12-24 2011-06-15 北京理工大学 一种光学透射投影式立体头盔显示器
CN102566027A (zh) * 2011-12-14 2012-07-11 广州博冠企业有限公司 立体成像光学组件及基于单物镜的数字三维立体显微***
CN103348278A (zh) * 2010-12-16 2013-10-09 洛克希德马丁公司 具有像素透镜的准直的显示器
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN105068659A (zh) * 2015-09-01 2015-11-18 陈科枫 一种增强现实***
CN105068253A (zh) * 2015-09-15 2015-11-18 厦门灵境信息科技有限公司 头戴式显示装置与其光学镜头***
CN105786163A (zh) * 2014-12-19 2016-07-20 联想(北京)有限公司 显示处理方法和显示处理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实***的立体头盔显示器
CN103348278A (zh) * 2010-12-16 2013-10-09 洛克希德马丁公司 具有像素透镜的准直的显示器
CN102096194A (zh) * 2010-12-24 2011-06-15 北京理工大学 一种光学透射投影式立体头盔显示器
CN102566027A (zh) * 2011-12-14 2012-07-11 广州博冠企业有限公司 立体成像光学组件及基于单物镜的数字三维立体显微***
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
CN105786163A (zh) * 2014-12-19 2016-07-20 联想(北京)有限公司 显示处理方法和显示处理装置
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN105068659A (zh) * 2015-09-01 2015-11-18 陈科枫 一种增强现实***
CN105068253A (zh) * 2015-09-15 2015-11-18 厦门灵境信息科技有限公司 头戴式显示装置与其光学镜头***

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572450A (zh) * 2017-03-09 2018-09-25 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示***
CN108572450B (zh) * 2017-03-09 2021-01-29 宏碁股份有限公司 头戴式显示器、其视野校正方法以及混合现实显示***
CN106773068A (zh) * 2017-03-24 2017-05-31 深圳增强现实技术有限公司 一种增强现实可穿戴智能眼镜的光学模组
CN106890441A (zh) * 2017-04-10 2017-06-27 江苏农林职业技术学院 羽毛球互动训练器和羽毛球互动训练方法
CN106918915A (zh) * 2017-05-16 2017-07-04 核桃智能科技（常州）有限公司 近眼显示***
CN107274891A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于语音识别引擎的ar界面交互方法及***
WO2019041614A1 (zh) * 2017-09-04 2019-03-07 浙江大学 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法
CN108109478A (zh) * 2018-01-22 2018-06-01 北京费米赛因教育科技有限公司 一种可展开为实验台的便携式实验箱
CN108830944A (zh) * 2018-07-12 2018-11-16 北京理工大学 光学透视式三维近眼显示***及显示方法
WO2020048461A1 (zh) * 2018-09-03 2020-03-12 广东虚拟现实科技有限公司 三维立体显示方法、终端设备及存储介质
CN110874135A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 光学畸变的校正方法、装置、终端设备及存储介质
CN110874135B (zh) * 2018-09-03 2021-12-21 广东虚拟现实科技有限公司 光学畸变的校正方法、装置、终端设备及存储介质
US11380063B2 (en) * 2018-09-03 2022-07-05 Guangdong Virtual Reality Technology Co., Ltd. Three-dimensional distortion display method, terminal device, and storage medium
CN109254406A (zh) * 2018-11-07 2019-01-22 深圳市传智科技有限公司 一种多功能增强现实眼镜
WO2020143546A1 (zh) * 2019-01-07 2020-07-16 京东方科技集团股份有限公司 增强现实***及控制方法
US11402900B2 (en) 2019-01-07 2022-08-02 Beijing Boe Optoelectronics Technology Co., Ltd. Augmented reality system comprising an aircraft and control method therefor
CN112710608A (zh) * 2020-12-16 2021-04-27 深圳晶泰科技有限公司 实验观测方法及***
CN112710608B (zh) * 2020-12-16 2023-06-23 深圳晶泰科技有限公司 实验观测方法及***
CN113542719A (zh) * 2021-06-07 2021-10-22 支付宝(杭州)信息技术有限公司 图像采集设备
CN113542719B (zh) * 2021-06-07 2023-10-03 支付宝(杭州)信息技术有限公司 图像采集设备
CN115774335A (zh) * 2022-11-11 2023-03-10 Oppo广东移动通信有限公司 虚拟图像显示设备

Similar Documents

Publication Publication Date Title
CN106444023A (zh) 一种超大视场角的双目立体显示的透射式增强现实***
JP7316360B2 (ja) 拡張現実のためのシステムおよび方法
US20230141039A1 (en) Immersive displays
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
US9842433B2 (en) Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality
CN104536579B (zh) 交互式三维实景与数字图像高速融合处理***及处理方法
KR101845350B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
CN108983982B (zh) Ar头显设备与终端设备组合***
JP2008033219A (ja) 混合現実環境用のフェイスマウントディスプレイ装置
EP2583131B1 (en) Personal viewing devices
CN106405845A (zh) 一种虚拟现实体验装置
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
KR100917100B1 (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
WO2016051431A1 (ja) 入出力装置、入出力プログラム、および入出力方法
CN104216126A (zh) 一种变焦3d显示技术
CN111213111B (zh) 一种可穿戴式设备及其中的方法
JP6683218B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN117452637A (zh) 头戴式显示器和图像显示方法
CN113409469A (zh) 一种融合现实互动***和方法
KR20040037761A (ko) 양안식 입체 컴퓨터 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication