CN113093389A - 一种基于非视域成像的全息波导显示装置及其方法 - Google Patents

一种基于非视域成像的全息波导显示装置及其方法 Download PDF

Info

Publication number
CN113093389A
CN113093389A CN202110403749.0A CN202110403749A CN113093389A CN 113093389 A CN113093389 A CN 113093389A CN 202110403749 A CN202110403749 A CN 202110403749A CN 113093389 A CN113093389 A CN 113093389A
Authority
CN
China
Prior art keywords
coupling element
image
visual field
diffuse reflection
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110403749.0A
Other languages
English (en)
Inventor
张宇宁
王闯
吴术孔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110403749.0A priority Critical patent/CN113093389A/zh
Publication of CN113093389A publication Critical patent/CN113093389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)

Abstract

以本发明公开了一种基于非视域成像的全息波导显示装置及其方法，包括相机、平板波导、出耦合元件、入耦合元件、微处理器、微显示器、准直透镜、第一数据传输线、第二数据传输线。相机捕获非视域场景中的漫反射信息，输入到微处理器中，将漫反射信息发送到云服务器中计算。微处理器接受云服务器计算结果，将重建后的目标物图像输送到微显示器作为像源，光经过准直透镜准直后，光线平行进入入耦合元件,入耦合元件将光线耦合进入平板波导中，光线在平板波导中发生全反射后到达出耦合元件，将光耦合进入人眼。本发明具有显示结构的小型化，同时补充了一般的全息波导结构在非视域情况下的视觉感知效果，提高虚拟信息和现实信息的耦合度。

Description

一种基于非视域成像的全息波导显示装置及其方法
技术领域
本发明属于非视域成像领域，尤其涉及一种基于非视域成像的全息波导显示装置。
背景技术
非视域成像是近十年来发展的一种新型成像技术，成像设备无法直接观测位于成像设备视域之外的场景，但可以获取非视域场景在某些介质上产生的反射或散射信息，进而通过计算成像对非视域场景进行成像的一种方法。其中，非视域成像方式有两种：主动式和被动式。主动式非视域成像一般利用条纹管相机和飞秒激光器等来探测目标漫反射回来的光子信息来重建隐藏场景，具有分辨率高、精度高的优点，但是价格十分昂贵、采样时间久和***复杂度高，不利于实际应用。被动式非视域成像是用普通相机获取反射回来的光场信息，能够对简单场景进行重建，具有***简单、成像速度快、设备成本低等优点。
全息波导是增强现实(AR)领域的一种实现技术。主要组成包括，微像源、准直透镜、耦合元件和平板介质。其中，微像源发出的光经过准直透镜准直进入耦合元件，入耦合元件将光耦合进入平板介质中，光在平板介质中发生全反射后，经过出耦合元件耦合入人眼。该技术能够将现实信息和像源产生的虚拟信息进行融合，方便使用者进行判断。
目前，非视域成像的信息一般都是显示在PC端或者独立的屏幕上，其整个***体积较大，携带不便，使用场景固定；同时全息波导显示中虚拟信息来源有限，不能完全满足用户需求。
发明内容
本发明目的在于提供一种基于非视域成像的全息波导显示装置及其方法,以解决传统的全息波导显示装置显示信息和虚拟信息的耦合度低和体积与重量重携带不方便的技术问题。
为解决上述技术问题，本发明的具体技术方案如下：
一种基于非视域成像的全息波导显示装置，包括相机、平板波导、出耦合元件、入耦合元件、微处理器、微显示器、准直透镜、第一数据传输线、第二数据传输线；
相机、入耦合元件和出耦合元件位于平板波导上，相机位于入耦合元件和出耦合元件之间；
微处理器、微显示器和准直透镜位于平板波导的正下方；
准直透镜位于微显示器和平板波导之间；
微处理器的一端通过第一数据传输线与相机连接，另一端通过第二数据传输线与微显示器连接；
准直透镜位于微显示器和平板波导之间。
一种基于非视域成像的全息波导显示的方法，包括以下步骤：
步骤1、相机捕获非视域场景中的漫反射信息；
步骤2、捕获到的漫反射信息经过数据传输线输入到微处理器中，微处理器将漫反射信息发送到云服务器中进行计算；
步骤3、微处理器接受云服务器的计算结果，将重建后的目标物图像输送到微显示器作为像源；
步骤4、微显示器发出的光经过准直透镜准直后，光线平行进入入耦合元件,入耦合元件将光线耦合进入平板波导中，光线在平板波导中发生全反射后到达出耦合元件，出耦合元件将光耦合进入人眼，光线传输过程完成后将使微显示器中的图像以虚像的形式呈现在眼前。
进一步的，步骤一中非视域场景包括目标物、中介墙、遮挡物，目标物的信息经过中介墙发生漫反射，相机捕获中介墙上的漫反射信息。
进一步的，漫反射信息为图像的光强度信息。
进一步的，步骤二中计算方法包括以下步骤：
场景图像生成的图像矩阵为(x，y)，漫反射信息为图像矩阵(m，n)，中间的转换矩阵为(m*n，x*y)，三者存在如下关系：
y＝Tf
其中f为场景图像，y为漫反射信息，T为转换矩阵；
若转换矩阵T可逆，重建的图像矩阵用下式求解：
f＝T-1y；
若转换矩阵T不可逆，那么云服务器将转换矩阵T先转换为伪可逆矩阵，并按照下式计算目标物图像信息：
Figure BDA0003021393820000031
进一步的，转换矩阵通过光线追踪、神经网络或者深度学习的方式得到。
本发明的一种基于非视域成像的全息波导显示装置及其方法具有以下优点：通过使用非视域成像的方式，大大提高了显示信息和虚拟信息的耦合度，补足人眼观察不到的信息；作为非视域领域的一种应用装置，其体积和重量大大降低，具有极高的应用价值。
附图说明
图1为本发明的程序流程图；
图2为本发明的非视域场景图；
图3为本发明的基于非视域成像的全息波导显示装置结构示意图；
图中标记说明：10、相机；11、目标物；12、中介墙；13、遮挡物；20、平板波导；21、出耦合元件；22、入耦合元件；23、微处理器；24、微显示器；25、准直透镜；26、第一数据传输线；27、第二数据传输线。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于非视域成像的全息波导显示装置及其方法做进一步详细的描述。
如图一所示为本发明的程序流程图。云服务器需要先对非视域场景进行建模。
如图二所示为非视域场景图，目标物11的信息经过中介墙12发生漫反射，相机10捕获中介墙12上的漫反射信息。
上述漫反射信息为图像的光强度信息。
通过改变目标物11，可以获取多组建模数据，其中相机10获取的漫反射信息和目标物11一一对应。
将获取到的多组实验数据上传到云服务器中进行计算，计算方式可以通过光强跟踪算法、神经网络或者深度学习的方式得出转换矩阵T。
用户在使用时将非视域漫反射信息y上传到云服务器中。其中，如果目标物图像f生成的图像矩阵为(x，y)，漫反射信息y为图像矩阵(m，n)，那么中间的转换矩阵T为(m*n，x*y)，三者存在如下关系：
y＝Tf
如果云服务器计算出来的转换矩阵T为可逆矩阵，那么目标物图像可计算为：
f＝T-1y
如果上述转换矩阵T为不可逆矩阵，那么云服务器将转换矩阵T先转换为伪可逆矩阵
Figure BDA0003021393820000041
并按照下式计算目标物图像信息：
Figure BDA0003021393820000042
求出来的图像矩阵通过处理将图像还原出来，并通过微显示器和全息波导呈现到人眼。
如图三所示为基于非视域成像的全息波导显示装置结构示意图，包括相机10、平板波导20、出耦合元件21、入耦合元件22、微处理器23、微显示器24、准直透镜25、第一数据传输线26、第二数据传输线27；
相机10、入耦合元件21和出耦合元件22位于平板波导20上，相机10位于入耦合元件21和出耦合元件22之间；
微处理器23、微显示器24和准直透镜25位于平板波导20的正下方；
准直透镜25位于微显示器24和平板波导20之间；
微处理器23的一端通过第一数据传输线26与相机10连接，另一端通过第二数据传输线27与微显示器24连接；
准直透镜25位于微显示器24和平板波导20之间。
首先地，相机10捕获非视域场景中的漫反射信息，其中非视域场景如图二所示，必须包含：中介墙12、遮挡物13和目标物11。
捕获到的漫反射信息经过第一数据传输线26输入到微处理器23中，微处理器23将漫反射信息发送到云服务器中进行计算。同时，微处理器23接受云服务器的计算结果，将重建后的目标物图像通过第二数据传输线27输送到微显示器24作为像源。
微显示器24发出的光经过准直透镜25准直后，光线平行进入入耦合元件22,入耦合元件22将光线耦合进入平板波导20中，光线在平板波导20中发生全反射后到达出耦合元件21，出耦合元件21将光耦合进入人眼。所述光线传输过程完成后将使微显示器24中的图像以虚像的形式呈现在眼前，同时人眼还能够看到现实世界的信息，增加视觉感知效果。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。

Claims (6)

1.一种基于非视域成像的全息波导显示装置，其特征在于，包括相机(10)、平板波导(20)、出耦合元件(21)、入耦合元件(22)、微处理器(23)、微显示器(24)、准直透镜(25)、第一数据传输线(26)、第二数据传输线(27)；
所述相机(10)、入耦合元件(21)和出耦合元件(22)位于平板波导(20)上，相机(10)位于入耦合元件(21)和出耦合元件(22)之间；
所述微处理器(23)、微显示器(24)和准直透镜(25)位于平板波导(20)的正下方；
所述准直透镜(25)位于微显示器(24)和平板波导(20)之间；
所述微处理器(23)的一端通过第一数据传输线(26)与相机(10)连接，另一端通过第二数据传输线(27)与微显示器(24)连接；
所述准直透镜(25)位于微显示器(24)和平板波导(20)之间。
2.根据权利要求1所述的一种基于非视域成像的全息波导显示的方法，其特征在于，包括以下步骤：
步骤1、相机(10)捕获非视域场景中的漫反射信息；
步骤2、捕获到的漫反射信息经过数据传输线(26)输入到微处理器(23)中，微处理器(23)将漫反射信息发送到云服务器中进行计算；
步骤3、微处理器(23)接受云服务器的计算结果，将重建后的目标物图像输送到微显示器(24)作为像源；
步骤4、微显示器(24)发出的光经过准直透镜(25)准直后，光线平行进入入耦合元件(22),入耦合元件(22)将光线耦合进入平板波导(20)中，光线在平板波导(20)中发生全反射后到达出耦合元件(21)，出耦合元件(21)将光耦合进入人眼，光线传输过程完成后将使微显示器(24)中的图像以虚像的形式呈现在眼前。
3.根据权利要求2所述的基于非视域成像的全息波导显示的方法，其特征在于，所述步骤一中非视域场景包括目标物(11)、中介墙(12)、遮挡物(13)，目标物(11)的信息经过中介墙(12)发生漫反射，相机(10)捕获中介墙(12)上的漫反射信息。
4.根据权利要求3所述的基于非视域成像的全息波导显示的方法，其特征在于，所述漫反射信息为图像的光强度信息。
5.根据权利要求4所述的基于非视域成像的全息波导显示的方法，其特征在于，所述步骤二中计算方法包括以下步骤：
场景图像生成的图像矩阵为(x，y)，漫反射信息为图像矩阵(m，n)，中间的转换矩阵为(m*n，x*y)，三者存在如下关系：
y＝Tf
其中f为场景图像，y为漫反射信息，T为转换矩阵；
若转换矩阵T可逆，重建的图像矩阵用下式求解：
f＝T-1y；
若转换矩阵T不可逆，那么云服务器将转换矩阵T先转换为伪可逆矩阵，并按照下式计算目标物图像信息：
Figure FDA0003021393810000021
6.根据权利要求5所述的基于非视域成像的全息波导显示的方法，其特征在于，所述转换矩阵通过光线追踪、神经网络或深度学习的方式得到。
CN202110403749.0A 2021-04-15 2021-04-15 一种基于非视域成像的全息波导显示装置及其方法 Pending CN113093389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403749.0A CN113093389A (zh) 2021-04-15 2021-04-15 一种基于非视域成像的全息波导显示装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403749.0A CN113093389A (zh) 2021-04-15 2021-04-15 一种基于非视域成像的全息波导显示装置及其方法

Publications (1)

Publication Number Publication Date
CN113093389A true CN113093389A (zh) 2021-07-09

Family

ID=76677533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403749.0A Pending CN113093389A (zh) 2021-04-15 2021-04-15 一种基于非视域成像的全息波导显示装置及其方法

Country Status (1)

Country Link
CN (1) CN113093389A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108474956A (zh) * 2015-12-29 2018-08-31 微软技术许可有限责任公司 具有可变聚焦的增强现实显示***
CN109891332A (zh) * 2016-11-01 2019-06-14 微软技术许可有限责任公司 用于波导显示的全息投影仪
CN111340929A (zh) * 2020-02-20 2020-06-26 东南大学 一种基于光线跟踪算法的非视域成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108474956A (zh) * 2015-12-29 2018-08-31 微软技术许可有限责任公司 具有可变聚焦的增强现实显示***
CN109891332A (zh) * 2016-11-01 2019-06-14 微软技术许可有限责任公司 用于波导显示的全息投影仪
CN111340929A (zh) * 2020-02-20 2020-06-26 东南大学 一种基于光线跟踪算法的非视域成像方法

Similar Documents

Publication Publication Date Title
US10852821B2 (en) Virtual ray tracing method and dynamic light field refocusing display system
US20130321390A1 (en) Augmented books in a mixed reality environment
JP2017182078A (ja) 小型視線追従型ヘッドマウントディスプレイ
JP2017161914A (ja) 相互遮蔽および不透明度制御能力を有する光学式シースルー型ヘッドマウントディスプレイのための装置
US20140347391A1 (en) Hologram anchoring and dynamic positioning
Mehrubeoglu et al. Real-time eye tracking using a smart camera
WO2016118369A1 (en) Applying real world scale to virtual content
KR101697286B1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
US11274807B2 (en) Integrating point source for texture projecting bulb
CN110546595A (zh) 导航全息图像
US11675192B2 (en) Hybrid coupling diffractive optical element
CN104407440A (zh) 具有视线跟踪功能的全息显示装置
US20200233489A1 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
Ma et al. Augmented reality autostereoscopic 3D display based on sparse reflection array
CN113093389A (zh) 一种基于非视域成像的全息波导显示装置及其方法
Caruso et al. Augmented reality system for the visualization and interaction with 3D digital models in a wide environment
RU54233U1 (ru) Система виртуального окружения
CN207424365U (zh) 一种利用手机双摄像头实现vr拍摄的透镜组结构
Su et al. Holographic communication technology
WO2022024254A1 (ja) 視線追従システム、視線追従方法、及びプログラム
Min et al. Effects of number of elemental images of lens-array based systems on angular resolution
Li et al. Interactive Data Fusion of Neural Radiance Fields for Industrial Facility Inspection in Virtual Reality
CN107544661B (zh) 一种信息处理方法及电子设备
Bibi et al. Low-Cost 3D Holographic Display With Gesture Control
Orlosky Current Directions of HMD Research

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210709