CN111491159A - 一种增强现实的显示***及方法 - Google Patents

一种增强现实的显示***及方法 Download PDF

Info

Publication number
CN111491159A
CN111491159A CN202010477543.8A CN202010477543A CN111491159A CN 111491159 A CN111491159 A CN 111491159A CN 202010477543 A CN202010477543 A CN 202010477543A CN 111491159 A CN111491159 A CN 111491159A
Authority
CN
China
Prior art keywords
virtual
image
processing module
user
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010477543.8A
Other languages
English (en)
Inventor
张元�
钟正杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yujian Guanchi Technology Co.,Ltd.
Original Assignee
Shanghai Hongchen Interactive Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hongchen Interactive Media Co ltd filed Critical Shanghai Hongchen Interactive Media Co ltd
Priority to CN202010477543.8A priority Critical patent/CN111491159A/zh
Publication of CN111491159A publication Critical patent/CN111491159A/zh
Priority to PCT/CN2020/109366 priority patent/WO2021237952A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及增强现实领域，涉及到一种增强现实的显示***及方法。包括：一头显框架；一凹槽；一镜片；一便携式终端；将所述便携式终端放入所述凹槽时，将所述便携式终端的所述第一面朝向所述镜片；所述处理单元具体包括：惯性测量模块；位姿处理模块；图像处理模块，连接所述位姿处理模块，用于根据所述便携式终端的当前位姿生成虚拟可视范围和虚拟画面，将所述虚拟画面通过所述显示单元和所述镜片反射给所述用户查看。上述技术方案的有益效果是：能够快速进行位置定位、生成虚拟画面并进行空间校正。

Description

一种增强现实的显示***及方法
技术领域
本发明涉及增强现实领域，涉及到一种增强现实的显示***及方法。
背景技术
增强现实技术是一种通过对现实世界中的场景和物体进行识别于定位，并实时得将虚拟的三维物体放置于现实场景中。这种技术的目标是将虚拟世界于现实世界融合并进行互动。增强现实主要依赖于两种关键技术：一是三维模型的实时渲染和显示，二是对现实物体形态和位置的感知。
而目前的增强现实设备对位置的感知中通常具有两种方式：
(1)使用手机的三自由陀螺仪进行定位，然而用户无法通过移动的方式靠近或远离虚拟的三维物体；
(2)通过计算手机端的前置摄像头和预设图片之间的相对位置进行定位，然而用户需要图片才可以实现六自由度定位，图片增强现实的技术稳定性不高，而前置摄像头无法直接看到图片，是透过前方透镜看到变形的图片画面，图片必须在前置摄像头的可视范围内才会显示三维模型，这使追踪定位很不稳定，并且用户的移动范围被图片所在位置所局限。
由此可见，目前仍缺少一种能够快速进行位置定位、生成虚拟画面并进行空间校正的显示设备和显示方法。
发明内容
针对上述的现有技术的缺陷，本发明提供一种增强现实显示***，其特征在于，包括：
一头显框架，所述头显框架呈圆环状，用于用户佩戴；
一凹槽，所述凹槽的开口倾斜朝上，所述凹槽的一侧与所述头显框架连接；
一镜片，所述镜片设置在所述凹槽的下方并与所述凹槽的另一侧连接，所述镜片采用半反半透材料制作；
一便携式终端，所述便携式终端具有一设置有显示单元的第一面以及一设置有图像采集单元的第二面，所述第一面与所述第二面背向设置，所述便携式终端还包括一处理单元，用于对所述图像采集单元采集得到的实时图像进行处理并通过所述显示单元进行显示；
所述便携式终端的尺寸适配于所述凹槽的尺寸，在将所述便携式终端放入所述凹槽时，将所述便携式终端的所述第一面朝向所述镜片；
所述处理单元具体包括：
惯性测量模块，用于采集得到实时运动数据并输出；
位姿处理模块，连接所述惯性测量模块，用于根据所述图像采集单元采集到的实时图像和对应时刻的所述实时运动数据确定所述便携式终端的当前位姿；
图像处理模块，连接所述位姿处理模块，用于根据所述便携式终端的当前位姿生成虚拟可视范围和虚拟画面，将所述虚拟画面通过所述显示单元和所述镜片反射给所述用户查看。
优选的，所述图像采集单元通过采集一包括多个特征点的特征点区域得到所述实时图像；
所述处理单元中还包括：
特征点处理模块，所述特征点处理模块分别连接所述图像采集单元和所述位姿处理模块，用于获取所述实时图像中的所述特征点并分析所述特征点区域的位置，根据分析结果将所述特征点输出至所述位姿处理模块；
所述位姿处理模块将所述特征点区域的位置作为参照，并根据对应时刻的所述实时运动数据确定所述便携式终端的当前位姿。
优选的，所述虚拟可视范围包括虚拟角度信息；
所述图像处理模块中包括：
一第一处理部件，与所述位姿处理模块连接，用于根据所述当前位姿，构建以所述图像采集单元为原点的空间直角坐标系，确定所述图像采集单元的空间转动角度，以及所述空间转动角度与所述用户之间的夹角，根据所述空间转动角度和所述夹角生成所述虚拟角度信息并包括在所述虚拟可视范围中输出。
优选的，所述虚拟可视范围包括虚拟位置信息；
所述图像处理模块中包括：
一第二处理部件，与所述位姿处理模块连接，用于根据所述当前位姿，构建以所述图像采集单元为原点的空间直角坐标系，选取所述用户的眉心作为预设参考点，根据所述便携式终端与所述预设参考点之间的偏移量以及所述用户的瞳距生成所述虚拟位置信息并包括在所述虚拟可视范围中输出。
优选的，所述虚拟可视范围包括虚拟视场角信息；
所述图像处理模块中包括：
一第三处理部件，与所述位姿处理模块连接，用于生成预设虚拟画面，并根据所述预设虚拟画面的曲面边缘与所述用户之间的位置差值生成所述虚拟视场角信息并包括在所述虚拟可视范围中输出。
一种增强现实的显示方法，应用于如上述任意一项所述的显示***，其特征在于，于所述显示设备中设置一头显框架、一凹槽、一镜片和一便携式终端；
所述显示方法中包括：
步骤S1，所述图像采集单元采集得到位于所述便携式终端的正上方的平面的实时图像，以及
所述惯性测量模块采集得到实时运动数据；
步骤S2，所述位姿处理模块根据所述实时图像和所述实时运动数据处理得到所述便携式终端的当前位姿；
步骤S3，所述图像处理模块根据所述当前位姿生成虚拟可视范围和虚拟画面，并将所述虚拟画面发送至所述显示单元进行显示；
步骤S4，于所述显示单元上显示的所述虚拟画面通过所述镜片被反射给所述用户查看。
优选的，所述步骤S1中包括：
步骤S11，所述图像采集单元通过采集一包括多个特征点的特征点区域得到所述实时图像；
步骤S12，所述图像采集单元获取所述实时图像中的特征点并分析所述特征点区域的位置是否满足视角需求：
若是，则转至步骤S2；
若否，则转至步骤S13；
步骤S13，所述图像采集单元生成一用于指示所述特征点过少的提示指令并反馈给所述用户，随后返回所述步骤S11。
优选的，所述步骤S2中所述图像处理模块通过vSLAM算法确定所述当前位姿。
优选的，所述虚拟可视范围中包括虚拟角度信息；
所述步骤S3中包括生成所述虚拟角度信息的第一过程；
所述第一过程中包括：
步骤S31A，所述图像处理模块根据所述当前位姿构建以所述图像采集单元为原点的空间直角坐标系，并确定所述图像采集单元在所述空间直角坐标系下的空间转动角度；
步骤S32A，获取所述图像采集单元与所述用户之间的夹角；
步骤S33A，根据所述空间转动角度和所述夹角生成所述虚拟角度信息。
优选的，所述虚拟角度信息采用下述公式表述：
θ＝(θX,θY-α,θZ)
其中，
θ用于表述所述虚拟角度信息；
θX用于表示所述空间转动角度中的俯仰角；
θY用于表示所述空间转动角度中的偏航角；
α用于表示所述夹角；
θZ用于表示所述空间转动角度中的翻滚角。
优选的，所述虚拟可视范围中包括虚拟位置信息；
所述步骤S3中包括生成所述虚拟位置信息的第二过程；
所述第二过程中包括：
步骤S31B，所述图像处理模块根据所述当前位姿构建以所述图像采集单元为原点的空间直角坐标系，并选取所述用户的眉心作为预设参考点，根据所述图像采集单元与所述预设参考点之间的偏移量，生成第一位置信息；
步骤S32B，所述图像处理模块根据所述用户的瞳距对所述第一位置信息调节，生成第二位置信息，并将所述第二位置信息作为所述虚拟位置信息输出。
优选的，所述第一位置信息采用下述公式表述：
χ′＝(-BX,-BY,-BZ)
其中，
χ′用于表述所述第一位置信息；
BX用于表示所述偏移量在X轴上的投影；
BY用于表示所述偏移量在Y轴上的投影；
BZ用于表示所述偏移量在Z轴上的投影。
优选的，所述第二位置信息包括左眼位置信息和右眼位置信息；
所述第二位置信息采用下述公式表述：
Figure BDA0002516314690000061
其中，
χ″1用于表述所述左眼位置信息；
χ″2用于表述所述右眼位置信息；
BX用于表示所述偏移量在X轴上的投影；
BY用于表示所述偏移量在Y轴上的投影；
I用于表示所述用户的所述瞳距；
BZ用于表示所述偏移量在Z轴上的投影。
优选的，所述虚拟可视范围中包括虚拟视场角信息；
所述步骤S3中包括生成所述虚拟视场角信息的第三过程；
所述第三过程中包括：
步骤S31C，所述图像处理模块生成一预设虚拟画面并显示在所述镜片上；
步骤S32C，所述图像处理模块计算所述预设虚拟画面的曲面边缘与所述用户之间的位置差值；
步骤S33C，所述图像处理模块根据所述位置差值确定所述虚拟视场角信息。
上述技术方案的有益效果是：能够快速进行位置定位、生成虚拟画面并进行空间校正。
附图说明
图1为本发明的一种较优实施例中的结构示意图；
图2为本发明的一种较优实施例中的便携式终端摆放前示意图；
图3为本发明的一种较优实施例中的便携式终端摆放后示意图；
图4为本发明的一种较优实施例中的总流程示意图；
图5为本发明的一种较优实施例中的步骤S1流程示意图；
图6为本发明的一种较优实施例中的第一过程的流程示意图；
图7为本发明的一种较优实施例中的第二过程的流程示意图；
图8为本发明的一种较优实施例中的第三过程的流程示意图；
图9为本发明的一种较优实施例中的第三过程的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
一种增强现实显示***，如图1-图3所示，包括：
一头显框架1，头显框架1呈圆环状，用于用户佩戴；
一凹槽2，凹槽2的开口倾斜朝上，凹槽2的一侧与头显框架1连接；
一镜片3，镜片3设置在凹槽2的下方并与凹槽2的另一侧连接，镜片3采用半反半透材料制作；
一便携式终端4，便携式终端4具有一设置有显示单元的第一面以及一设置有图像采集单元41的第二面，第一面与第二面背向设置，便携式终端4还包括一处理单元，用于对图像采集单元41采集得到的实时图像进行处理并通过显示单元进行显示；
便携式终端4的尺寸适配于凹槽2的尺寸，在将便携式终端4放入凹槽2时，将便携式终端4的第一面朝向镜片3；
处理单元具体包括：
惯性测量模块，用于采集得到实时运动数据并输出；
位姿处理模块，连接惯性测量模块，用于根据图像采集单元41采集到的实时图像和对应时刻的实时运动数据确定便携式终端4的当前位姿；
图像处理模块，连接位姿处理模块，用于根据便携式终端4的当前位姿生成虚拟可视范围和虚拟画面，将虚拟画面通过显示单元和镜片3反射给用户查看。
具体地，现有技术中的显示装置常将处理单元设置至在显示设备中进行数据交互，利用手机的三自由陀螺仪或者预设图片进行定位，导致用户无法通过移动的方式靠近或远离虚拟的三维物体并且追踪定位很不稳定，并且用户的移动范围被图片所在位置所局限。
本技术方案提供一增强现实的显示***，便携式终端4与头显框架1、凹槽2和镜片3之间不进行任何数据交互，便携式终端4通过图像采集单元41采集实时图像、惯性测量模块采集实时运动数据，随后通过位姿处理模块和图像处理模块确定当前位姿、并根据当前位姿生成虚拟可视范围和虚拟画面，最后再将虚拟画面通过显示单元和镜片3，反射至用户，用户通过镜片3上观察到虚拟画面和现实环境，实现虚拟画面和现实环境之间叠加融合，达到增强现实的目的。于此处可选用手机作为便携式终端4，以便于实现快速采集实时图像和实时运动数据、生成虚拟可视范围和虚拟画面。
进一步地，图像处理单元在生成虚拟可视范围的过程中，需要获取便携式终端4的当前位姿并构建空间直角坐标系，以用户的现实可视范围确定虚拟可视范围，以生成适当的虚拟画面并显示到镜片3上。
进一步地，便携式终端4放入凹槽2时，将便携式终端4的第一面朝向镜片3，并且凹槽2中与便携式终端4的第一面贴合的区域可选用镂空设计，也可选用透光材料制作等，以将虚拟画面显示在镜片3上，便于用户查看。
进一步地，可于凹槽的一侧上设置一挂钩21配套固定装置，如固定绳等，辅助固定便携式终端4，以避免用户使用过程中可能会因姿态变动导致便携式终端4的位置和角度的改变。
本发明的一种较优实施例中，图像采集单元41通过采集一包括多个特征点的特征点区域得到实时图像；
处理单元中还包括：
特征点处理模块，特征点处理模块分别连接图像采集单元41和位姿处理模块，用于获取实时图像中的特征点并分析特征点区域的位置，根据分析结果将特征点输出至位姿处理模块；
位姿处理模块将特征点区域的位置作为参照，并根据对应时刻的实时运动数据确定便携式终端4的当前位姿。
具体的，图像采集单元41采集实时图像并将实时图像输出至图像处理单元，图像处理单元提取图像中的特征点并对特征点对应的区域进行分析，根据分析结果生成指示指令，使图像采集单元41采集到更多具有空间辨识度的特征点，从而最终确定虚拟画面的对应区域。
本发明的一种较优实施例中，虚拟可视范围包括虚拟角度信息；
图像处理模块中包括：
一第一处理部件，与位姿处理模块连接，用于根据当前位姿，构建以图像采集单元41为原点的空间直角坐标系，确定图像采集单元41的空间转动角度，以及空间转动角度与用户之间的夹角，根据空间转动角度和夹角生成虚拟角度信息并包括在虚拟可视范围中输出。
本发明的一种较优实施例中，虚拟可视范围包括虚拟位置信息；
图像处理模块中包括：
一第二处理部件，与位姿处理模块连接，用于根据当前位姿，构建以图像采集单元41为原点的空间直角坐标系，选取用户的眉心作为预设参考点，根据便携式终端4与预设参考点之间的偏移量以及用户的瞳距生成虚拟位置信息并包括在虚拟可视范围中输出。
本发明的一种较优实施例中，虚拟可视范围包括虚拟视场角信息；
图像处理模块中包括：
一第三处理部件，与位姿处理模块连接，用于生成预设虚拟画面，并根据预设虚拟画面的曲面边缘与用户之间的位置差值生成虚拟视场角信息并包括在虚拟可视范围中输出。
一种增强现实的显示方法，应用于如上述中任意一项的显示***，如图4所示，于显示设备中设置一头显框架1、一凹槽2、一镜片3和一便携式终端4；
显示方法中包括：
步骤S1，图像采集单元41采集得到位于便携式终端4的正上方的平面的实时图像，以及
惯性测量模块采集得到实时运动数据；
步骤S2，位姿处理模块根据实时图像和实时运动数据处理得到便携式终端4的当前位姿；
步骤S3，图像处理模块根据当前位姿生成虚拟可视范围和虚拟画面，并将虚拟画面发送至显示单元进行显示；
步骤S4，于显示单元上显示的虚拟画面通过镜片3被反射给用户查看。
具体地，为实现虚拟画面与现实画面的融合，提供一种增强现实的显示方法。于步骤S1-步骤S2中，用户佩戴头显框架1，用户的眼睛正视显示设备的镜片3，便携式终端4的图像采集单元41朝向上方，采集便携式终端4上方的实时图像，惯性测量模块测量便携式终端4的实时运动数据，最终确定便携式终端4的当前位姿。
增强现实需要将虚拟画面呈现在镜片3上，以实现虚拟画面与用户透过镜片3看到的现实图像之间的叠加融合，因此图像处理模块要确保最后生成的虚拟画面能够准确入射至用户的眼睛。由此于步骤S3中，根据便携式终端4的当前位姿确定用户的现实可视范围和虚拟可视范围。此处的现实可视范围是指用户的人眼透过镜片3观察到前方现实环境的视线范围，而虚拟可视范围则是指图像处理模块在生成虚拟画面过程中，于虚拟空间中模拟的虚拟人眼对应的视线范围。随后利用虚拟可视范围能够生成合适的虚拟画面。在生成虚拟画面时根据现实可视范围确定虚拟可视范围。
此处的虚拟可视范围包括虚拟位置信息、虚拟角度信息和虚拟视场角信息。当虚拟可视范围中的虚拟位置信息、虚拟角度信息和虚拟视场角信息与显示可视范围中的现实位置信息、现实角度信息和现实视场角信息一一对应，则能确保虚拟空间中的虚拟人眼与现实环境中的用户人眼重合，虚拟可视范围与用户的现实可视范围对应，使虚拟画面反射至镜片3后，能与现实环境一起反射至用户眼中，让用户观察到的虚拟画面更符合理想效果。
本发明的一种较优实施例中，如图5所示，步骤S1中包括：
步骤S11，图像采集单元41通过采集一包括多个特征点的特征点区域得到实时图像；
步骤S12，图像采集单元41获取实时图像中的特征点并分析特征点区域的位置是否满足视角需求：
若是，则转至步骤S2；
若否，则转至步骤S13；
步骤S13，图像采集单元41生成一用于指示特征点过少的提示指令并反馈给用户，随后返回步骤S11。
具体地，在用户佩戴头显框架1后，便携式终端4中的预设程序会引导用户在空间内走动，相应的图像采集单元41启动并采集上方图像，提取实时图像中的特征点并分析特征点覆盖的对应区域、特征点的鲁棒性等参数是否满足视角需求，若是则转至步骤S2，若否，则生成引导指令，引导用户改变当前位置、行进走向和视线方向，以填补采集的图像中对应的特征点较少的区域，最终确定虚拟画面在现实场景中的具***置。
进一步地，为控制虚拟画面的具***置信息，也可通过一外部特征点装置预设特征点。特征点装置中包括一发射单元和一扩散单元，扩散单元设置在发射单元的上方，扩散单元中可选取一透明圆盘并于透明圆盘上添加多个特征点，发射单元可选取一激光发射装置，将扩散单元的特征点投射至显示设备所在的空间上方，图像处理模块随后根据图像采集单元41采集的上方图像进行特征点分析。
本发明的一种较优实施例中，步骤S2中图像处理模块通过vSLAM算法确定当前位姿。
本发明的一种较优实施例中，虚拟可视范围中包括虚拟角度信息；
步骤S3中包括生成虚拟角度信息的第一过程；
第一过程中，如图6所示，包括：
步骤S31A，图像处理模块根据当前位姿构建以图像采集单元41为原点的空间直角坐标系，并确定图像采集单元41在空间直角坐标系下的空间转动角度；
步骤S32A，获取图像采集单元41与用户之间的夹角；
步骤S33A，根据空间转动角度和夹角生成虚拟角度信息。
本发明的一种较优实施例中，虚拟角度信息采用下述公式表述：
θ＝(θX,θY-α,θZ) (1)
其中，
θ用于表述虚拟角度信息；
θX用于表示空间转动角度中的俯仰角；
θY用于表示空间转动角度中的偏航角；
α用于表示夹角；
θZ用于表示空间转动角度中的翻滚角。
本发明的一种较优实施例中，虚拟可视范围中包括虚拟位置信息；
步骤S3中包括生成虚拟位置信息的第二过程；
第二过程中，如图7所示，包括：
步骤S31B，图像处理模块根据当前位姿构建以图像采集单元41为原点的空间直角坐标系，并选取用户的眉心作为预设参考点，根据图像采集单元41与预设参考点之间的偏移量，生成第一位置信息；
步骤S32B，图像处理模块根据用户的瞳距对第一位置信息调节，生成第二位置信息，并将第二位置信息作为虚拟位置信息输出。
具体地，当用户上下转动头部时，图像采集单元41的翻滚角也随之变化，上下转动的角度与翻滚角对应，当用户前后转动头部时，图像采集单元41的俯仰角也随之变化，前后转动的角度与俯仰角对应，而当用户左右转动头部时，图像采集单元41以当前位置进行环形旋转，左右转动的角度与偏航角之间具有偏差。
因此以此时的图像采集单元41为原点构建空间坐标系，确定图像采集单元41在空间坐标系下的空间转动角度，此处使用欧拉角进行表示为(θX,θY,θZ)，随后通过公式(1)计算得到图像采集单元41与用户视线在y轴上的夹角α，由此确定虚拟可视范围中的虚拟角度信息θ，并根据虚拟角度信息，以确保虚拟空间中的虚拟人眼的角度信息与现实环境中的用户人眼的角度信息重合，虚拟可视范围与用户的现实可视范围对应，以此实现虚拟画面与现实场景的叠加融合。
本发明的一种较优实施例中，第一位置信息采用下述公式表述：
χ′＝(-BX,-BY,-BZ) (2)
其中，
χ′用于表述第一位置信息；
BX用于表示偏移量在X轴上的投影；
BY用于表示偏移量在Y轴上的投影；
BZ用于表示偏移量在Z轴上的投影。
本发明的一种较优实施例中，第二位置信息包括左眼位置信息和右眼位置信息；
第二位置信息采用下述公式表述：
Figure BDA0002516314690000161
其中，
χ″1用于表述左眼位置信息；
χ″2用于表述右眼位置信息；
BX用于表示偏移量在X轴上的投影；
BY用于表示偏移量在Y轴上的投影；
I用于表示用户的瞳距；
BZ用于表示偏移量在Z轴上的投影。
具体地，现有技术中常采用vSLAM算法将图像采集单元41采集的图像与传感器采集的数据进行融合计算出设备的六自由度信息，确定的虚拟可视范围中的位置信息为图像采集单元41的当前位置。由于现实环境中的用户眼睛与图像采集单元41的位置信息的偏差较大，因此当用户佩戴显示设备观察虚拟画面的过程中会出现明显的画面错位。
由此于步骤S3中设置一确定虚拟位置信息的第二过程，考虑到用户在使用头显框架1的过程中，镜片3与眉心之间的距离差、眉心与左右眼之间的距离差基本不变，因此选取眉心作为参考点，于步骤S31B中首先确定图像采集单元41在空间直角坐标系中的位置信息为(0,0,0)，随后获取图像采集单元41与眉心位置之间的相对位置，由此确定第一位置信息，也就是眉心位置在空间直角坐标系中的位置信息(-BX,BY,BZ)，此时可视作生成的虚拟人眼的位置自图像采集单元41转至眉心，随后于步骤S32B中获取现实用户的双眼瞳距I，随后对第一位置信息调节生成第二位置信息，也就是左右眼在空间直角坐标系中的位置信息(-BX,-BY-I/2,-BZ)和(-BX,-BY+I/2,-BZ),以确保虚拟空间中的虚拟人眼的位置信息与现实环境中的用户人眼的位置信息重合，虚拟可视范围与用户的现实可视范围对应，以此实现虚拟画面与现实场景的叠加融合。
本发明的一种较优实施例中，虚拟可视范围中包括虚拟视场角信息；
步骤S3中包括生成虚拟视场角信息的第三过程；
第三过程中，如图8所示，包括：
步骤S31C，图像处理模块生成一预设虚拟画面并显示在镜片3上；
步骤S32C，图像处理模块计算预设虚拟画面的曲面边缘与用户之间的位置差值；
步骤S33C，图像处理模块根据位置差值确定虚拟视场角信息。
具体地，如图9所示，在确定虚拟视场角信息的过程中，便携式终端4通过显示单元在镜片3上形成预设虚拟画面，分别计算预设虚拟画面的曲面边缘到对应的用户人眼的距离，最终确定虚拟视场角信息。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (14)

1.一种增强现实显示***，其特征在于，包括：
一头显框架，所述头显框架呈圆环状，用于用户佩戴；
一凹槽，所述凹槽的开口倾斜朝上，所述凹槽的一侧与所述头显框架连接；
一镜片，所述镜片设置在所述凹槽的下方并与所述凹槽的另一侧连接，所述镜片采用半反半透材料制作；
一便携式终端，所述便携式终端具有一设置有显示单元的第一面以及一设置有图像采集单元的第二面，所述第一面与所述第二面背向设置，所述便携式终端还包括一处理单元，用于对所述图像采集单元采集得到的实时图像进行处理并通过所述显示单元进行显示；
所述便携式终端的尺寸适配于所述凹槽的尺寸，在将所述便携式终端放入所述凹槽时，将所述便携式终端的所述第一面朝向所述镜片；
所述处理单元具体包括：
惯性测量模块，用于采集得到实时运动数据并输出；
位姿处理模块，连接所述惯性测量模块，用于根据所述图像采集单元采集到的实时图像和对应时刻的所述实时运动数据确定所述便携式终端的当前位姿；
图像处理模块，连接所述位姿处理模块，用于根据所述便携式终端的当前位姿生成虚拟可视范围和虚拟画面，将所述虚拟画面通过所述显示单元和所述镜片反射给所述用户查看。
2.根据权利要求1中的所述的一种增强现实显示***，其特征在于，所述实时图像包括特征点；
所述处理单元中还包括：
特征点处理模块，所述特征点处理模块分别连接所述图像采集单元和所述位姿处理模块，用于获取所述实时图像中的所述特征点并分析所述特征点对应的区域，根据分析结果将所述特征点输出至所述位姿处理模块；
所述位姿处理模块根据所述特征点对应的所述区域和对应时刻的所述实时运动数据确定所述便携式终端的当前位姿。
3.根据权利要求1中的所述的一种增强现实显示***，其特征在于，所述虚拟可视范围包括虚拟角度信息；
所述图像处理模块中包括：
一第一处理部件，与所述位姿处理模块连接，用于根据所述当前位姿，构建以所述图像采集单元为原心的空间直角坐标系，确定所述图像采集单元的空间转动角度，以及所述空间转动角度与所述用户之间的夹角，并根据所述空间转动角度和所述夹角生成所述虚拟角度信息；
一图像生成部件，与所述第一处理部件连接，用于根据所述虚拟角度信息生成所述虚拟图像，并将所述虚拟画面输出至所述显示单元，通过所述显示单元和所述镜片反射给所述用户查看。
4.根据权利要求1中的所述的一种增强现实显示***，其特征在于，所述虚拟可视范围包括虚拟位置信息；
所述图像处理模块中包括：
一第二处理部件，与所述位姿处理模块连接，用于根据所述当前位姿，构建以所述图像采集单元为原心的空间直角坐标系，选取所述用户的眉心作为预设参考点，根据所述便携式终端与所述预设参考点之间的偏移量以及所述用户的瞳距生成所述虚拟位置信息；
一图像生成部件，与所述第二处理部件连接，用于根据所述虚拟位置信息生成所述虚拟图像，并将所述虚拟画面输出至所述显示单元，通过所述显示单元和所述镜片反射给所述用户查看。
5.根据权利要求1中的所述的一种增强现实显示***，其特征在于，所述虚拟可视范围包括虚拟视场角信息；
所述图像处理模块中包括：
一第三处理部件，与所述位姿处理模块连接，用于生成预设虚拟画面，并根据所述预设虚拟画面的曲面边缘与所述用户之间的位置差值生成所述虚拟视场角信息；
一图像生成部件，与所述第三处理部件连接，用于根据所述虚拟视场角信息生成所述虚拟图像，并将所述虚拟画面输出至所述显示单元，通过所述显示单元和所述镜片反射给所述用户查看。
6.一种增强现实的显示方法，应用于如权利要求1-5中任意一项所述的显示***，其特征在于，于所述显示设备中设置一头显框架、一凹槽、一镜片和一便携式终端；
所述显示方法中包括：
步骤S1，所述图像采集单元采集得到位于所述便携式终端的正上方的平面的实时图像，以及
所述惯性测量模块采集得到实时运动数据；
步骤S2，所述位姿处理模块根据所述实时图像和所述实时运动数据处理得到所述便携式终端的当前位姿；
步骤S3，所述图像处理模块根据所述当前位姿生成虚拟可视范围和虚拟画面，并将所述虚拟画面发送至所述显示单元进行显示；
步骤S4，于所述显示单元上显示的所述虚拟画面通过所述镜片被反射给所述用户查看。
7.根据权利要求6所述的一种显示方法，其特征在于，所述步骤S1中包括：
步骤S11，所述图像采集单元通过采集一包括多个特征点的特征点区域得到所述实时图像；
步骤S12，所述图像采集单元提取所述实时图像中的特征点并分析所述特征点对应的区域是否满足视角需求：
若是，则转至步骤S2；
若否，则转至步骤S13；
步骤S13，所述图像采集单元生成一用于指示所述特征点过少的提示指令并反馈给所述用户，随后返回所述步骤S11。
8.根据权利要求6所述的一种显示方法，其特征在于，所述步骤S2中所述图像处理模块通过vSLAM算法确定所述当前位姿。
9.根据权利要求6所述的一种显示方法，其特征在于，所述虚拟可视范围中包括虚拟角度信息；
所述步骤S3中包括生成所述虚拟角度信息的第一过程；
所述第一过程中包括：
步骤S31A，所述图像处理模块根据所述当前位姿构建以所述图像采集单元为原心的空间直角坐标系，并确定所述图像采集单元在所述空间直角坐标系下的空间转动角度；
步骤S32A，获取所述图像采集单元与所述用户之间的夹角；
步骤S33A，根据所述空间转动角度和所述夹角生成所述虚拟角度信息。
10.根据权利要求9所述的一种显示方法，其特征在于，所述虚拟角度信息采用下述公式表述：
θ＝(θX,θY-α,θZ)
其中，
θ用于表述所述虚拟角度信息；
θX用于表示所述空间转动角度中的俯仰角；
θY用于表示所述空间转动角度中的偏航角；
α用于表示所述夹角；
θZ用于表示所述空间转动角度中的翻滚角。
11.根据权利要求6所述的一种显示方法，其特征在于，所述虚拟可视范围中包括虚拟位置信息；
所述步骤S3中包括生成所述虚拟位置信息的第二过程；
所述第二过程中包括：
步骤S31B，所述图像处理模块根据所述当前位姿构建以所述图像采集单元为原心的空间直角坐标系，并选取所述用户的眉心作为预设参考点，根据所述图像采集单元与所述预设参考点之间的偏移量，生成第一位置信息；
步骤S32B，所述图像处理模块根据所述用户的瞳距对所述第一位置信息调节，生成第二位置信息，并将所述第二位置信息作为所述虚拟位置信息输出。
12.根据权利要求11所述的一种显示方法，其特征在于，所述第一位置信息采用下述公式表述：
χ′＝(-BX,-BY,-BZ)
其中，
χ′用于表述所述第一位置信息；
BX用于表示所述偏移量在X轴上的投影；
BY用于表示所述偏移量在Y轴上的投影；
BZ用于表示所述偏移量在Z轴上的投影。
13.根据权利要求11所述的一种显示方法，其特征在于，所述第二位置信息包括左眼位置信息和右眼位置信息；
所述第二位置信息采用下述公式表述：
Figure FDA0002516314680000061
其中，
χ″1用于表述所述左眼位置信息；
χ″2用于表述所述右眼位置信息；
BX用于表示所述偏移量在X轴上的投影；
BY用于表示所述偏移量在Y轴上的投影；
I用于表示所述用户的所述瞳距；
BZ用于表示所述偏移量在Z轴上的投影。
14.根据权利要求6所述的一种显示方法，其特征在于，所述虚拟可视范围中包括虚拟视场角信息；
所述步骤S3中包括生成所述虚拟视场角信息的第三过程；
所述第三过程中包括：
步骤S31C，所述图像处理模块生成一预设虚拟画面并显示在所述镜片上；
步骤S32C，所述图像处理模块计算所述预设虚拟画面的曲面边缘与所述用户之间的位置差值；
步骤S33C，所述图像处理模块根据所述位置差值确定所述虚拟视场角信息。
CN202010477543.8A 2020-05-29 2020-05-29 一种增强现实的显示***及方法 Pending CN111491159A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010477543.8A CN111491159A (zh) 2020-05-29 2020-05-29 一种增强现实的显示***及方法
PCT/CN2020/109366 WO2021237952A1 (zh) 2020-05-29 2020-08-14 一种增强现实的显示***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477543.8A CN111491159A (zh) 2020-05-29 2020-05-29 一种增强现实的显示***及方法

Publications (1)

Publication Number Publication Date
CN111491159A true CN111491159A (zh) 2020-08-04

Family

ID=71813746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477543.8A Pending CN111491159A (zh) 2020-05-29 2020-05-29 一种增强现实的显示***及方法

Country Status (1)

Country Link
CN (1) CN111491159A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实***注视渲染方法、***
WO2021237952A1 (zh) * 2020-05-29 2021-12-02 上海鸿臣互动传媒有限公司 一种增强现实的显示***及方法
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237952A1 (zh) * 2020-05-29 2021-12-02 上海鸿臣互动传媒有限公司 一种增强现实的显示***及方法
CN114578954A (zh) * 2020-11-28 2022-06-03 上海光之里科技有限公司 一种增强现实显示装置及其显示控制方法
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实***注视渲染方法、***
US11715176B2 (en) 2021-03-30 2023-08-01 Qingdao Pico Technology Co, Ltd. Foveated rendering method and system of virtual reality system based on monocular eyeball tracking

Similar Documents

Publication Publication Date Title
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
JP5739674B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6177872B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN111491159A (zh) 一种增强现实的显示***及方法
JP6250024B2 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
JP6294054B2 (ja) 映像表示装置、映像提示方法及びプログラム
JP4580678B2 (ja) 注視点位置表示装置
WO2021237952A1 (zh) 一种增强现实的显示***及方法
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN110968182A (zh) 定位追踪方法、装置及其穿戴式设备
JP6446465B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN111047713A (zh) 一种基于多目视觉定位的增强现实交互***
CN212012916U (zh) 一种增强现实的显示设备
JP6479835B2 (ja) 入出力装置、入出力プログラム、および入出力方法
JP6608208B2 (ja) 画像表示装置
JP6479836B2 (ja) 入出力装置、入出力プログラム、および入出力方法
CN116797643A (zh) 获取vr中用户注视区域的方法、存储介质及电子设备
JP2017111721A (ja) クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211220

Address after: Room 211, No. 7, Lane 658, Jinzhong Road, Changning District, Shanghai 200050

Applicant after: Shanghai guanchi spotlight Digital Technology Co.,Ltd.

Address before: 201815 room j1468, 3 / F, building 8, 55 Huiyuan Road, Jiading District, Shanghai

Applicant before: SHANGHAI HONGCHEN INTERACTIVE MEDIA Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240429

Address after: Room 108, Building A, No. 48, Lane 1088, Yuyuan Road, Changning District, Shanghai, 200050

Applicant after: Shanghai Yujian Guanchi Technology Co.,Ltd.

Country or region after: China

Address before: Room 211, No. 7, Lane 658, Jinzhong Road, Changning District, Shanghai 200050

Applicant before: Shanghai guanchi spotlight Digital Technology Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right