CN114119772A - 头戴显示设备的标定方法、装置、设备、***及存储介质 - Google Patents

头戴显示设备的标定方法、装置、设备、***及存储介质 Download PDF

Info

Publication number
CN114119772A
CN114119772A CN202111434450.8A CN202111434450A CN114119772A CN 114119772 A CN114119772 A CN 114119772A CN 202111434450 A CN202111434450 A CN 202111434450A CN 114119772 A CN114119772 A CN 114119772A
Authority
CN
China
Prior art keywords
calibration
image
head
mounted display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111434450.8A
Other languages
English (en)
Inventor
郁昌贺
申志兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202111434450.8A priority Critical patent/CN114119772A/zh
Priority to PCT/CN2021/135587 priority patent/WO2023092638A1/zh
Publication of CN114119772A publication Critical patent/CN114119772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种头戴显示设备的标定方法、装置、设备、***及计算机可读存储介质，该方法包括：获取目标标定图卡图像对应的3D点坐标；其中，目标标定图卡图像包括标定图卡的图像，目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上标定图卡的预设图像与实际的标定图卡重合时定位部件拍摄的图像；根据3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系；根据对应关系，对头戴显示设备的显示内容进行校准；本发明通过根据获取的目标标定图卡图像对应的3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系，简化了校准数据采集过程，只需要一次对齐便可完成标定校准，节省了标定校准时间。

Description

头戴显示设备的标定方法、装置、设备、***及存储介质
技术领域
本发明涉及头戴显示设备技术领域，特别涉及一种头戴显示设备的标定方法、装置、设备、***及计算机可读存储介质。
背景技术
目前，如AR(Augmented Reality，增强现实)设备和MR(Mix Reality，混合现实)设备等的透射投影式的头戴显示设备可以生成一个虚实结合的环境，在这个环境中，计算机生成的各种信息被用于增强或补充用户所在的真实环境，这些信息可以是标记和3D渲染模型，也可以是对真实环境中的颜色或阴影的改动。与虚拟现实(Virtual Reality，VR)技术相比，如增强现实技术的透射投影式头戴显示设备能够把计算机带入到用户的“世界”中，而不是把用户沉浸到计算机的世界中。它允许用户在与实际对象交互的过程中，从计算机接收到关于这些对象的各种辅助信息。
透射投影式的头戴显示设备的关键技术之一是精确定位问题，当用户改变观察视点时，虚拟对象必须与真实对象的运动方向与位置保持一致，这样才能使用户感觉到虚拟对象融入到真实环境中。想要精确的将虚拟对象叠加显示在真实的物体上，真实物体和虚拟物体在某一世界坐标系中的位置和方向必须是已知的，真实的和计算机生成的对象必须精确定位，设备的属性必须精确指定。
现有技术中，透射投影式的头戴显示设备的传统校准方法中需要反复移动头戴显示设备反复对齐进行采集数据的繁琐流程，标定校准的时间过长，不适合大规模量产使用。因此，如何简化透射投影式的头戴显示设备的校准过程，节省标定校准的时间，是现今急需解决的问题。
发明内容
本发明的目的是提供一种头戴显示设备的标定方法、装置、设备、***及计算机可读存储介质，以简化透射投影式的头戴显示设备的校准过程，节省标定校准的时间。
为解决上述技术问题，本发明提供一种头戴显示设备的标定方法，包括：
获取目标标定图卡图像对应的3D点坐标；其中，所述目标标定图卡图像包括标定图卡的图像，所述目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上所述标定图卡的预设图像与实际的所述标定图卡重合时定位部件拍摄的图像；
根据所述3D点坐标，确定所述光机的投影坐标系与所述定位部件的坐标系的对应关系；
根据所述对应关系，对所述头戴显示设备的显示内容进行校准。
可选的，所述获取目标标定图卡图像对应的3D点坐标之前，还包括：
控制主机控制所述佩戴者视角下的摄像头拍摄所述透视显示器的投影图像；
判断所述投影图像中所述透视显示器显示的所述预设图像是否与实际的所述标定图卡重合；
若是，则执行所述获取目标标定图卡图像对应的3D点坐标的步骤。
可选的，所述控制主机控制所述佩戴者视角下的摄像头拍摄所述透视显示器的投影图像之后，还包括：
若未与实际的所述标定图卡重合，则根据所述投影图像，控制所述标定图卡的移动设备，移动所述标定图卡的位置。
可选的，所述获取目标标定图卡图像对应的3D点坐标，包括：
所述头戴显示设备根据获取的标定图卡对准指令，利用所述目标标定图卡图像中的标定图案，确定所述3D点坐标。
可选的，所述对应关系为3*4投影矩阵时，所述根据所述3D点坐标，确定所述光机的投影坐标系与所述定位部件的坐标系的对应关系，包括：
根据所述3D点坐标，通过奇异值分解计算所述3*4投影矩阵。
本发明提供了一种头戴显示设备的标定装置，包括：
获取模块，用于获取目标标定图卡图像对应的3D点坐标；其中，所述目标标定图卡图像包括标定图卡的图像，所述目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上所述标定图卡的预设图像与实际的所述标定图卡重合时定位部件拍摄的图像；
确定模块，用于根据所述3D点坐标，确定所述光机的投影坐标系与所述定位部件的坐标系的对应关系；
校准模块，用于根据所述对应关系，对所述头戴显示设备的显示内容进行校准。
本发明提供了一种头戴显示设备的标定设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的头戴显示设备的标定方法的步骤。
本发明提供了一种头戴显示设备的标定***，包括：头戴显示设备和控制主机；其中，所述控制主机为如上述所述的头戴显示设备的标定设备。
可选的，该***还包括：
摄像头，用于拍摄所述头戴显示设备的佩戴者视角下所述头戴显示设备的透视显示器的投影图像；
移动设备，用于根据所述控制主机的控制，移动标定图卡的位置。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的头戴显示设备的标定方法的步骤。
本发明所提供的一种头戴显示设备的标定方法，包括：获取目标标定图卡图像对应的3D点坐标；其中，目标标定图卡图像包括标定图卡的图像，目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上标定图卡的预设图像与实际的标定图卡重合时定位部件拍摄的图像；根据3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系；根据对应关系，对头戴显示设备的显示内容进行校准；
可见，本发明通过根据获取的目标标定图卡图像对应的3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系，简化了校准数据采集过程，只需要一次对齐便可完成标定校准，节省了标定校准时间，适合大规模量产使用。此外，本发明还提供了一种头戴显示设备的标定装置、设备、***及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种头戴显示设备的标定方法的流程图；
图2为本发明实施例所提供的另一种头戴显示设备的标定方法的原理示意图；
图3为本发明实施例所提供的一种头戴显示设备的标定***的示意图；
图4为本发明实施例所提供的一种标定图卡的展示图；
图5为本发明实施例所提供的另一种头戴显示设备的标定方法的流程图；
图6为本发明实施例所提供的一种头戴显示设备的标定装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种头戴显示设备的标定方法的流程图。该方法可以包括：
步骤101：获取目标标定图卡图像对应的3D点坐标；其中，目标标定图卡图像包括标定图卡的图像，目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上标定图卡的预设图像与实际的标定图卡重合时定位部件拍摄的图像。
可以理解的是，本步骤中的光机、透视显示器和定位部件均可以为头戴显示设备的部件。本实施例并不限定光机、透视显示器和定位部件的具体备件类型，如图2所示，头戴显示设备为AR设备时，光机可以为AR显示***的光机，透视显示器可以为AR显示***的显示镜片，定位部件可以为6DOF(自由度)定位***的6DOF定位部件。本步骤中的标定图卡的预设图像可以为预先设置的在透视显示器(如图2中的显示镜片)上显示的包含有标定图卡的图像。
具体的，本步骤中的目标标定图卡图像可以为定位部件中的拍摄器件采集的头戴显示设备的佩戴者视角下透视显示器中显示的预设图像与透过透视显示器能够查看的实际的标定图卡相重合时的图像(即标定图卡图像)。例如，用户可以佩戴头戴显示设备进行标定校准，在佩戴头戴显示设备透过查看到透视显示器中显示的预设图像与外界实际的标定图卡相重合时，控制头戴显示设备的定位部件采集目标标定图卡图像。控制主机可以利用处于头戴显示设备的佩戴者视角下的摄像头(如图3中的工业相机)对头戴显示设备进行标定校准，在摄像头拍摄的透视显示器的投影图像中透视显示器显示的标定图卡的预设图像与实际的标定图卡相重合时，控制头戴显示设备的定位部件采集目标标定图卡图像。
对应的，本步骤中的目标标定图卡图像对应的3D点坐标可以为利用目标标定图卡图像中的标定图卡确定的3D点坐标。也就是说，本实施例中的标定图卡可以包括用于确定3D点坐标的标定图案，如图4中的二维码棋盘格；相应的，标定图卡还可以包括对齐辅助标记图案，如图4中的十字叉丝，以方便确定预设图像与实际的标定图卡的对齐重合。如图3和图4所示，将透视显示器上显示的标定图卡的预设图像的原图打印后，可以放置到移动设备上，在标定过程中，通过移动设备移动标定图卡，直到标定图卡的画面和透视显示器上显示的虚像画面(即预设图像)重叠对齐；标定图卡包括二维码棋盘格和十字叉丝，利用二维码棋盘格中的二维码对棋盘格角角点进行编号，利用十字叉丝作为对齐辅助标记方便显示对齐的检测。
需要说明的是，本实施例所提供的方法可以应用于控制主机，即控制主机中的处理器可以执行本实施例所提供的方法的步骤，对头戴显示设备进行标定校准；本实施例岁提供的方法也可以应用于头戴显示设备，即头戴显示设备的处理器可以执行本实施例所提供的方法的步骤，对自身进行标定校准；本实施例对此不做任何限制。
具体的，对于本步骤中处理器获取目标标定图卡图像对应的3D点坐标的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如控制主机的处理器在确定头戴显示设备的佩戴者视角下透视显示器上显示的预设图像与实际的标定图卡重合时，控制头戴显示设备的定位部件(如6DOF定位部件)采集目标标定图卡图像并计算目标标定图卡图像对应的3D点坐标，得到头戴显示设备发送的3D点坐标。头戴显示设备的处理器根据获取的标定图卡对准指令，利用目标标定图卡图像中的标定图案，确定3D点坐标；例如，头戴显示设备的处理器可以根据佩戴者确定透视显示器上显示的预设图像与实际的标定图卡重合时操作头戴显示设备生成的标定图卡对准指令，控制定位部件采集目标标定图卡图像并计算目标标定图卡图像对应的3D点坐标。
步骤102：根据3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系。
可以理解的是，如图2所示，AR设备利用6DOF定位部件求得世界坐标系W到6DOF定位***的坐标系C(即投影坐标系)的坐标转换，即对应关系T；图中的虚线框可以为显示镜片显示的虚像面，也就是二维uv坐标系(即光机的投影坐标系L)；6DOF定位***的坐标系C到光机的投影坐标系L的对应关系G为待求解的值，世界坐标系W中的一点P有虚像面中的P’与之对应。
对应的，图2中P点到P’点坐标转变过程可以抽象为一个虚拟相机模型，虚线框表示的虚像面可以用来模拟虚拟相机的图像平面，下面重点描述虚拟相机模型：
世界坐标系下的点P(x,y,z)到图像坐标系中的点P’(u,v)的坐标转换可以分解为两步：第一步，点P到6DOF定位***的坐标系C的变换，此过程可以由6DOF定位部件直接求解得到，即Pc＝TP，式中Pc表示P点在定位部件的坐标系下的对应点，Pc＝(xc,yc,zc)；第二步，Pc到光机的投影坐标系下的转换，即Ps＝K[Rcv|Tcv]Pc＝GPc，式中Ps表示Pc点在光机的投影坐标系下的对应点，Rcv为3*3的旋转矩阵，表示Pc到光机的投影坐标系的旋转；Tcv为3*1的平移向量，表示Pc到光机的投影坐标系的平移；引入齐次坐标变换，将上式展开，虚拟相机投影模型可以用下式表示：
Figure BDA0003381194860000071
其中，虚拟相机定义的整体投影变换可以用一个3*4的投影矩阵(即3*4投影矩阵)来表示，即6DOF定位***的坐标系C与光机的投影坐标系L的对应关系G可以为上述3*4投影矩阵；该投影矩阵的整体gij可以直接估值计算，而不用实际的相机内外参数，求解简单方便。
相应的，3*4投影矩阵的估值计算是计算机视觉中常用的一种标准技术；通过收集一些已知的三维校准点的二维图像坐标进行校准，3D和2D坐标之间的对应定义了一个用投影矩阵G求解的线性***。
也就是说，本步骤中处理器可以利用获取的3D点坐标和光机的投影坐标系下3D点坐标对应的2D点坐标(即透视显示器上显示的预设图像对应的2D点坐标)，确定光机的投影坐标系与定位部件的坐标系的对应关系(如上述3*4投影矩阵G)；例如，本步骤中处理器可以根据获取的3D点坐标，通过奇异值分解(Singular Value Decomposition，SVD)计算光机的投影坐标系与定位部件的坐标系的对应关系(如上述3*4投影矩阵G)。
步骤103：根据对应关系，对头戴显示设备的显示内容进行校准。
可以理解的是，本步骤中处理器可以利用光机的投影坐标系与定位部件的坐标系的对应关系，对头戴显示设备的显示内容进行校准，以实现头戴显示设备的标定校准。
具体的，对于本步骤中处理器根据对应关系，对头戴显示设备的显示内容进行校准的具体方式，可以由设计人员自行设置，如控制主机可以将对应关系发送到头戴显示设备，使头戴显示设备可以利用该对应关系补偿光机的投影坐标系与定位部件的坐标系的固定偏差，从而使头戴显示设备渲染显示的虚拟物体与现实世界物体相匹配。
本实施例中，本发明实施例通过根据获取的目标标定图卡图像对应的3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系，简化了校准数据采集过程，只需要一次对齐便可完成标定校准，节省了标定校准时间，适合大规模量产使用。
基于上述实施例，本发明实施例还提供了一种应用于控制主机的头戴显示设备的标定方法，以保证头戴显示设备的标定校准的准确性。具体的，请参考图5，图5为本发明实施例所提供的另一种头戴显示设备的标定方法的流程图。该方法可以包括：
步骤201：控制主机控制头戴显示设备的佩戴者视角下的摄像头拍摄透视显示器的投影图像。
其中，本步骤中佩戴者视角下的摄像头(如图3中的工业相机)可以位于头戴显示设备的透视显示器后方，充当使用过程中的人眼角色，捕捉拍摄光机投射出来的虚像和透视显示器的环境光；摄像头拍摄的投影图像可以包括透视显示器上显示的标定图卡的预设图像和透视显示器之外的实际的标定图卡的图像。
具体的，透视显示器可以为用于显示头戴显示设备的光机投影的图像的显示器，如透明镜片，用户透过透视显示器能够看到外部的环境光，实现透视的效果；本实施例并不限定透视显示器的透射显示方式，如可以采用光波导显示或曲面棱镜显示等。
步骤202：判断投影图像中透视显示器显示的标定图卡的预设图像是否与实际的标定图卡重合；若是，则进入步骤203。
可以理解的是，本步骤中控制主机可以通过投影图像中透视显示器显示的标定图卡的预设图像是否与投影图像中实际的标定图卡的图像相重合，确定是否能够控制头戴显示设备的定位部件采集目标标定图卡图像；从而在预设图像与实际的标定图卡的图像相重合时，控制定位部件采集目标标定图卡图像，完成头戴显示设备的标定校准。
具体的，对于本步骤中控制主机的处理器判断投影图像中透视显示器显示的标定图卡的预设图像是否与实际的标定图卡重合的具体方式，可以由设计人员自行设置，如控制主机可以根据获取的摄像头发送的投影图像，判断投影图像中透视显示器显示的标定图卡的预设图像是否与实际的标定图卡重合。
对应的，对于本步骤中预设图像不与实际的标定图卡重合的情况，可以由设计人员根据实用场景和用户需求自行设置，如预设图像不与实际的标定图卡重合时，控制主机可以输出标定图卡位置调整信息，以提示校准人员调整标定图卡的位置；控制主机也可以控制标定图卡的移动设备，移动标定图卡的位置，例如控制主机可以根据获取的投影图像，控制标定图卡的移动设备，移动标定图卡的位置；如图3所示，控制主机可以为在工业相机拍摄的图像(即投影图像)中预设图像与实际的标定图卡不重合时，根据工业相机拍摄的图像，对应移动放置有标定图卡的小车(即移动设备)。
步骤203：获取目标标定图卡图像对应的3D点坐标。
步骤204：根据3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系。
步骤205：根据对应关系，对头戴显示设备的显示内容进行校准。
具体的，步骤203至步骤205与上述实施例中步骤101至步骤103相对应，在此不再赘述。
本实施例中，本发明实施例利用头戴显示设备的佩戴者视角下的摄像头代替人眼识别，通过控制主机识别重合对齐结果，可靠性高，控制精确，提高了标定校准工作效率。
相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备的标定装置，下文描述的一种头戴显示设备的标定装置与上文描述的一种头戴显示设备的标定方法可相互对应参照。
请参考图6，图6为本发明实施例所提供的一种头戴显示设备的标定装置的结构框图。该装置可以包括：
获取模块10，用于获取目标标定图卡图像对应的3D点坐标；其中，目标标定图卡图像包括标定图卡的图像，目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上标定图卡的预设图像与实际的标定图卡重合时定位部件拍摄的图像；
确定模块20，用于根据3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系；
校准模块30，用于根据对应关系，对头戴显示设备的显示内容进行校准。
可选的，该装置应用于控制主机时，还包括：
控制模块，用于控制所述佩戴者视角下的摄像头拍摄所述透视显示器的投影图像；
判断模块，用于判断所述投影图像中所述透视显示器显示的所述预设图像是否与实际的所述标定图卡重合；若是，则向获取模块10发送启动信号。
可选的，判断模块可以包括：
移动子模块，用于若未与实际的标定图卡重合，则根据投影图像，控制标定图卡的移动设备，移动标定图卡的位置。
可选的，该装置应用于头戴显示设备时，获取模块10可以具体用于头戴显示设备根据获取的标定图卡对准指令，利用目标标定图卡图像中的标定图案，确定3D点坐标。
可选的，对应关系为3*4投影矩阵时，确定模块20可以具体用于根据3D点坐标，通过奇异值分解计算3*4投影矩阵。
本实施例中，本发明实施例通过确定模块20根据获取的目标标定图卡图像对应的3D点坐标，确定光机的投影坐标系与定位部件的坐标系的对应关系，简化了校准数据采集过程，只需要一次对齐便可完成标定校准，节省了标定校准时间，适合大规模量产使用。
相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备的标定设备，下文描述的一种头戴显示设备的标定设备与上文描述的一种头戴显示设备的标定方法可相互对应参照。
本发明实施例提供了一种头戴显示设备的标定设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述实施例所提供的头戴显示设备的标定方法的步骤。
具体的，本实施例所提供的标定设备可以具体为头戴显示设备或控制主机。
相应于上面的方法实施例，本发明实施例还提供了一种头戴显示设备的标定***，下文描述的一种头戴显示设备的标定***与上文描述的一种头戴显示设备的标定方法可相互对应参照。
本发明实施例提供了一种头戴显示设备的标定***，包括：头戴显示设备和控制主机；其中，控制主机为如上述实施例所提供的头戴显示设备的标定设备。
可选的，该***还可以包括：
摄像头，用于拍摄头戴显示设备的佩戴者视角下头戴显示设备的透视显示器的投影图像。
可选的，该***还可以包括：
移动设备，用于根据控制主机的控制，移动标定图卡的位置。
相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，下文描述的一种计算机可读存储介质与上文描述的一种头戴显示设备的标定方法可相互对应参照。
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所提供的头戴显示设备的标定方法的步骤。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备、***及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本发明所提供的一种头戴显示设备的标定方法、装置、设备、***及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种头戴显示设备的标定方法，其特征在于，包括：
获取目标标定图卡图像对应的3D点坐标；其中，所述目标标定图卡图像包括标定图卡的图像，所述目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上所述标定图卡的预设图像与实际的所述标定图卡重合时定位部件拍摄的图像；
根据所述3D点坐标，确定所述光机的投影坐标系与所述定位部件的坐标系的对应关系；
根据所述对应关系，对所述头戴显示设备的显示内容进行校准。
2.根据权利要求1所述的头戴显示设备的标定方法，其特征在于，所述获取目标标定图卡图像对应的3D点坐标之前，还包括：
控制主机控制所述佩戴者视角下的摄像头拍摄所述透视显示器的投影图像；
判断所述投影图像中所述透视显示器显示的所述预设图像是否与实际的所述标定图卡重合；
若是，则执行所述获取目标标定图卡图像对应的3D点坐标的步骤。
3.根据权利要求2所述的头戴显示设备的标定方法，其特征在于，所述控制主机控制所述佩戴者视角下的摄像头拍摄所述透视显示器的投影图像之后，还包括：
若未与实际的所述标定图卡重合，则根据所述投影图像，控制所述标定图卡的移动设备，移动所述标定图卡的位置。
4.根据权利要求1所述的头戴显示设备的标定方法，其特征在于，所述获取目标标定图卡图像对应的3D点坐标，包括：
所述头戴显示设备根据获取的标定图卡对准指令，利用所述目标标定图卡图像中的标定图案，确定所述3D点坐标。
5.根据权利要求1至4任一项所述的头戴显示设备的标定方法，其特征在于，所述对应关系为3*4投影矩阵时，所述根据所述3D点坐标，确定所述光机的投影坐标系与所述定位部件的坐标系的对应关系，包括：
根据所述3D点坐标，通过奇异值分解计算所述3*4投影矩阵。
6.一种头戴显示设备的标定装置，其特征在于，包括：
获取模块，用于获取目标标定图卡图像对应的3D点坐标；其中，所述目标标定图卡图像包括标定图卡的图像，所述目标标定图卡图像为头戴显示设备的佩戴者视角下光机投影到透视显示器上所述标定图卡的预设图像与实际的所述标定图卡重合时定位部件拍摄的图像；
确定模块，用于根据所述3D点坐标，确定所述光机的投影坐标系与所述定位部件的坐标系的对应关系；
校准模块，用于根据所述对应关系，对所述头戴显示设备的显示内容进行校准。
7.一种头戴显示设备的标定设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的头戴显示设备的标定方法的步骤。
8.一种头戴显示设备的标定***，其特征在于，包括：头戴显示设备和控制主机；其中，所述控制主机为如权利要求7所述的头戴显示设备的标定设备。
9.根据权利要求8所述的头戴显示设备的标定***，其特征在于，还包括：
摄像头，用于拍摄所述头戴显示设备的佩戴者视角下所述头戴显示设备的透视显示器的投影图像；
移动设备，用于根据所述控制主机的控制，移动标定图卡的位置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的头戴显示设备的标定方法的步骤。
CN202111434450.8A 2021-11-29 2021-11-29 头戴显示设备的标定方法、装置、设备、***及存储介质 Pending CN114119772A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111434450.8A CN114119772A (zh) 2021-11-29 2021-11-29 头戴显示设备的标定方法、装置、设备、***及存储介质
PCT/CN2021/135587 WO2023092638A1 (zh) 2021-11-29 2021-12-06 头戴显示设备的标定方法、装置、设备、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111434450.8A CN114119772A (zh) 2021-11-29 2021-11-29 头戴显示设备的标定方法、装置、设备、***及存储介质

Publications (1)

Publication Number Publication Date
CN114119772A true CN114119772A (zh) 2022-03-01

Family

ID=80371474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111434450.8A Pending CN114119772A (zh) 2021-11-29 2021-11-29 头戴显示设备的标定方法、装置、设备、***及存储介质

Country Status (2)

Country Link
CN (1) CN114119772A (zh)
WO (1) WO2023092638A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
WO2019152617A1 (en) * 2018-02-03 2019-08-08 The Johns Hopkins University Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
CN112326206B (zh) * 2020-11-06 2023-06-13 歌尔光学科技有限公司 Ar模组双目融合检测装置及检测方法

Also Published As

Publication number Publication date
WO2023092638A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN111783820B (zh) 图像标注方法和装置
JP3805231B2 (ja) 画像表示装置及びその方法並びに記憶媒体
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
JP4434890B2 (ja) 画像合成方法及び装置
CN110782499B (zh) 一种增强现实设备的标定方法、标定装置及终端设备
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示***
US20170295360A1 (en) Head-mounted display device and computer program
CN109246414B (zh) 一种投影式增强现实图像生成方法及***
JP2018081410A (ja) コンピュータープログラム
JP2013171523A (ja) Ａｒ画像処理装置及び方法
WO2017179432A1 (ja) ３次元的な投影対象のための画像投影方法及び画像投影装置
JP2002159019A (ja) 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
CN111880649A (zh) Ar观景仪的演示方法、***及计算机可读储存介质
CN112116631A (zh) 一种工业增强现实组合定位***
US20200134927A1 (en) Three-dimensional display method, terminal device, and storage medium
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
CN111491159A (zh) 一种增强现实的显示***及方法
CN114663495A (zh) 校准方法和装置、头戴显示设备及计算机可读存储介质
CN114937139A (zh) 一种基于视频流融合的内窥镜增强现实***及方法
TW201335884A (zh) 使用ａｒ技術之電腦圖形．影像處理系統以及方法
WO2021237952A1 (zh) 一种增强现实的显示***及方法
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN114119772A (zh) 头戴显示设备的标定方法、装置、设备、***及存储介质
JP2018156239A (ja) 操作支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221121

Address after: No. 500 Songling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, Weifang High tech Zone, Weifang City, Shandong Province

Applicant before: GoerTek Optical Technology Co.,Ltd.

TA01 Transfer of patent application right