CN113099203B - 显示***校准方法及*** - Google Patents

显示***校准方法及*** Download PDF

Info

Publication number
CN113099203B
CN113099203B CN202110504684.9A CN202110504684A CN113099203B CN 113099203 B CN113099203 B CN 113099203B CN 202110504684 A CN202110504684 A CN 202110504684A CN 113099203 B CN113099203 B CN 113099203B
Authority
CN
China
Prior art keywords
display system
calibrated
camera
image information
eyeball camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110504684.9A
Other languages
English (en)
Other versions
CN113099203A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110504684.9A priority Critical patent/CN113099203B/zh
Publication of CN113099203A publication Critical patent/CN113099203A/zh
Application granted granted Critical
Publication of CN113099203B publication Critical patent/CN113099203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种显示***校准方法及***，包括：对预设眼球摄像机进行参数校准；基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示***之间的位置关系，并将眼球摄像机固定在待校准显示***上；将预设校准图案按照预设规则虚拟场景渲染至待校准显示***上；控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息；对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能。利用上述发明能够通过模仿人眼的眼球摄像机，实现显示***的确定性和可量化的校准和评估。

Description

显示***校准方法及***
技术领域
本发明涉及虚拟显示显示***技术领域，更为具体地，涉及一种显示***校准方法及***。
背景技术
现代计算和显示技术促进了所谓的“虚拟现实”或者“增强现实”体验***的开发，其主要用于将数字生成的图像或其部分在可穿戴设备中以看起来或可能被认为是真实的方式呈现给用户。虚拟现实或VR场景通常涉及数字或虚拟图像信息的呈现，而对其他真实世界的视觉输入没有透明度；目前，增强现实或AR场景通常包括以数字或虚拟图像信息的呈现，作为对用户周围实际世界可视化的增强。
目前，对于虚拟现实或者增强现实的显示***的显示性能、显示质量等指标，比如显示***的光学显示畸变，显示的色彩饱和度，显示的色散性能等，很难用比较客观的***来评价，现有的主要手段就是通过多人的体验、测试和使用，评估虚拟现实或者增强现实的显示***的显示性能。可知，这种方式主观性太强，在某种程度上很难有比较好的客观评价结果；此外，由于人类的视觉感知***非常复杂，基于目前的评价方法，想生产一种VR、AR或MR技术来促进舒适、自然的感觉，并在其他虚拟或现实世界的图像元素中丰富地呈现虚拟图像元素是一项挑战。
发明内容
鉴于上述问题，本发明的目的是提供一种显示***校准方法及***，以解决现有对显示***的性能，无法实现标准性、可量化校准的问题。
本发明提供的显示***校准方法，包括对预设眼球摄像机进行参数校准；基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示***之间的位置关系，并将眼球摄像机固定在待校准显示***上；将预设校准图案按照预设规则虚拟场景渲染至待校准显示***上；控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息；对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能。
此外，可选的技术方案是，眼球摄像机包括成对设置的左眼球摄像机和右眼摄像机，待校准显示***包括左眼显示屏幕和右眼显示屏幕；调整眼球摄像机和待校准显示***之间的位置关系的过程包括：将左眼球摄像机的光轴位置对准左眼显示屏幕的中心位置，将右眼球摄像机的光轴位置对准右眼显示屏幕的中心位置。
此外，可选的技术方案是，校准参数信息包括内参数、固有参数或外在参数；内参数包括眼球摄像机坐标至眼球摄像机拍摄的二维图像坐标的投影变换参数；固有参数包括焦距、主点、光学畸变参数；外在参数包括左眼球摄像机和右眼摄像机之间的旋转矩阵和平移向量。
此外，可选的技术方案是，控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息的过程包括：控制待校准显示***及眼球摄像机进行预设方式的转动；通过左眼球摄像机按照第一预设帧率实时拍摄左眼屏幕呈现的第一图像信息；同时，通过右眼球摄像机按照第一预设帧率实时拍摄右眼屏幕呈现的第二图像信息。
此外，可选的技术方案是，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能的过程包括：分别获取第一图像信息和第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；特征包括色调、饱和度和对比度；对比第一图像信息的特征值与左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比第二图像信息的特征值与右眼显示屏的对应位置处的特征值，获取第二对比结果；基于第一对比结果判断左眼显示屏幕是否符合参数要求，如果不能满足，则基于第一图像信息的特征值，对左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤；同时，基于第二对比结果判断右眼显示屏幕是否符合参数要求，如果不能满足，则基于第二图像信息的特征值，对右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤。
此外，可选的技术方案是，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能的过程，还包括：对第一图像信息和第二图像信息进行共线性、曲率、长度、宽度、添加标记、丢失标记、数字、形状、大小、空间分组或空间方向的分析，并基于分析的结果校准待校准显示***的光学性能。
此外，可选的技术方案是，第一预设帧率的范围为30Hz～60Hz。
此外，可选的技术方案是，眼球摄像机的分辨率不小于待校准显示***的分辨率；并且，眼球摄像机的属性包括仿真角膜位置、仿真角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离以及凝视方向。
此外，可选的技术方案是，对预设眼球摄像机进行参数校准的过程包括：在相对眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；通过眼球摄像机拍摄样本图像，获取对应的拍摄图像；基于拍摄图像及张正友标定法，对眼球摄像机的参数进行校准。
根据本发明的另一方面，提供一种显示***校准***，包括：参数校准单元，用于对预设眼球摄像机进行参数校准；位置确定单元，用于基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示***之间的位置关系，并将眼球摄像机固定在待校准显示***上；校准图案渲染单元，用于将预设校准图案按照预设规则虚拟场景渲染至待校准显示***上；图像信息拍摄单元，用于控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息；光学性能校准单元，用于对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能。
利用上述显示***校准方法及***，基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示***之间的位置关系，并将眼球摄像机固定在待校准显示***上；将预设校准图案按照预设规则虚拟场景渲染至待校准显示***上；控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息；对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能，能够在确定性和可量化的条件下，校准和评估虚拟和真实世界的显示性能，有助于有效地将虚拟世界和现实世界无缝地融合在一起。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的显示***校准方法的流程图；
图2为根据本发明实施例的显示***校准***的逻辑框图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
为详细描述本发明的显示***校准方法及***，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的显示***校准方法的流程。
如图1所示，本发明实施例的显示***校准方法，包括以下步骤：
S110：对预设眼球摄像机进行参数校准。
S120：基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示***之间的位置关系，并将眼球摄像机固定在待校准显示***上:。
S130：将预设校准图案按照预设规则虚拟场景渲染至待校准显示***上。
S140：控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息:。
S150：对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能。
然后，以下分别对上述各步骤进行详细阐述。
在上述步骤S110中，预设的眼球摄像机的校准参数信息包括内参数、固有参数或外在参数；内参数包括眼球摄像机坐标至眼球摄像机拍摄的二维图像坐标的投影变换参数；固有参数包括焦距、主点、光学畸变参数；外在参数包括左眼球摄像机和右眼摄像机之间的旋转矩阵和平移向量。
其中，外在参数表示从世界坐标系到眼球摄像机坐标系的转换，外部参数包括左眼球摄像机和右眼球摄像机之间的旋转矩阵和平移向量，通过外部参数能够有助于确定眼球摄像机中心位置和眼球摄像机在世界坐标系中的航向。因此，眼球摄像的参数校准可用于校正镜头失真、以世界三维测量对象的大小或在三维场景重建中确定眼球摄像机在场景中的位置。
具体地，在对预设眼球摄像机进行参数校准的过程包括：在相对所述眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；通过所述眼球摄像机拍摄所述样本图像，获取对应的拍摄图像；基于拍摄图像及张正友标定法，对眼球摄像机的参数进行校准。
可知，预设的眼球摄像机包括成对设置的左眼球摄像机和右眼摄像机，待校准显示***包括左眼显示屏幕和右眼显示屏幕；调整眼球摄像机和待校准显示***之间的位置关系的过程包括：将左眼球摄像机的光轴位置对准左眼显示屏幕的中心位置，将右眼球摄像机的光轴位置对准右眼显示屏幕的中心位置，待左眼球摄像机和右眼球摄像机的位置确定后，可通过一定的固定件或固定方式对眼球摄像机和待监测显示***进行固定，确保二者在运功过程中的相对位置稳定，不发生位置偏移。
进而待眼球摄像机的位置确定后，可通过待校准显示***对预先设计的校准图案进行渲染显示，校准图案可设计为具有一定位置分布、色彩分布的规则图案，使其按照预设的规则进行虚拟场景渲染，然后显示在待校准显示***的屏幕上，此处预设的规则可包括：设置渲染的分辨率、渲染的帧率等参数进行渲染。然后，通过眼球摄像机拍摄屏幕上显示的图案信息。
需要说明的是，在通过眼球摄像机进行拍摄的过程中，可通过外部装置控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息，外部装置可以为机械臂，机械臂可以按照预先设定的运动规则，让待校准形式***及其上的眼球摄像机按照一定的方式进行。其中，运动规则可以根据待校准显示***的应用场景或者校准需求进行设定，并不进行具体限定，通过设置不同的旋转角度和不同的转动速度，能够显示对应的运动方式下的待校准显示屏幕的显示内容的变化，比如是否在该运动方式下，发现显示内容的对比度有一定的误差等现象，进而确保显示***的光学性能的校准准确度。
具体地，通过外部装置控制待校准显示***及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息的过程包括：控制待校准显示***及眼球摄像机进行预设方式的转动；通过左眼球摄像机按照第一预设帧率实时拍摄左眼屏幕呈现的第一图像信息；同时，通过右眼球摄像机按照第一预设帧率实时拍摄右眼屏幕呈现的第二图像信息。其中预设方式即上述设定的运动规则，在本发明的显示***校准方法中，并不具体进行限定。
最后，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能的过程包括：分别获取第一图像信息和第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；特征包括色调、饱和度和对比度；对比第一图像信息的特征值与左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比第二图像信息的特征值与右眼显示屏的对应位置处的特征值，获取第二对比结果；基于第一对比结果判断左眼显示屏幕是否符合参数要求，如果不能满足，则基于第一图像信息的特征值，对左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤，直至左眼显示屏幕的参数符合设定的参数要求；同理，基于第二对比结果判断右眼显示屏幕是否符合参数要求，如果不能满足，则基于第二图像信息的特征值，对右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤，直至右眼显示屏幕的参数符合设定的参数要求。
在本发明的一个具体实施方式中，为进一步对待校准显示***进行校准，提高其光学性能，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能的过程，还可以包括：对第一图像信息和第二图像信息的共线性、曲率、长度、宽度、添加标记、丢失标记、数字、形状、大小、空间分组或空间方向等关键特征信息进行分析，并基于分析的结果校准待校准显示***的光学性能，比附光学畸变率、光学色散率等，进而可据此对显示性能进行调整和优化，提高整体的光学显示质量。
需要说明的是，上述第一预设帧率的范围可设施为30Hz～60Hz。
在本发明的另一具体实施方式中，眼球摄像机的分辨率设置为不小于待校准显示***的分辨率；并且，眼球摄像机的属性包括仿真角膜位置、仿真角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离以及凝视方向等，通过眼球摄像机模拟用于人眼的显示位置和方向，在应用过程中，左眼球摄像机和右眼球摄像机的拍摄帧率在物理上严格同步，能够通过在几何、光学性能和/或运动方面模仿人眼的设计，采用与人眼相同的角膜和瞳孔几何形状，虹膜和瞳孔配置有多种纹理、颜色或直径选项，也包括眼球摄像机的分辨率设计，利用眼球摄像机，根据瞳孔位置、注视点等人眼条件，对感知到的虚拟世界和现实世界进行标定和评估。
与上述显示***校准方法相对应，本发明还提供一种显示***校准***，具体地，图2示出了根据本发明实施例的显示***校准***的示意逻辑。
如图2所示，本发明实施例的显示***校准***200，主要包括：
参数校准单元210，用于对预设眼球摄像机进行参数校准；
位置确定单元220，用于基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示***之间的位置关系，并将所述眼球摄像机固定在待校准显示***上；
校准图案渲染单元230，用于将预设校准图案按照预设规则虚拟场景渲染至待校准显示***上；
图像信息拍摄单元240，用于控制待校准显示***及眼球摄像机进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄待校准显示***呈现的图像信息；
光学性能校准单元250，用于对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示***的光学性能。
需要说明的是，上述显示***校准***的实施例，具体可参考显示***校准方法实施例中的描述，此处不再一一赘述。
根据上述本发明提供的显示***校准方法及***，能够通过模仿人眼的眼球摄像机，对显示***进行量性的参数评估及校准，确保显示***校准的统一性和通用性，进而优化显示***的显示性能，确保VR、AR或MR技术的舒适度和自然度以及可用户的体验度。
如上参照图1和图2以示例的方式描述根据本发明的显示***校准方法及***。但是，本领域技术人员应当理解，对于上述本发明所提出的显示***校准方法及***，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (7)

1.一种显示***校准方法，其特征在于，包括：
对预设眼球摄像机进行参数校准，参数校准过程包括：在相对眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；通过所述眼球摄像机拍摄所述样本图像，获取对应的拍摄图像；基于所述拍摄图像及张正友标定法，对所述眼球摄像机的参数进行校准，其中，所述眼球摄像机包括成对设置的左眼球摄像机和右眼球摄像机；
基于所述眼球摄像机的校准参数信息，调整所述眼球摄像机和待校准显示***之间的位置关系，并将所述眼球摄像机固定在所述待校准显示***上，其中，所述待校准显示***包括左眼显示屏幕和右眼显示屏幕；
将预设校准图案按照预设规则虚拟场景渲染至所述待校准显示***上；
控制所述待校准显示***及所述眼球摄像机按照不同的旋转角度及不同的转动速度进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄所述待校准显示***呈现的图像信息，包括：控制所述待校准显示***及所述眼球摄像机进行预设方式的转动；通过所述左眼球摄像机按照第一预设帧率实时拍摄所述左眼显示屏幕呈现的第一图像信息；同时，通过所述右眼球摄像机按照所述第一预设帧率实时拍摄所述右眼显示屏幕呈现的第二图像信息；
对所述图像信息进行特征信息分析，并基于所述特征信息分析的结果校准所述待校准显示***的光学性能，包括：分别获取第一图像信息和所述第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；所述特征包括色调、饱和度和对比度；对比所述第一图像信息的特征值与所述左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比所述第二图像信息的特征值与所述右眼显示屏的对应位置处的特征值，获取第二对比结果；基于所述第一对比结果判断所述左眼显示屏幕是否符合参数要求，如果不能满足，则基于所述第一图像信息的特征值，对所述左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤；同时，基于所述第二对比结果判断所述右眼显示屏幕是否符合参数要求，如果不能满足，则基于所述第二图像信息的特征值，对所述右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤。
2.如权利要求1所述的显示***校准方法，其特征在于，
所述调整眼球摄像机和所述待校准显示***之间的位置关系的过程包括：
将所述左眼球摄像机的光轴位置对准所述左眼显示屏幕的中心位置，将所述右眼球摄像机的光轴位置对准所述右眼显示屏幕的中心位置。
3.如权利要求2所述的显示***校准方法，其特征在于，
所述校准参数信息包括内参数、固有参数或外在参数；
所述内参数包括所述眼球摄像机坐标至所述眼球摄像机拍摄的二维图像坐标的投影变换参数；
所述固有参数包括焦距、主点、光学畸变参数；
所述外在参数包括所述左眼球摄像机和所述右眼球摄像机之间的旋转矩阵和平移向量。
4.如权利要求1所述的显示***校准方法，其特征在于，对所述图像信息进行特征信息分析，并基于特征信息分析的结果校准所述待校准显示***的光学性能的过程，还包括：
对所述第一图像信息和所述第二图像信息进行共线性、曲率、长度、宽度、添加标记、丢失标记、数字、形状、大小、空间分组或空间方向的分析，并基于分析的结果校准所述待校准显示***的光学性能。
5.如权利要求1所述的显示***校准方法，其特征在于，
所述第一预设帧率的范围为30Hz～60Hz。
6.如权利要求1所述的显示***校准方法，其特征在于，
所述眼球摄像机的分辨率不小于所述待校准显示***的分辨率；并且，
所述眼球摄像机的属性包括仿真角膜位置、仿真角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离以及凝视方向。
7.一种显示***校准***，其特征在于，包括：
参数校准单元，用于对预设眼球摄像机进行参数校准，参数校准过程包括：在相对眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；通过所述眼球摄像机拍摄所述样本图像，获取对应的拍摄图像；基于所述拍摄图像及张正友标定法，对所述眼球摄像机的参数进行校准，其中，所述眼球摄像机包括成对设置的左眼球摄像机和右眼球摄像机；
位置确定单元，用于基于所述眼球摄像机的校准参数信息，调整所述眼球摄像机和待校准显示***之间的位置关系，并将所述眼球摄像机固定在待校准显示***上，其中，所述待校准显示***包括左眼显示屏幕和右眼显示屏幕；
校准图案渲染单元，用于将预设校准图案按照预设规则虚拟场景渲染至所述待校准显示***上；
图像信息拍摄单元，用于控制所述待校准显示***及所述眼球摄像机按照不同的旋转角度及不同的转动速度进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄所述待校准显示***呈现的图像信息，包括：控制所述待校准显示***及所述眼球摄像机进行预设方式的转动；通过所述左眼球摄像机按照第一预设帧率实时拍摄所述左眼显示屏幕呈现的第一图像信息；同时，通过所述右眼球摄像机按照所述第一预设帧率实时拍摄所述右眼显示屏幕呈现的第二图像信息；
光学性能校准单元，用于对所述图像信息进行特征信息分析，并基于特征信息分析的结果校准所述待校准显示***的光学性能，包括：分别获取第一图像信息和所述第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；所述特征包括色调、饱和度和对比度；对比所述第一图像信息的特征值与所述左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比所述第二图像信息的特征值与所述右眼显示屏的对应位置处的特征值，获取第二对比结果；基于所述第一对比结果判断所述左眼显示屏幕是否符合参数要求，如果不能满足，则基于所述第一图像信息的特征值，对所述左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤；同时，基于所述第二对比结果判断所述右眼显示屏幕是否符合参数要求，如果不能满足，则基于所述第二图像信息的特征值，对所述右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤。
CN202110504684.9A 2021-05-10 2021-05-10 显示***校准方法及*** Active CN113099203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110504684.9A CN113099203B (zh) 2021-05-10 2021-05-10 显示***校准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110504684.9A CN113099203B (zh) 2021-05-10 2021-05-10 显示***校准方法及***

Publications (2)

Publication Number Publication Date
CN113099203A CN113099203A (zh) 2021-07-09
CN113099203B true CN113099203B (zh) 2023-08-22

Family

ID=76665318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110504684.9A Active CN113099203B (zh) 2021-05-10 2021-05-10 显示***校准方法及***

Country Status (1)

Country Link
CN (1) CN113099203B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160727A (ja) * 1992-11-18 1994-06-07 Koonan:Kk 眼球顕微鏡
WO2012100495A1 (zh) * 2011-01-30 2012-08-02 中兴通讯股份有限公司 双摄像头立体拍摄的处理方法及装置
CN104887316A (zh) * 2015-04-24 2015-09-09 长春理工大学 基于主动立体显示技术的虚拟立体内窥镜显示方法
CN106596051A (zh) * 2016-12-19 2017-04-26 中国航空工业集团公司洛阳电光设备研究所 一种机载平显和头显延迟测试装置和方法
CN107003109A (zh) * 2014-11-13 2017-08-01 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置、投影装置、测量***以及测量方法
CN206961066U (zh) * 2017-02-28 2018-02-02 深圳市未来感知科技有限公司 一种虚拟现实交互设备
CN108124152A (zh) * 2017-12-26 2018-06-05 华勤通讯技术有限公司 头戴式显示设备的畸变测量方法及***
TWM569008U (zh) * 2018-07-20 2018-10-21 威盛電子股份有限公司 眼球定位校正系統
CN110557626A (zh) * 2019-07-31 2019-12-10 华为技术有限公司 一种图像显示的方法及电子设备
CN111694158A (zh) * 2020-06-17 2020-09-22 Oppo广东移动通信有限公司 近眼显示装置的校准方法、校准设备及校准***
CN112584113A (zh) * 2020-12-02 2021-03-30 深圳市当智科技有限公司 基于映射校正的宽屏投影方法、***及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239213A (zh) * 2014-12-31 2017-10-10 华为终端（东莞）有限公司 屏幕显示控制方法及移动终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160727A (ja) * 1992-11-18 1994-06-07 Koonan:Kk 眼球顕微鏡
WO2012100495A1 (zh) * 2011-01-30 2012-08-02 中兴通讯股份有限公司 双摄像头立体拍摄的处理方法及装置
CN107003109A (zh) * 2014-11-13 2017-08-01 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置、投影装置、测量***以及测量方法
CN104887316A (zh) * 2015-04-24 2015-09-09 长春理工大学 基于主动立体显示技术的虚拟立体内窥镜显示方法
CN106596051A (zh) * 2016-12-19 2017-04-26 中国航空工业集团公司洛阳电光设备研究所 一种机载平显和头显延迟测试装置和方法
CN206961066U (zh) * 2017-02-28 2018-02-02 深圳市未来感知科技有限公司 一种虚拟现实交互设备
CN108124152A (zh) * 2017-12-26 2018-06-05 华勤通讯技术有限公司 头戴式显示设备的畸变测量方法及***
TWM569008U (zh) * 2018-07-20 2018-10-21 威盛電子股份有限公司 眼球定位校正系統
CN110557626A (zh) * 2019-07-31 2019-12-10 华为技术有限公司 一种图像显示的方法及电子设备
CN111694158A (zh) * 2020-06-17 2020-09-22 Oppo广东移动通信有限公司 近眼显示装置的校准方法、校准设备及校准***
CN112584113A (zh) * 2020-12-02 2021-03-30 深圳市当智科技有限公司 基于映射校正的宽屏投影方法、***及可读存储介质

Also Published As

Publication number Publication date
CN113099203A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN109983501B (zh) 一种隐藏图像或视频中的对象的方法和相关的增强现实方法
US11200646B2 (en) Compensation for deformation in head mounted display systems
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
US11445170B2 (en) Eyeball camera system and methods for display system calibration
CN109885169B (zh) 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
US10778953B2 (en) Dynamic convergence adjustment in augmented reality headsets
CN110119258B (zh) 一种显示屏与光学***位置测试与调整方法和***
JP2019121394A (ja) 画像生成装置および画像を生成する方法
KR101454780B1 (ko) 3d 모델의 텍스쳐 생성 방법 및 장치
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、***
CN113099203B (zh) 显示***校准方法及***
WO2020262261A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN107888899A (zh) 用于虚拟现实设备中图像获取方法、装置和虚拟现实设备
CN114967128B (zh) 一种应用于vr眼镜的视线追踪***及方法
CN109963143A (zh) 一种ar眼镜的图像获取方法及***
CN115278203A (zh) 虚拟现实设备的校准方法、校准装置以及校准机器人
CN112362309B (zh) 偏心视差测试方法及装置
CN108471939B (zh) 一种潘弄区测量方法、装置以及可穿戴显示设备
JP6932526B2 (ja) 画像表示装置、画像表示方法及びプログラム
WO2019138515A1 (ja) 画像作成装置、眼鏡レンズ選択システム、画像作成方法およびプログラム
CN108881892A (zh) 用于桌面式虚拟现实***的防眩晕方法、***
US20240193744A1 (en) Image processing device and image processing method
JP2022083816A (ja) 画像生成装置、画像生成方法及びプログラム
JP3546922B2 (ja) 眼鏡レンズ画像生成方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant