CN117078762A - 一种虚拟现实设备、相机标定装置及方法 - Google Patents

Abstract

本申请提供了一种虚拟现实设备、相机标定装置及方法。根据主标定板和从标定板的位置获取板间外参的初值，板间外参用于表征主标定板和从标定板的位置关系。并控制相机拍摄从标定板的标定图像。识别标定图像中的标定角点，得到标定角点在标定图像中对应的像素坐标。获取标定角点在从标定板中对应的世界坐标。检测参数优化标识，如果参数优化标识为执行优化，则根据像素坐标、世界坐标和板间外参的初值优化板间外参，以根据优化后的板间外参完成相机标定。由此，解决了在存在多个标定板且存在确定的标定板间外参的场景下，如调整相机的排列方式或调整标定板的摆放位置时，会出现标定板间外参未知或不精确的问题。

Description

一种虚拟现实设备、相机标定装置及方法

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实设备、相机标定装置及方法。

背景技术

虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟现实技术为用户呈现虚拟画面的设备。通常，虚拟现实设备包括由多个相机构成的成像***。在呈现虚拟画面的过程中，虚拟现实设备利用机器视觉/计算机视觉技术对客观世界的三维场景进行感知、识别和理解。从而基于成像***将二维图像重构成三维物体的可视部分。

视觉测量的基本原理是利用图像传感器获取物体的信息，建立物体坐标和图像坐标之间的数学模型。通过求解模型当中的参数，确定物体坐标和图像坐标的映射关系。由图像坐标求得物体坐标，进而确定物体的实际尺寸。其中，模型的求解过程即为相机标定过程，因而标定精度直接影响到测量的精度。

目前在相机标定过程中，通过调整标定板的摆放位置即标定板间外参，来提高检测覆盖面积和提高标定精度。通常标定板间外参可以在标定板位置固定之后，进行位置测量获得。或者根据确定的标定板间外参，来设计标定板位置并安装标定板。因此，在存在多个标定板且存在确定的标定板间外参的场景下，如调整相机的排列方式或调整标定板的摆放位置时，会出现标定板间外参未知或不精确的情况，从而影响标定精度的同时降低用户使用虚拟现实设备的体验感。

发明内容

本申请提供了一种虚拟现实设备、相机标定装置及方法，以解决在存在多个标定板且存在确定的标定板间外参的场景下，如调整相机的排列方式或调整标定板的摆放位置时，会出现标定板间外参未知或不精确的问题。

第一方面，本申请提供了一种虚拟现实设备，包括：

显示器，被配置为显示用户界面；

相机，用于获取标定板对应的标定图像；

控制器，被配置为：

根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板的位置关系；

控制所述相机拍摄所述从标定板的标定图像；

识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标；

获取所述标定角点在所述从标定板中对应的世界坐标；

检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。

第二方面，本申请还提供了一种相机标定装置，包括：

板间外参的初值获取模块，用于根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板之间的位置关系；

标定图像获取模块，用于获取所述相机拍摄所述标定板的标定图像；

标定角点确定模块，用于识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标；根据所述标定角点对应的标识获取所述标定角点在所述标定板中对应的世界坐标；

板间外参优化模块，用于检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。

第三方面，本申请还提供了一种相机标定方法，方法具体包括以下步骤：

根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板之间的位置关系；

控制所述相机拍摄所述从标定板的标定图像；

识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标；

获取所述标定角点在所述从标定板中对应的世界坐标；

检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。

由上述技术方案可知，本申请提供了一种虚拟现实设备、相机标定装置及方法。根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板的位置关系。控制所述相机拍摄所述从标定板的标定图像。识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标。获取所述标定角点在所述从标定板中对应的世界坐标。检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。由此，解决了在存在多个标定板且存在确定的标定板间外参的场景下，如调整相机的排列方式或调整标定板的摆放位置时，会出现标定板间外参未知或不精确的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请根据一些实施例示出的包括虚拟现实设备的显示***结构示意图；

图2为本申请根据一些实施例示出的VR场景全局界面示意图；

图3为本申请根据一些实施例示出的三维物体至二维图像的示意图；

图4为本申请根据一些实施例示出的各个坐标系转换关系的示意图；

图5为本申请根据一些实施例示出的畸变的示意图；

图6为本申请根据一些实施例示出的虚拟现实设备500进行相机标定的示意图；

图7为本申请根据一些实施例示出的构成相机成像模型的示意图；

图8为本申请根据一些实施例示出的基于参数优化标识进行相机标定的交互图；

图9为本申请根据一些实施例示出的虚拟现实设备500进行相机标定的流程图；

图10为本申请根据一些实施例示出的处理参数以及对应误差阈值的示意图；

图11为本申请根据一些实施例示出的相机标定装置的结构示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其他组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

本申请实施例中，所述虚拟现实设备500泛指能够佩戴于用户面部，为用户提供沉浸感体验的显示设备，包括但不限于VR眼镜、增强现实设备(Augmented Reality，AR)、VR游戏设备、移动计算设备以及其他可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述，应当理解的是，所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。

虚拟现实设备500可以在佩戴于用户面部后，显示媒资画面，为用户双眼提供近距离影像，以带来沉浸感体验。为了呈现媒资画面，虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例，虚拟现实设备500可以包括外壳、位置固定件、光学***、显示组件、姿态检测电路、接口电路等部件。实际应用中，光学***、显示组件、姿态检测电路以及接口电路可以设置于外壳内，以用于呈现具体的显示画面；外壳两侧连接位置固定件，以佩戴于用户面部。

在使用时，姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件，当用户头部移动或转动时，可以检测到用户的姿态，并将检测到的姿态数据传递给控制器等处理元件，使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。

如图1所示，在一些实施例中，所示虚拟现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示***，在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给虚拟现实设备500中进行显示。

其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

在进行数据交互的过程中，用户可通过移动终端300和遥控器100操作显示设备200。移动终端300和遥控器100可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端300和遥控器100可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端300和遥控器100可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。

在另一些实施例中，移动终端300和遥控器100还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端300和遥控器100可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。

在一些实施例中，用户还可以使用移动终端300和遥控器100还可以直接与虚拟现实设备500进行交互，例如，可以将移动终端300和遥控器100作为虚拟现实场景中的手柄进行使用，以实现体感交互等功能。

在一些实施例中，虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面，以及带来立体效果，显示组件中可以包括两个显示屏幕，分别对应于用户的左眼和右眼。在呈现3D效果时，左右两个屏幕中显示的画面内容会稍有不同，可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容，因此在佩戴时，可以观察到立体感较强的显示画面。

虚拟现实设备500中的光学***，是由多个透镜组成的光学模组。光学***设置在用户的双眼与显示屏幕之间，可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应，增加光程，使显示组件呈现的内容可以清晰地呈现在用户的视野范围内。同时，为了适应不同用户的视力情况，光学***还支持调焦，即通过调焦组件调整多个透镜中的一个或多个的位置，改变多个透镜之间的相互距离，从而改变光程，调整画面清晰度。

虚拟现实设备500的接口电路可以用于传递交互数据，除上述传递姿态数据和显示内容数据外，在实际应用中，虚拟现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，虚拟现实设备500可以通过接口电路连接显示设备，从而将所显示的画面实时输出至显示设备进行显示。又例如，虚拟现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在VR用户界面中执行相关操作。

其中，所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图2所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。

虚拟现实设备500在呈现上述立体感较强的显示画面时通常会利用机器视觉/计算机视觉技术。而在机器视觉/计算机视觉等技术领域中，虚拟现实设备500中的相机通常被用于对客观世界的对象和场景进行成像，以便于根据相机的成像对客观对象和场景进行三维重建，实现利用机器对客观世界的三维识别，例如识别对象的形状、尺寸、距离观察点的距离、质地和运动特征等。需要说明的是，本申请仅以虚拟现实设备500中利用机器视觉/计算机视觉技术为例，机器视觉/计算机视觉技术还可以被应用到虚拟现实、高级辅助驾驶***、无人机巡航***、视觉检测、生物特征识别、距离测量、三维重建等领域。

进而，虚拟现实设备500为确定空间物体表面某点的三维几何位置与其在相机采集的图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数可以被概括为相机参数。在大多数情况下，相机参数必须通过实验和计算才能够求解得到，通过实验和计算求解相机参数的过程被称为相机标定。相机标定是机器视觉/计算机视觉等领域的重要环节，其标定结果的精度及算法的稳定性直接影响图像推理结果的准确性，因此，做好相机标定是做好后续工作的前提，快速准确地完成相机标定则是提高后续工作效率的基础。

在一些实施例中，虚拟现实设备500中包括由多个相机构成的成像***。例如：在虚拟现实设备500中设置顶部双相机和底部双相机，且底部双相机和顶部双相机按照预设角度设置位置朝向。

如图3所示，现实空间中的物体是三维的，而其对应的图像中的物体是二维的，因此，从三维场景中的物体到其对应的二维图像之间可以认为存在一个三维到二维的映射模型，该映射模型使得三维场景中的物体到其对应的图像之间形成从三维到二维或者二维到三维的转换。那么，容易理解的是，在相机拍摄对三维场景中的物体拍摄图像时，相机就可以被认为是这个映射模型，而相机参数就是这个映射模型的参数。因此，只要求得相机参数，就可以由物体在图像中的像素坐标反推出物体在空间中的世界坐标，由此实现视觉检测、生物特征识别、距离测量、三维重建等功能。

下面结合一些附图和文字对相机标定的基本原理和涉及到的主要技术概念进行具体地解释说明。需要注意的是，在不同的表述方式和习惯中，一些技术概念的表述方式可能不同，例如，将一个概念表述为多个子概念，或者将几个概念通过拆分或组合的方式概括为一个或者多个其他概念，这些表述方式仅仅是习惯上的改变，不构成对本申请实施例的实质区别。

一般来说，相机标定中会涉及到以下概念：

相机的内部参数(简称相机内参)：是指与相机自身特性相关的参数，可以通过光学镜头和光电传感器等在相机模组内安装的位置确定。相机内参可以包括：焦距、像素大小、光学畸变、白平衡、分辨率、反差、晕影和暗角等参数中的至少一个。

相机的外部参数(简称相机外参)可以包含以下中的至少一个：

世界坐标系(world coordinate)：也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体在客观世界的空间位置。世界坐标系的位置可以根据实际情况自由确定。

相机的外部参数和相机的内部参数统称为相机参数。

相机坐标系(camera coordinate)：是一个三维直角坐标系，原点位于光学镜头的光心处(其中，即光学中心，是指光学镜头的透镜的中心点)，x、y轴分别与相机的图像平面的两边平行，z轴为光学镜头的光轴，与成像平面垂直。

像素坐标系(pixel coordinate)：是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。像素坐标系的原点位于图像的左上角，u轴、v轴分别与图像平面的两边平行。像素坐标系中坐标轴的单位是像素(整数)。

图像坐标系(image coordinate)：是一个二维直角坐标系，其坐标轴的单位通常为毫米(mm)，原点是相机的光轴与图像平面的交点(称为主点)，即图像的中心点，X轴、Y轴分别与像素坐标系的u轴、v轴平行。图像坐标系和像素坐标系之间是平移关系，即可以通过平移就可得到。

图4为本申请根据一些实施例示出的各个坐标系转换关系的示意图。下面结合图4介绍各个坐标系之间的转换关系，进而对本申请实施例需要标定的相机参数进行具体说明：

1、世界坐标系转换为相机坐标系(也称摄像头坐标系)可以通过以下矩阵变换实现：

其中，R为3*3的旋转矩阵，t为3*1的平移矢量，(x_c，y_c，z_c，1)^T为相机坐标系的坐标，(x_w，y_w，z_w，1)^T为世界坐标系的坐标。因此，从世界坐标系转换为相机坐标系实际上包括了一个旋转过程和一个平移过程。

2、图像坐标系转换为像素坐标系可以通过以下矩阵变换实现：

其中，(X，Y，1)^T为图像坐标系的坐标，(u，v，1)^T为图像坐标系的坐标，dX、dY分别是每个像素在X、Y轴方向上的物理尺寸，u₀，v₀是图像坐标系原点在像素坐标系中的坐标，即光心坐标。

3、相机坐标系转换为图像坐标系如图3所示是一个透视投影的过程：

例如，空间内任意一点P与相机光心C的连线为CP，CP与图像平面的交点p即为空间点P在图像平面上的投影，该投影可以通过以下矩阵变换实现：

其中，S为比例因子(S不为0)，f为相机的有效焦距(光心到图像平面的距离)，(x_c，y_c，z_c，1)^T是空间点P在相机坐标系中的坐标，(X，Y，1)^T是像点p在图像坐标系中的坐标。

4、世界坐标系转换为像素坐标系：

根据上述1～3示出的各个坐标系之间的转换矩阵，世界坐标系转换为像素坐标系可以通过以下矩阵变换得到：

M₁M₂X_w＝MX_w……(4)

其中：

在上述矩阵中，M为相机的参数矩阵，即相机参数；其中，M₁为相机的内参矩阵，即相机的内部参数；M₂为相机的外参矩阵，即相机的外部参数。相机标定即包括求解上述内参矩阵M₁和/或外参矩阵M₂。例如：求解得到相机的像元尺寸1/dX和1/dY、相机的焦距f、相机的光心位置(v₀，u₀)、旋转矩阵R和平移变量等参数。

需要补充说明的是，相机的实际成像通常会有变形，可以称为畸变。如图5所示，畸变具体可以分为切向畸变和径向畸变。其中，径向畸变来自于相机的透镜本身，来源于“鱼眼”和“桶形”的影响，在透镜成像的边缘更加明显；切向畸变是透镜制造上的缺陷或者安装存在偏差使得透镜本身与图像平面不平行而产生的。

通常在相机标定的过程中，需通过调整标定板的摆放位置即标定板间外参，来提高检测覆盖面积和提高标定精度。标定板间外参可以在标定板位置固定之后，进行位置测量获得。或者根据确定的标定板间外参，来设计标定板位置并安装标定板。因此，在存在多个标定板且存在确定的标定板间外参的场景下，如调整相机的排列方式或调整标定板的摆放位置时，会出现标定板间外参未知或不精确的情况，进而影响标定精度。

为了避免会出现标定板间外参未知或不精确的问题，一些实施例中提供了一种虚拟现实设备，包括：显示器相机以及控制器；其中，显示器被配置为显示用户界面；相机被配置为获取标定板对应的标定图像。控制器通过优化标定板间外参，保证在相机标定过程中的标定精度。

以下针对本申请提供的一种虚拟现实设备及相机标定方法进行具体阐述。

图6为本申请根据一些实施例示出的虚拟现实设备500进行相机标定的示意图。参见图6，本申请实施例提供的一种虚拟现实设备，其配置的控制器在执行焦点操作方法时，被配置为执行下述步骤：

S1、根据主标定板和从标定板的位置获取板间外参的初值，板间外参用于表征主标定板和从标定板的位置关系。

在一些实施例中，本申请提供的技术方案应用于多板标定中。虚拟现实设备500中可以包括N个不共面的标定板，N为大于2的整数。不共面是指三个标定板互不平行，两两相互呈现一定的夹角。标定板包括主标定板和从标定板。例如：虚拟现实设备500中包括1个主标定板和2个从标定板，3个标定板之间两两垂直。本申请不对标定板之间的夹角度数以及主标定板和从标定板的设置进行具体限定。

在一些实施例中，控制器可以根据已经建立的初值映射表来获取板间外参的初值。初值映射表用于表征板间距离和板间角度与初值的关联关系，板间距离为主标定板和从标定板之间的距离。其中，板间距离指的是多个从标定板与主标定板之间的距离，板间角度指的是以主标定板为基准，多个从标定板与主标定板之间的设置角度。通过测量板间距离和板间角度得到对应的板间外参。根据板间距离和板间角度以及对应的板间外参建立初值映射表。

需要说明的是，初值映射表也可以用于表征板间距离与初值的关联关系，或表征板间角度与初值的关联关系。

示例性的，在实际应用中，检测多个从标定板与主标定板之间板间距离和板间角度。将板间距离和板间角度带入至初值映射关系表，查找得到对应的板间外参。为便于与后续优化的板间外参进行区分，将上述得到的板间外参称为板间外参的初值。

在一些实施例中，标定板上可以设置预设图案，如印制棋盘格图案、圆点图案、二维码图案或者其他特定图案。对于标定板来说，其中的任意一个图案单元，例如棋盘格图案的任意一个方格、圆点图案的任意一个圆点，均可以称作一个标志物。从标志物中可以确定一些特征点如标定角点，以用于后续计算相机参数。

在一些实施例中，每个标定板分别具有唯一对应的标定板标识，标定板标识可以是用于区分每个标定板的信息，通过标定板标识可以区分不同的标定板。如3个标定板对应的标定板标识为对应的ID：标定板01、标定板02以及标定板03。进而，可以对3个标定板进行区分。

S2、控制相机拍摄从标定板的标定图像，识别标定图像中的标定角点，得到标定角点在标定图像中对应的像素坐标。并获取标定角点在从标定板中对应的世界坐标。

在一些实施例中，上述通过相机拍摄的结果包括相机拍摄的照片和/或者视频。相机可以将拍摄的照片和视频回传给控制器，控制器将相机回传的照片和视频保存在存储器中，以供后续步骤中计算相机内参、相机外参和板间外参使用。例如，相机可以将照片和视频的模拟信号发送给采集装置，由采集装置进行信号的模拟-数字转换，然后将转换得到的照片和视频的数字信号发送给控制器进行存储。

在一些实施例中，图7为本申请根据一些实施例示出的构成相机成像模型的示意图。参见图7，在控制相机拍摄标定板的标定图像的步骤之前，基于板间外参的初值建立相机成像模型。建立相机成像模型具体步骤如下：获取像素坐标系与图像坐标系的第一转换关系，以及根据第一转换关系生成第一转换矩阵。获取图像坐标系与相机坐标系的第二转换关系，以及根据第二转换关系生成第二转换矩阵。获取相机坐标系与世界坐标系的第三转换关系，以及根据第三转换关系生成第三转换矩阵。整合第一转换矩阵、第二转换矩阵和第三转换矩阵，以根据整合后的第一转换矩阵、第二转换矩阵和第三转换矩阵生成相机成像模型。需要说明的是，第一转换矩阵、第二转换矩阵和第三转换矩阵分别对应于上述图像坐标系转换为像素坐标系的变换矩阵(公式(2))、相机坐标系转换为图像坐标系的变换矩阵(公式(3))以及世界坐标系转换为相机坐标系的变换矩阵(公式(1))。整合三者后即为世界坐标系转换为像素坐标系的变换矩阵(公式(4))，进而构成相机成像模型。本申请不对具体的转换关系和转换矩阵进行具体限定，仅以上述第一转换矩阵、第二转换矩阵和第三转换矩阵进行示例性说明。

示例性的，当相机的拍摄结果是照片时，控制器可以从上述“部分或者全部”照片中检测获取标定角点。每个标定角点都有在照片中的像素坐标系坐标和在世界坐标系坐标，根据上述标定角点的像素坐标系坐标和世界坐标系坐标，就可以求解上述“世界坐标系转换为像素坐标系”的中相机内参、相机外参和相机畸变系数。

示例性的，当相机的拍摄结果是视频时，控制器可以从视频中提取至少一个视频帧，所提取的每个视频帧都包含有标定图案的部分或者全部图案。然后，控制器可以从上述至少一个视频帧中检测获取标定角点。每个标定角点都有在视频帧中的像素坐标系的坐标和在世界坐标系的坐标，根据上述标定角点的像素坐标系坐标和世界坐标系坐标，就可以求解上述“世界坐标系转换为像素坐标系”的中相机内参、相机外参和相机畸变系数。

由此，通过标定角点在标定图像中对应的像素坐标和标定角点在从标定板中对应的世界坐标，即可得到相机内参、相机外参和相机畸变系数。

在一些实施例中，在识别标定角点之前，控制器需对相机拍摄的标定图像进行预处理。例如：对标定图像进行灰度化处理，得到灰度图像。对灰度图像进行滤波处理，得到平滑图像。基于平滑图像调整灰度图像的像素值，以得到包含梯度和灰度的候选图像。进而，基于候选图像确定标定图像，以在标定图像中确定标定角点。

在一些实施例中，控制器可以根据标定板标识，识别标定图像中的标定角点，并根据标定板对应的标定板标识，确定在每一张标定图像中，除其本身之外的其他标定图像中的标定角点的坐标信息。

S3、检测参数优化标识，如果参数优化标识为执行优化，则根据像素坐标、世界坐标和板间外参的初值优化板间外参，以根据优化后的板间外参完成相机标定。

在一些实施例中，图8为本申请根据一些实施例示出的基于参数优化标识进行相机标定的交互图。参见图8，控制器接收用于指示参数优化的控制指令，其中，控制指令包括参数优化标识。响应于控制指令，检测参数优化标识。如果参数优化标识为执行优化，则根据像素坐标、世界坐标和板间外参的初值优化板间外参，输出优化后的板间外参。控制器根据输出优化后的板间外参控制显示器显示用户界面。

以下将根据像素坐标、世界坐标和板间外参的初值优化板间外参的过程进行具体阐述。图9为本申请根据一些实施例示出的虚拟现实设备500进行相机标定的流程图。参见图9，示例性的，在考虑畸变且不考虑板间外参的情况下，相机成像模型如下：

<u,v>＝F_d(K,θ_d,θ_e|<X_w,Y_w,Z_w>)；

其中，<u,v>代表标定角点在标定图像上的像素坐标，<X_w,Y_w,Z_w>代表标定角点在世界坐标系上的世界坐标；K代表相机内参；θ_d代表相机外参；θ_e代表相机畸变系数；F_d为预设函数。

在多标定板进行标定的过程中，通过连立起标定角点的世界坐标和像素坐标的方程组，构建优化板间外参，进行求解。

在考虑板间外参的情况下，相机成像模型如下：

<u,v>＝F_d(K,θ_d,θ_e,θ_b|<X_w',Y_w',Z_w'>)；

其中，<X_w',Y_w',Z_w'>为标定角点在其所在标定板构建的世界坐标系下的3D坐标；θ_b为标定板的板间外参；F_d为预设函数；<u,v>为标定角点在其所在标定板构建的像素坐标系即标定图像下的2D坐标。

因此，将考虑板间外参的相机成像模型进行转化，转化后的相机成像模型如下：

θ_b(<X_w',Y_w',Z_w'>)＝<X_w,Y_w,Z_w>；

通过上述相机成像模型，构建方程组如下：

进而，优化后的板间外参即可通过下式得到：

其中，主标定板板上标定角点对应的板间外参为板间外参的初值。

在一些实施例中，将像素坐标、世界坐标和板间外参的初值输入至上述相机成像模型中，采用雅格比的计算、参数优化以及非线性优化方法，得到从标定板上标定角点对应的板间外参、相机内参、相机外参和相机畸变系数。其中，从标定板上标定角点对应的板间外参也可称为优化后的板间外参。

可以理解的是，基于上述得到优化后的板间外参的过程，本申请实施例可以对相机执行多次标定，可以将本次优化后的板间外参作为下一次相机标定过程初始时板间外参的初值。使相机内参、相机外参、相机畸变系数以及板间外参不断迭代更新和优化，节省优化问题的求解时间，提高优化效率。

在一些实施例中，如果参数优化标识为不执行优化，则将像素坐标和世界坐标输入至相机成像模型中，得到相机的内部参数、外部参数和相机畸变系数；以根据内部参数和外部参数完成相机标定。

示例性的，控制器在检测参数优化标识为不执行优化的情况下，则不建立考虑板间外参的相机模型和方程。将标定角点的像素坐标和世界坐标输入至相机成像模型中，即可得到相机的内部参数、外部参数和相机畸变系数。此过程同上述S2，在此不再赘述。

在一些实施例中，图10为本申请根据一些实施例示出的处理参数以及对应误差阈值的示意图。内部参数和外部参数中的至少一个参数具有对应的误差阈值。如果所述参数的重复精度大于对应的所述误差阈值；则更换从标定板的标定图案，和/或，调整从标定图像中提取的标定角点的数量，和/或，调整从标定板中的图像质量。

在一些实施例中，不同的虚拟现实设备500对相机的标定有不同的需求。例如：相机中的所有参数均为待标定的参数，或只标定所有参数中的部分参数。这样，当所有的参数或者部分参数都满足其对应的误差阈值时，可以认为得到的参数是准确的，满足输出条件，输出标定结果。如果有任何一个参数的误差不满足其对应的误差阈值，则需要返回步骤S1继续标定，实现迭代更新，得到对应满足标定需求且更准确的参数。其中，重复精度是指在相同的标定环境下重复执行多次标定所得到的多次参数之间的偏差。偏差越小，说明参数的误差越小；偏差越大，说明参数的误差越大。

示例性的，标定图案通常在标定过程中是固定不变的，即标志物的数量和大小不变。因此，在下一次标定时，可以通过改变标志图案、并增加标志物的数量的方式得到新的标定图案，以提高控制器在从拍摄结果中提取到的标定角点的数量，以提高标定精度。

示例性的，还可以通过调整图像的亮度、对比度等影响图像质量的参数，提高标定角点的提取精度。

以上通过根据像素坐标、世界坐标和板间外参的初值优化板间外参，并根据优化后的板间外参完成相机标定。解决了在存在多个标定板且存在确定的标定板间外参的场景下，如调整相机的排列方式或调整标定板的摆放位置时，会出现标定板间外参未知或不精确的问题。

本申请还提供一种相机标定方法，方法具体包括以下步骤：根据主标定板和从标定板的位置获取板间外参的初值，板间外参用于表征主标定板和从标定板之间的位置关系。控制相机拍摄从标定板的标定图像。识别标定图像中的标定角点，得到标定角点在标定图像中对应的像素坐标。获取标定角点在从标定板中对应的世界坐标。检测参数优化标识，如果参数优化标识为执行优化，则根据像素坐标、世界坐标和板间外参的初值优化板间外参，以根据优化后的板间外参完成相机标定。

在一些实施例中，方法还包括：在获取板间外参的初值的步骤中，建立初值映射表，初值映射表用于表征板间距离和板间角度与初值的关联关系，板间距离为主标定板和从标定板之间的距离。检测板间距离和板间角度。根据初值映射关系表，得到板间距离和板间角度对应的初值。

在一些实施例中，方法还包括：在控制相机拍摄标定板的标定图像的步骤之前，基于板间外参的初值建立相机成像模型。将像素坐标、世界坐标和板间外参的初值输入至相机成像模型中，得到优化后的板间外参。

在一些实施例中，方法还包括：在建立相机成像模型的步骤中，获取像素坐标系与图像坐标系的第一转换关系，以及根据第一转换关系生成第一转换矩阵。获取图像坐标系与相机坐标系的第二转换关系，以及根据第二转换关系生成第二转换矩阵。获取相机坐标系与世界坐标系的第三转换关系，以及根据第三转换关系生成第三转换矩阵。整合第一转换矩阵、第二转换矩阵和第三转换矩阵，以根据整合后的第一转换矩阵、第二转换矩阵和第三转换矩阵生成相机成像模型。

在一些实施例中，方法还包括：如果参数优化标识为不执行优化，则将像素坐标和世界坐标输入至相机成像模型中，得到相机的内部参数、外部参数和相机畸变系数；以根据内部参数和外部参数完成相机标定。

在一些实施例中，方法还包括：内部参数和外部参数中的至少一个参数具有对应的误差阈值；如果所述参数的重复精度大于对应的所述误差阈值，则更换从标定板的标定图案，和/或，调整从标定图像中提取的标定角点的数量，和/或，调整从标定板中的图像质量。

在一些实施例中，方法还包括：在控制相机拍摄标定板的标定图像的步骤中，对标定图像进行灰度化处理，得到灰度图像。对灰度图像进行滤波处理，得到平滑图像。基于平滑图像调整灰度图像的像素值，以得到包含梯度和灰度的候选图像。基于候选图像确定标定图像，以在标定图像中确定标定角点。

参见图11，本申请还提供一种相机标定装置，包括：板间外参的初值获取模块，用于根据主标定板和从标定板的位置获取板间外参的初值，板间外参用于表征主标定板和从标定板之间的位置关系。

标定图像获取模块，用于获取相机拍摄标定板的标定图像。

标定角点确定模块，用于识别标定图像中的标定角点，得到标定角点在标定图像中对应的像素坐标；根据标定角点对应的标识获取标定角点在标定板中对应的世界坐标。

板间外参优化模块，用于检测参数优化标识，如果参数优化标识为执行优化，则根据像素坐标、世界坐标和板间外参的初值优化板间外参，以根据优化后的板间外参完成相机标定。

本说明书中各个实施例之间相同相似的部分互相参照即可，在此不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器400，或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好地解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (9)

1.一种虚拟现实设备，其特征在于，包括：

显示器，被配置为显示用户界面；

相机，用于获取标定板对应的标定图像；

控制器，被配置为：

根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板的位置关系；

控制所述相机拍摄所述从标定板的标定图像；

识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标；

获取所述标定角点在所述从标定板中对应的世界坐标；

检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。

2.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被配置为：

在获取板间外参的初值的步骤中，建立初值映射表，所述初值映射表用于表征板间距离和板间角度与所述初值的关联关系，所述板间距离为所述主标定板和所述从标定板之间的距离；

检测所述板间距离和所述板间角度；

根据所述初值映射关系表，得到所述板间距离和所述板间角度对应的所述初值。

3.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被配置为：

在控制所述相机拍摄所述标定板的标定图像的步骤之前，基于所述板间外参的初值建立相机成像模型；

将所述像素坐标、所述世界坐标和所述板间外参的初值输入至所述相机成像模型中，得到优化后的所述板间外参。

4.根据权利要求3所述的虚拟现实设备，其特征在于，所述控制器被配置为：

在建立所述相机成像模型的步骤中，获取像素坐标系与图像坐标系的第一转换关系，以及根据所述第一转换关系生成第一转换矩阵；

获取所述图像坐标系与相机坐标系的第二转换关系，以及根据所述第二转换关系生成第二转换矩阵；

获取所述相机坐标系与世界坐标系的第三转换关系，以及根据所述第三转换关系生成第三转换矩阵；

整合所述第一转换矩阵、第二转换矩阵和第三转换矩阵，以根据整合后的所述第一转换矩阵、第二转换矩阵和第三转换矩阵生成所述相机成像模型。

5.根据权利要求4所述的虚拟现实设备，其特征在于，所述控制器被配置为：

如果所述参数优化标识为不执行优化，则将所述像素坐标和所述世界坐标输入至所述相机成像模型中，得到所述相机的内部参数、外部参数和相机畸变系数；以根据所述内部参数和所述外部参数完成相机标定。

6.根据权利要求5所述的虚拟现实设备，其特征在于，所述内部参数和外部参数中的至少一个参数具有对应的误差阈值；所述控制器被配置为：

如果所述参数的重复精度大于对应的所述误差阈值；则更换所述从标定板的标定图案，和/或，调整从所述标定图像中提取的所述标定角点的数量，和/或，调整所述从标定板中的图像质量。

7.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被配置为：

在控制所述相机拍摄所述标定板的标定图像的步骤中，对所述标定图像进行灰度化处理，得到灰度图像；

对所述灰度图像进行滤波处理，得到平滑图像；

基于所述平滑图像调整所述灰度图像的像素值，以得到包含梯度和灰度的候选图像；

基于所述候选图像确定所述标定图像，以在所述标定图像中确定所述标定角点。

8.一种相机标定装置，其特征在于，包括：

板间外参的初值获取模块，用于根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板之间的位置关系；

标定图像获取模块，用于获取所述相机拍摄所述标定板的标定图像；

标定角点确定模块，用于识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标；根据所述标定角点对应的标识获取所述标定角点在所述标定板中对应的世界坐标；

板间外参优化模块，用于检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。

9.一种相机标定方法，其特征在于，所述方法具体包括以下步骤：

根据主标定板和从标定板的位置获取板间外参的初值，所述板间外参用于表征所述主标定板和所述从标定板之间的位置关系；

控制所述相机拍摄所述从标定板的标定图像；

识别所述标定图像中的标定角点，得到所述标定角点在所述标定图像中对应的像素坐标；

获取所述标定角点在所述从标定板中对应的世界坐标；

检测参数优化标识，如果所述参数优化标识为执行优化，则根据所述像素坐标、所述世界坐标和所述板间外参的初值优化所述板间外参，以根据优化后的所述板间外参完成相机标定。