CN116503484A - 相机标定方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及一种相机标定方法、装置、电子设备和存储介质，涉及计算机视觉领域。其中的方法包括：根据已初始标定的至少两个相机之间的相对位姿，构建包括至少两个相机的三维场景，其中，三维场景中包括目标空间；响应于检测到目标空间在三维场景中的位置发生改变，获取标定物位于目标空间内不同位置处的标定物的第一图像；响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。应用本公开不需要购买特定的标定物道具，只需要利用人的手指就可以完成相机的标定。从而不需要具有专业的技术和经验门槛就可以完成相机的标定，方便用户利用多个相机实现动态捕捉。

Description

相机标定方法、装置、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种相机标定方法、装置、电子设备和存储介质。

背景技术

近年来，基于计算机视觉的手势识别技术发展迅速。这种技术不需要借助可穿戴设备和外部传感器，只需要通过摄像头等视频捕捉设备，再利用机器学习和深度学习等技术，即可实现对人体手势的识别。手势识别技术又可以分为静态手势识别和动态手势识别(包括二维动态手势识别和三维动态手势识别)，其中静态手势识别和二维动态手势识别因为只需要二维摄像***即可实现，获得了广泛的应用。

目前，视频会议成为了人们工作和生活中不可或缺少的一种交互方式。人们在视频会议时可能有画符号、图形等特殊文本的演示需求，现有的视频会议交互方式难以高效直接地传递这种信息。

发明内容

本公开的实施例提供了一种相机标定方法、装置、电子设备和存储介质。

第一方面，本公开的实施例提供了一种相机标定方法，包括：根据已初始标定的至少两个相机之间的相对位姿，构建包括至少两个相机的三维场景，其中，三维场景中包括目标空间；响应于检测到目标空间在三维场景中的位置发生改变，获取标定物位于目标空间内不同位置处的标定物的第一图像；响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。

第二方面，本公开的实施例提供了一种相机标定装置，包括：三维场景构建单元，被配置成根据已初始标定的至少两个相机之间的相对位姿，构建包括至少两个相机的三维场景，其中，三维场景中包括目标空间；第一图像获取单元，被配置成响应于检测到目标空间在三维场景中的位置发生改变，获取标定物位于目标空间内不同位置处的标定物的第一图像；标定结果优化单元，被配置成响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。

第三方面，本公开的实施例提供了一种电子设备，包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所描述的相机标定方法。

第四方面，本公开的实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所描述的相机标定方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开的相机标定方法的一个实施例可以应用于其中的示例性***架构图；

图2为本公开的相机标定方法的一个实施例的流程示意图；

图3为本公开的相机标定方法的另一个实施例的流程示意图；

图4为本公开的相机标定方法的一个应用场景的示意图；

图5为本公开的相机标定装置的一个实施例的结构示意图；

图6为本公开的电子设备的一个实施例的结构示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文中使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

为使本公开的技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本公开作进一步详细的说明。

图1示出了可以应用本公开的相机标定方法或相机标定装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括终端设备101，网络102和相机103、104、105。网络102用以在终端设备101和相机103、104、105之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102接收相机103、104、105采集的图像。终端设备101上可以安装有各种通讯客户端应用，例如图像处理类应用等。

终端设备101可以是硬件，也可以是软件。当终端设备101为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

相机103、104、105可以是各种可以用于采集图像的图像采集装置。相机103、104、105可以放置在不同的位置，朝向不同的角度，以从各个角度采集目标对象的图像。相机103、104、105具有公共视野。

需要说明的是，本公开实施例所提供的相机标定方法一般由终端设备101执行。相应地，相机标定装置一般设置于终端设备101中。

应该理解，图1中的终端设备、网络和相机的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和相机。

图2示出了本公开的相机标定方法的一个实施例的流程200。如图2所示，本实施例的相机标定方法可以包括以下步骤：

步骤201，根据已初始标定的至少两个相机之间的相对位姿，构建包括上述至少两个相机的三维场景。

本实施例中，相机标定方法的执行主体(例如图1所示的终端设备101)可以预先对至少两个相机进行初始标定。具体的，执行主体可以采用现有的标定算法(例如直接线性变换法、Tsai两步法、张正友平面标定法等)对各相机进行初始标定。可以理解的是，经初始标定后的各相机之间具有公共视野。经初始标定后的各相机之间存在相对位姿，执行主体可以根据各相机之间的相对位置，构件包括各相机的三维场景。具体的，执行主体可以通过预设的三维场景构建应用，通过控制命令，首先固定其中一个相机，然后根据各相机之间的相对位姿，确定其它相机相对于已固定的相机的位置和角度，从而得到三维场景。上述三维场景中可以包括目标空间。这里，目标空间可以是一个尺寸固定的立体空间，其可以在三维场景中任意位置处。具体的，上述目标空间的位置可变，从而实现对三维场景的扫场。

步骤202，响应于检测到目标空间在三维场景中的位置发生改变，获取位于目标空间内不同位置处的标定物的第一图像。

执行主体可以实时监测目标空间在三维场景中的位置，如果确定目标空间在三维场景中的位置发生改变，说明目标空间移动到了一个新的位置。此时需要采集此位置处的标定物的图像。标定物可以是各种可以用于标定的物品，例如可以是手指、直杆等等。标定物可以在目标空间中移动，各相机可以在标定物在目标空间中改变位置时采集其图像，这里称为第一图像。

步骤203，响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。

执行主体可以实时判断图像采集终止条件是否满足，如果不满足，说明对各相机的优化标定仍然需要更多的图像。如果满足，则说明不需要再采集标定物的图像。则可以根据所获取的各第一图像对各相机的初始标定结果进行优化。具体的，执行主体可以根据各第一图像，通过现有的标定算法再次确定出各相机之间的相对位姿。然后，利用此相对位姿对初始位姿进行优化。例如，可以调整初始位姿中的某些参数，或者将两次确定的相对位姿输入预先训练的迭代优化模型进行迭代优化。

本公开的上述实施例提供的相机标定方法，可以对已初始标定的各相机之间的相对位姿进行优化，以提高各相机的标定准确度。

继续参见图3，其示出了根据本公开的相机标定方法的另一个实施例的流程300。如图3所示，本实施例中可以首先通过步骤301～302对各相机进行初始标定，然后利用步骤303～305对各相机的初始标定结果进行优化。本实施例的方法可以包括以下步骤：

步骤301，获取由至少两个相机采集的、在公共视野内不同位置处的标定物的第二图像。

本实施例中，执行主体可以首先获取由至少两个相机采集的、在公共视野内不同位置处的标定物的第二图像。这里的标定物可以与图2所示实施例中的标定物相同。执行主体可以检测各第二图像，如果标定物在公共视野内的位置发生变化，则将第二图像作为有效图像存储起来。

步骤302，根据标定物在各第二图像中的位置，对至少至少两个相机进行初始标定。

执行主体可以对各第二图像进行目标识别，确定出标定物在第二图像中的位置。具体的，执行主体可以利用预先训练的神经网络确定出标定物所在区域。然后利用最小二乘法确定出标定物的特定区域的位置。在一些具体的实践中，标定物为人的食指，执行主体可以利用预先训练的神经网络确定出食指所占的区域。然后利用最小二乘法确定食指指尖的位置。

在确定了食指指尖在各第二图像中的位置，可以利用现有的标定算法对各相机进行初始标定，得到初始标定结果。

步骤303，根据已初始标定的至少两个相机之间的相对位姿，确定每个相机相对于其它相机的位置、朝向和视野；根据所确定的位置、朝向和视野，将上述至少两个相机绘制在三维场景中。

在对各相机进行初始标定后，可以根据各相机之间的相对位姿，确定出每个相机相对于其它相机的位置、朝向和视野。然后，执行主体可以首先将其中一个相机作为坐标系原点，然后根据其它相机相对于该相机的位置、朝向和视野，确定出其它相机在三维场景中的位置、朝向和视野。构建的三维场景中可以包括目标空间，这里，目标空间可以是一个半透明的立方体，这样也方便用户通过终端设备查看。目标空间可以在三维场景中不断改变位置。

步骤304，响应于检测到所述目标空间在所述三维场景中的位置发生改变，获取标定物位于所述目标空间内不同位置处的标定物的第一图像。

步骤305，确定在目标空间位置固定的过程中，所获取的第一图像中有效图像的数量；响应于确定有效图像的数量大于第一预设阈值，控制改变目标空间在三维场景中的位置。

当目标空间在三维场景中的位置固定时，执行主体可以控制各相机不断采集标志物的图像。同时可以控制标定物在目标空间中不断移动以改变位置。执行主体可以对采集的每张图像进行评估，确定是否为有效图像。这里有效图像可以理解为清晰不模糊、边界清楚的图像。如果有效图像的数量大于第一预设阈值，则可以认定在该位置处的目标空间中标志物的数量足够，则可以控制改变目标空间在三维场景中的位置。

步骤306，确定不同位置的目标空间占三维场景的比例；响应于确定上述比例大于第二预设阈值，确定图像采集终止条件满足。

执行主体可以实时计算不同位置的目标空间站三维场景的比例。具体的，执行主体可以将目标空间向三维场景的地面进行投影，确定投影区域的面积。目标空间每次移动后，可以将叠加投影区域的面积。同时执行主体还可以计算各相机的公共视野向三维场景的底面的投影面积。将二者相除即可得到比例。如果上述比例大于第二预设阈值，则说明扫场完毕，不需要继续采集图像，即图像采集终止条件满足。如果小于，说明目标空间在三维场景中的覆盖度不够，需要继续移动目标空间。

步骤307，响应于确定图像采集终止条件满足，根据第一图像以及第二图像，确定至少两个相机之间的相对位姿；对所确定的相对位姿进行合并迭代优化。

如果图像采集终止条件满足，则可以根据第一图像以及第二图像，确定至少两个相机之间的相对位姿。这里，执行主体可以将第一图像和第二图像输入预先训练的位姿确定模型中，模型的输出即为各相机之间的相对位姿。执行主体还可以将输出的相对位置继续输入到预先设置的迭代优化模型中，直至迭代优化模型的损失函数值收敛，从而得到优化后的相对位姿。

继续参加图4，其示出了本实施例的相机标定方法的一个应用场景的示意图。在图4的应用场景中，用户可以将两个相机位置固定后，将食指在两个相机的公共视野中移动，通过利用两个相机不断采集用户食指的图像。终端中安装的图像处理应用通过对图像进行不断处理，完成对上述两个相机的初始标定。并在初始标定后利用两相机之间的相对位姿，构建出包括两个相机的三维场景。在上述三维场景中生成一个半透明立方体标识目标区域，并提示用户将食指指尖移动到该立方体内并缓慢移动，控制各相机不断采集食指指尖的图像。在完成扫场后，利用所采集的图像实现对各相机的标定。

本公开的上述实施例提供的相机标定方法，不需要购买特定的标定物道具，只需要利用人的手指就可以完成相机的标定。从而不需要具有专业的技术和经验门槛就可以完成相机的标定，方便用户利用多个相机实现动态捕捉。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种相机标定装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的相机标定装置500包括：三维场景构建单元501、第一图像获取单元502和标定结果优化单元503。

三维场景构建单元501，被配置成根据已初始标定的至少两个相机之间的相对位姿，构建包括至少两个相机的三维场景。其中，三维场景中包括目标空间。

第一图像获取单元502，被配置成响应于检测到目标空间在三维场景中的位置发生改变，获取标定物位于目标空间内不同位置处的标定物的第一图像。

标定结果优化单元503，被配置成响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。

在本实施例的一些可选的实现方式中，上述装置500还可以包括图5中未示出的第二图像获取单元和初始标定单元。

第二图像获取单元，被配置成获取由至少两个相机采集的、在公共视野内不同位置处的标定物的第二图像。

初始标定单元，被配置成根据标定物在各第二图像中的位置，对至少至少两个相机进行初始标定。

另外，在本申请的技术方案中，还提出了一种电子设备。

图6示出了本公开一实施例提供的一种电子设备的结构示意图。

如图6所示，该电子设备可以包括处理器601、存储器602、总线603以及存储在存储器602上并可在处理器601上运行的计算机程序，其中，处理器601和存储器602通过总线603完成相互间的通信。所述处理器601执行所述计算机程序时实现上述方法的步骤，例如包括：根据已初始标定的至少两个相机之间的相对位姿，构建包括至少两个相机的三维场景，其中，三维场景中包括目标空间；响应于检测到目标空间在三维场景中的位置发生改变，获取标定物位于目标空间内不同位置处的标定物的第一图像；响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。

另外，本公开一实施例中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：根据已初始标定的至少两个相机之间的相对位姿，构建包括至少两个相机的三维场景，其中，三维场景中包括目标空间；响应于检测到目标空间在三维场景中的位置发生改变，获取标定物位于目标空间内不同位置处的标定物的第一图像；响应于确定图像采集终止条件满足，根据所获取的第一图像对至少两个相机的初始标定结果进行优化。

综上所述，在本公开的技术方案中，不需要购买特定的标定物道具，只需要利用人的手指就可以完成相机的标定。从而不需要具有专业的技术和经验门槛就可以完成相机的标定，方便用户利用多个相机实现动态捕捉。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (11)

1.一种相机标定方法，包括：

根据已初始标定的至少两个相机之间的相对位姿，构建包括所述至少两个相机的三维场景，其中，所述三维场景中包括目标空间；

响应于检测到所述目标空间在所述三维场景中的位置发生改变，获取标定物位于所述目标空间内不同位置处的标定物的第一图像；

响应于确定图像采集终止条件满足，根据所获取的第一图像对所述至少两个相机的初始标定结果进行优化。

2.根据权利要求1所述的方法，其中，所述方法还包括：

获取由所述至少两个相机采集的、在公共视野内不同位置处的标定物的第二图像；

根据所述标定物在各第二图像中的位置，对所述至少至少两个相机进行初始标定。

3.根据权利要求1所述的方法，其中，所述根据已初始标定的至少两个相机之间的相对位姿，构建包括所述至少两个相机的三维场景，包括：

根据已初始标定的至少两个相机之间的相对位姿，确定每个相机相对于其它相机的位置、朝向和视野；

根据所确定的位置、朝向和视野，将所述至少两个相机绘制在三维场景中。

4.根据权利要求1所述的方法，其中，所述方法还包括：

确定在所述目标空间位置固定的过程中，所获取的第一图像中有效图像的数量；

响应于确定有效图像的数量大于第一预设阈值，控制改变所述目标空间在所述三维场景中的位置。

5.根据权利要求1所述的方法，其中，所述方法还包括：

确定不同位置的目标空间占所述三维场景的比例；

响应于确定所述比例大于第二预设阈值，确定所述图像采集终止条件满足。

6.根据权利要求2所述的方法，其中，所述方法还包括：

根据预先训练的位置确定模型以及各第二图像，确定所述标定物在各第二图像中所占的像素区域；

根据所确定的像素区域，确定所述标定物在各第二图像中的位置。

7.根据权利要求2所述的方法，其中，所述根据所获取的第一图像对所述至少两个相机的标定结果进行优化，包括：

根据所述第一图像以及所述第二图像，确定所述至少两个相机之间的相对位姿；

对所确定的相对位姿进行合并迭代优化。

8.一种相机标定装置，包括：

三维场景构建单元，被配置成根据已初始标定的至少两个相机之间的相对位姿，构建包括所述至少两个相机的三维场景，其中，所述三维场景中包括目标空间；

第一图像获取单元，被配置成响应于检测到所述目标空间在所述三维场景中的位置发生改变，获取标定物位于所述目标空间内不同位置处的标定物的第一图像；

标定结果优化单元，被配置成响应于确定图像采集终止条件满足，根据所获取的第一图像对所述至少两个相机的初始标定结果进行优化。

9.根据权利要求8所述的装置，其中，所述装置还包括：

第二图像获取单元，被配置成获取由所述至少两个相机采集的、在公共视野内不同位置处的标定物的第二图像；

初始标定单元，被配置成根据所述标定物在各第二图像中的位置，对所述至少至少两个相机进行初始标定。

10.一种电子设备，包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的相机标定方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的相机标定方法。