CN112308925A - 可穿戴设备的双目标定方法、设备及存储介质 - Google Patents

Abstract

本发明提供了可穿戴设备的双目标定方法、设备及存储介质，其中，方法包括：基于标定板移动可穿戴设备，可穿戴设备的两个相机自不同视角和位置拍摄标定板的多张照片；通过平面单应关系标定每个相机的内部参数，内部参数包括相机的光心的横坐标和纵坐标、相机在横纵坐标方向上的焦距以及畸变参数；根据每个相机的内部参数以及标定板相对于可穿戴设备的两个相机的位置关系标定两个相机间的外部参数，外部参数是右相机相对左相机的旋转矩阵和平移向量；以及将可穿戴设备的两个相机的进行双目矫正，获得立体校正矩阵，本发明缩短调试时间，简化标定过程，提升了标定效率，有助于可穿戴设备大规模量产。

Description

可穿戴设备的双目标定方法、设备及存储介质

技术领域

本发明涉及双目标定领域，具体地说，涉及可穿戴设备的双目标定方法、设备及存储介质。

背景技术

智能可穿戴设备的应用越来越广泛，相关技术中，对可穿戴设备，比如智能眼镜的硬件特性，包括但不限于智能眼镜的双目相机的自身的焦距，光心位置以及畸变系数等。目前对于可穿戴设备的标定方式为手工标定，调试过程复杂、调试时间长，导致目前可穿戴设备无法大规模量产、智能化程度不高。现有标定方式为手动校准，调试时间长，过程繁琐，效率低。

因此，本发明提供了一种可穿戴设备的双目标定方法、设备及存储介质。

发明内容

针对现有技术中的问题，本发明的目的在于提供可穿戴设备的双目标定方法、设备及存储介质，克服现有技术的困难，能够实现可穿戴设备的双目自动标定，缩短调试时间，简化标定过程，提升了标定效率，有助于可穿戴设备大规模量产。

本发明的实施例提供一种可穿戴设备的双目标定方法，包括以下步骤：

S100、基于标定板移动可穿戴设备，可穿戴设备的两个相机自不同视角和位置拍摄所述标定板的多张照片；

S200、根据所述标定板和相机成像平面间的单应关系标定每个所述相机的内部参数，所述内部参数包括相机的光心的横坐标和纵坐标、相机在横纵坐标方向上的焦距以及畸变参数；

S300、根据每个所述相机的内部参数以及所述标定板相对于所述可穿戴设备的两个相机的位置关系标定相机之间的外部参数，所述外部参数是右相机相对左相机的旋转矩阵和平移向量；

S400、将可穿戴设备的两个相机的进行双目矫正，获得立体校正矩阵，将可穿戴设备的两个相机等效成两个内部参数相同且水平方向上对齐。

优选地，所述步骤S200中包括以下步骤：

S201、设世界坐标系下的空间点M(X，Y，Z)，在每个所述相机获得的照片中各自建立相机坐标系，获得空间点M在所述相机坐标系中的像素坐标m(u，v)；

S202、分别建立关于空间点M(X，Y，Z)和像素坐标m(u，v)的齐次坐标为：

和

得到

其中，A为3行3列的相机内参数矩阵，s为缩放尺度参数，(u₀，v₀)为相机光心在像素坐标系内的投影点的坐标，f_u和f_v为相机在x和y方向上的焦距，R为相机的旋转矩阵的列向量[r₁r₂r₃]，t为3行1列的平移向量，令空间点M(X，Y，Z)中Z＝0，得到

S203、令M＝(X，Y)^T使其降为二维向量，则有

得到

其中，单应性矩阵H＝A[r₁，r₂，t]，

S204、设H＝[h₁，h₂，h₃]，又r₁，r₂正交，得到

其中，A^-T A^-1为绝对二次曲线在图像坐标系下的投影矩阵；

S205、获得对称矩阵B：

S206、设一个6维向量b＝[B₁₁B₁₂B₂₂B₁₃B₂₃B₃₃]^-T，取H阵的第i个列向量为：h_i＝[h_i1，h_i2，h_i3]^T，可得：

v_ij＝[h_i1h_j1h_i1h_j2+h_i2h_j1h_i2j_i2h_i3j_i1+h_i1h_j3h_i3h_j2+h_i2h_j3h_i3h_j3]^T；

S207、获得

S208、令

则V*b＝0；

其中，向量b为6维向量，当V为满秩矩阵，获得向量b的唯一解；

S209、由对称矩阵B计算得到相机的光心的纵坐标v₀；

由对称矩阵B和相机的光心的纵坐标v₀计算得到相机的归一化系数λ；

由相机归一化系数λ与对称矩阵B计算得到相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v；

由对称矩阵B、相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机归一化系数λ计算得到描述像素的正交性系数γ；

由描述像素的正交性系数γ、对称矩阵B和相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机的光心的纵坐标v₀、及相机归一化系数λ计算得到相机的光心的横坐标u₀。

优选地，所述步骤S209之后还包括以下步骤：

S210、获得第二公式组：

S211、设m_ij为第i幅图像上的第j个检测到的角点坐标值；M_j为第j个角点在标定板所确定的世界坐标系中的三维坐标；

为M_j实际投影到相机图像上的坐标值，则可得目标函数：

然后获得标定结果；

S212、获得相机内部参数后还要计算镜头的畸变，由理想无畸变的点在像素坐标系的坐标与理想无畸变的点在图像坐标系的坐标及畸变参数计算获得实际畸变后的点在像素坐标系的坐标。

优选地，所述步骤S211中用最优迭代算法得到最优的标定结果。

优选地，所述步骤S300中包括以下步骤：

S301、设空间中有一点P，其在世界坐标系下的坐标为Pw，其在所述可穿戴设备的左右两个相机坐标系下的坐标可以表示为：

P_l＝R_lP_w+T_l

P_r＝R_rP_w+T_r

其中，P_r＝RP_l+T

S302、由右相机经过单目标定得到的相对标定物的旋转矩阵R_r与左相机经过单目标定得到的相对标定物的旋转矩阵R_l的反转矩阵计算得到左右相机之间的旋转矩阵R；

由右相机经过单目标定得到的相对标定物的平移向量T_r、左相机经过单目标定得到的相对标定物的平移向量T_l及左右相机之间的旋转矩阵R计算得到左右相机之间的平移向量T

其中，左右相机分别进行单目标定。

优选地，所述步骤S400中包括以下步骤：

S401、设空间中两个相机坐标系原点的连线和图像平面的交点为极点；

S402、设一个旋转矩阵R_rect使得极点位于所述可穿戴设备的无限远处；

S403、获得

其中，T＝[T_x T_y T_z]^T，e₂和e₁正交，选择主光轴方向(0，0，1)与e₁叉积；

S404、获得

S405、令e₃与e₁和e₂正交，可得：e₃＝e₁×e₂；

S406、将R_rect左乘到R分解后作用于左右相机坐标系的矩阵，获得立体校正矩阵。

优选地，所述步骤S406之后还包括以下步骤：

S407、获得立体校正矩阵的输出矩阵Q，实现了世界坐标系{world}和像素坐标系{pixel}之间的转换的重投影矩阵Q

S408、获得

其中，d表示视差，三维坐标为(X/W，Y/W，Z/W)，cx，cx′分别表示左右图像的光心；

S409、设cx’＝cx，则Q的第四行第四列元素为0，空间物体的三维坐标可以表示为

(x,y,z)＝(X/W,Y/W,Z/W)。

优选地，所述标定板的表面设有棋盘格图案，棋盘格之间的交叉点为角点。

优选地，所述标定板的表面设有方向性棋盘格图案，每个格子内设有一唯一的非对称图案，所述棋盘格之间的交叉点为角点，每个角点都有唯一编码。

优选地，还包括以下步骤：S500、对标定精度进行判定，判断是否同时满足第一判定条件和第二判定条件；

所述第一判定条件是双目模组对准棋盘格，利用标定出的参数对左右图像做矫正，在校正后的图像中检测棋盘格角点，若匹配点的纵坐标的差值小于预第一设阈值；

所述第二判定条件是利用检测到的匹配点利用视差图恢复出角点的空间坐标，若相邻空棋盘格角点空间坐标间的距离与棋盘格角点间的真实距离的差别小于第二预设阈值。

本发明的实施例还提供一种可穿戴设备的双目标定设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述可穿戴设备的双目标定方法的步骤。

本发明的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述可穿戴设备的双目标定方法的步骤。

本发明的可穿戴设备的双目标定方法、设备及存储介质，能够实现可穿戴设备的双目自动标定，缩短调试时间，简化标定过程，提升了标定效率，有助于可穿戴设备大规模量产。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明的可穿戴设备的双目标定方法的流程图；

图2是实施基于第一种标定板实施本发明的可穿戴设备的双目标定方法的示意图；

图3是实施基于第二种标定板实施本发明的可穿戴设备的双目标定方法的示意图；

图4是本发明的可穿戴设备的双目标定方法中双目相机立体校正前的示意图；

图5是本发明的可穿戴设备的双目标定方法中双目相机立体校正后的示意图；

图6是本发明的可穿戴设备的双目标定方法中在校正后左右图像角点y坐标的差值直方图；

图7是本发明的可穿戴设备的双目标定方法中在校正后由深度信息恢复出的角点的平均间距的直方图；

图8是本发明的可穿戴设备的双目标定设备的结构示意图；以及

图9是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

图1是使用本发明的可穿戴设备的双目标定方法的流程图。如图1所示，本发明的可穿戴设备的双目标定的方法，包括以下步骤：

S100、基于标定板移动可穿戴设备，可穿戴设备的两个相机自不同视角和位置拍摄所述标定板的多张照片；

S200、根据所述标定板和相机成像平面间的单应关系标定每个所述相机的内部参数，所述内部参数包括相机的光心的横坐标和纵坐标、相机在横纵坐标方向上的焦距以及畸变参数；

S300、根据每个所述相机的内部参数以及所述标定板相对于所述可穿戴设备的两个相机的位置关系标定相机之间的外部参数，所述外部参数是右相机相对左相机的旋转矩阵和平移向量；

S400、将可穿戴设备的两个相机的进行双目矫正，获得立体校正矩阵，将可穿戴设备的两个相机等效成两个内部参数相同且水平方向上对齐。

本发明能够实现可穿戴设备的双目自动标定，缩短调试时间，简化标定过程，提升了标定效率，有助于可穿戴设备大规模量产。

在一个优选方案中，步骤S200中包括以下步骤：

S201、设世界坐标系下的空间点M(X，Y，Z)，在每个所述相机获得的照片中各自建立相机坐标系，获得空间点M在所述相机坐标系中的像素坐标m(u，v)；

S202、分别建立关于空间点M(X，Y，Z)和像素坐标m(u，v)的齐次坐标为：

和

得到

其中，A为3行3列的相机内参数矩阵，s为缩放尺度参数，(u₀，v₀)为相机光心在像素坐标系内的投影点的坐标，f_u和f_v为相机在x和y方向上的焦距，R为相机的旋转矩阵的列向量[r₁r₂r₃]，t为3行1列的平移向量，令空间点M(X，Y，Z)中Z＝0，得到

S203、令M＝(X，Y)^T使其降为二维向量，则有

得到

其中，单应性矩阵H＝A[r₁，r₂，t]，

S204、设H＝[h₁，h₂，h₃]，又r₁，r₂正交，得到

其中，A^-T A^-1为绝对二次曲线在图像坐标系下的投影矩阵；

S205、获得对称矩阵B：

S206、设一个6维向量b＝[B₁₁B₁₂B₂₂B₁₃B₂₃B₃₃]^-T，取H阵的第i个列向量为：h_i＝[h_i1，h_i2，h_i3]^T，可得：

v_ij＝[h_i1h_j1h_i1h_j2+h_i2h_j1h_i2j_i2h_i3j_i1+h_i1h_j3h_i3h_j2+h_i2h_j3h_i3h_j3]^T；

S207、获得

S208、令

则V*b＝0；

其中，向量b为6维向量，当V为满秩矩阵，获得向量b的唯一解；

S209、由对称矩阵B计算得到相机的光心的纵坐标v₀；

由对称矩阵B和相机的光心的纵坐标v₀计算得到相机的归一化系数λ；

由相机归一化系数λ与对称矩阵B计算得到相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v；

由对称矩阵B、相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机归一化系数λ计算得到描述像素的正交性系数γ；

由描述像素的正交性系数γ、对称矩阵B和相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机的光心的纵坐标v₀、及相机归一化系数λ计算得到相机的光心的横坐标u₀。

在一个优选方案中，步骤S209之后还包括以下步骤：

S210、获得第二公式组：

S211、设m_ij为第i幅图像上的第j个检测到的角点坐标值；M_j为第j个角点在标定板所确定的世界坐标系中的三维坐标；

为M_j实际投影到相机图像上的坐标值，则可得目标函数：

然后获得标定结果；

S212、获得相机内部参数后还要计算镜头的畸变，由理想无畸变的点在像素坐标系的坐标与理想无畸变的点在图像坐标系的坐标及畸变参数计算获得实际畸变后的点在像素坐标系的坐标。

在一个优选方案中，步骤S211中用最优迭代算法得到最优的标定结果。

在一个优选方案中，步骤S300中包括以下步骤：

S301、设空间中有一点P，其在世界坐标系下的坐标为Pw，其在所述可穿戴设备的左右两个相机坐标系下的坐标可以表示为：

P_l＝R_lP_w+T_l

P_r＝R_rP_w+T_r

其中，P_r＝RP_l+T

S302、由右相机经过单目标定得到的相对标定物的旋转矩阵R_r与左相机经过单目标定得到的相对标定物的旋转矩阵R_l的反转矩阵计算得到左右相机之间的旋转矩阵R；

由右相机经过单目标定得到的相对标定物的平移向量T_r、左相机经过单目标定得到的相对标定物的平移向量T_l及左右相机之间的旋转矩阵R计算得到左右相机之间的平移向量T

其中，左右相机分别进行单目标定。

在一个优选方案中，步骤S400中包括以下步骤：

S401、设空间中两个相机坐标系原点的连线和图像平面的交点为极点；

S402、设一个旋转矩阵R_rect使得极点位于可穿戴设备的无限远处；

S403、获得

其中，T＝[T_x T_y T_z]^T，e₂和e₁正交，选择主光轴方向(0，0，1)与e₁叉积；

S404、获得

S405、令e₃与e₁和e₂正交，可得：e₃＝e₁×e₂；

S406、将R_rect左乘到R分解后作用于左右相机坐标系的矩阵，获得立体校正矩阵。

在一个优选方案中，步骤S406之后还包括以下步骤：

S407、获得立体校正矩阵的输出矩阵Q，实现了世界坐标系{world}和像素坐标系{pixel}之间的转换的重投影矩阵Q。

S408、获得

其中，d表示视差，三维坐标为(X/W，Y/W，Z/W)，cx，cx′分别表示左右图像的光心；

S409、设cx’＝cx，则Q的第四行第四列元素为0，空间物体的三维坐标可以表示为

(x,y,z)＝(X/W,Y/W,Z/W)。

在一个优选方案中，标定板的表面设有棋盘格图案，棋盘格之间的交叉点为角点。

在一个优选方案中，标定板的表面设有方向性棋盘格图案，每个格子内设有一唯一的非对称图案，棋盘格之间的交叉点为角点，每个角点都有唯一编码。

在一个优选方案中，还包括以下步骤：S500、对标定精度进行判定，判断是否同时满足第一判定条件和第二判定条件；

第一判定条件是双目模组对准棋盘格，利用标定出的参数对左右图像做矫正，在校正后的图像中检测棋盘格角点，若匹配点的纵坐标的差值小于预第一设阈值；

第二判定条件是利用检测到的匹配点利用视差图恢复出角点的空间坐标，若相邻空棋盘格角点空间坐标间的距离与棋盘格角点间的真实距离的差别小于第二预设阈值。

参考图2所示，本发明通过使用机械臂4，固定住一个具有按需规格的黑白棋盘格21的标定板2，电脑3连接至少一副眼镜，平放在距离棋盘格一定距离，连接电脑3，保证电脑3里面看到的眼镜中画面，棋盘格都在画面内。机械臂会在预设的几个位置移动，且每移动到一个位置，程序就会控制智能眼镜1(可穿戴设备)两侧的左相机12和右相机11分别拍摄一张图片，同时，后台会对抓取的图片就行分析。待所有预设位置移动完成，标定算法，完成标定计算，在预配置的阈值范围内，则标定通过，否则标定失败，需要重试。标定的具体方法如下：

本发明中的标定板表面设有棋盘格，棋盘格可以是相机标定需要借助已知几何尺寸的标定物，我们采用的是棋盘格，通常由它有已知边长，行数，列数，黑白相间的各自组成。

本发明中的标定板可以是如图2中的最常见的棋盘格样式，它具有制作容易，检测快速的特点，缺点是，棋盘格位置的变化不能太大，否则检测出的角点位置排序会出错，并且如果棋盘格如果出现遮挡，检测会失败。

或者，本发明中的标定板页可以是如图3中另一种棋盘格样式，每个角点都有唯一的编码确定，所以无论棋盘格怎么旋转，总能按正确的顺序检测出角点，并且即使棋盘格出现遮挡也能正确检测出角点位置。但确定是棋盘格制作较麻烦，检测算法也更复杂。

本发明中，相机的参数是指相机自身的焦距，光心位置以及畸变系数等。将相机对准棋盘格，在确保能检测到角点的情况下尽可能大范围的移动棋盘格，拍摄15-20组图像后运行标定程序，此时会计算出左右相机各自的参数。

在标定时以一个呈点阵分布的标定板为参照物，利用相机拍摄得到标定板在不同视角与位姿下的图像。从图像中提取圆点角点的位置，再用极大似然估计法通过获得的角点恢复出相机的内外部参数。

设世界坐标系下的空间点M＝(X，Y，Z)^T，在成像平面上的投影点为m＝(u，v)^T。它们的齐次坐标为:

和

得到：

式中，A为相机的内参数矩阵，s为缩放尺度参数，u₀，v₀为相机光心的横坐标和纵坐标f_u，f_v是相机在横纵坐标方向上的焦距。为了便于计算，令标定板圆点角点M＝[X，Y，Z]^T中的Z＝0，则有：

式中，r₁，r₂，r₃为3×1的列向量，[r₁r₂r₃]为相机的旋转矩阵，此时令M＝(X，Y)^T使其降为二维向量。则有

此时，公式(2-15)简化为：

式中，H＝A[r₁，r₂，t]，称作单应性矩阵(Homography Matrix)。用于表征标定板上提取的角点和与它对应的图像坐标系像素点间的映射关系。令H＝[h₁，h₂，h₃]，又r1，r2正交，可得：

式中，A^-T A^-1为绝对二次曲线在图像坐标系下的投影矩阵。

根据绝对二次曲线的性质，令

该矩阵为对称矩阵。定义一个6维向量b＝[B₁₁B₁₂B₂₂B₁₃B₂₃B₃₃]^-T。取H阵的第i个列向量为：h_i＝[h_i1，h_i2，h_i3]^T，可得：

式中，v_ij＝[h_i1h_j1h_i1h_j2+h_i2h_j1h_i2j_i2h_i3j_i1+h_i1h_j3h_i3h_j2+h_i2h_j3h_i3h_j3]^T，再式(2-19)可得：

令

上式可改写为：V_b＝0

式中，向量b为6维向量，当获取的图像数量足够多时，上式中V就是一个6×6的矩阵，若V为满秩矩阵(通常n足够大，总可以使V列满秩)，便可求出b的唯一解。并通过公式(2-21)进一步反推出相机的内部参数。

其中，u₀，v₀是相机的光心的横坐标和纵坐标，由对称矩阵B和相机的光心的纵坐标v₀计算得到相机的归一化系数λ；

由相机归一化系数λ与对称矩阵B计算得到相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v；

由对称矩阵B、相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机归一化系数λ计算得到描述像素的正交性系数γ；

由描述像素的正交性系数γ、对称矩阵B和相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机的光心的纵坐标v₀、及相机归一化系数λ计算得到相机的光心的横坐标u₀。

通过式(2-22)我们就求解出了相机的内部参数A，接下来我们也可以很容易的得到外部参数，如下式:

为了获得较为精确的参数，常用极大似然估计法。设m_ij为第i幅图像上的第j个检测到的角点坐标值；M_j为第j个角点在标定板所确定的世界坐标系中的三维坐标；

为M_j实际投影到相机图像上的坐标值。则可得目标函数:

然后用最优迭代算法(Levenberg-Marquqrat算法)得到最优的标定结果。

算出相机内部参数后还要计算镜头的畸变，其表达式为

其中，(u，v)是理想无畸变的像素坐标，

是实际畸变后的像素坐标；(u₀，v₀)代表光心，k₁和k₂为前两阶的畸变参数。

标定相机间的外部参数

在标定出左右双目相机的内部参数后，根据计算出的棋盘格相对于左右相机的位置可以算出左右相机间的位置关系，利用重投影关系对上一步计算出的内部参数进行优化，优化的目标是使得重投影误差最小。

双目相机标定和单目相机标定最主要的区别就是双目相机需要标定出左右相机坐标系之间的相对关系，通常用旋转矩阵R和平移矩阵T来描述左右两个相机坐标系的相对关系，具体为：将左相机下的坐标转换到右相机下的坐标。假设空间中有一点P，其在世界坐标系下的坐标为Pw，其在左右相机坐标系下的坐标可以表示为：

其中，P_r＝RP_l+T

综合上式，可以推得

T＝T_r-RT_l

其中，R_l，T_l为左相机经过单目标定得到的相对标定物的旋转矩阵和平移向量，R_r，T_r为右相机经过单目标定得到的相对标定物的旋转矩阵和平移向量

左右相机分别进行单目标定，就可以分别得到R_l，T_l，R_r，T_r，带入上式就可以求出左右相机之间的旋转矩阵R和平移向量T。

求得的R和T就是立体标定要得到的结果。

单目相机需要标定的参数，双目都需要标定，双目相机比单目相机多标定的参数：R和T，主要是描述两个相机相对位置关系的参数，这些参数在立体校正和对几何中用处很大。

双目矫正，双目标定的最终目的是将左右相机等效成两个内部参数完全一致，并且水平方向上完全对其的相机，实现这一目标的过程称为双目矫正。

双目相机***主要的任务就是测距，而视差求距离公式是在双目***处于理想情况下推导的，但是在现实的双目立体视觉***中，是不存在完全的共面行对准的两个相机图像平面的。所以我们要进行立体校正。立体校正的目的就是，把实际中非共面行对准的两幅图像，校正成共面行对准。(共面行对准：两相机图像平面在同一平面上，且同一点投影到两个相机图像平面时，应该在两个像素坐标系的同一行)，将实际的双目***校正为理想的双目***。

理想双目***是指：两相机图像平面11、12平行，光轴和图像平面垂直，极点处于无线远处，此时点(x0，y0)对应的级线就是y＝y0。

参考图4和5，校正过程中两个图像平面11、12均旋转一半的R，这样可以使重投影畸变最小，此时两个相机图像平面共面(畸变校正后光轴也平行)，但是不对准。

极点是两个相机坐标系原点的连线和图像平面的交点，要想使得极点处于无穷远处(即行对准)，就必须调整后的两个相机的图像平面13、14和两个相机坐标系原点的连线平行

可以计算一个旋转矩阵Rrect使得极点处于无穷远处：

由于图像平面最终和相机坐标系原点连线平行，所以有

其中T＝[T_x T_y T_z]^T，e₂和e₁正交，选择主光轴方向(0，0，1)与e₁叉积；

令e₃与e₁和e₂正交，可得：

e₃＝e₁×e₂

将Rrect左乘到R分解后作用于左右相机坐标系的矩阵，即可得到最终的立体校正矩阵。

由标定后的双目相机获得空间物体坐标信息

重投影矩阵Q实现了世界坐标系{world}和像素坐标系{pixel}之间的转换。具体如下：

则

其中d表示视差，三维坐标为(X/W，Y/W，Z/W)，cx，cx′分别表示左右图像的光心，通常可设置成cx’＝cx，则Q的第四行第四列元素为0，空间物体的三维坐标可以表示为

其中，标定精度判定过程如下：

在双目相机前摆放一个已知尺寸的黑白棋盘格，并用左右相机同时拍摄该棋盘格，分别检测出棋盘格在左右相机上的角点坐标。先恢复出棋盘格角点在左相机坐标系内的空间坐标，然后利用(式2-23)将左相机内的空间坐标转移到右相机坐标系内，并将其重投影到右相机图像中，将重投影后的角点坐标与原先在右图中检测到的角点坐标比较，计算他们的重投影误差。将重投影误差作为标定结果优劣的判据，若该误差小于预设的阈值，便认为标定通过，反之则不通过。

参考图6，图1中左右图像角点y坐标的差值直方图，主要分布在0像素左右，标定结果良好。

参考图7，由深度信息恢复出的角点的平均间距，峰值在18.3mm左右，与实际长度18.4mm十分接近，标定结果良好如果标定通过，会生成标定参数，备份标定的中间过程数据，同时会将标定参数烧录到眼镜中，以及备份到服务器，得到一个唯一的眼镜序列号。如果烧录或者备份失败，则需重试，可以重新标定，或者点击“Burn”按钮，重新烧录和备份。烧录和备份完成后，会将眼镜序列号以预设的标签格式通过标签打印机程序打印出来，以便粘贴到外包装以及产品维修卡等。如果打印失败，可以点击“ReadSN”读取眼镜中烧录好的序列号，然后点击“Print”按钮，打印标签纸。中间任何一个过程失败，都可以从中间某个过程继续。

本发明的可穿戴设备的双目标定方法解决双目标定，提高生产力。减少中间人为参与的部分，减少人为操作失误的产生

本发明实施例还提供一种可穿戴设备的双目标定设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的可穿戴设备的双目标定方法的步骤。

如上所示，该实施例能够精确地反映出一时间段内机器人运动的实际位移，减小了测量偏差，提高了测量精度，并且没有即无累积误差，定位的范围可无限扩展。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图8是本发明的可穿戴设备的双目标定设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的可穿戴设备的双目标定方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例能够精确地反映出一时间段内机器人运动的实际位移，减小了测量偏差，提高了测量精度，并且没有即无累积误差，定位的范围可无限扩展。

图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上，本发明提供了可穿戴设备的双目标定方法、设备及存储介质，能够实现可穿戴设备的双目自动标定，缩短调试时间，简化标定过程，提升了标定效率，有助于可穿戴设备大规模量产。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种可穿戴设备的双目标定方法，其特征在于，包括以下步骤：

S100、基于标定板移动可穿戴设备，可穿戴设备的两个相机自不同视角和位置拍摄所述标定板的多张照片；

S200、根据所述标定板和相机成像平面间的单应关系标定每个所述相机的内部参数，所述内部参数包括相机的光心的横坐标和纵坐标、相机在横纵坐标方向上的焦距以及畸变参数；

S300、根据每个所述相机的内部参数以及所述标定板相对于所述可穿戴设备的两个相机的位置关系标定相机之间的外部参数，所述外部参数是右相机相对左相机的旋转矩阵和平移向量；

S400、将可穿戴设备的两个相机的进行双目矫正，获得立体校正矩阵，将可穿戴设备的两个相机等效成两个内部参数相同且水平方向上对齐。

2.如权利要求1所述的可穿戴设备的双目标定方法，其特征在于：所述步骤S200中包括以下步骤：

S201、设世界坐标系下的空间点M(X，Y，Z)，在每个所述相机获得的照片中各自建立相机坐标系，获得空间点M在所述相机坐标系中的像素坐标m(u，v)；

S202、分别建立关于空间点M(X，Y，Z)和像素坐标m(u，v)的齐次坐标为：

和

得到

其中，A为3行3列的相机内参数矩阵，s为缩放尺度参数，(u₀，v₀)为相机光心在像素坐标系内的投影点的坐标，f_u和f_v为相机在x和y方向上的焦距，R为相机的旋转矩阵的列向量[r₁r₂r₃]，t为3行1列的平移向量，令空间点M(X，Y，Z)中Z＝0，得到

S203、令M＝(X，Y)^T使其降为二维向量，则有

得到

其中，单应性矩阵H＝A[r₁，r₂，t]，

S204、设H＝[h₁，h₂，h₃]，又r₁，r₂正交，得到

其中，A^-T A^-1为绝对二次曲线在图像坐标系下的投影矩阵；

S205、获得对称矩阵B：

S206、设一个6维向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^-T，取H阵的第i个列向量为：h_i＝[h_i1，h_i2，h_i3]^T，可得：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2j_i2 h_i3j_i1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T；

S207、获得

S208、令

则V*b＝0；

其中，向量b为6维向量，当V为满秩矩阵，获得向量b的唯一解；

S209、由对称矩阵B计算得到相机的光心的纵坐标v₀；

由对称矩阵B和相机的光心的纵坐标v₀计算得到相机的归一化系数λ；

由相机归一化系数λ与对称矩阵B计算得到相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v；

由对称矩阵B、相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机归一化系数λ计算得到描述像素的正交性系数γ；

由描述像素的正交性系数γ、对称矩阵B和相机分别在横坐标方向和纵坐标方向上的焦距f_u和f_v、相机的光心的纵坐标v₀、及相机归一化系数λ计算得到相机的光心的横坐标u₀。

3.如权利要求2所述的可穿戴设备的双目标定方法，其特征在于：所述步骤S209之后还包括以下步骤：

S210、获得第二公式组：

S211、设m_ij为第i幅图像上的第j个检测到的角点坐标值；M_j为第j个角点在标定板所确定的世界坐标系中的三维坐标；

为M_j实际投影到相机图像上的坐标值，则可得目标函数：

然后获得标定结果；

S212、获得相机内部参数后还要计算镜头的畸变，由理想无畸变的点在像素坐标系的坐标与理想无畸变的点在图像坐标系的坐标及畸变参数计算获得实际畸变后的点在像素坐标系的坐标。

4.如权利要求3所述的可穿戴设备的双目标定方法，其特征在于：所述步骤S211中用最优迭代算法得到最优的标定结果。

5.如权利要求1所述的可穿戴设备的双目标定方法，其特征在于：所述步骤S300中包括以下步骤：

S301、设空间中有一点P，其在世界坐标系下的坐标为Pw，其在所述可穿戴设备的左右两个相机坐标系下的坐标可以表示为：

P_l＝R_lP_w+T_l

P_r＝R_rP_w+T_r

其中，P_r＝RP_l+T

S302、由右相机经过单目标定得到的相对标定物的旋转矩阵R_r与左相机经过单目标定得到的相对标定物的旋转矩阵R_l的反转矩阵计算得到左右相机之间的旋转矩阵R；

由右相机经过单目标定得到的相对标定物的平移向量T_r、左相机经过单目标定得到的相对标定物的平移向量T_l及左右相机之间的旋转矩阵R计算得到左右相机之间的平移向量T

其中，左右相机分别进行单目标定。

6.如权利要求5所述的可穿戴设备的双目标定方法，其特征在于：所述步骤S400中包括以下步骤：

S401、设空间中两个相机坐标系原点的连线和图像平面的交点为极点；

S402、设一个旋转矩阵R_rect使得极点位于所述可穿戴设备的无限远处；

S403、获得

其中，T＝[T_x T_y T_z]^T，e₂和e₁正交，选择主光轴方向(0，0，1)与e₁叉积；

S404、获得

S405、令e₃与e₁和e₂正交，可得：e₃＝e₁×e₂；

S406、将R_rect左乘到R分解后作用于左右相机坐标系的矩阵，获得立体校正矩阵。

7.如权利要求5所述的可穿戴设备的双目标定方法，其特征在于：所述步骤S406之后还包括以下步骤：

S407、获得立体校正矩阵的输出矩阵Q，实现了世界坐标系{world}和像素坐标系{pixel}之间的转换的重投影矩阵Q

S408、获得

其中，d表示视差，三维坐标为(X/W，Y/W，Z/W)，cx，cx′分别表示左右图像的光心；

S409、设cx’＝cx，则Q的第四行第四列元素为0，空间物体的三维坐标可以表示为

(x,y,z)＝(X/W,Y/W,Z/W)。

8.如权利要求1所述的可穿戴设备的双目标定方法，其特征在于：所述标定板的表面设有棋盘格图案，棋盘格之间的交叉点为角点。

9.如权利要求1所述的可穿戴设备的双目标定方法，其特征在于：所述标定板的表面设有方向性棋盘格图案，每个格子内设有一唯一的非对称图案，所述棋盘格之间的交叉点为角点，每个角点都有唯一编码。

10.如权利要求8或9所述的可穿戴设备的双目标定方法，其特征在于：还包括以下步骤：S500、对标定精度进行判定，判断是否同时满足第一判定条件和第二判定条件；

所述第一判定条件是双目模组对准棋盘格，利用标定出的参数对左右图像做矫正，在校正后的图像中检测棋盘格角点，若匹配点的纵坐标的差值小于预第一设阈值；

所述第二判定条件是利用检测到的匹配点利用视差图恢复出角点的空间坐标，若相邻空棋盘格角点空间坐标间的距离与棋盘格角点间的真实距离的差别小于第二预设阈值。

11.一种可穿戴设备的双目标定设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任意一项所述可穿戴设备的双目标定方法的步骤。

12.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至10中任意一项所述可穿戴设备的双目标定方法的步骤。

Images