CN103593854A - 一种混合视觉***标定中虚拟摄像机的确定方法 - Google Patents

Abstract

本发明涉及一种混合视觉***标定中虚拟摄像机的确定方法，该混合视觉***包括单目摄像机和全景摄像机。该方法包括以下步骤：首先将全景摄像机图像上的棋盘角点投影到双曲面镜，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标；其次计算虚拟摄像机投影平面的X_v轴和Z_v轴的方向；最后确定虚拟摄像机内参数。本发明能够快速获得混合视觉***中全景摄像机到棋盘格的外参数，对标定条件和混合视觉***的空间配置关系要求低，使用灵活。

Description

一种混合视觉***标定中虚拟摄像机的确定方法

技术领域

本发明涉及机器视觉技术领域，特别是一种混合视觉***标定中虚拟摄像机的确定方法。

背景技术

近些年来，由于单目摄像机和全景摄像机构成的混合视觉***吸引很多学者的关注。他集合了单目摄像机分辨率大，成像清晰的优点和全景摄像机视场大，获得场景信息量大的长处，同时又克服了单目摄像机视场小和全景摄像机分辨率低的缺点，具有广泛的发展前景。通常将全景摄像机安装在机器人顶部，单目摄像机安装在前端，实现如物体识别、物体跟踪、3D建模和姿态识别等功能。混合视觉还在医学上用于病人康复训练，手语识别和盲人引导***等。

为了将单目摄像机和全景摄像机拍摄的信息统一起来，需要对混合视觉***进行标定。其中建立全景摄像机到棋盘格坐标系的外参数是标定的关键，现有的方法主要有两种：一种是利用优化方法得到参数化的全景摄像机模型，然后在此基础上对标定板到全景摄像机的投影关系进行建模，以投影误差最小为目标利用迭代优化求解外参数；另一种方法是提前设定全景摄像机理想方位，计算该位置的成像，人为调整全景摄像机折反射镜的位置，使实际成像与预设成像重合，进而可以得到全景摄像机到标定箱表面的外参数矩阵。

现有标定方法存在如下缺点：

1、混合视觉***外参数求解方法多依赖于优化，优化方法有一定局限性，需要合理的初值；

2、现有的标定方法对标定板的位置有特殊的要求，例如标定板与摄像机轴线垂直，标定板必须放于已知的理想位置；

3、现有混合视觉***中两个摄像机的相互关系有所要求，给实际应用带来诸多不便。

发明内容

本发明的目的在于提供一种混合视觉***标定中虚拟摄像机的确定方法，该方法可以使混合视觉***标定时对标定条件和两摄像机的空间配置关系要求变低，使用灵活，提高标定精度高和标定效率。

为实现上述目的，本发明的技术方案是：一种混合视觉***标定中虚拟摄像机的确定方法，该混合视觉***包括单目摄像机和全景摄像机，其特征在于：包括如下步骤，

步骤S1：建立并定义各坐标系；

步骤S2：将全景摄像机图像上的棋盘角点投影到双曲面镜，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标；

步骤S3：计算虚拟摄像机投影平面的X_v轴和Z_v轴的方向；

步骤S4：确定虚拟摄像机的内参数。

在本发明实施例中，所述步骤S1具体过程如下，

建立并定义世界坐标系O_w-X_wY_wZ_w、全景摄像机坐标系O_o-X_oY_oZ_o、双曲面镜坐标系O_m-X_mY_mZ_m、单目摄像机坐标系O_p-X_pY_pZ_p以及虚拟摄像机坐标系O_v-X_vY_vZ_v，所述虚拟摄像机坐标系的原点O_v与双曲面镜坐标系的原点O_m重合。

在本发明实施例中，所述步骤S2具体过程如下，

根据全景摄像机的内参数和双曲面镜的镜面参数，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T，

$\left\{\begin{array}{c}\left[\begin{array}{c}{X}_{\mathrm{mi}}\\ Y_{\mathrm{mi}}\\ Z_{\mathrm{mi}}\end{array}\right]={\mathrm{\λ}}_i{\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{u}_{\mathrm{oi}}\\ v_{\mathrm{oi}}\\ 1\end{array}\right]-\left[\begin{array}{c}0\\ 0\\ 2c\end{array}\right]\\ \frac{{(Z_{\mathrm{mi}}+c)}^2}{a^2}-\frac{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}{b^2}=1\end{array}\right.$

上述方程组中， $\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\β}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机的内参数矩阵，[u_oi  v_oi  1]^T表示第i个图像点的像素坐标，λ_i表示镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T到OO的距离在垂直方向的分量，且λ_i=Z_mi+2c，a、b和c为双曲面镜的参数，满足a²+b²=c²。

在本发明实施例中，所述虚拟摄像机投影平面的X_v轴和Z_v轴的方向的计算方法具体如下，

步骤S41：计算X_v轴的方向，

设置虚拟摄像机的轴线位于投影光线所在的部分，计算每一条光线相对于X_m轴的逆时针角度，并用α_i表示，

若X_mi>0,Y_mi>0则

若X_mi<0,Y_mi>0则

若X_mi<0,Y_mi<0则

若X_mi>0,Y_mi<0则

若X_mi=0,Y_mi>0则

若X_mi=0,Y_mi<0则

若X_mi>0,Y_mi=0则α_i=0

若X_mi<0,Y_mi=0则α_i=π

则坐标轴O_mX_m绕O_mZ_m轴逆时针旋转ang₁=(max(α_i)+min(α_i))/2-π/2后，O_vX_v轴与O_mX_m轴重合，求得的X_v轴的变换矩阵如下式，

$R_1=\left[\begin{array}{ccc}\cos \left({\mathrm{ang}}_1\right)& -\sin \left({\mathrm{ang}}_1\right)& 0\\ \sin \left({\mathrm{ang}}_1\right)& \cos \left({\mathrm{ang}}_1\right)& 0\\ 0& 0& 1\end{array}\right]$

步骤S42：计算Z_v轴的方向，

为保证光线在虚拟摄像机的投影平面内投影，需要进行一次旋转变换，计算入射光线的俯仰角β_i，

${\mathrm{\&beta;}}_i=\arctan \frac{Z_{\mathrm{mi}}}{\sqrt{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}}$

则坐标轴O_mZ_m绕O_vX_v轴逆时针旋转ang₂=π/2-(max(β_i)+min(β_i))/2后，O_vZ_v轴与O_mZ_m轴重合，求得的Z_v轴的变换矩阵如下式：

$R_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left({\mathrm{ang}}_2\right)& -\sin \left({\mathrm{ang}}_2\right)\\ 0& \sin \left({\mathrm{ang}}_2\right)& \cos \left({\mathrm{ang}}_2\right)\end{array}\right].$

在本发明实施例中，所述虚拟摄像机的内参数的确定方式如下，设定虚拟摄像机的内参数为单位矩阵，即

$K_v=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

其中，K_v即虚拟摄像机的内参数。

进一步的，该方法适用于计算虚拟摄像机坐标系到世界坐标系的旋转矩阵R_v2w与平移矩阵T_v2w的求解，以便于求解双曲面镜坐标系到世界坐标系的旋转矩阵R_m2w和平移矩阵T_m2w。

在本发明实施例中，所述双曲面镜坐标系到世界坐标系的旋转矩阵R_m2w和平移矩阵T_m2w求解公式如下，

$\begin{array}{c}{R}_{m2w}=R_1^{-1}{R}_2^{-1}{R}_{v2w}\\ T_{m2w}=R_1^{-1}{R}_2^{-1}{T}_{v2w}\end{array}.$

相对现有技术，本发明的有益效果是：

1.利用虚拟摄像机作为桥梁，求解得到全景摄像机到棋盘格坐标系的外参数关系；

2.将两种摄像机获得的信息统一在同一个虚拟摄像机坐标系下，标定板的摆放位置有了较高的随意性；

3.解决了传统标定方法中全景摄像机和单目摄像机相互方位的要求，对混合视觉***的空间配置无特别要求。

附图说明

图1是本发明实施例混合视觉***坐标系。

图2是本发明实施例棋盘角点在双曲面镜投影示意图。

图3是本发明实施例确定X_v轴的方向示意图。

图4是本发明实施例确定虚拟摄像机的主轴Z_v方向示意图。

图5是本发明实施例坐标系转换原理图。

图6是本发明实施例虚拟摄像机图像平面示意图。

具体实施方式

下面结合附图1-6及具体实施例对本发明作进一步的详细说明。

如图6所示，本发明提供了一种混合视觉***标定中虚拟摄像机的确定方法，该混合视觉***包括单目摄像机和全景摄像机，包括如下步骤，

步骤S1：建立并定义各坐标系；

步骤S2：将全景摄像机图像上的棋盘角点投影到双曲面镜，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标；

步骤S3：计算虚拟摄像机投影平面的X_v轴和Z_v轴的方向；

步骤S4：确定虚拟摄像机的内参数。

在本实施例中，所述步骤S1具体过程如下，

建立并定义世界坐标系O_w-X_wY_wZ_w、全景摄像机坐标系O_o-X_oY_oZ_o、双曲面镜坐标系O_m-X_mY_mZ_m、单目摄像机坐标系O_p-X_pY_pZ_p以及虚拟摄像机坐标系O_v-X_vY_vZ_v，所述虚拟摄像机坐标系的原点O_v与双曲面镜坐标系的原点O_m重合。

在本实施例中，所述步骤S2具体过程如下，

根据全景摄像机的内参数和双曲面镜的镜面参数，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T，

$\left\{\begin{array}{c}\left[\begin{array}{c}{X}_{\mathrm{mi}}\\ Y_{\mathrm{mi}}\\ Z_{\mathrm{mi}}\end{array}\right]={\mathrm{\&lambda;}}_i{\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\&beta;}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{u}_{\mathrm{oi}}\\ v_{\mathrm{oi}}\\ 1\end{array}\right]-\left[\begin{array}{c}0\\ 0\\ 2c\end{array}\right]\\ \frac{{(Z_{\mathrm{mi}}+c)}^2}{a^2}-\frac{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}{b^2}=1\end{array}\right.$

上述方程组中， $\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\&beta;}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机的内参数矩阵，[u_oi  v_oi  1]^T表示第i个图像点的像素坐标，λ_i表示镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T到O_O的距离在垂直方向的分量，且λ_i=Z_mi+2c，a、b和c为双曲面镜的参数，满足a²+b²=c²。

在本实施例中，所述虚拟摄像机投影平面的X_v轴和Z_v轴的方向的计算方法具体如下，

步骤S41：计算X_v轴的方向，

设置虚拟摄像机的轴线位于投影光线所在的部分，计算每一条光线相对于X_m轴的逆时针角度，并用α_i表示，

若X_mi>0,Y_mi>0则

若X_mi<0,Y_mi>0则

若X_mi<0,Y_mi<0则

若X_mi>0,Y_mi<0则

若X_mi=0,Y_mi>0则

若X_mi=0,Y_mi<0则

若X_mi>0,Y_mi=0则α_i=0

若X_mi<0,Y_mi=0则α_i=π

则坐标轴O_mX_m绕O_mZ_m轴逆时针旋转ang₁=(max(α_i)+min(α_i))/2-π/2后，O_vX_v轴与O_mX_m轴重合，求得的X_v轴的变换矩阵如下式，

$R_1=\left[\begin{array}{ccc}\cos \left({\mathrm{ang}}_1\right)& -\sin \left({\mathrm{ang}}_1\right)& 0\\ \sin \left({\mathrm{ang}}_1\right)& \cos \left({\mathrm{ang}}_1\right)& 0\\ 0& 0& 1\end{array}\right]$

步骤S42：计算Z_v轴的方向，

为保证光线在虚拟摄像机的投影平面内投影，需要进行一次旋转变换，计算入射光线的俯仰角β_i，

${\mathrm{\&beta;}}_i=\arctan \frac{Z_{\mathrm{mi}}}{\sqrt{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}}$

则坐标轴O_mZ_m绕O_vX_v轴逆时针旋转ang₂=π/2-(max(β_i)+min(β_i))/2后，O_vZ_v轴与O_mZ_m轴重合，求得的Z_v轴的变换矩阵如下式：

$R_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left({\mathrm{ang}}_2\right)& -\sin \left({\mathrm{ang}}_2\right)\\ 0& \sin \left({\mathrm{ang}}_2\right)& \cos \left({\mathrm{ang}}_2\right)\end{array}\right].$

在本实施例中，所述虚拟摄像机的内参数的确定方式如下，

设定虚拟摄像机的内参数为单位矩阵，即

$K_v=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

其中，K_v即虚拟摄像机的内参数。

进一步的，该方法适用于计算虚拟摄像机坐标系到世界坐标系的旋转矩阵R_v2w与平移矩阵T_v2w的求解，以便于求解双曲面镜坐标系到世界坐标系的旋转矩阵R_m2w和平移矩阵T_m2w。

在本实施例中，所述双曲面镜坐标系到世界坐标系的旋转矩阵R_m2w和平移矩阵T_m2w求解公式如下，

$\begin{array}{c}{R}_{m2w}=R_1^{-1}{R}_2^{-1}{R}_{v2w}\\ T_{m2w}=R_1^{-1}{R}_2^{-1}{T}_{v2w}\end{array}.$

为方便本领域技术人员了解本发明，以下对本发明作更具体的描述。

步骤一：将全景摄像机图像上的棋盘角点投影到双曲面镜，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标：

如图1所示，为了建立全景摄像机与棋盘格标定板的外参数，引入一个虚拟摄像机做为中介，定义全景摄像机坐标系O_o-X_oY_oZ_o、双曲面镜坐标系O_m-X_mY_mZ_m、单目摄像机坐标系O_p-X_pY_pZ_p，虚拟摄像机坐标系O_v-X_vY_vZ_v，虚拟摄像机坐标系的原点O_v与双曲面镜坐标系的原点O_m重合。

如图2，在已知摄像机的内参数和双曲面镜的镜面参数的情况下，由公式（1），可以获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T，

$\left\{\begin{array}{c}\left[\begin{array}{c}{X}_{\mathrm{mi}}\\ Y_{\mathrm{mi}}\\ Z_{\mathrm{mi}}\end{array}\right]={\mathrm{\&lambda;}}_i{\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\&beta;}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{u}_{\mathrm{oi}}\\ v_{\mathrm{oi}}\\ 1\end{array}\right]-\left[\begin{array}{c}0\\ 0\\ 2c\end{array}\right]\\ \frac{{(Z_{\mathrm{mi}}+c)}^2}{a^2}-\frac{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}{b^2}=1\end{array}\right.---\left(1\right)$

上述方程组中， $\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\&beta;}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机的内参数矩阵，[u_oi  v_oi  1]^T表示第i个图像点的像素坐标，λ_i表示镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T到O_O的距离在垂直方向的分量，且λ_i=Z_mi+2c，a、b和c为双曲面镜的参数，满足a²+b²=c²。

步骤二：计算X_v轴的方向：

图3(a)是棋盘角点入射光线的俯视图，入射光线只占据了水平360度圆周的小部分，为了保证棋盘角点入射光线在虚拟摄像机内获得正投影，设置虚拟摄像机的轴线位于投影光线所在的部分，因此，计算每一条光线相对于X_m轴的逆时针角度，用α_i表示，

若X_mi>0,Y_mi>0则

若X_mi<0,Y_mi>0则

若X_mi<0,Y_mi<0则

若X_mi>0,Y_mi<0则 ${\mathrm{\&alpha;}}_i=\arctan \frac{Y_{\mathrm{mi}}}{X_{\mathrm{mi}}}+2\mathrm{\&pi;}---\left(2\right)$

若X_mi=0,Y_mi>0则

若X_mi=0,Y_mi<0则

若X_mi>0,Y_mi=0则α_i=0

若X_mi<0,Y_mi=0则α_i=π

公式(2)中的arctan表示反正切运算，如图3(b)所示，O_mX_m绕O_mZ_m轴逆时针旋转ang₁=(max(α_i)+min(α_i))/2-π/2，才能使O_vX_v轴与O_mX_m轴，其转换矩阵见公式(3)，

$R_1=\left[\begin{array}{ccc}\cos \left({\mathrm{ang}}_1\right)& -\sin \left({\mathrm{ang}}_1\right)& 0\\ \sin \left({\mathrm{ang}}_1\right)& \cos \left({\mathrm{ang}}_1\right)& 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

其中，R₁是求得X_v轴的变换矩阵。

步骤三：计算Z_v轴的方向：

如图4（a）所示，在垂直方向上，全景摄像机有大约[-60°，+15°]的视场角，而入射光线仅能够覆盖其中的部分区间，为了保证光线在虚拟摄像机的投影平面内投影，需要进行一次旋转变换，计算入射光线的俯仰角β_i，

${\mathrm{\&beta;}}_i=\arctan \frac{Z_{\mathrm{mi}}}{\sqrt{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}}---\left(4\right)$

如图4(b)所示，坐标轴O_mZ_m绕O_vX_v轴逆时针旋转ang₂=π/2-(max(β_i)+min(β_i))/2，才能使O_vZ_v轴与O_mZ_m轴重合，其转换矩阵见公式(5)：

$R_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left({\mathrm{ang}}_2\right)& -\sin \left({\mathrm{ang}}_2\right)\\ 0& \sin \left({\mathrm{ang}}_2\right)& \cos \left({\mathrm{ang}}_2\right)\end{array}\right]---\left(5\right)$

其中，R₂为求得Z_v轴的变换矩阵。

步骤四：确定虚拟摄像机的内参数：

经过上述的两次旋转变换，确定了虚拟摄像机坐标系的各个轴的方向，为了计算空间点在虚拟摄像机图像平面上的投影坐标，需要得到虚拟摄像机的内参数，为了节省计算时间，将虚拟摄像机的内参数设定为单位矩阵，即

$K_v=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]---\left(6\right)$

事实上，无论K_v取任何值，虚拟摄像机坐标系和世界坐标系之间的外参数都不会受到影响，证明如下，

虚拟摄像机的投影模型见公式(7)，

$\mathrm{\&lambda;}\left[\begin{array}{c}{u}_v\\ v_v\\ 1\end{array}\right]=K_v\left[\mathrm{Rv}\right|\mathrm{Tv}]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(7\right)$

式中[X_w  Y_w  Z_w]^T为棋盘角点在世界坐标系中的坐标，[u_v  v_v  1]^T为其投影点的像素坐标，[R_v|T_v]为虚拟摄像机坐标系与世界坐标系的外参数矩阵；将公式(7)改写为公式(8):

${K_v}^{-1}{\left[\begin{array}{ccc}{u}_v& v_v& 1\end{array}\right]}^T=\frac{\left[R_v\right|T_v]{\left[\begin{array}{cccc}{X}_w& Y_w& Z_w& 1\end{array}\right]}^T}{\mathrm{\&lambda;}}---\left(8\right)$

公式(8)的右边部分说明，投影点的归一化坐标值只与外参数有关系，与内参数无关。

步骤五：计算虚拟摄像机坐标系到双曲面镜坐标系的变换矩阵：

如图5所示，表示了坐标系之间的坐标转换关系，一共有四组坐标系：单目摄像机坐标系O_p-X_pY_pZ_p、双曲面镜坐标系O_m-X_mY_mZ_m、世界坐标系O_w-X_wY_wZ_w和虚拟摄像机坐标系O_v-X_vY_vZ_v；在虚拟摄像机坐标系下，棋盘角点在双曲面镜上的投影点的坐标可以通过公式(9)求得，

[X_vi  Y_vi  Z_vi]^T=R₂R₁[X_mi  Y_mi  Z_mi]^T         (9)

在虚拟摄像机图像平面上，投影点的坐标可以通过以下透视投影的公式计算得到

${\left[\begin{array}{ccc}{u}_{\mathrm{vi}}& v_{\mathrm{vi}}& 1\end{array}\right]}^T=\frac{K_v{\left[\begin{array}{ccc}{X}_{\mathrm{vi}}& Y_{\mathrm{vi}}& Z_{\mathrm{vi}}\end{array}\right]}^T}{Z_{\mathrm{vi}}}=\frac{{\left[\begin{array}{ccc}{X}_{\mathrm{vi}}& Y_{\mathrm{vi}}& Z_{\mathrm{vi}}\end{array}\right]}^T}{Z_{\mathrm{vi}}}---\left(10\right)$

已知棋盘角点的世界坐标、角点在虚拟摄像机的图像平面上对应的投影点像素坐标以及虚拟摄像机内参数矩阵K_v，计算得到虚拟摄像机坐标系O_v-X_vY_vZ_v到世界坐标系O_w-X_wY_wZ_w的旋转矩阵R_v2w与平移矩阵T_v2w。

双曲面镜坐标系O_m-X_mY_mZ_m到世界坐标系O_w-X_wY_wZ_w的旋转矩阵R_m2w和平移矩阵T_m2w通过以下公式求得，

$\begin{array}{c}{R}_{m2w}=R_1^{-1}{R}_2^{-1}{R}_{v2w}\\ T_{m2w}=R_1^{-1}{R}_2^{-1}{T}_{v2w}\end{array};---\left(11\right)$

类似的，在已知单目摄像机坐标系O_p-X_pY_pZ_p到世界坐标系O_w-X_wY_wZ_w的旋转矩阵R_p2w和平移矩阵T_p2w时，那么单目摄像机坐标系O_p-X_pY_pZ_p到双曲面镜坐标系O_m-X_mY_mZ_m之间的外参数可以使用公式(11)求得，

$\begin{array}{c}{R}_{p2m}=R_{p2w}{R}_{m2w}^{-1}\\ T_{p2m}=T_{p2w}-R_{p2w}{R}_{m2w}^{-1}{T}_{m2w}\end{array}.---\left(12\right)$

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种混合视觉***标定中虚拟摄像机的确定方法，该混合视觉***包括单目摄像机和全景摄像机，其特征在于：包括如下步骤，

步骤S1：建立并定义各坐标系；

步骤S2：将全景摄像机图像上的棋盘角点投影到双曲面镜，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标；

步骤S3：计算虚拟摄像机投影平面的X_v轴和Z_v轴的方向；

步骤S4：确定虚拟摄像机的内参数。

2.根据权利要求1所述的一种混合视觉***标定中虚拟摄像机的确定方法，其特征在于：所述步骤S1具体过程如下，

建立并定义世界坐标系O_w-X_wY_wZ_w、全景摄像机坐标系O_o-X_oY_oZ_o、双曲面镜坐标系O_m-X_mY_mZ_m、单目摄像机坐标系O_p-X_pY_pZ_p以及虚拟摄像机坐标系O_v-X_vY_vZ_v，所述虚拟摄像机坐标系的原点O_v与双曲面镜坐标系的原点O_m重合。

3.根据权利要求2所述的一种混合视觉***标定中虚拟摄像机的确定方法，其特征在于：所述步骤S2具体过程如下，

根据全景摄像机的内参数和双曲面镜的镜面参数，获取图像中的棋盘角点对应的镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T，

$\left\{\begin{array}{c}\left[\begin{array}{c}{X}_{\mathrm{mi}}\\ Y_{\mathrm{mi}}\\ Z_{\mathrm{mi}}\end{array}\right]={\mathrm{\&lambda;}}_i{\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\&beta;}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{u}_{\mathrm{oi}}\\ v_{\mathrm{oi}}\\ 1\end{array}\right]-\left[\begin{array}{c}0\\ 0\\ 2c\end{array}\right]\\ \frac{{(Z_{\mathrm{mi}}+c)}^2}{a^2}-\frac{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}{b^2}=1\end{array}\right.$

上述方程组中， $\left[\begin{array}{ccc}{f}_{\mathrm{xo}}& {\mathrm{\&beta;}}_o& u_{0o}\\ 0& f_{\mathrm{yo}}& v_{0o}\\ 0& 0& 1\end{array}\right]$ 为全景摄像机的内参数矩阵，[u_oi  v_oi  1]^T表示第i个图像点的像素坐标，λ_i表示镜面投影点在双曲面镜坐标系下的坐标[X_mi  Y_mi  Z_mi]^T到O_O的距离在垂直方向的分量，且λ_i=Z_mi+2c，a、b和c为双曲面镜的参数，满足a²+b²=c²。

4.根据权利要求3所述的一种混合视觉***标定中虚拟摄像机的确定方法，其特征在于：所述虚拟摄像机投影平面的X_v轴和Z_v轴的方向的计算方法具体如下，

步骤S41：计算X_v轴的方向，

设置虚拟摄像机的轴线位于投影光线所在的部分，计算每一条光线相对于X_m轴的逆时针角度，并用α_i表示，

若X_mi>0,Y_mi>0则

若X_mi<0,Y_mi>0则

若X_mi<0,Y_mi<0则

若X_mi>0,Y_mi<0则

若X_mi=0,Y_mi>0则

若X_mi=0,Y_mi<0则

若X_mi>0,Y_mi=0则α_i=0

若X_mi<0,Y_mi=0则α_i=π

则坐标轴O_mX_m绕O_mZ_m轴逆时针旋转ang₁=(max(α_i)+min(α_i))/2-π/2后，O_vX_v轴与O_mX_m轴重合，求得的X_v轴的变换矩阵如下式，

$R_1=\left[\begin{array}{ccc}\cos \left({\mathrm{ang}}_1\right)& -\sin \left({\mathrm{ang}}_1\right)& 0\\ \sin \left({\mathrm{ang}}_1\right)& \cos \left({\mathrm{ang}}_1\right)& 0\\ 0& 0& 1\end{array}\right]$

步骤S42：计算Z_v轴的方向，

为保证光线在虚拟摄像机的投影平面内投影，需要进行一次旋转变换，计算入射光线的俯仰角β_i，

${\mathrm{\&beta;}}_i=\arctan \frac{Z_{\mathrm{mi}}}{\sqrt{{X_{\mathrm{mi}}}^2+{Y_{\mathrm{mi}}}^2}}$

则坐标轴O_mZ_m绕O_vX_v轴逆时针旋转ang₂=π/2-(max(β_i)+min(β_i))/2后，O_vZ_v轴与O_mZ_m轴重合，求得的Z_v轴的变换矩阵如下式：

$R_2=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left({\mathrm{ang}}_2\right)& -\sin \left({\mathrm{ang}}_2\right)\\ 0& \sin \left({\mathrm{ang}}_2\right)& \cos \left({\mathrm{ang}}_2\right)\end{array}\right].$

5.根据权利要求4所述的一种混合视觉***标定中虚拟摄像机的确定方法，其特征在于：所述虚拟摄像机的内参数的确定方式如下，

设定虚拟摄像机的内参数为单位矩阵，即

$K_v=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

其中，K_v即虚拟摄像机的内参数。

6.根据权利要求5所述的一种混合视觉***标定中虚拟摄像机的确定方法，其特征在于：该方法适用于计算虚拟摄像机坐标系到世界坐标系的旋转矩阵R_v2w与平移矩阵T_v2w的求解，以便于求解双曲面镜坐标系到世界坐标系的旋转矩阵R_m2w和平移矩阵T_m2w。

7.根据权利要求6所述的一种混合视觉***标定中虚拟摄像机的确定方法，其特征在于：所述双曲面镜坐标系到世界坐标系的旋转矩阵R_m2w和平移矩阵T_m2w求解公式如下，

$\begin{array}{c}{R}_{m2w}=R_1^{-1}{R}_2^{-1}{R}_{v2w}\\ T_{m2w}=R_1^{-1}{R}_2^{-1}{T}_{v2w}\end{array}.$

Images