CN105701837A - 一种相机几何标定处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种相机几何标定处理方法及装置，所述方法包括：获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点；获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系；利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。如此方案，既不存在两步标定法要求空间点不共面的缺陷，也不存在张友正标定法未考虑各种畸变导致初值误差大的缺陷。

Description

一种相机几何标定处理方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种相机几何标定处理方法及装置。

背景技术

全景拍摄，通常是指以某个点为中心进行水平360度和垂直180度拍摄，将所拍摄的多张图片拼接成一张全景图片的拍摄及图片拼接方法。一般来说，全景拍摄至少可包括全景图像和全景视频两种形式。

通常，在利用所拍摄的多张原始图片拼接成一张全景图片时，会涉及映射和拼接两部分。其中，映射可以理解为将原始图片上的像素点投射到全景图片对应的位置上，拼接可以理解为对相邻两张原始图片的重叠区域进行融合过渡。

为了确定空间物体表面某点的三维几何位置与其在原始图片中对应点之间的相互关系，可以通过相机几何标定的方式，获得相机参数，以便后续可以利用所述相机参数进行像素点投影。通常，相机参数可包括相机的外参和相机的内参。

目前，常用的外参估计法主要有两步标定法和张正友标定法。

对于两步标定法来说，在求解外参时要求空间点不共面，如果共面则无法求出外参，故对于共面的平板标定块，必须使用其他方法进行外参估计。另外，二步标定法中假设镜头只有径向畸变，对鱼眼镜头成像的估计误差很大。

对于张友正标定法来说，先不考虑各种畸变，而是将所有点代入求解，但是，通常远离图像中心的像素点的畸变都很大，若将这些像素点也看作没有畸变的像素点代入求解的话，显然会加大求解初值的误差。同样地，张友正标定法也只考虑了径向畸变，并不适用于鱼眼镜头。

发明内容

本发明实施例提供一种相机几何标定处理方法及装置，可以有效避免现有标定方案中存在的缺陷。

一种相机几何标定处理方法，所述方法包括：

获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点；

获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系；

利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。

优选的，所述获取全景相机成像模型，包括：

对所述空间坐标系上的点进行线性变换，获得全景相机的镜头坐标系上的点；

对所述镜头坐标系上的点进行非线性变换，获得镜头的传感器坐标系上的点；

对所述传感器坐标系上的点进行仿射变换，获得所述图像坐标系上的点；

基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型。

优选的，通过以下公式，将所述空间坐标系上的点转换为所述镜头坐标系上的点：

${\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]=P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right]$

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点。

优选的，通过以下公式，将所述镜头坐标系上的点转换为所述传感器坐标系上的点：

g(u″_ij，v″_ij)＝(u″_ij，v″_ij，f(u″_ij，v″_ij))^T

其中，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u″_ij，v″_ij)表示传感器坐标系上的点，T表示转置，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，

优选的，通过以下公式，将所述传感器坐标系上的点转换为所述图像坐标系上的点：

u″_ij＝Au′_ij+t₁，v″_ij＝Av′_ij+t₁

其中，(u″_ij，v″_ij)表示传感器坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵。

优选的，基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型，包括：

获得所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right];$

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵；

若z_ij为0，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_1^i& r_2^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right];$

若等式两端同时叉乘p_ij，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

分解叉乘得到的对应关系式，获得全景相机的第i个摄像头的成像模型：

v′_j·(r₃₁x_j+r₃₂y_j+t₃)-f(ρ_j)·(r₂₁x_j+r₂₂y_j+t₂)＝0

f(ρ_j)·(r₁₁x_j+r₁₂y_j+t₁)-u′_j·(r₃₁x_j+r₃₂y_j+t₃)＝0。

u′_j·(r₂₁x_j+r₂₂y_j+t₂)-v′_j·(r₁₁x_j+r₁₂y_j+t₁)＝0

一种相机几何标定处理装置，所述装置包括：

坐标获取单元，用于获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点；

成像模型获取单元，用于获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系；

外参确定单元，用于利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。

优选的，所述成像模型获取单元包括：

线性变换单元，用于对所述空间坐标系上的点进行线性变换，获得全景相机的镜头坐标系上的点；

非线性变换单元，用于对所述镜头坐标系上的点进行非线性变换，获得镜头的传感器坐标系上的点；

仿射变换单元，用于对所述传感器坐标系上的点进行仿射变换，获得所述图像坐标系上的点；

成像模型建立单元，用于基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型。

优选的，所述线性变换单元，用于通过以下公式，将所述空间坐标系上的点转换为所述镜头坐标系上的点：

${\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]=P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right];$

所述非线性变换单元，用于通过以下公式，将所述镜头坐标系上的点转换为所述传感器坐标系上的点：

g(u″_ij，v″_ij)＝(u″_ij，v″_ij，f(u″_ij，v″_ij))^T；

所述仿射变换单元，用于通过以下公式，将所述传感器坐标系上的点转换为所述图像坐标系上的点：

u″_ij＝Au′_ij+t₁，v″_ij＝Av′_ij+t₁

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，(u″_ij，v″_ij)表示传感器坐标系上的点，T表示转置，(u′_ij，v′_ij)表示图像坐标系上的点，A表示第二旋转矩阵，t₁表示平移矩阵。

优选的，成像模型建立单元，用于获得全景相机的第i个摄像头的成像模型：

获得所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right];$

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵；

若z_ij为0，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_1^i& r_2^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right];$

若等式两端同时叉乘p_ij，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

分解叉乘得到的对应关系式，获得全景相机的第i个摄像头的成像模型：

v′_j·(r₃₁x_j+r₃₂y_j+t₃)-f(ρ_j)·(r₂₁x_j+r₂₂y_j+t₂)＝0

f(ρ_j)·(r₁₁x_j+r₁₂y_j+t₁)-u′_j·(r₃₁x_j+r₃₂y_j+t₃)＝0。

u′_j·(r₂₁x_j+r₂₂y_j+t₂)-v′_j·(r₁₁x_j+r₁₂y_j+t₁)＝0

与现有技术相比，本发明方案通过研究空间点转换成图像点的过程，获得表示空间点与图像点之间转换关系的全景相机成像模型，同时，还可实时获取空间点坐标以及对应的图像点坐标，进而确定出全景相机的外参。如此方案，既不存在两步标定法要求空间点不共面的缺陷，也不存在张友正标定法不考虑各种畸变导致初值误差大的缺陷。

另外，本发明方案在建立成像模型时，考虑到了空间坐标系到镜头坐标系线性变换、镜头坐标系到传感器坐标系的非线性变换、以及传感器坐标系到图像坐标系的仿射变换，不仅考虑了径向畸变，还考虑了桶型畸变，有助于提高本发明外参估计的精度。

另外，求解全景相机的外参具体值时，可以通过机器学习的方法求解最小二乘问题，如此，可以大幅减少计算量，使本发明方案适用于嵌入式***的实时外参估计。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明相机几何标定处理方法的流程图；

图2是本发明中建立全景相机成像模型的方法的流程图；

图3是本发明相机几何标定处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例相机几何标定处理方法的流程图，可以包括以下步骤：

S101，获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点。

为了实现水平360度和垂直180度拍摄，全景相机通常包括多个摄像头，用于进行多角度拍摄。每个摄像头均可拍摄空间坐标系上的空间点，使之形成图像坐标系上的对应图像点。例如，全景相机包括m个摄像头，本步骤可以针对每个摄像头，获得L组空间点坐标和图像点坐标，即，针对该全景相机可获得m*L组空间点坐标和图像点坐标。通常，L的取值可以尽量大，即针对每个摄像头可以尽量多的选取空间点和图像点。作为一种示例，L可以不小于10。

S102，获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系。

本发明中全景相机成像模型可以理解为，全景相机包括的M个摄像头各自对应的成像模型，也就是说，M个摄像头的成像模型共同形成全景相机成像模型。建立摄像头成像模型的过程可以参见下文图2处所做介绍，此处暂不详述。

作为一种示例，本发明中的获取全景相机成像模型，可以是预先建立并保存成像模型，并在需要进行外参估计时直接读取，例如，可以将成像模型保存在全景相机本地，或者其他可与全景相机通信的第三方设备，本发明对此可不做具体限定。另外，本发明中的获取全景相机成像模型，还可以是在需要进行外参估计时，实时建立成像模型。

需要说明的是，本发明方案可以如图1所示，先获取空间点和图像点的坐标，然后再获取全景相机成像模型；或者，也可以先获取全景相机成像模型，再获取空间点和图像点的坐标；再者，还可以同时执行两个步骤，本发明对此可不做具体限定。

S103，利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。

需要说明的是，全景相机拍摄空间点并生成对应图像点的过程中，相机外参起着重要作用，故本发明的全景相机成像模型中包括有相机外参，即可以通过成像模型体现出外参在空间点转换为图像点的过程中所起的作用。

利用本发明方案进行几何标定时，在空间点以及对应图像点坐标已知、成像模型已知的情况下，便可确定出全景相机的外参。具体过程可参见下文，此处暂不详述。

参考图2，示出了本发明中建立全景相机成像模型的方法的流程图。也即，建立全景相机包括的每个摄像头的成像模型的方法，可以包括以下步骤：

S201，对所述空间坐标系上的点进行线性变换，获得全景相机的镜头坐标系上的点。

空间点转换为图像点至少可包括三个转换过程：空间坐标系转换为镜头坐标系、镜头坐标系转换为传感器坐标系、传感器坐标系转换为图像坐标系，下面分别进行解释说明。

作为一种示例，空间坐标系到镜头坐标系的转换为线性变换，具体可以通过第一旋转矩阵r和三维平移向量t得到。其中，r和t描述的便是相机的外部场景的参数，即本发明中的相机外参。

空间坐标系与镜头坐标系的转换关系可以体现为如下公式：

${\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]=P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right]---\left(1\right)$

其中，X表示空间坐标系上的点，可具体体现为(x_ij，y_ij，z_ij)；p_ij表示镜头坐标系上的点，可具体体现为(u″_ij，v″_ij，f(u″_ij，v″_ij))；Pⁱ表示第一旋转矩阵r和三维平移向量t；λ_ij表示归一化参数，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点。

S202，对所述镜头坐标系上的点进行非线性变换，获得镜头的传感器坐标系上的点。

空间点X处的光线通过镜头的光学中心，经过多组镜片的折射，光路发生弯曲，成像到传感器(Sensor)上的点位置会出现偏移，这一过程的变换是非线性的。也就是说，镜头坐标系到Sensor坐标系的转换为非线性变换。

作为一种示例，可以用一个泰勒多项式来表示镜头投影方式的一般化模型。具体地，镜头坐标系与Sensor坐标系的转换关系可以体现为如下公式：

p_ij＝g(u″_ij，v″_ij)＝(u″_ij，v″_ij，f(u″_ij，v″_ij))^T(2)

其中，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u″_ij，v″_ij)表示传感器坐标系上的点，T表示转置，本发明对N的取值可不做具体限定，N会在后续的处理过程中被抵消掉。

需要说明的是，f(u″_ij，v″_ij)是一个关于ρ的非线性函数，故还可以表示为f(ρ)，其中，ρ表示点(u″_ij，v″_ij)到传感器坐标原点的距离。如此，使得本发明的成像模型既考虑了径向畸变，又考虑到了桶型畸变，有助于提高本发明外参估计的精度。

S203，对所述传感器坐标系上的点进行仿射变换，获得所述图像坐标系上的点。

作为一种示例，在虚拟传感器成像平面上建立的坐标系是以物理单位mm为单位，而最终成像的图像坐标系是以pixel为单位，两者的坐标原点位置不同。故可以通过仿射变换将传感器坐标系转换到图像坐标系。

传感器坐标系与图像坐标系的转换关系可以体现为如下公式：

u″_ij＝Au′_ij+t₁，v″_ij＝Av′_ij+t₁(3)

其中，(u″_ij，v″_ij)表示传感器坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，A表示第二旋转矩阵，t₁表示平移矩阵，A和t₁主要取决于选用的摄像头。

S204，基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型。

具体地，基于上述三种转换公式，便可获得空间坐标系上的点与图像坐标系上的点之间的对应关系式：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]---\left(4\right)$

作为一种示例，在不失一般性的情况下，可以选取一些特殊的空间点，以便于获得本发明的成像模型。例如，选取z_ij为0的空间点，则空间坐标系上的点与图像坐标系上的点之间的对应关系式可以为：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_1^i& r_2^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]---\left(5\right)$

作为一种示例，为了便于计算成像模型，可以在公式(5)的等式两端同时叉乘p_ij，令等式为0：

也即，空间坐标系上的点与图像坐标系上的点之间的对应关系式可以为：

最后，分解公式(7)，便可获得全景相机包括的每个摄像头的成像模型，例如第i个摄像头的成像模型可以为：

v′_j·(r₃₁x_j+r₃₂y_j+t₃)-f(ρ_j)·(r₂₁x_j+r₂₂y_j+t₂)＝0

f(ρ_j)·(r₁₁x_j+r₁₂y_j+t₁)-u′_j·(r₃₁x_j+r₃₂y_j+t₃)＝0。

u′_j·(r₂₁x_j+r₂₂y_j+t₂)-v′_j·(r₁₁x_j+r₁₂y_j+t₁)＝0

综上，便可获得每个摄像头的成像模型，进而得到本发明中的全景相机成像模型。

如上文S103处所做介绍，在每个摄像头对应的空间点坐标、图像点坐标以及成像模型均已知的情况下，便可根据这些已知信息确定出本发明的相机外参。下面对各个摄像头外参的求解过程进行解释说明。

首先，将摄像头的成像模型改写成向量形式：M·H＝0，其中，

H＝[r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂]^T；

进行模型改写后，便可获得一个超正定方程，可以采用最小二乘法求解这个方程组，即求解min||M·H||²。

采用最小二乘法求解出r₁₁，r₁₂，r₂₁，r₂₂，t₁，t₂的取值后，考虑到第一旋转矩阵r具有如下特性：|r₁r₂r₃|＝1，故可以利用已求解出的r₁₁，r₁₂，r₂₁，r₂₂继续求解r₃₁，r₃₂的取值。如此，便可以获得摄像头外参r₁₁，r₁₂，r₂₁，r₂₂，r₃₁，r₃₂，t₁，t₂的具体取值。

作为一种示例，采用最小二乘法求解方程组时，可以采用SVD(英文：SingularValueDecomposition，中文：奇异值分解)算法实现；或者，也可以通过如下的机器学习方式实现，本发明对此可不做具体限定。

相对于SVD算法，基于机器学习方式求解最小二乘问题，可以大幅减少计算量，使本发明方案适用于嵌入式***的实时外参估计。下面对此进行解释说明。

需要说明的是，本方式主要是通过机器学习的方法，确定出一个包括若干迭代参数的集合，进而便可在摄像头外参初值的基础上，利用迭代参数进行逐步的迭代优化，最终确定出较优的相机外参。

作为一种示例，可以结合实际操作经验设置外参初值；或者，考虑到相机参数的先验值通常已是较优的值，故还可根据先验值来设置外参初值，例如可以将先验值确定为外参初值；或者，可以在先验值的基础上增加随机扰动，获得外参初值。举例来说，可以根据实际操作经验设置随机扰动值，或者，还可将随机扰动值设置为±(先验值/100)，本发明对此可不做具体限定。

本发明方案中，迭代前的外参x_k-1与迭代后的外参x_k之间的关系，可以体现为如下迭代公式：x_k＝x_k-1+P_k-1M·H(x_k-1)+Q_k-1，因此，求解最小二乘问题就转化为了求解迭代参数P_k-1和Q_k-1。

具体地，求解迭代参数的过程可以分为学习阶段和验证阶段。

1.学习阶段

选取训练样本，并通过机器学习中的监督学习的思想，使用训练样本学习获得如下迭代参数集合：{P₀，P₁，…，P_k-1，P_k}和{Q₀，Q₁，…，Q_k-1，Q_k}。

需要说明的是，本发明中训练样本的参数可以体现如下：样本全景相机包括的样本摄像头的身份编码；每个样本摄像头对应的空间点坐标和图像点坐标；每个样本摄像头的外参初始值；每个样本摄像头的外参估计值，即较优的相机外参。

2.验证阶段

通常，k＝5时，即迭代参数集合为{P₀，P₁，P₂，P₃，P₄，P₅}和{Q₀，Q₁，Q₂，Q₃，Q₄，Q₅}时，在摄像头外参初值的基础上进行迭代，可以得到该摄像头较优的外参估计值。本发明对迭代次数可不做具体限定，可以结合实际应用情况而定。

与上文所述方法相对应地，本发明实施例还提供一种相机几何标定处理装置，参见图3，所述装置可包括：

坐标获取单元301，用于获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点；

成像模型获取单元302，用于获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系；

外参确定单元303，用于利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。

可选地，所述成像模型获取单元包括：

线性变换单元，用于对所述空间坐标系上的点进行线性变换，获得全景相机的镜头坐标系上的点；

非线性变换单元，用于对所述镜头坐标系上的点进行非线性变换，获得镜头的传感器坐标系上的点；

仿射变换单元，用于对所述传感器坐标系上的点进行仿射变换，获得所述图像坐标系上的点；

成像模型建立单元，用于基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型。

可选地，

所述线性变换单元，用于通过以下公式，将所述空间坐标系上的点转换为所述镜头坐标系上的点：

${\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]=P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right];$

所述非线性变换单元，用于通过以下公式，将所述镜头坐标系上的点转换为所述传感器坐标系上的点：

g(u″_ij，v″_ij)＝(u″_ij，v″_ij，f(u″_ij，v″_ij))^T；

所述仿射变换单元，用于通过以下公式，将所述传感器坐标系上的点转换为所述图像坐标系上的点：

u″_ij＝Au′_ij+t₁，v″_ij＝Av′_ij+t₁

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，(u″_ij，v″_ij)表示传感器坐标系上的点，T表示转置，(u′_ij，v′_ij)表示图像坐标系上的点，A表示第二旋转矩阵，t₁表示平移矩阵。

可选地，成像模型建立单元，用于获得全景相机的第i个摄像头的成像模型：

获得所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ z^{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{u}_{ij}^{\′}\\ v_{ij}^{\′\′}\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right]={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right];$

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵；

若z_ij为0，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

$P^i\·X=\left[\begin{array}{cccc}{r}_1^i& r_2^i& r_3^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{r}_1^i& r_2^i& t^i\end{array}\right]\·\left[\begin{array}{c}{x}_{ij}\\ y_{ij}\\ 1\end{array}\right]={\mathrm{\λ}}_{ij}\·p_{ij}={\mathrm{\λ}}_{ij}\·\left[\begin{array}{c}{\mathrm{Au}}_{ij}^{\′}+t_1\\ {\mathrm{Av}}_{ij}^{\′}+t_1\\ f(u_{ij}^{\′\′},v_{ij}^{\′\′})\end{array}\right];$

若等式两端同时叉乘p_ij，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

分解叉乘得到的对应关系式，获得全景相机的第i个摄像头的成像模型：

v′_j·(r₃₁x_j+r₃₂y_j+t₃)-f(ρ_j)·(r₂₁x_j+r₂₂y_j+t₂)＝0

f(ρ_j)·(r₁₁x_j+r₁₂y_j+t₁)-u′_j·(r₃₁x_j+r₃₂y_j+t₃)＝0。

u′_j·(r₂₁x_j+r₂₂y_j+t₂)-v′_j·(r₁₁x_j+r₁₂y_j+t₁)＝0

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种相机几何标定处理方法，其特征在于，所述方法包括：

获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点；

获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系；

利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。

2.根据权利要求1所述的方法，其特征在于，所述获取全景相机成像模型，包括：

对所述空间坐标系上的点进行线性变换，获得全景相机的镜头坐标系上的点；

对所述镜头坐标系上的点进行非线性变换，获得镜头的传感器坐标系上的点；

对所述传感器坐标系上的点进行仿射变换，获得所述图像坐标系上的点；

基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型。

3.根据权利要求2所述的方法，其特征在于，通过以下公式，将所述空间坐标系上的点转换为所述镜头坐标系上的点：

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点。

4.根据权利要求2所述的方法，其特征在于，通过以下公式，将所述镜头坐标系上的点转换为所述传感器坐标系上的点：

g(u″_ij，v″_ij)＝(u″_ij，v″_ij，f(u″_ij，v″_ij))^T

其中，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u″_ij，v″_ij)表示传感器坐标系上的点，T表示转置，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，

5.根据权利要求2所述的方法，其特征在于，通过以下公式，将所述传感器坐标系上的点转换为所述图像坐标系上的点：

u″_ij＝Au′_ij+t₁，v″_ij＝Av′_ij+t₁

其中，(u″_ij，v″_ij)表示传感器坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵。

6.根据权利要求2所述的方法，其特征在于，基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型，包括：

获得所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式：

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵；

若z_ij为0，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

若等式两端同时叉乘p_ij，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

分解叉乘得到的对应关系式，获得全景相机的第i个摄像头的成像模型：

v′_j·(r₃₁x_j+r₃₂y_j+t₃)-f(ρ_j)·(r₂₁x_j+r₂₂y_j+t₂)＝0

f(ρ_j)·(r₁₁x_j+r₁₂y_j+t₁)-u′_j·(r₃₁x_j+r₃₂y_j+t₃)＝0

u′_j·(r₂₁x_j+r₂₂y_j+t₂)-v′_j·(r₁₁x_j+r₁₂y_j+t₁)＝0。

7.一种相机几何标定处理装置，其特征在于，所述装置包括：

坐标获取单元，用于获取空间点的坐标和图像点的坐标，全景相机拍摄所述空间点，获得与所述空间点相对应的所述图像点，所述空间点为空间坐标系上的点，所述图像点为图像坐标系上的点；

成像模型获取单元，用于获取全景相机成像模型，所述全景相机成像模型用于表示所述空间坐标系上的点与所述图像坐标系上的点之间的转换关系；

外参确定单元，用于利用所述空间点的坐标、所述图像点的坐标以及所述全景相机成像模型，确定全景相机的外参。

8.根据权利要求7所述的装置，其特征在于，所述成像模型获取单元包括：

线性变换单元，用于对所述空间坐标系上的点进行线性变换，获得全景相机的镜头坐标系上的点；

非线性变换单元，用于对所述镜头坐标系上的点进行非线性变换，获得镜头的传感器坐标系上的点；

仿射变换单元，用于对所述传感器坐标系上的点进行仿射变换，获得所述图像坐标系上的点；

成像模型建立单元，用于基于所述空间坐标系上的点和所述图像坐标系上的点，建立所述全景相机成像模型。

9.根据权利要求8所述的装置，其特征在于，

所述线性变换单元，用于通过以下公式，将所述空间坐标系上的点转换为所述镜头坐标系上的点：

所述非线性变换单元，用于通过以下公式，将所述镜头坐标系上的点转换为所述传感器坐标系上的点：

g(u″_ij，v″_ij)＝(u″_ij，v″_ij，f(u″_ij，v″_ij))^T；

所述仿射变换单元，用于通过以下公式，将所述传感器坐标系上的点转换为所述图像坐标系上的点：

u″_ij＝Au′_ij+t₁，v″_ij＝Av′_ij+t₁

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，(u″_ij，v″_ij)表示传感器坐标系上的点，T表示转置，(u′_ij，v′_ij)表示图像坐标系上的点，A表示第二旋转矩阵，t₁表示平移矩阵。

10.根据权利要求8所述的装置，其特征在于，成像模型建立单元，用于获得全景相机的第i个摄像头的成像模型：

获得所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式：

其中，(x_ij，y_ij，z_ij)表示空间坐标系上的点，(u″_ij，v″_ij，f(u″_ij，v″_ij))表示镜头坐标系上的点，(u′_ij，v′_ij)表示图像坐标系上的点，λ_ij表示归一化参数，Pⁱ表示第一旋转矩阵r和三维平移向量t，i表示全景相机的第i个摄像头，j表示坐标系上的第j个点，A表示第二旋转矩阵，t₁表示平移矩阵；

若z_ij为0，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

若等式两端同时叉乘p_ij，则所述空间坐标系上的点与所述图像坐标系上的点之间的对应关系式为：

分解叉乘得到的对应关系式，获得全景相机的第i个摄像头的成像模型：

v′_j·(r₃₁x_j+r₃₂y_j+t₃)-f(ρ_j)·(r₂₁x_j+r₂₂y_j+t₂)＝0

f(ρ_j)·(r₁₁x_j+r₁₂y_j+t₁)-u′_j·(r₃₁x_j+r₃₂y_j+t₃)＝0

u′_j·(r₂₁x_j+r₂₂y_j+t₂)-v′_j·(r₁₁x_j+r₁₂y_j+t₁)＝0。