CN107464264A

CN107464264A - 一种基于gps的相机参数标定方法

Info

Publication number: CN107464264A
Application number: CN201610389433.XA
Authority: CN
Inventors: 陈钱; 孔筱芳; 顾国华; 钱惟贤; 任侃; 王佳节
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2016-06-02
Filing date: 2016-06-02
Publication date: 2017-12-12

Abstract

本发明提出一种基于GPS的相机参数标定方法，通过GPS接收天线获取GPS接收天线质心在GPS导航坐标系中的经度、纬度和高度坐标，同时用相机采集GPS接收天线在不同位置的图像；根据GPS导航坐标系与世界坐标系之间的关系进行坐标转换，获得GPS接收天线质心在世界坐标系中的坐标，并采用Harris角点检测算法获得GPS接收天线质心在图像中的坐标；根据相机成像模型求解出相机参数矩阵。本发明在标定过程中，使用GPS的精确坐标代替标定模板，避免了由于标定模板精度不高而引起的标定误差，从而提高了标定精度。

Description

一种基于GPS的相机参数标定方法

技术领域

本发明属于计算机视觉处理技术领域，具体涉及一种基于GPS的相机参数标定方法。

背景技术

从相机获取的二维图像信息中计算出物体在三维空间中的几何信息是计算机视觉技术的主要任务之一。在进行物体三维重建和特征识别的过程中，空间物体表面某一点的三维几何位置与其在二维图像中对应像素点位置之间的关系，是由相机成像的几何模型决定的，这些几何模型的参数就是相机参数，例如焦距、主点、旋转和平移向量等，而获取这些参数的过程即为相机参数标定过程。作为计算机视觉中不可缺少的部分，相机标定方法的稳定性和高精度是整个视觉***良好运行的前提和基础。计算机视觉要实现更加广泛的应用就离不开相机标定技术的支持，因此相机参数标定技术的研究具有十分重要的意义。在传统的相机参数标定方法中，为了得到较精确的标定结果，对标定过程中标定模板(如棋盘格、栅格、实心圆阵列等)的使用有一定的要求，需要对标定模板的尺寸进行精确测量，并使其处于拍摄图像的不同位置，尽量覆盖图像的四个角，以提高标定的精度。然而，一般的标定模板并不能完全满足精度要求，因而会造成误差。

GPS(Global Position System)全球定位***利用卫星通过测距和测时来实现目标的导航和定位。该***由GPS卫星(空间部分)、地面支撑***(地面监控部分)和GPS接收机(用户部分)组成，在应用中关键的设备是GPS接收机，通过接收标准的GPS导航电文来获取基础的定位和导航数据。由于GPS对运动目标的导航定位具有全方位、全天候、数据实时、精度高等特点，已经在许多领域得到了相当广泛的应用。

发明内容

本发明的目的在于提出一种基于GPS的相机参数标定方法，在标定过程中，用GPS的精确坐标代替标定模板，避免了由于标定模板精度不高造成的标定误差。

为了解决上述技术问题，本发明提供一种基于GPS的相机参数标定方法，通过GPS接收天线获取GPS接收天线质心在GPS导航坐标系中的经度、纬度和高度坐标，同时用相机采集GPS接收天线在不同位置的图像；根据GPS导航坐标系与世界坐标系之间的关系进行坐标转换，获得GPS接收天线质心在世界坐标系中的坐标，并采用Harris角点检测算法获得GPS接收天线质心在图像中的坐标；根据相机成像模型求解出相机参数矩阵。

进一步，获得GPS接收天线质心在世界坐标系中坐标的过程为：

首先，将GPS导航坐标系转换为地球直角坐标系，转换方式如式(1)所示，

式(1)中，(B,L,H)分别为地球表面任意一点P在GPS导航坐标系中的经度、纬度和高度坐标，(X_E,Y_E,Z_E)为任意一点P在地球直角坐标系中的坐标；N为椭球的曲率半径，E为椭球的第一偏心率，设地球的长半径为a＝6378137m，短半径为b＝6356752m，则椭球的曲率半径N和椭球的第一偏心率E的计算方法如式(2)所示，

然后，将地球直角坐标系转换为世界坐标系，转换方法如式(3)所示，

式(3)中，(X,Y,Z)为世界坐标系，所述世界坐标系以GPS接收天线主站O为坐标原点，(X_E0,Y_E0,Z_E0)为GPS接收天线主站O在地球直角坐标系中的坐标。

进一步，所述相机成像模型如式(4)所示，

式(4)中，s_i为比例因子，为GPS接收天线质心在不同位置处的世界坐标系的齐次坐标表示，为GPS接收天线质心在图像中对应的齐次图像坐标，是相机参数矩阵，m_ab为相机参数矩阵第a行第b列元素，a∈1,2,3，b∈1,2,3,4；i为GPS接收天线在不同位置处图像的序号，i∈n，n所拍摄照片总数；

根据相机成像模型求解出相机参数矩阵的方法为：对于n个已知的世界坐标系坐标和对应的图像坐标系坐标采用直接线性变换方法求解出解出M矩阵中的每个元素m_ab。

本发明与现有技术相比，其显著优点在于，本发明方法不需要采用传统标定方法中使用的标定模板，而是根据GPS接收天线在不同位置的坐标信息，经过坐标系之间的转换得到GPS接收天线质心在世界坐标系中的坐标位置，从而进行相机内外参数的标定。经实验证明，本发明方法能够通过GPS获取高精度空间坐标信息，避免了由于标定模板精度不高造成的标定误差。与传统的相机标定方法相比，本发明方法能够提高相机参数标定的准确性和精度。

附图说明

图1是本发明方法流程示意图。

图2是本发明方法中使用的GPS主视图与俯视图。

图3是WGS-84坐标系示意图。

图4是相机成像模型示意图。

图5是相机坐标系和世界坐标系之间的欧式变换示意图。

图6是实验装置示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于GPS的相机参数标定方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

一、本发明的基本思想

首先，通过GPS接收天线获取GPS接收天线质心在WGS-84坐标系中的经度、纬度和高度坐标信息，同时用相机采集GPS接收天线在不同位置的图像；

然后，根据WGS-84坐标系与世界坐标系之间的关系进行坐标转换，获得GPS接收天线质心在世界坐标系中的坐标信息，并采用Harris角点检测算法获得GPS接收天线质心在图像中的坐标；

最后，根据相机成像模型求解出相机参数矩阵，实现相机内外参数的标定。

二、世界坐标系、相机坐标系和图像坐标系

在相机标定过程中，为了准确的建立从二维图像到三维世界的空间位置模型，需要定义统一的坐标系。

世界坐标系(X,Y,Z)：世界坐标系是根据实际需要定义的世界三维坐标系，用来描述三维空间中的物体、相机的坐标位置，满足右手法则；

相机坐标系(X_c,Y_c,Z_c)：相机坐标系是以相机的光心作为原点，Z_c轴与光轴重合，垂直于成像平面，且取摄影方向为正方向。X_c,Y_c与图像物理坐标系的x,y轴平行，且O_cO为相机的焦距f；

图像坐标系：由于相机的工作原理，相机的图像坐标系是一个以像素为单位的坐标系，它的原点在左上方，并没有以物理单位为基础来表示每个像素点在图像中的位置。为了解决这个问题，需要建立以物理单位(如同相机坐标系和物理坐标系的毫米)为基础表示的图像坐标系。图像像素坐标系(u,v)：图像像素坐标系是以图像左上角为原点，以像素为坐标单位的直角坐标系，u、v分别表示像素在数字图像中的列数和行数。图像物理坐标系(x,y)：图像物理坐标系是以光轴与像平面的交点为原点，以毫米为单位的直角坐标系。其x轴和y轴分别与图像像素坐标系的u、v轴平行。

三、GPS导航坐标系及GPS坐标系转换

本发明基于GPS的相机参数标定方法，不需要使用标定模板，而是通过GPS接收天线获取不同位置的世界坐标系坐标信息，经过坐标系之间的转换得到GPS接收天线质心在世界坐标系中的坐标位置，进行相机参数的标定。本发明采用的GPS接收天线为北斗星通GPS，获得的坐标信息为其质心处坐标。图2为GPS接收天线在不同位置的图像，包括主视图与俯视图，其质心为点O。

1、GPS导航坐标系及导航电文数据解析

本发明中使用的GPS所采用的导航坐标***是WGS-84坐标系，如图3所示。该坐标系是美国国防部研制的一种协议世界大地坐标系(World Geodetic System)。WGS-84坐标系以地球的质心为坐标原点，X轴指向CTP赤道和BIH10984.0零度子午线的交点，Z轴指向BIH10984.0定义的协议地球极CTP(Conventional Terrestrial Pole)方向，Y轴与X轴、Z轴构成右手坐标系。

WGS-84坐标系采用(纬度B，经度L，高度H)进行表示，其内容包含在GPS导航电文中，输出形式为ASCII码。GPS电文数据格式如下：$GPGGA，(1)，(2)，(3)，(4)，(5)，(6)，(7)，(8)，(9)，M，(10)，M，(11)，(12)*hh。从上述数据中，需要提取出目标的(纬度B，经度L，高度H)信息，分别对应的是(2)纬度(格式ddmm.mmmm)，(4)经度(格式：dddmm.mmmm)，(9)天线高程(海平面，-9999.9～99999.9，单位：m)。例如实验中接收到的一帧数据为：$GPGGA，085902.00，3201.6557，N，11851.4286，E，4，21，0.6，55.51，M，1.20，M，01，908Z*02，则对应的(纬度B，经度L，高度H)信息为：(32.02759445887，118.85714386997，55.5143)。

2、GPS导航坐标系与***世界坐标系转换

当已知了GPS导航坐标系(B,L,H)的信息之后，就可以进行各种坐标系之间的相互转换了。

首先将GPS导航坐标系转换为地球直角坐标系。设地球表面任意一点P在GPS导航坐标系中为P_G(B,L,H)，在地球直角坐标系中为P_E(X_E,Y_E,Z_E)。则GPS导航坐标系与地球直角坐标系之间的关系为：

式(1)中，N为椭球的曲率半径，E为椭球的第一偏心率。设地球的长半径为a＝6378137m，短半径为b＝6356752m，则有：

得到地球直角坐标系后，还要将其转换为世界坐标系P(X,Y,Z)。该世界坐标系以GPS接收天线主站O为坐标原点。设GPS接收天线主站O在地球直角坐标系中为P_E0(X_E0,Y_E0,Z_E0)，GPS接收天线从站A在地球直角坐标系中为P_E(X_E,Y_E,Z_E)，则从站A相对于主站O的坐标为：

四、相机成像模型

图4为理想相机成像模型—针孔相机模型，描述了相机坐标系与图像坐标系之间的关系。在针孔相机模型下，空间坐标为(X,Y,Z)的点P被映射到图像平面Π上的一点p，点p是连接点P与投影中心(相机光心)C的直线与图像平面的交点。相机光心C到图像平面的垂线为相机的主轴，而主轴与图像平面的交点为主点c(x₀,y₀)，相机光心C与主点c(x₀,y₀)之间的距离为相机焦距f。

由图4可得相机坐标系(X_c,Y_c,Z_c)与图像坐标系(u,v)之间的关系为：

式(4)中，分别为u、v轴上的尺度因子，或称为u、v轴上归一化焦距；s为比例因子，为相机内参矩阵，I为单位矩阵。

由图5可以得到相机坐标系(X_c,Y_c,Z_c)与世界坐标系(X,Y,Z)之间的欧式变换关系：

式(5)中，R为一个3×3的旋转矩阵；t为一个3×1的平移矩阵。

由式(4)和式(5)，可以得到图像坐标系(u,v)与世界坐标系(X,Y,Z)之间的关系：

式(6)中，M＝A[R|t]为相机参数矩阵，其中，为相机内参矩阵，[R|t]为相机外参矩阵，R为旋转矩阵，t为平移矩阵。相机参数的标定即为M矩阵中各参数的求解过程。

五、基于GPS的相机参数标定

将相机成像模型式(6)表示成如下形式：

式(8)中，s_i为比例因子，为GPS接收天线质心在不同位置处的世界坐标系的齐次坐标表示，为GPS接收天线质心在拍摄图像中对应的齐次图像坐标，m_ab为M矩阵第a行第b列元素。

将式(8)展开，得：

消去式(9)中的s_i，则有：

对于n个已知的世界坐标系坐标和对应的图像坐标系坐标采用直接线性变换(DLT)方法可以解出M矩阵中的每个元素，即：

令式(11)中m₃₄＝1，从而得到关于M矩阵m₁₁～m₃₃元素的2n个线性方程。令：

则式(11)可以改写为：

Km＝U (13)

采用最小二乘法可以求出式(13)中的m，即：

m＝(K^TK)^-1 K^TU (14)

则式(6)中的M矩阵中的每个元素即可以求出。

六、相机内外参数求解的概念

求出式(13)中的m后，就可以通过M矩阵与相机内外参数的关系，依次求得相机的全部内外参数。

由式(8)可得M矩阵与相机内外参数的关系为：

式(15)中，为M矩阵的第a行的前三个元素组成的行向量；m_a4(a＝1,2,3)为M矩阵第a行第四列元素；为相机外参中旋转矩阵R的第a行；t_x,t_y,t_z为相机外参中平移向量t的三个分量。

由式(15)可得：

由式(16)知：m₃₄m₃＝r₃，由于r₃是正交单位矩阵的第三行，则|r₃|＝1。因此有：再根据式(17)求出M矩阵中的其他参数。

其中，x₀,y₀,α_x,α_y即为相机内参矩阵中的参数，r₁,r₂,r₃组成了相机外参中旋转矩阵R，t_x,t_y,t_z为相机外参中平移向量t的三个分量。

根据式(17)，相机的内参矩阵以及相机的外参矩阵[R|t]中的每个参数即可以求出。

综上所述，由空间中6个以上已知点以及它们所对应的图像坐标，就可以求出M矩阵，并根据式(17)求出相机的内外参数。

七、执行本发明方法的一个流程

步骤一：放置GPS接收天线主站O与从站A，连接好电台、GPS与电脑，使GPS处于RTK(Real-time kinematic，载波相位差分技术)工作模式，记录GPS接收天线主站O的经纬高度信息P_G0(B₀,L₀,H₀)；

步骤二：移动GPS接收天线从站A至不同位置，并尽量使移动范围覆盖视场全部范围，用相机采集GPS接收天线从站A在不同位置处的图像I(i＝1,2,...,n)，并记录GPS接收天线在不同位置处的经纬高信息

步骤三：根据式(1)～(3)将经纬高度信息转换为世界坐标系坐标P_i(X_i,Y_i,Z_i)(i＝1,2,...,n)；

步骤四：对采集到的图像I(i＝1,2,...,n)进行二值化、平滑滤波等图像预处理；

步骤五：采用Harris角点检测算法提取图像I(i＝1,2,...,n)中GPS接收天线的质心坐标(x_i,y_i)(i＝1,2,...,n)；

步骤六：根据前述式(8)～(14)求出M矩阵，根据式(15)～(17)求出相机的内外参数。

本发明的有益效果可以通过以下实验进一步说明：

本实验采用北斗星通GPS，相机为Basler acA640-90gc，CCD尺寸为4.88mm×3.66mm，分辨率为658×492，镜头标注焦距为F＝12mm。实验装置如图6所示。

实验中，根据本发明方法的具体步骤，拍摄GPS接收天线在视场中不同位置的图像I(i＝1,2,...,20)，并记录对应的GPS接收天线质心坐标根据式(1)～(3)将经纬高信息转换为***坐标系坐标P_i(X_i,Y_i,Z_i)(i＝1,2,...,20)。采用Harris角点检测方法提取图像中GPS接收天线质心位置坐标(u_i,v_i)(i＝1,2,...,20)。根据式(8)～(14)求出M矩阵，根据式(15)～(17)求出相机的内外参数。求出的M矩阵为：

将M矩阵分解，得到相机内参为：

f_x＝1659.57,f_y＝1650.87

c_x＝337.23,c_y＝239.47

相机外参矩阵[R|t]为：

上述实验证明，本发明提出的相机参数标定方法能够通过GPS获取高精度空间坐标信息，避免了由于标定模板精度不高造成的标定误差。与传统的相机标定方法相比，该方法能够提高相机参数标定的准确性和精度。

Claims

1.一种基于GPS的相机参数标定方法，其特征在于，通过GPS接收天线获取GPS接收天线质心在GPS导航坐标系中的经度、纬度和高度坐标，同时用相机采集GPS接收天线在不同位置的图像；根据GPS导航坐标系与世界坐标系之间的关系进行坐标转换，获得GPS接收天线质心在世界坐标系中的坐标，并采用Harris角点检测算法获得GPS接收天线质心在图像中的坐标；根据相机成像模型求解出相机参数矩阵。

2.如权利要求1所述基于GPS的相机参数标定方法，其特征在于，获得GPS接收天线质心在世界坐标系中坐标的过程为：

3.如权利要求1所述基于GPS的相机参数标定方法，其特征在于，

所述相机成像模型如式(4)所示，