CN113822948A - 一种利用目标立面纹理进行数码相机检校的方法 - Google Patents

Abstract

本发明提出一种利用目标立面纹理进行数码相机检校的方法，包括：S1，获取具有三维线特征的目标的表面影像；S2，提取X、Y和Z三轴线纹理特征并进行正交直线分组；S3，以影像中的直线信息为观测值，对消失点建立平差模型，根据所述平差模型对单幅影像进行检校；S4，基于S3得到的单幅影像的检校参数，建立多影像的直线信息与检校参数直接关联的平差模型；S5，计算所述平差模型，得到相机检校参数。本发明专门对普通数码相机进行检校，检校时无需任何控制场或控制点信息，只需对人工建筑物拍摄即可检校相机全部内方位元素。

Description

一种利用目标立面纹理进行数码相机检校的方法

技术领域

本发明涉及数码相机检校方法，更具体地，涉及一种利用立面纹理进行数码相机检校的方法。

背景技术

三维计算机视觉***从相机获取的图像信息出发，计算三维环境物体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有关，这些位置的相互关系，由相机成像几何模型所决定，该几何模型的参数称为相机内方位元素，这些参数必须由实验与计算来确定，实验与计算的过程称为相机的检校。

相机检校在如下应用中起着重要的作用：

一、从计算机图像坐标中导出三维几何信息：由相机检校所确定的相机模型和参数能够提供一种给定某目标点的图像坐标，确定一条实际目标点必在其上的空间直线的方法（即共线条件），利用两幅这样的图像，就可由两条直线的交点确定这一目标点的空间位置。这种极为重要的信息可以应用于立体测量、三维重建、机电元件的自动装配、汽车车身视觉检测、机器人视觉等重要领域中。

二、由三维信息导出二维计算机图像坐标：在利用机器视觉的模型驱动的检测和装配应用中，关于物体三维空间位置、方向的一个假设可以利用相机模型和参数转化为对其所成图像的一个假设，对比该假设图像和实际拍摄的图像即可拒绝或确认对物体及其空间位置的假设。

相机检校，就是通过建立已知物像点对应关系模型，计算成像***内外几何及光学参数，从而获取模型参数。一旦建立了这种对应关系，就可以通过二维像点坐标推出物点三维世界坐标，或相反的，从已知的三维信息推出二维信息。由此可知，相机检校是摄影测量与计算机视觉实现的前提和基本问题且受到国内外学者的广泛关注。

传统相机检校方式是在高精度控制场中进行的。高精度控制场一般是由建在室内的高精度三维控制点群组成，这些控制点都是经过精密测绘仪器量测得到，并且控制点连杆底部用油封处理，防止热胀冷缩带来的控制点位变化。目前，我国只有武汉大学、山东科技大学等少数几家机构专门为相机检校建立高精度室内控制场。同时中国测绘科学研究院也已建成高精度室外控制场，专门用于相机检校。这种高精度控制场精度要求高、维护成本高、同时受地域限制，给相机检校带来很大不便，有的地方根本没有控制场，因此就无法检校。虽后期有很多二维控制场进行相机检校，但这些二维控制场也需要进行高精度量测，不便于随时随地进行相机检校。

发明内容

针对背景技术中的问题，本发明提出一种利用目标立面纹理进行数码相机检校的方法，包括：S1，获取具有三维线特征的目标的表面影像；S2，提取X、Y和Z三轴线纹理特征并进行正交直线分组；S3，以影像中的直线信息为观测值，对消失点建立平差模型，根据所述平差模型对单幅影像进行检校；S4，基于S3得到的单幅影像的检校参数，建立多影像的直线信息与检校参数直接关联的平差模型；S5，计算所述平差模型，得到相机检校参数。

优选地，在步骤S1中，所述表面影像通过旋转相机光轴以不同角度拍摄得到。

优选地，步骤S2包括：对每幅图像进行边缘检测，得到边缘点；对所述边缘点进行直线段拟合；对所述直线段进行正交直线分组。

优选地，在步骤S3中，单像中的三个消失点分别求得内外方位元素后，根据已知物方点、线、面之间的几何关系，对目标进行三维重建，从而实现基于单像的检校与建模。

优选地，步骤S3还包括：对每个单幅影像检校，得到检校参数初值和三轴消失点初值。

优选地，在步骤S4中，将内外方位元素纳入到平差模型中，并通过对目标旋转拍摄产生的多方位影像进行检校。

优选地，在步骤S4中，利用光线畸变模型对多影像三轴正交线特征联合平差检校，得到带有畸变差改正的平差模型。

优选地，在步骤S4中建立平差模型的方法包括：1）针对一个轴向，根据投影几何获得消失点与外方位角元素的函数关系；2）在平差中可以不将消失点作为未知参数，对所述函数关系线性化；3）获取三个轴向的线性化的消失点与外方位角元素的函数关系。

优选地，步骤S4中平差模型包括：三轴正交直线的起始点坐标信息，相机待检校的五个参数：焦距、主点x坐标、主点y坐标、光学畸变参数K1和光学畸变参数K2。

优选地，在步骤S5中，将每幅影像的三轴正交直线信息与相机五个参数按照步骤S4中的平差模型，构建方程，解求相机检校参数。

本发明可以对普通数码相机进行检校，检校时无需任何控制场或控制点信息，只需对人工建筑物拍摄即可检校相机全部内方位元素。

附图说明

为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。

图1为本发明的方法的一个实施例的流程图。

图2为旋转相机拍摄的4幅原始影像，其中（A）、（B）、（C）、（D）表示不同旋转角度。

图3为三个轴方向上的直线提取与分组的示意图，其中（A）表示X轴方向，（B）表示Y轴方向，（C）表示Z轴方向。

图4为消失点与方位元素之间的几何关系图。

图5为一个立方体模型图。

图6显示了第一组试验结果。

图7显示了第二组试验结果。

图8显示了第三组试验结果。

图9显示了第四组试验结果。

图10显示了第五组试验结果。

图11显示了第六组试验结果。

具体实施方式

下面参照附图描述本发明的实施方式，以便于本领域的技术人员可以更好的理解本发明并能予以实施，但所列举的实施例不作为本发明的限定，在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合，其中相同的部件用相同的附图标记表示。

如图1所示，本发明的方法包括：S1.获取数据，获取具有三维线特征（例如建筑物）的目标表面影像。S2.进行X、Y、Z三轴线特征数据的提取与分组。S3.对单幅影像进行几何数据模型的检校。S4.构建目标线特征与相机检校参数的几何检校模型。S5.计算平差模型，输出相机检校参数。

下面详细描述步骤S1获取数据。如图2所示，为旋转相机拍摄的4幅原始影像，其中（A）为旋转0度，（B）为旋转90度，（C）为旋转180度，（D）为旋转270度。拍摄目标为存在两个正交平面的建筑物，且建筑物的每个表面都有两个垂直方向的直线轮廓信息。若相机位于两个平面所夹的大角度中，本发明称之为凸面；若位于两平面所夹的小角度中，则称为凹面。无论是凹面还是凸面，只要满足上述条件皆可作为拍摄目标。拍摄方式为旋转摄影，即将相机大致绕光轴旋转拍摄，拍摄时对旋转角度不作严格要求，一般来说，每次旋转角度大约为90度即可。图2为旋转相机拍摄的4幅原始影像，相机每次旋角约为90度。

下面详细描述步骤S2线特征数据提取与分组。线特征提取与分组步骤包括：（1）对每幅图像进行边缘检测，得到边缘点；（2）对所述边缘点进行直线段拟合；（3）对所述直线段进行正交直线分组。

（1）边缘检测过程如下：在一幅影像中，边缘有方向和幅度两个特性。沿边缘走向的灰度变化平缓，而垂直于边缘走向的灰度变化剧烈，这种变化可能是阶跃型或屋脊型。然而实际要分析的影像常常是复杂的，灰度变化不一定是上述的标准形式。因此，对于检测算子的选择应依据不同类型的影像而定。如果以建筑物为拍摄目标，其影像边缘具有明显的方向性，而以上算子都是无向性的。因此，针对此特点本发明采用Canny边缘检测算子。这种算子因其对边缘检测的有效性和定位的可靠性而被广泛使用。对于各种类型的边缘，Canny边缘检测算子的最优形式是不同的。在二维情况下，Canny算子的方向性使边缘的定位性能非常好，具有良好的边缘强度估计，而且能产生边缘梯度方向和强度两种信息，为后续处理提供了方便。

（2）多直线段拟合的过程如下：多直线段是指端点连接端点的直线段序列，直线段序列的连接点称为顶点。多线段算法的输入值是边缘点有序表：

。边缘点坐标可以计算到子象素精度。由于线段的两个端点对应两个边缘点，即线段拟合在这两个边缘点之间进行，因此仅需要精确计算对应端点的两个边缘点的坐标。拟合边缘并把第一个边缘点

和最后一个边缘点

连接起来的直线段公式为：

Ax+By+C=0

其中

。

若

是两点之间距离，则任给一点

，则该点到拟合直线段的距离为：

规范化最大误差为：

规范化最大误差可作为直线段拟合边缘好坏的量度。本发明采用交叉使用直线***和直线合并算法。分解过程以后，如果新的线段能以很小的规范化误差拟合边缘，则可用单一直线段代替相邻的几个线段。在线段合并后，新的线段可能在不同点处***。这样，二者交替作用直到没有线段被合并和***为止。

（3）基于统计检验的方法进行正交直线分组。设

分别为三条空间平行线与摄影中心所组成平面的法向量。则根据透视几何原理，理想情况下，三条互相正交直线所在平面法向量具有相交约束：

。在有噪声的情况下，约束公式不为零，存在闭合差。对影像中每三条直线统计检验值，然后用聚类的方法即可自动分组得到影像中互相正交的直线段。

如图3所示，在原始影像中按上述直线自动检测与分组方法，共提取直线段295条，其中分组出互相正交的直线为三组：平行于X轴直线、平行于Y轴直线和平行于Z轴直线。此例中，X方向直线62条；Y方向直线44条；Z方向直线为138条。其余为未被分组的无序直线段。

下面详细描述步骤S3影像检校。如图4所示，在根据投影几何，空间上的平行线在影像上的投影交于一点，称为消失点。通过消失点可以解算相机的内外方位元素。本发明从摄影测量学角度出发，提出了以影像中的直线信息为观测值，对消失点建立平差模型，从而实现单像相机检校及建模的方法。其几何模型如图4所示。

设一幅影像中三个正交方向的消失点为

，即为三透视点，摄影中心为S，o为相机主点，

为焦距，三个外方位角元素分别为

。

内方位元素的解求：

由于消失点和摄影中心的连线与形成该消失点的空间平行线平行，三个正交方向X、Y、Z的直线所形成的消失点必落在相应的坐标轴上。因此

为一直角锥，So垂直于

，则相机主点o为

的重心。焦距f为：

(1)

推导：在直角

中，存在如下关系：

将

代入上式，则得（1）式。

外方位角元素的解求：

现解求三个外方位角元素

：在直角

中，SP为三角形的高，则

在直角

中，So为三角形的高，则

，

因此，在一幅三点透视图中，可以通过消失点三个外方位角元素分别为：

(2)

外方位线元素的解求：

在获取影像内方位元素及外方位角元素后，可利用摄影测量共线方程进行影像线元素（即摄站空间位置

）的估算。显然，在没有物方空间任何已知条件下，是无法解求摄站的空间位置。为此，可利用已知绝对位置的立方体所提供的空间信息来解算摄站坐标。图5所示为一立方体模型，设立方体中可视的7个点所对应的影像坐标为已知：

（i=1,2,…,7），则可通过相似变换，将空间坐标系变换为以点2为原点、23为X轴、21为Y轴、26为Z轴的立方体局部坐标系，此时

，若令立方体边23在物方的长度为L，则有

，由摄影测量的共线方程可得：

其中，

为由消失点估算出的内方位元素，

为由消失点估算出的外方位角元素组成的旋转矩阵的元素。由上式可解得外方位线元素为：

应用单像中的三个消失点分别求得内外方位元素后，若已知物方点、线、面之间的几何关系（如角度、距离条件）则可对简单规则建筑物进行三维重建，从而实现基于单像的检校与建模。

下面详细描述步骤S4构建基于多影像三轴正交的几何检校模型。如图2所示，基于单像的相机几何检校方法在理论上是可行的，可实际应用表明，这种方法只能对相机进行弱检校。因为采用这种方法虽然对相机焦距能获得较好效果，但像主点对消失点误差的敏感度非常强。在很多情况下简单地假定像主点位于影像中心。这种假定大大降低了检校的精度。因此，在单像几何检校相机的原理基础上，本发明提出了基于多影像三轴正交的几何检校相机的方法。该方法将内外方位元素统一纳入到平差模型中，并通过对目标旋转拍摄产生的多方位影像进行检校，从而抑制单像检校存在的误差。

由以上步骤可知，相机内外方位元素是消失点的函数，反之，消失点又是方位元素的函数。由图4，可得消失点与外方位角元素的函数关系式：

（3）

由于消失点计算不是检校目的，它只是目标直线信息与检校参数之间连接的一个桥梁。因此，在平差中可以不将消失点作为未知参数。将式（3）线性化，得

（4）

这样，就建立了直线与检校参数直接关联的平差模型。以

对应的方向为例，可得：

同理可得

对应的方程。

该几何检校模型可以大大提高待检校相机内参数的精度，然而该算法是以线性针孔相机模型为前提的，即假定影像没有畸变差，检校参数可简化为“三参数模型”，这样使得物方的直线投影到像片中也是直线。可实际上任何一种光学镜头都存在不同程度的畸变差，如果不对影像畸变差加以改正，那么检校精度将会降低。因此，本模型考虑了影像畸变的影响。

相机物镜***设计、制作和装配所引起的像点偏离其理想位置的点位误差称之为光学畸变差。光学畸变差是影响点坐标质量的一项重要误差。光学畸变主要由径向畸变差导致。同时，有研究表明一般情况下，检校时只考虑径向畸变的前两项即可。如果引入过多的非线性参数（如径向畸变模型中的第二项与第三项），不仅不能提高精度，反而引起解的不稳定。因此，径向畸变已能足够描述非线性畸变。这样，根据径向畸变公式，像点的改正坐标可写为：

（6）

其中，

为畸变差改正后的像点坐标，

为像点坐标；

是描述畸变系数；r为该像点的向径；

将上述模型线性化，得到矩阵形式

，矩阵A为线性化时各参数的系数。

此时，通过引入光学畸变模型，将待检校参数从简化的“三参数”扩展至全面的“五参数”，结合模型（5），即可得到最终的五参数的平差模型。

此模型中分为两大部分，第一部分为三轴正交直线的起始点坐标信息，第二部分为相机待检校的五个参数（即焦距，主点x坐标，主点y坐标，光学畸变参数K1和K2）。

将每幅影像的三轴正交直线都进行观测，与相机五个参数按照如上模型，构建方程，联立方程组即可解求相机检校参数。

下面详细描述步骤S5计算平差模型，输出相机检校参数。将全部影像的三轴正交的线特征代入上述步骤的检校平差模型，光学畸变参数K1及K2初值设为零。通过迭代平差运算，最终输出相机所有检校参数。

本发明经过实验验证可行。实验结果如下。检校实验采用量测型数码相机Rolleid30-metric-10mm拍摄，该相机像幅为1280X1024(pixel)，像素大小是0.007mm/pixel，内参数如表1所示：

表1 量测相机内参数

参数值都是以毫米为单位，且像主点的坐标是在以影像中心为原点、向右为X正方向、向上为Y正方向的坐标系中。为了验证本发明方法的可行性，列举6组（见图6-图11）相机检校实验，每组实验都分别做了（未、已）考虑畸变模型的因素。对以上六组实验作如表2统计。

表2 六组实验统计

从数据分析看出：若考虑畸变差影响，则标定精度略高于未考虑畸变差影响的情况。考虑畸变差后的检校结果的中误差要比不考虑畸变差的中误差小得多，这说明通过与真实值对比，本发明的检校试验中检校值趋于稳定，且检校精度高。

以上所述的实施例，只是本发明较优选的具体实施方式，本说明书使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.一种利用目标立面纹理进行数码相机检校的方法，其特征在于，包括：

S1，获取具有三维线特征的目标的表面影像；

S2，提取X、Y和Z三轴线纹理特征并进行正交直线分组；

S3，以影像中的直线信息为观测值，对消失点建立平差模型，根据所述平差模型对单幅影像进行检校；

S4，基于S3得到的单幅影像的检校参数，建立多影像的直线信息与检校参数直接关联的平差模型；

S5，计算所述平差模型，得到相机检校参数。

2.根据权利要求1所述的方法，其特征在于，在步骤S1中，所述表面影像通过旋转相机光轴以不同角度拍摄得到。

3.根据权利要求1所述的方法，其特征在于，步骤S2包括：对每幅图像进行边缘检测，得到边缘点；对所述边缘点进行直线段拟合；对所述直线段进行正交直线分组。

4.根据权利要求1所述的方法，其特征在于，在步骤S3中，单像中的三个消失点分别求得内外方位元素后，根据已知物方点、线、面之间的几何关系，对目标进行三维重建，从而实现基于单像的检校与建模。

5.根据权利要求4所述的方法，其特征在于，步骤S3还包括：对每个单幅影像检校，得到检校参数初值和三轴消失点初值。

6.根据权利要求5所述的方法，其特征在于，在步骤S4中，将内外方位元素纳入到平差模型中，并通过对目标旋转拍摄产生的多方位影像进行检校。

7.根据权利要求6所述的方法，其特征在于，在步骤S4中，利用光线畸变模型对多影像三轴正交线特征联合平差检校，得到带有畸变差改正的平差模型。

8.根据权利要求7所述的方法，其特征在于，在步骤S4中建立平差模型的方法包括：

1）针对一个轴向，根据投影几何获得消失点与外方位角元素的函数关系；

2）在平差中可以不将消失点作为未知参数，对所述函数关系线性化；

3）获取三个轴向的线性化的消失点与外方位角元素的函数关系。

9.根据权利要求8所述的方法，其特征在于，步骤S4中平差模型包括：三轴正交直线的起始点坐标信息，相机待检校的五个参数：焦距、主点x坐标、主点y坐标、光学畸变参数K1和光学畸变参数K2。

10.根据权利要求9所述的方法，其特征在于，在步骤S5中，将每幅影像的三轴正交直线信息与相机五个参数按照步骤S4中的平差模型，构建方程，解求相机检校参数。

Images