具体实施方式
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
为解决现有技术中的传统标定法以及自标定法无法实现摄像机的在线标定以及摄像机标定精确度不高的问题,本发明实施例提供了一种摄像机标定的方法。下面结合附图对本发明实施例做详细说明。
实施例一
如图1所示,本发明实施例一摄像机的标定方法包括如下步骤:
步骤11、利用包含有标定参照物的初始图像,对摄像机进行初始标定,获取摄像机的初始标定参数。
在此步骤中,为了保证摄像机标定的精确度,可利用传统的两步法,即径向排列约束标定法进行摄像机标定。当然,还可利用其他的传统标定法,如DLT方法等对所述初始图像进行摄像机标定。所述的标定参照物可任意选定。
步骤12、获取所述已进行初始标定的初始图像与待标定图像的匹配特征参数;其中所述待标定图像是在摄像机参数发生变化时获取的,且所述待标定图像不包括所述标定参照物。
所述的匹配特征参数包括:获取的匹配特征点,以及所述匹配特征点的像素坐标以及世界坐标等。
在本发明实施例中,可以利用尺度不变特征变换(SIFT,Scale InvariantFeature Transform),获取已进行初始标定的初始图像与待标定图像的匹配特征参数。下面对尺度不变特征变换算法作一简单介绍。尺度不变特征变换算法首先在尺度空间进行特征检测,并确定关键点的位置和关键点所处的尺度,然后使用关键点邻域梯度的主方向作为该关键点的方向特征,以实现算子对尺度和方向的无关性。尺度不变特征变换算法的主要计算步骤如下:
1)尺度空间极值检测:搜索整个尺度和图像位置。通过使用高斯差分函数确定对尺度和方向具有不变性的兴趣点,以初步确定关键点位置和所在尺度。
2)关键点定位:在每一个候选位置,详细地模型拟合以确定所述关键点的位置和尺度,并根据各关键点的稳定性的高低,选择关键点。然后通过拟合三维二次函数以精确地确定关键点的位置和尺度,同时消除低对比度的关键点和不稳定的边缘响应点,以增强匹配稳定性、提高抗噪声能力。
3)方向分配:根据局部图像梯度,为每一个关键点方向分配一个或多个方向。其后对该关键点的所有操作都根据为其分配的方向、尺度、位置进行。利用关键点邻域像素的梯度方向分布特性,为每个关键点指定方向参数,使算子具备旋转不变性。
4)关键点描述符:在每个关键点周围,在选定的尺度下测量局部图像梯度。为了增强匹配的稳健性,对每个关键点使用4×4共16个种子点来描述,这样对于一个关键点就可以产生128个数据,最终形成128维的SIFT特征向量。
利用尺度不变特征变换算法提取的SIFT特征向量具有如下特性:
a)SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定;
b)独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配等。
当然,除了利用上述尺度不变特征变换方法获取所述匹配特征参数外,还可利用其他的方法获得,利用Harris角点提取法等。
步骤13、利用所述摄像机的初始标定参数及匹配特征参数,对所述待标定图像进行标定,获取摄像机新的标定参数。
通过上述步骤可以看出,与现有技术中的传统标定法相比,由于本发明实施例计算出了包含标定参照物的初始图像以及不包含标定参照物的待标定图像之间的匹配特征参数,因此,当摄像机的参数发生变化时,能够准确的获得摄像机的新的标定参数,实现对摄像机的在线标定。而相较于现有技术中的自标定法而言,在进行摄像机的初始标定时,利用的是包含标定参照物的初始图像先进行摄像机的初始标定,并以获得的摄像机的初始标定参数作为进行对摄像机进行新的标定的基础,因此,本发明实施例提高了摄像机标定的精确度。
实施例二
下面结合实施例二详细描述一下,本发明实施例所述的摄像机的标定方法的实现过程。在实施例二中,以选取两组包含有标定参照物初始图像为例进行描述。如图2所示,实施例二所述的方法包括如下步骤:
步骤21、获取进行初始标定的初始图像。
在标定开始时,利用摄像机拍摄两组包含有标定参照物的初始图像,这两组图像分别用来提供非共面的特征点。在此,为方便描述,分别将该两组初始图像称为第一组图像和第二组图像。在拍摄第二组图像时,可使摄像机的内部参数和外部参数相对第一组图像稍微有所变化,以保证两组图像中有一定的相同的内容,并可保证摄像机标定的客观性和准确性。
步骤22、在获得了初始图像后,利用角点提取法提取所述初始图像的特征点。所述的角点提取法包括Harris提取法,SIFT提取法等。但由于Harris角点提取法操作简便,在此利用其进行特征点提取时能够保证摄像机标定的效率。其中Harris角点提取法的原理与现有技术中的相同,在此不再赘述。
步骤23、在提取出特征点后,将这些角点分别在两组图像中的像素坐标(xf,yf)记录下来,并获取这些角点对应的世界坐标(xw,yw,zw)。
步骤24、根据传统的两步法(RAC标定法),获取每组图像所对应的摄像机参数,包括摄像机的内部参数和外部参数。其中,传统的两步法的计算原理与现有技术中的相同,在此做简单描述。
计算摄像机参数的具体过程如下:首先根据所述特征点的图像坐标以及所述世界坐标,利用最小二乘法求解超定线性方程,计算摄像机的外部参数,然后根据所述特征点的图像坐标以及所述世界坐标,计算摄像机的内部参数,分别用以下参数表示:
(f
1、
(f
2、
)。其中上标1、2分别表示第一图像组和第二组图像中的相应参数。其中f是内参焦距(mm),(C
x,C
y)分别是光心的象素坐标(pix),k
1是摄像机镜头径向畸变的一阶系数,S
x是非确定性标度尺寸因子。外部参数r、t分别是三维空间世界坐标系与摄像机坐标系之间的旋转矩阵和平移向量。其中,T
x,T
y,T
z是从世界坐标系到摄像机坐标系变换的沿三个坐标轴的平移量(旋转之后)。其中r,t可以表示成如公示(1)的形式:
(1)
如果摄像机坐标系在三维空间世界坐标系下的方向绕X轴逆时针旋转角度α,绕Y轴逆时针旋转角度β,绕Z轴逆时针旋转角度γ,则旋转矩阵为r=rαrβrγ,其中,rα,rβ,rγ可表示成如公示(2),(3),(4)的形式;
步骤25、在对两组初始图像进行完摄像机的初始标定后,移开标定参照物,相对于上述的第二组图像,获取待标定的图像。
步骤26、利用尺度不变特征变换提取法提取所述已进行初始标定的初始图像和待标定图像的特征点,以便保证提取的特征点对图像旋转、尺度缩放、平移甚至亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性,且不需要假设场景中存在角点、直线、圆等固定的几何特征,从而对拍摄场景没有限制或要求。其中所述特征点的提取法与实施例一中所述的相同。当然,在此步骤中也可利用Harris角点提取法等进行特征点的提取。
步骤27、将所述已进行初始标定的初始图像与待标定图像进行特征点匹配,获取匹配特征点。
匹配特征点的提取是基于SIFT特征的提取方法,具体过程是:在第一组图像或第二组图像分别选取一幅图像,从待标定的图像中选取一幅图像,在所述选取的两幅图像之间进行SIFT特征点匹配,采用两幅图像中特征点的特征向量的欧式距离作为两幅图像中SIFT特征点的相似性判定度量。
首先,利用尺度不变特征变换提取法,为所述已进行初始标定的初始图像中的各个特征点,在所述待标定图像的各特征点中,分别选取与所述已进行初始标定的初始图像中的相应特征点间的欧式距离最近的特征点和次近的特征点。若所述最近的特征点所对应的欧式距离与所述次近的特征点所对应的欧式距离之间的比例阈值小于预设值,则所述最近的特征点为所述已进行初始标定的初始图像中相应特征点的匹配特征点。
例如若假设已进行初始标定的初始图像中的特征点分别为P1,P2,P3......Pn,在待标定的图像中的特征点分别为Q1,Q2,Q4......Qm。以P1点为例,首先在待标定图像的特征点中选取与P1点的欧式距离最近的特征点和次近的特征点,假设为分别Q2点和Q3点,那么若P1点与Q2点之间的欧式距离与P1点与Q3点之间的欧式距离之间的比例阈值小于预设值,则可确定Q2点为P1点的匹配特征点。对所述已进行初始标定的初始图像中的其他特征点,确定其匹配特征点的过程相同。
该预设值可以设为0.6,当然,还可根据需要设置为其他的数值。预设值设置的越小,则两幅图像中匹配特征点的个数就越少,但是摄像机标定的稳定性就越高。
步骤28、分别获取所述匹配特征点在所述已进行初始标定的包含有标定参照物的初始图像中的像素坐标以及在待标定图像中的像素坐标。
在具体的查找匹配特征点的过程中,为了保证特征点匹配的正确性,可从第一组图像、第二组图像以及待标定图像中各选取一幅图像,可采用“两两匹配”的方式,以确定在三幅图像中对应同一匹配特征点的像素坐标。
首先利用由所述第一组图像中选取的图像,由第二组图像中选取的图像,选取这两幅图像中的对应某三维空间特征点A的匹配特征向量V1、V2。然后,将第一轮匹配的特征向量V1与由待标定图像中所选取的图像进行匹配。
若能在由待标定图像中所选取的图像中找到匹配的特征向量V
3,则再以V
3为基础,在由第二组图像中选取的图像中寻找匹配的特征向量;若找到的特征向量正好是V
2,则表明该特征点A是三幅图像共有的匹配特征点,特征向量分别为V
1、V
2、V
3。然后将从SIFT特征向量V
1、V
2、V
3中抽取出的特征点的象素坐标记录下来,分别为
这种三幅图像之间循环的两两匹配方法能最大可能保证特征点匹配准确性。
根据所述匹配特征点的像素坐标以及摄像机的初始标定参数,按照公式(5)-(10)所示的计算所述匹配特征点在理想坐标系下的理想图像坐标(xu,yu)。
yd=dy(yf-Cy) (6)
xu=xd(1+k1r2) (7)
yu=yd(1+k1r2) (8)
其中(xd,yd)是匹配特征点的像素坐标,dx,dy分别是x方向(扫描线方向)和y方向相邻CCD感光单元中心之间的距离(mm);Ncx是X方向感光单元的数目(由摄像机厂家提供),Nfx是计算机每行采样的象素数目,即图像的X方向尺寸(pix个数)。
步骤29、计算所述匹配特征点的世界坐标(xw,yw,zw)。
在此步骤中,首先利用所述摄像机初始标定的摄像机参数,以及所述匹配特征点的像素坐标,形成超定线性方程组(11);
通过最小二乘法求解所述超定线性方程组,计算出所述匹配特征点的世界坐标(xw,yw,zw)。
步骤30、利用上述步骤21-29求出匹配特征点的像素坐标,以及所述匹配特征点的世界坐标后,即可再次利用传统的两步法求解出待标定图像的摄像机参数。其中传统两步法的计算原理与步骤24中描述的相同。
此后若摄像机参数再次发生改变,需要对其他待标定图像进行标定时,即可执行上述的步骤25-步骤30即可。
利用实施利一和实施例二的摄像机的标定方法,可先对包含有标定参照物初始图像进行初始标定,并获取摄像机的初始标定参数。当摄像机的参数发生变化时,可获得初始图像与待标定图像之间的匹配特征参数。继而通过已经获得的摄像机的初始标定参数以及匹配特征参数,计算出待标定图像的摄像机参数。与现有技术中的传统标定法相比,由于本发明实施例计算出了包含标定参照物的初始图像以及不包含标定参照物的待标定图像之间的匹配特征参数,因此,当摄像机的参数发生变化时,能够准确的获得摄像机的新的标定参数,实现对摄像机的在线标定。而相较于现有技术中的自标定法而言,在进行摄像机的初始标定时,利用的是包含标定参照物的初始图像先进行摄像机的初始标定,并以获得的摄像机的初始标定参数作为进行对摄像机进行新的标定的基础,因此,本发明实施例提高了摄像机标定的精确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
实施例三
与本发明实施例摄像机的标定方法相对应,本发明实施例三还提供了一种摄像机的标定装置。
如图3所示,本发明实施例三所述的摄像机的标定装置,包括:初始标定参数获取单元42,匹配特征参数获取单元43,以及重标定参数获取单元44。
其中,初始标定参数获取单元42,用于利用获取的包含有标定参照物的初始图像,对摄像机进行初始标定,获取摄像机的初始标定参数;匹配特征参数获取单元43,用于获取所述已进行初始标定的初始图像与待标定图像的匹配特征参数;重标定参数获取单元44,用于利用由所述初始标定参数获取单元42获取的摄像机的初始标定参数及由所述匹配特征参数获取单元43获取的匹配特征参数,对所述待标定图像进行标定,获取摄像机新的标定参数。
为进一步提高摄像机标定的效率,如图4所示,所述装置还包括:图像获取单元41,用于获取包含有标定参照物的初始图像,以及用于当摄像机参数发生变化时,获取不包含所述标定参照物的待标定图像。
其中,如图5所示,所述匹配特征参数获取单元43包括:特征点提取模块431,用于提取所述已进行初始标定的初始图像和待标定图像的特征点;匹配特征点提取模块432,用于将由所述特征点提取模块431提取的所述已进行初始标定的初始图像的特征点与待标定图像中的特征点进行匹配,获取匹配特征点;坐标获取模块433,用于根据所述匹配特征点在已进行初始标定的初始图像中的像素坐标、所述匹配特征点在所述待标定图像中的像素坐标以及所述摄像机的初始标定参数,计算所述匹配特征点的世界坐标。所述特征点提取模块431在进行特征点提取的过程中,可以采用Harris角点提取法,SIFT提取法等。
为了提高摄像机标定的准确性,所述匹配特征点提取模块432可包括:特征点选取子模块4321,用于利用尺度不变特征变换提取法,为所述已进行初始标定的初始图像中的各个特征点,在所述待标定图像的各特征点中,分别选取与所述已进行初始标定的初始图像中的相应特征点间的欧式距离最近的特征点和次近的特征点;匹配特征点确定子模块4322,用于在所述最近的特征点所对应的欧式距离与所述次近的特征点所对应的欧式距离之间的比例阈值小于预设值时,确定所述最近的特征点为所述已进行初始标定的初始图像中相应特征点的匹配特征点。其中所述的预设值可以为0.6,或其他任意的数值。当该预设值的值越小时,匹配特征点的个数越小,但是摄像机标定越稳定。
其中所述坐标获取模块433包括:图像坐标获取子模块4331,用于分别获取由所述匹配特征点提取模块431获取的匹配特征点,在所述已进行初始标定的初始图像中的像素坐标及待标定图像中的像素坐标;世界坐标获取子模块4332,用于利用所述摄像机的初始标定参数,以及所述匹配特征点在已进行初始标定的初始图像中的像素坐标,形成超定线性方程组,并根据所述超定线性方程组,计算出所述匹配特征点的世界坐标。
此时,所述重标定参数获取单元44,用于根据所述世界坐标获取子模块4332计算得到的匹配特征点的世界坐标,以及由所述图像坐标获取子模块4331获得的所述匹配特征点在所述待标定图像中的像素坐标,计算摄像机新的标定参数。
本发明实施例三所述的设摄像机的标定装置的工作原理,与实施例一和实施例二所描述的实现过程相同,在此不再赘述。
综上所述,本发明实施例摄像机的标定方法及装置,可先对包含有标定参照物初始图像进行初始标定,并获取摄像机的初始标定参数。当摄像机的参数发生变化时,可获得初始图像与待标定图像之间的匹配特征参数。继而通过已经获得的摄像机的初始标定参数以及匹配特征参数,计算出待标定图像的摄像机参数。与现有技术中的传统标定法相比,由于本发明实施例计算出了包含标定参照物的初始图像以及不包含标定参照物的待标定图像之间的匹配特征参数,因此,当摄像机的参数发生变化时,能够准确的获得摄像机的新的标定参数,实现对摄像机的在线标定。而相较于现有技术中的自标定法而言,在进行摄像机的初始标定时,利用的是包含标定参照物的初始图像先进行摄像机的初始标定,并以获得的摄像机的初始标定参数作为进行对摄像机进行新的标定的基础,因此,本发明实施例提高了摄像机标定的精确度。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。