CN113012234B - 基于平面变换的高精度相机标定方法 - Google Patents

基于平面变换的高精度相机标定方法 Download PDF

Info

Publication number
CN113012234B
CN113012234B CN202110282708.0A CN202110282708A CN113012234B CN 113012234 B CN113012234 B CN 113012234B CN 202110282708 A CN202110282708 A CN 202110282708A CN 113012234 B CN113012234 B CN 113012234B
Authority
CN
China
Prior art keywords
coordinates
image
calibration
center
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110282708.0A
Other languages
English (en)
Other versions
CN113012234A (zh
Inventor
郭君斌
彭妍
于传强
李游
王旭平
孙晓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202110282708.0A priority Critical patent/CN113012234B/zh
Publication of CN113012234A publication Critical patent/CN113012234A/zh
Application granted granted Critical
Publication of CN113012234B publication Critical patent/CN113012234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于平面变换的高精度相机标定方法，包括以下步骤，S1：在以圆为标记点的平面标定板上，提取标定板内外边框上的角点，并将角点的坐标精确至亚像素级，通过透视变换将椭圆投影成近似的标准圆；S2：利用图像矩计算质心完成对标准圆圆心坐标的提取；S3：将提取到的圆心坐标通过反透视变换投影回原标定板平面，获取标记点圆心实际的像素坐标；S4：根据圆形标记点圆心对应的像素坐标和空间坐标，结合张正友标定法完成相机标定。本发明中的相机标定方法能够有效降低相机标定的误差，提高相机标定的精度。

Description

基于平面变换的高精度相机标定方法
技术领域
本发明涉及相机标定技术领域，尤其涉及基于平面变换的高精度相机标定方法。
背景技术
在计算机视觉领域，相机标定发挥着不可替代的作用。目前，常用的相机标定方法主要有三类：传统标定法、自标定法和主动视觉标定法。其中，自标定法不需要标定物，灵活性强，但是算法的鲁棒性不好，精度较差；主动视觉标定法虽然方法简单，可以线性求解，但是不能运用于相机运动参数未知的应用场合；传统标定法精度较高，广泛应用于高精度测量和三维重建领域，但是需要标定物，比较典型的方法有直接线性变换标定法、Tsai两步标定法和张正友标定法等。
张正友标定法仅需要一张棋盘格作为平面标定板，在实际使用中具有操作简便、标定精度高等许多优点，因而成为当今高精度工业测量领域使用最广泛的标定算法之一，但是棋盘格角点检测精度低，角点的提取精度对噪声和图像质量比较敏感，而圆形特征对噪声的抑制性比较强，且检测精度高，因此以圆为标记点的平面标定板在高精度的相机标定中被广泛采用。
在利用以圆为标记点的平面标定板进行相机标定时，圆形标记点圆心坐标的提取精度决定着相机标定的精度。对标定板进行拍摄时，标定板平面和相机成像平面不一定平行，通常会存在一定角度的倾斜，圆形标记点会被投影成椭圆，由于透视偏差的存在，在标定板中提取到的椭圆圆心并不是真实物理圆心的投影点。传统方法通常提取椭圆圆心来替代真实物理圆心的投影点，因此传统方法必然会降低相机标定的精度。
发明内容
针对上述存在的问题，本发明旨在提供一种基于平面变换的高精度相机标定方法，能够有效降低相机标定的误差，提高相机标定的精度。
为了实现上述目的，本发明所采用的技术方案如下：
基于平面变换的高精度相机标定方法，其特征在于：包括以下步骤，
S1：在以圆为标记点的平面标定板上，提取标定板内外边框上的角点，并将角点的坐标精确至亚像素级，通过透视变换将椭圆投影成近似的标准圆；
S2：利用图像矩计算质心完成对标准圆圆心坐标的提取；
S3：将提取到的圆心坐标通过反透视变换投影回原标定板平面，获取标记点圆心实际的像素坐标；
S4：根据圆形标记点圆心对应的像素坐标和空间坐标，结合张正友标定法完成相机标定。
进一步的，步骤S1的具体操作步骤包括，
S101：准备点阵标定板；
S102：将相机固定不动，变换标定板的姿态和位置，拍摄多张标定板在不同视角下的图像；
S103：对采集到的图像进行预处理；
S104：对预处理后的图像进行平面透视变换。
进一步的，步骤S103中对采集到的图像进行预处理的具体操作步骤包括，
S1031：将采集到的图像转换为灰度图像；
S1032：利用高斯滤波对灰度图像进行去躁；
S1033：利用最大类间方差法对去躁后的灰度图像进行二值化处理。
进一步的，步骤S104中对预处理后的图像进行平面透视变换的具体操作步骤包括，
S1041：对图像的边缘进行检测，综合边缘的面积、长度约束对边缘进行筛选，定位到标定板的外边框上；
S1042：利用Shi-Tomasi算法对外边框的角点进行检测，寻找亚像素级的角点坐标；
S1043：重复步骤S1041和步骤S1042，对图像的内边框进行同样的操作，检测得到五个角点；
S1044：将五角形内边框的两条边进行延长形成一个四边形，交点处得到一个新的角点；
S1045：利用随机抽样一致算法，通过迭代的思想，从内外边框包含的八个亚像素级的角点坐标中估算出最优的透视变换矩阵T，通过透视变换将标定板平面与成像平面达到平行，则标记点近似为标准圆；
其中内外边框包含的八个亚像素级的角点坐标包括外边框的四个亚像素级的角点坐标，以及内边框的两条边延长后形成的四边形的四个亚像素级的角点坐标。
进一步的，步骤S1045中所述的透视变换本质是将图像由一个视平面变换到一个新视平面上，采用公式
Figure BDA0002979219180000031
来进行表示，式中，(u，v，w)和(x，y，z)分别为图像经过透视变换前后的坐标，T是透视变换矩阵，同时也是自由度为8的齐次矩阵，a33＝1；
假设图像经过透视变换前后的像素坐标分别为(u′，v′)和(x′，y′)，对透视变换的公式进行求解，可得透视变换后的像素坐标为：
Figure BDA0002979219180000041
进一步的，步骤S2中提取标准圆圆心坐标的具体操作步骤包括，
S201：将每个标记点视为一幅h×w的数字图像，根据图像矩的本质，将其p+q阶矩表示为
Figure BDA0002979219180000042
其中，f(u，v)为图像在像素坐标(u，v)处的灰度值；
S202：利用每个标记点的零阶矩m00和一阶矩m10、m01，计算每个标记点的质心坐标
Figure BDA0002979219180000043
Figure BDA0002979219180000044
S203：由于每个标记点都近似为标准圆，则其质心坐标即可视为标准圆圆心的像素坐标。
进一步的，步骤S3的具体操作包括以下步骤，
S301：将步骤S1045中的透视变换矩阵T进行逆运算，得到反透视变换矩阵Tinv，Tinv＝T-1；
S302：将步骤S202中得到的每个标准圆圆心的像素坐标进行反透视变换，其操作原理为
Figure BDA0002979219180000045
(x′，y′，z′)和(u′，v′，w′)分别为图像经过反透视变换前后的坐标，步骤S202中得到的每个标准圆圆心的像素坐标在此步骤中视为图像经过反透视变换前的坐标(x′，y′，z′)输入，输出(u′，v′，w′)即为标记点实际圆心的坐标；
S303：经过步骤S302中的反透视变换，将圆形标记点由新视平面变换投影回原标定板平面，得到每个标准圆圆心的像素坐标在透视前的坐标，即为圆形标记点圆心实际的像素坐标。
进一步的，步骤S4的具体操作包括以下步骤，
S401：根据圆形标记点圆心对应的像素坐标和空间坐标，在理想无畸变情况下计算相机的内外参；
S402：利用极大似然估计提升步骤S401中求得的相机的内外参精度；
S403：在非线性畸变情况下，利用最小二乘法计算几何畸变系数；
S404：综合内外参以及畸变系数，利用极大似然估计提升整体的估计精度，得到最终的相机内外参以及畸变系数。
进一步的，步骤S401中，在理想无畸变情况下，相机成像模型是一个针孔模型，设圆形标记点圆心的空间坐标为P＝[XW，YW，ZW]T，在标定板平面上投影点，也即步骤S303中得到的圆形标记点圆心实际的像素坐标为p＝[u，v]T，对应的齐次坐标分别为
Figure BDA0002979219180000051
和
Figure BDA0002979219180000052
则投影成像模型表示为
Figure BDA0002979219180000053
式中，s为任意比例因子，K为内参矩阵，R和t分别是从世界坐标系到相机坐标系的旋转和平移矩阵，共同构成外参矩阵，(u0，v0)为图像的主点坐标，fx和fy分别是在图像的水平和垂直轴上的有效焦距，γ为倾斜因子。
进一步的，步骤S403中，在非线性畸变情况下，将非线性的畸变模型表示为
Figure BDA0002979219180000061
式中，(xd，yd)为理想情况下的成像点坐标，(xu，yu)为实际发生畸变的成像点坐标，δx(xd,yd)和δy(xd,yd)分别表示成像点坐标为(xd，yd)时在x和y方向上发生的畸变量；
考虑透镜的径向畸变和切向畸变，畸变量δx(xd,yd)和δy(xd,yd)分别为
Figure BDA0002979219180000062
式中，k1、k2、k3为径向畸变系数，p1、p2为切向畸变系数，
Figure BDA0002979219180000063
本发明的有益效果是：
本发明提出了一种基于平面变换的高精度相机标定方法，对标定板平面进行第一次变换，将椭圆形的标记点投影成近似的标准圆，提取标准圆圆心的坐标；对标定板平面进行第二次变换，将第一次变换提取到的圆心坐标投影到原来的椭圆标记点上，获取标记点圆心实际的像素坐标，避免了透视偏差对圆心坐标提取的干扰。然后结合张正友标定法对相机进行标定，与传统方法相比，本发明中的标定方法的总体平均重投影误差降低了66.169％，极大地提高了相机标定的精度。
附图说明
图1为本发明中相机标定方法的流程图；
图2为本发明中图像采集所采用的点阵标定板；
图3为本发明中对采集的图像进行预处理的结果；
图4为本发明中对四边形外边框提取亚像素级角点的结果；
图5为本发明中对五边形内边框提取亚像素级角点的结果；
图6为本发明中经过透视变换的标定板；
图7为本发明中提取标准圆的圆心后的结果；
图8为本发明中提取圆形标记点的圆心后的结果；
图9为本发明实施例一中对图①和图②进行圆形标记点圆心提取的过程；
图10为本发明实施例一中点阵标定板的世界坐标系轴线分布情况。
具体实施方式
为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。
如附图1所示，基于平面变换的高精度相机标定方法，包括以下步骤，
S1：在以圆为标记点的平面标定板上，提取标定板内外边框上的角点，并将角点的坐标精确至亚像素级，通过透视变换将椭圆投影成近似的标准圆；
具体的，S101：准备点阵标定板；本发明中采用Halcon指定的点阵标定板，由7行7列共49个等直径的黑色圆形标记点构成，如附图2所示。
S102：将相机固定不动，变换标定板的姿态和位置，拍摄16-20张标定板在不同视角下的图像；
S103：对采集到的图像进行预处理；
具体的，对采集到的图像进行预处理的具体操作步骤包括，
S1031：将采集到的图像转换为灰度图像；
S1032：利用高斯滤波对灰度图像进行去躁；
S1033：利用最大类间方差法对去躁后的灰度图像进行二值化处理。
预处理结果如附图3所示，在附图3中，(a)为预处理前的原图，(b)为灰度图像，(c)为去躁后的图像，(d)为二值化后的图像。最大类间方差法是一种确定分割阈值对图像进行二值化的算法，对图像的亮度和对比度不敏感，在图像处理中应用广泛，但对噪声敏感，故在应用最大类间方差法前需要对图像去噪。
S104：对预处理后的图像进行平面透视变换。
透视变换本质是将图像由一个视平面变换到一个新视平面上，采用公式
Figure BDA0002979219180000081
来进行表示，式中，(u，v，w)和(x，y，z)分别为图像经过透视变换前后的坐标，T是透视变换矩阵，同时也是自由度为8的齐次矩阵，a33＝1；
假设图像经过透视变换前后的像素坐标分别为(u′，v′)和(x′，y′)，对透视变换的公式进行求解，可得透视变换后的像素坐标为：
Figure BDA0002979219180000082
根据上式求解结果可以得出，通过四对像素坐标就可以得到透视变换矩阵，由于图像可能存在噪声、角点误提取等问题，故一般需要四对以上的像素坐标求解出透视变换矩阵，进而利用透视变换矩阵对图像进行平面变换。
对预处理后的图像进行平面透视变换的具体操作包括以下步骤，
S1041：对图像的边缘进行检测，综合边缘的面积、长度约束对边缘进行筛选，定位到标定板的外边框上；
S1042：利用Shi-Tomasi算法对外边框的角点进行检测，寻找亚像素级的角点坐标，如附图4所示。
S1043：重复步骤S1041和步骤S1042，对图像的内边框进行同样的操作，检测得到五个角点；
S1044：将五角形内边框的两条边进行延长形成一个四边形，交点处得到一个新的角点；如附图5所示。
S1045：由于图像可能存在噪声、角点误提取等问题，得到的亚像素级角点坐标可能并不都是准确的，因此，利用随机抽样一致算法，通过迭代的思想，从内外边框包含的八个亚像素级的角点坐标中估算出最优的透视变换矩阵T，通过透视变换将标定板平面与成像平面达到平行，结果如附图5所示，则标记点近似为标准圆；
其中内外边框包含的八个亚像素级的角点坐标包括外边框的四个亚像素级的角点坐标，以及内边框的两条边延长后形成的四边形的四个亚像素级的角点坐标。
进一步的，步骤S2：利用图像矩计算质心完成对标准圆圆心坐标的提取；
图像矩是描述图像特征的算子，本质上是对图像的灰度值进行一种特殊的加权。利用图像矩计算质心完成对标准圆圆心坐标的提取的具体操作步骤包括，
S201：将每个标记点视为一幅h×w的数字图像，根据图像矩的本质，将其p+q阶矩表示为
Figure BDA0002979219180000091
其中，f(u，v)为图像在像素坐标(u，v)处的灰度值；
S202：利用每个标记点的零阶矩m00和一阶矩m10、m01，计算每个标记点的质心坐标
Figure BDA0002979219180000092
Figure BDA0002979219180000093
S203：由于每个标记点都近似为标准圆，则其质心坐标即可视为标准圆圆心的像素坐标，如附图7所示。
进一步的，步骤S3：将提取到的圆心坐标通过反透视变换投影回原标定板平面，获取标记点圆心实际的像素坐标；
反透视变换就是透视变换的逆过程，本质是将图像由新视平面变换到原视平面上，具体的，
S301：将步骤S1045中的透视变换矩阵T进行逆运算，得到反透视变换矩阵Tinv，Tinv＝T-1；
S302：将步骤S202中得到的每个标准圆圆心的像素坐标进行反透视变换，其操作原理为
Figure BDA0002979219180000101
(x′，y′，z′)和(u′，v′，w′)分别为图像经过反透视变换前后的坐标，步骤S202中得到的每个标准圆圆心的像素坐标在此步骤中视为图像经过反透视变换前的坐标(x′，y′，z′)输入，输出(u′，v′，w′)即为标记点实际圆心的坐标；
S303：经过步骤S302中的反透视变换，将圆形标记点由新视平面变换投影回原标定板平面，得到每个标准圆圆心的像素坐标在透视前的坐标，即为圆形标记点圆心实际的像素坐标，如附图8所示。
进一步的，步骤S4：根据圆形标记点圆心对应的像素坐标和空间坐标，结合张正友标定法完成相机标定。
相机标定是指建立三维空间的世界坐标与二维图像的像素坐标之间的投影成像模型。具体的，
S401：根据圆形标记点圆心对应的像素坐标和空间坐标，在理想无畸变情况下计算相机的内外参；
具体的，圆形标记点圆心对应的像素坐标即为步骤S3中求得的圆形标记点圆心实际的像素坐标，圆形标记点圆心对应的空间坐标的确定方法为：通过五边形内边框中最短边长AB的位置来自动确定点阵标定板世界坐标系轴线分布，假设标定板在世界坐标系为z＝0的平面上，选取最靠近AB的圆点作为世界坐标系的原点，水平向右和垂直向下分别建立x、y坐标系，相邻圆形标记点之间的物理距离已知，因此可以确定每个圆形标记点圆心的三维坐标。
在理想无畸变情况下，相机成像模型是一个针孔模型，设圆形标记点圆心的空间坐标为P＝[XW，YW，ZW]T，在标定板平面上投影点，也即步骤S303中得到的圆形标记点圆心实际的像素坐标为p＝[u，v]T，对应的齐次坐标分别为
Figure BDA0002979219180000114
和
Figure BDA0002979219180000111
则投影成像模型表示为
Figure BDA0002979219180000112
式中，s为任意比例因子，K为内参矩阵，R和t分别是从世界坐标系到相机坐标系的旋转和平移矩阵，共同构成外参矩阵，(u0，v0)为图像的主点坐标，fx和fy分别是在图像的水平和垂直轴上的有效焦距，γ为倾斜因子。
S402：利用极大似然估计提升步骤S401中求得的相机的内外参精度；
具体的，为了得到最优的相机标定参数，张正友标定法通过构造重投影误差的目标函数，利用极大似然估计提升所有参数的精度，其中的目标函数为：
Figure BDA0002979219180000113
式中：n为标定图像的数量，m为每张标定图像上特征点的数量，K为相机内参矩阵，D为相机的畸变系数，Ri和ti为每幅图像对应的外参矩阵，pij和
Figure BDA0002979219180000124
为i张图像上第j个特征点Pj实际的投影点和经过相机成像模型得到的投影点。
S403：在非线性畸变情况下，利用最小二乘法计算几何畸变系数；
在实际情况中，由于透镜的制造精度以及组装工艺的偏差会引入几何畸变，相机成像模型不可能达到完全理想的线性模型。其中在非线性畸变情况下，将非线性的畸变模型表示为
Figure BDA0002979219180000121
式中，(xd，yd)为理想情况下的成像点坐标，(xu，yu)为实际发生畸变的成像点坐标，δx(xd,yd)和δy(xd,yd)分别表示成像点坐标为(xd，yd)时在x和y方向上发生的畸变量；
透镜的畸变主要分为径向畸变、切向畸变和薄透镜畸变等，其中径向和切向畸变影响最为显著，所以本发明考虑透镜的径向畸变和切向畸变，畸变量δx(xd,yd)和δy(xd,yd)分别为
Figure BDA0002979219180000122
式中，k1、k2、k3为径向畸变系数，p1、p2为切向畸变系数，
Figure BDA0002979219180000123
S404：综合内外参以及畸变系数，利用极大似然估计提升整体的估计精度，得到最终的相机内外参以及畸变系数。
实施例一：
本实施例采用的相机分辨率为pixel，点阵标定板打印在A4纸上，标定板的规格如下表1所示。实验环境在CPU为Intel core i51.80 GHz,操作***为Windows 10的PC上的Visual Studio 2019下，配合图像处理开源库OpenCV 3.2.0。
表1 点阵标定板规格
Figure BDA0002979219180000131
将相机固定不动，对不同姿态和位置下的标定板进行拍摄，一共拍摄16幅不同的图像，利用本发明步骤S1-S3中提出的圆形标记点圆心的提取方法，对其中2幅图像(命名为图①和图②)提取圆心的像素坐标，过程如附图9所示。在附图9中，从上到下依次为原图、提取内外边框角点、平面变换、提取标准圆的圆心、提取圆形标记点的圆心。
进一步的，根据圆形标记点圆心对应的像素坐标和空间坐标，结合张正友标定法完成相机标定，其中空间坐标的确定方法为：通过五边形内边框中最短边长AB的位置来自动确定点阵标定板世界坐标系轴线分布。假设标定板在世界坐标系为z＝0的平面上，选取最靠近AB的圆点作为世界坐标系的原点，水平向右和垂直向下分别建立x、y坐标系，相邻圆形标记点之间的物理距离已知，因此可以确定每个圆形标记点圆心的三维坐标，如附图10所示。
进一步的，对利用本发明中的方法和传统方法对相机进行标定的结果进行对比。
具体的，对拍摄的16幅图像，首先分别通过本发明方法和传统方法提取圆形标记点的圆心，然后结合张正友标定法分别对相机进行标定，得到的标定结果如下表2所示。
表2 相机标定结果对比
Figure BDA0002979219180000141
在张正友标定法中，通常采用重投影误差来判定相机标定精度。重投影误差是指利用标定得到的相机内外参数和畸变系数，对空间的三维点重新进行投影，得到空间三维点在图像上新的投影点坐标与原成像点坐标之间的偏差。一般，重投影误差越小，相机标定的精度越高。本发明方法和传统方法对于每幅图像的重投影误差和对于所有图像的平均重投影误差分别如下表3和下表4所示。由表3可知，与传统方法相比，本发明方法的重投影误差降低了54.921％-75.410％，并且均低于传统方法。由表4可知，本发明方法的总体平均误差为0.0340，比传统方法降低了66.169％。综合表3和表4，说明了本文方法极大地提高了相机标定的精度，同时也证明了本发明方法的可行性和有效性。
表3 相机标定的重投影误差对比 单位：像素
Figure BDA0002979219180000151
图4 相机标定的总体平均重投影误差对比 单位：像素
Figure BDA0002979219180000152
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于平面变换的高精度相机标定方法，其特征在于：包括以下步骤，
S1：在以圆为标记点的平面标定板上，提取标定板内外边框上的角点，并将角点的坐标精确至亚像素级，通过透视变换将椭圆投影成近似的标准圆；
S2：利用图像矩计算质心完成对标准圆圆心坐标的提取；
S3：将提取到的圆心坐标通过反透视变换投影回原标定板平面，获取标记点圆心实际的像素坐标；
S4：根据圆形标记点圆心对应的像素坐标和空间坐标，结合张正友标定法完成相机标定；
其中，步骤S1的具体操作步骤包括，
S101：准备点阵标定板；
S102：将相机固定不动，变换标定板的姿态和位置，拍摄多张标定板在不同视角下的图像；
S103：对采集到的图像进行预处理；
S104：对预处理后的图像进行平面透视变换；
步骤S104中对预处理后的图像进行平面透视变换的具体操作步骤包括，
S1041：对图像的边缘进行检测，综合边缘的面积、长度约束对边缘进行筛选，定位到标定板的外边框上；
S1042：利用Shi-Tomasi算法对外边框的角点进行检测，寻找亚像素级的角点坐标；
S1043：重复步骤S1041和步骤S1042，对图像的内边框进行同样的操作，检测得到五个角点；
S1044：将五角形内边框的两条边进行延长形成一个四边形，交点处得到一个新的角点；
S1045：利用随机抽样一致算法，通过迭代的思想，从内外边框包含的八个亚像素级的角点坐标中估算出最优的透视变换矩阵T，通过透视变换将标定板平面与成像平面达到平行，则标记点近似为标准圆；
其中内外边框包含的八个亚像素级的角点坐标包括外边框的四个亚像素级的角点坐标，以及内边框的两条边延长后形成的四边形的四个亚像素级的角点坐标。
2.根据权利要求1所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S103中对采集到的图像进行预处理的具体操作步骤包括，
S1031：将采集到的图像转换为灰度图像；
S1032：利用高斯滤波对灰度图像进行去噪 ；
S1033：利用最大类间方差法对去噪 后的灰度图像进行二值化处理。
3.根据权利要求1所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S1045中所述的透视变换本质是将图像由一个视平面变换到一个新视平面上，采用公式
Figure FDA0003700980460000021
来进行表示，式中，(u，v，w)和(x，y，z)分别为图像经过透视变换前后的坐标，T是透视变换矩阵，同时也是自由度为8的齐次矩阵，a33＝1；
假设图像经过透视变换前后的像素坐标分别为(u′，v′)和(x′，y′)，对透视变换的公式进行求解，可得透视变换后的像素坐标为：
Figure FDA0003700980460000022
4.根据权利要求2所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S2中提取标准圆圆心坐标的具体操作步骤包括，
S201：将每个标记点视为一幅h×w的数字图像，根据图像矩的本质，将其p+q阶矩表示为
Figure FDA0003700980460000023
其中，f(u，v)为图像在像素坐标(u，v）处的灰度值；
S202：利用每个标记点的零阶矩m00和一阶矩m10、m01，计算每个标记点的质心坐标
Figure FDA0003700980460000031
S203：由于每个标记点都近似为标准圆，则其质心坐标即可视为标准圆圆心的像素坐标。
5.根据权利要求4所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S3的具体操作包括以下步骤，
S301：将步骤S1045中的透视变换矩阵T进行逆运算，得到反透视变换矩阵Tinv，Tinv＝T-1；
S302：将步骤S202中得到的每个标准圆圆心的像素坐标进行反透视变换，其操作原理为
Figure FDA0003700980460000032
(x′，y′，z′)和(u′，v′，w′)分别为图像经过反透视变换前后的坐标，步骤S202中得到的每个标准圆圆心的像素坐标在此步骤中视为图像经过反透视变换前的坐标(x′，y′，z′)输入，输出(u′，v′，w′)即为标记点实际圆心的坐标；
S303：经过步骤S302中的反透视变换，将圆形标记点由新视平面变换投影回原标定板平面，得到每个标准圆圆心的像素坐标在透视前的坐标，即为圆形标记点圆心实际的像素坐标。
6.根据权利要求5所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S4的具体操作包括以下步骤，
S401：根据圆形标记点圆心对应的像素坐标和空间坐标，在理想无畸变情况下计算相机的内外参；
S402：利用极大似然估计提升步骤S401中求得的相机的内外参精度；
S403：在非线性畸变情况下，利用最小二乘法计算几何畸变系数；
S404：综合内外参以及畸变系数，利用极大似然估计提升整体的估计精度，得到最终的相机内外参以及畸变系数。
7.根据权利要求6所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S401中，在理想无畸变情况下，相机成像模型是一个针孔模型，设圆形标记点圆心的空间坐标为P＝[XW，YW，ZW]T，在标定板平面上投影点，也即步骤S303中得到的圆形标记点圆心实际的像素坐标为p＝[u，v]T，对应的齐次坐标分别为
Figure FDA0003700980460000033
和
Figure FDA0003700980460000041
则投影成像模型表示为
Figure FDA0003700980460000042
式中，s为任意比例因子，K为内参矩阵，R和t分别是从世界坐标系到相机坐标系的旋转和平移矩阵，共同构成外参矩阵，(u0，v0)为图像的主点坐标，fx和fy分别是在图像的水平和垂直轴上的有效焦距，γ为倾斜因子。
8.根据权利要求7所述的基于平面变换的高精度相机标定方法，其特征在于，步骤S403中，在非线性畸变情况下，将非线性的畸变模型表示为
Figure FDA0003700980460000043
式中，(xd，yd)为理想情况下的成像点坐标，(xu，yu)为实际发生畸变的成像点坐标，δx(xd,yd)和δy(xd,yd)分别表示成像点坐标为(xd，yd)时在x和y方向上发生的畸变量；
考虑透镜的径向畸变和切向畸变，畸变量δx(xd,yd)和δy(xd,yd)分别为
Figure FDA0003700980460000044
式中，k1、k2、k3为径向畸变系数，p1、p2为切向畸变系数，
Figure FDA0003700980460000045
CN202110282708.0A 2021-03-16 2021-03-16 基于平面变换的高精度相机标定方法 Active CN113012234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110282708.0A CN113012234B (zh) 2021-03-16 2021-03-16 基于平面变换的高精度相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110282708.0A CN113012234B (zh) 2021-03-16 2021-03-16 基于平面变换的高精度相机标定方法

Publications (2)

Publication Number Publication Date
CN113012234A CN113012234A (zh) 2021-06-22
CN113012234B true CN113012234B (zh) 2022-09-02

Family

ID=76408584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110282708.0A Active CN113012234B (zh) 2021-03-16 2021-03-16 基于平面变换的高精度相机标定方法

Country Status (1)

Country Link
CN (1) CN113012234B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838138B (zh) * 2021-08-06 2024-06-21 杭州灵西机器人智能科技有限公司 一种优化特征提取的***标定方法、***、装置和介质
CN114529613B (zh) * 2021-12-15 2024-07-09 深圳市华汉伟业科技有限公司 一种圆阵列标定板的特征点高精度坐标提取方法
CN114782553B (zh) * 2022-05-11 2023-07-28 江南大学 基于椭圆对偶二次曲线的迭代相机标定方法及装置
CN115147499A (zh) * 2022-07-11 2022-10-04 深圳思谋信息科技有限公司 标定参数确定方法、混合标定板、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303768A (zh) * 2008-06-17 2008-11-12 东南大学 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN102915535A (zh) * 2012-08-23 2013-02-06 深圳大学 摄像机投影变换中圆形标志点的圆心偏差修正方法及***
CN109829948A (zh) * 2018-12-13 2019-05-31 昂纳自动化技术（深圳）有限公司 摄像机标定板、标定方法以及摄像机
CN109859277A (zh) * 2019-01-21 2019-06-07 陕西科技大学 一种基于Halcon的机器人视觉***标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3859669A1 (en) * 2014-11-04 2021-08-04 SZ DJI Technology Co., Ltd. Camera calibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303768A (zh) * 2008-06-17 2008-11-12 东南大学 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN102915535A (zh) * 2012-08-23 2013-02-06 深圳大学 摄像机投影变换中圆形标志点的圆心偏差修正方法及***
CN109829948A (zh) * 2018-12-13 2019-05-31 昂纳自动化技术（深圳）有限公司 摄像机标定板、标定方法以及摄像机
CN109859277A (zh) * 2019-01-21 2019-06-07 陕西科技大学 一种基于Halcon的机器人视觉***标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于圆形阵列标定板的张氏相机标定法;汪首坤 等;《北京理工大学学报》;20190831;第1,2.2,3节 *
基于圆心真实图像坐标计算的高精度相机标定方法;卢晓冬 等;《中国激光》;20191107;全文 *
基于结构光的微小特征三维测量***;张观锦 等;《组合机床与自动化加工技术》;20180930;第2.1节 *

Also Published As

Publication number Publication date
CN113012234A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN109035320B (zh) 基于单目视觉的深度提取方法
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021138990A1 (zh) 一种棋盘格亚像素级角点自适应检测的方法
CN110969668A (zh) 一种长焦双目相机的立体标定算法
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN107886547B (zh) 一种鱼眼相机标定方法及***
CN109064516B (zh) 一种基于绝对二次曲线像的相机自标定方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN108734657B (zh) 一种具有视差处理能力的图像拼接方法
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN109255818B (zh) 一种新型标靶及其亚像素级角点的提取方法
CN110060304B (zh) 一种生物体三维信息采集方法
CN111739031A (zh) 一种基于深度信息的作物冠层分割方法
CN114463442A (zh) 一种非同轴相机的标定方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、***、设备及存储介质
CN113920206A (zh) 透视移轴相机的标定方法
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
CN115201883A (zh) 一种运动目标视频定位测速***及方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant