CN112489141B - 车载摄像头单板单图带中继镜的产线标定方法及装置 - Google Patents

车载摄像头单板单图带中继镜的产线标定方法及装置 Download PDF

Info

Publication number
CN112489141B
CN112489141B CN202011521340.0A CN202011521340A CN112489141B CN 112489141 B CN112489141 B CN 112489141B CN 202011521340 A CN202011521340 A CN 202011521340A CN 112489141 B CN112489141 B CN 112489141B
Authority
CN
China
Prior art keywords
calibration
vehicle
mounted camera
relay lens
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011521340.0A
Other languages
English (en)
Other versions
CN112489141A (zh
Inventor
魏华敬
罗富城
黄海鑫
滕翔
蔡瑜
秦琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xianggongchang Shenzhen Technology Co ltd
Original Assignee
Xianggongchang Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xianggongchang Shenzhen Technology Co ltd filed Critical Xianggongchang Shenzhen Technology Co ltd
Priority to CN202011521340.0A priority Critical patent/CN112489141B/zh
Publication of CN112489141A publication Critical patent/CN112489141A/zh
Application granted granted Critical
Publication of CN112489141B publication Critical patent/CN112489141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种车载摄像头单板单图带中继镜的产线标定方法及装置，方法包括：S1、由车载摄像头获取一张标定模板通过中继镜形成的虚像作为标定模板图像；S2、提取标定模板图像中实心圆圆心的像素位置坐标；S3、计算车载摄像头标定参数的初始值；S4、对标定参数的初始值进行优化，得到精确的车载摄像头的标定参数。本发明装置包括中继镜、标定模板和待标定的车载摄像头，中继镜设于车载摄像头的镜头和标定模板之间。本发明节省了产线标定时间，提高了单位时间产量，可模拟出不同的对焦距离，从而实现对不同类型摄像头产线上准确、高效地标定，兼容性较高。

Description

车载摄像头单板单图带中继镜的产线标定方法及装置
技术领域
本发明涉及摄像头标定方法领域，具体是一种车载摄像头单板单图带中继镜的产线标定方法及装置。
背景技术
随着驾驶辅助和自动驾驶技术的推广，汽车正越来越多地使用摄像头，例如通过双目摄像头完成测距、3D环境感知等。摄像头的标定是实现以上车载摄像头3D应用的关键。在基于摄像头的测量及视觉应用中，物体点在空间的三维位置与其在图像中对应二维像素点位置之间的关系,数学上用几何投影模型来描述。该模型的参数一般通过对尺寸已知的标定图案(例如实心圆阵列或者黑白棋盘格)拍照、图像处理及计算得到，这个确定摄像头投影模型参数的过程即称之为标定。这些参数包括：内参数，指摄像头成像时的主点位置cx、cy及镜头焦距fx、fy，此类参数只与摄像头本身相关；外参数，指摄像头在空间的位置，一般指摄像头在某一参照坐标系内的旋转向量R及平移向量T；畸变，指摄像头拍照过程中，物点在图像中实际对应像素位置与基于成像模型计算的理论投影点之间的偏差，该偏差一般由径向畸变参数k1、k2、k3及切向畸变参数p1、p2来描述，其主要是由镜头及摄像头模组的设计、制造及组装误差引起。
当前摄像头通用的标定解决方案有两个限制。其一，由于使用的标定算法要求从不同角度拍多张标定模板的图像，当前产线上或者旋转2D平面标定模板，或者使用由多块平面标定模板(互相之间有固定角度)拼接的标定立体模板。旋转标定模板的装置机构复杂，并且旋转拉长了测量时间，降低单位时间产量，从而增加了成本。多块平面标定模板拼接的立体模板除了成本增加以外，或者需要按一定角度精确固定，或者需要在使用前高精度测量立体模板本身。
现有专利CN 209640928 U(深圳市普渡科技有限公司，申请日2019.03.31)介绍了一种摄像头产线上的标定装置，该设备包括：支撑架、机械臂以及固定于机械臂上的标定模板。该装置通过控制机械臂移动标定模板至多个位置并对各个标定位置拍摄的图像进行分析处理，完成相机标定。该专利需多次调整机械臂移动标定模板的位置，进行多图标定，用时较长，操作较复杂，并且该专利对对焦距离较远的摄像头无法进行准确的标定。
专利CN 110490940 A(北京迈格威科技有限公司，申请日2019.08.15)介绍了一种基于棋盘格单幅图像的相机标定方法和装置，该方法可实现相机参数的快速标定。该专利主要是根据棋盘格图像上获取的两组平行线对应的两个消失点，利用这两个消失点的像素坐标通过绝对二次曲线方程得到相机的内参数。该专利对对焦距离较远的摄像头无法进行准确的标定。
专利CN 207123866 U(成都通甲优博科技有限责任公司，申请日2017.07.26)介绍了一种基于单帧图像标定的标定***，该方法能够基于一幅标定图像完成相机标定。该专利使用的标定模板由具有固定间距的方块阵列和至少八个位于阵列图像四角外侧的球状标定件组成，结构复杂，并且该专利对对焦距离较远的摄像头无法进行准确的标定。
专利CN 106570907 B(海信集团有限公司，申请日2016.11.22)介绍了一种相机标定方法及装置。该方法通过简单的线性关系求解出相机分别沿世界坐标系其中两个轴方向的旋转角度然后求解相机的其它参数。该专利没有涉及畸变参数的标定，只标定出相机焦距及外参数，并且该专利对对焦距离较远的摄像头无法进行准确的标定。
专利CN 110033491 A(南京工程学院，申请日2019.04.15)介绍了一种相机标定方法。该方法基于相机内参数和镜头畸变参数构建多维向量，利用镜头畸变参数对标定图像进行去畸变处理后构建新的多维向量，循环迭代直至相邻两次多维向量的欧式距离小于设定值，得到相机的内、外参数。该专利以相邻两次内参数和外参数构成的多维向量的欧式距离作为代价函数，从数值上做迭代寻优，其对于对焦距离较远的摄像头无法进行准确的标定。
标定图案特征点(例如实心圆的圆心等)在所拍摄的标定图像中坐标位置的获取是进行相机标定的前提和基础。成像清晰度会直接影响特征点位置提取的准确度，间接影响相机标定的精度。因此，摄像头需要在目标距离处对焦拍照，从而基于清晰的标定模板图像求取摄像头的准确参数值。对于车载摄像头，其对焦距离一般在几米、几十米、百米外，并且标定模板的尺寸与对焦距离成正比，从而需要的标定设备尺寸过于巨大，对于洁净室内的车载摄像头产线成本高昂甚至无法实现。因此，产线上需要一种能够在短距离完成车载摄像头标定的方法和标定装置。
发明内容
本发明的目的是提供一种车载摄像头单板单图带中继镜的产线标定方法及装置，以解决现有技术无法对车载摄像头在产线上准确、高效标定的问题。
为了达到上述目的，本发明所采用的技术方案为：
车载摄像头单板单图带中继镜的产线标定方法，构建包括标定模板、中继镜和待标定的车载摄像头的标定体系，通过调整中继镜与标定模板的距离适用于不同焦距的车载摄像头，所述标定模板带有实心圆阵列，所述车载摄像头通过中继镜拍摄标定模板，具体过程如下：
S1、由车载摄像头采集获取一张标定模板通过中继镜形成的虚像作为标定模板图像；
S2、利用图像处理算法提取所述标定模板图像中实心圆圆心的像素位置坐标；
S3、基于所述标定模板图像，结合其单应矩阵及实心圆圆心位置坐标，计算车载摄像头包括内、外参数和畸变参数的标定参数的初始值；
S4、对步骤S3得到的车载摄像头的内、外参数和畸变参数的初始值进行优化，得到精确的车载摄像头的标定参数。
本发明的标定方法中，首先拍摄一张标定模板通过中继镜模拟形成的远距离处虚像形式的标定模板图像；然后分析和处理该模拟标定距离所对应的单张标定模板图像，计算得到对应的摄像头标定参数。
其中，标定模板表面的标定图案是实心圆阵列，该实心圆阵列由C行×L列个实心圆组成，C和L为自然数；每个实心圆大小相同，半径一致，且水平及垂直方向圆心距均相同。经中继镜头拍摄的标定模板图像与原始图案一致，也由C×L实心圆组成；模拟远距离的标定模板图像的圆半径及圆心距与中继镜到标定模板的距离有关。在拍摄标定模板图像时车载摄像头光轴与中继镜头光轴尽量平行且同心，两者垂直于标定模板，使得标定模板图像对焦且不存在因拍摄角度引起的图案变形。
本发明中，分析和处理该标定距离所对应的单张标定模板图像的过程包括：
1、在拍摄的标定模板图像中，通过图像处理算法提取实心圆圆心所在的像素位置；可以通过二值化和中值滤波方法对所述标定模板图像的实心圆圆心进行提取，得到标定模板图像中实心圆圆心的像素位置坐标，或者基于图像灰度值侦测实心圆区域，求取圆区域质心作为圆心的坐标。
2、基于该标定模板图像，根据所述标定模板图像的单应矩阵，结合标定模板图像的主点及实心圆圆心的像素位置，计算获取摄像头内参数、外参数、畸变参数的初始值。可以预设图像中心坐标位置为主点cx和cy的初始值，根据主点及实心圆圆心位置，基于单张标定模板图像的单应矩阵解出焦距fx和fy的初始值。车载摄像头在标定模板坐标系内的空间位置T的初始值可以根据摄像头相对于标定模板的位置及车载摄像头的类型来预估。由于车载摄像头光轴近似垂直于标定模板，旋转矩阵R的初始值设定为单位矩阵。一般情况下摄像头镜头的径向和切向畸变参数[k1 k2 k3]和[p1 p2]的初始值设定为零。
3、基于使标定模板图像的实心圆圆心的重投影误差平方和最小的原则，利用Levenberg-Marquardt优化算法，对摄像头内参数、外参数、畸变参数进行优化，得到精确的摄像头标定参数。
一种车载摄像头单板单图带中继镜的产线标定装置，包括中继镜、标定模板和待标定的车载摄像头，中继镜设于车载摄像头的镜头和标定模板之间，中继镜、车载摄像头光轴重合设置，中继镜和车载摄像头的光轴均垂直于标定模板表面。并且中继镜与标定模板之间距离可调，标定模板图案为实心圆阵列，实心圆阵列为多个实心圆构成的行列阵列，各个实心圆的半径相同，相邻实心圆水平和垂直方向的圆心距相同。
本发明装置还包括计算机中构建提取单元、标定单元、优化单元，其中所述提取单元提取所述标定模板图像中实心圆圆心的像素位置坐标，所述标定单元计算车载摄像头包括内、外参数和畸变参数的标定参数的初始值，所述优化单元对车载摄像头内、外参数和畸变参数进行优化，得到精确的车载摄像头的标定参数。
本发明可实现获取一帧标定模板图像即可完成车载摄像头的标定。基于中继镜的成像特性，通过改变中继镜到标定模板的距离来模拟较远距离的虚拟标定图像，使得该装置适用于各种不同对焦距离的(一般较远)的车载摄像头的标定。基于单图单板及带中继镜的方案，本发明方法一方面缩减了标定的时间，可以快速完成车载摄像头的标定，另一方面标定设备体积小，占洁净室产线空间少，同时具有操作简便、通用性好且成本低等优点。
本发明的标定方案用时较短，操作简单，在摄像头与标定模板之间引入中继镜，可保证在标定远距离时也能获取清晰对焦的标定图像，能够对对焦距离较远的车载摄像头进行准确的标定，并且能够标定车载摄像头的内、外参数和畸变参数。同时本发明还可以进行内、外参数优化，优化时基于重投影误差的最小化寻求最优解。
现有技术相比，本发明所具有的优点和效果：
1、产线上，每个摄像头只在一个距离标定，本发明只使用一张平面标定模板，而且该标定模板不需要旋转。与当前通用的需要多个角度拍图的标定方法相比，节省了产线标定时间，提高了单位时间产量，降低了生产成本。
2、本发明基于中继镜头模拟远距离，车载摄像头对焦于虚拟标定模板进行标定，得到车载摄像头远距离对焦时精确的标定参数。中继镜模拟远距离，使得车载摄像头在小空间内的标定得以实现，缩小摄像头标定设备及生产线尺寸，节省洁净室空间，降低车载摄像头生产成本，增强产品竞争力。并且通过改变中继镜与物理标定模板之间的距离，即可模拟出不同的对焦距离，从而实现对不同类型摄像头准确地标定，兼容性较高。
3、本发明的方法同样适用于多目摄像头的标定，虽然有多个摄像头，但只要每个摄像头的标定参数是基于以上原理计算的，可视为是单目摄像头标定的多次重复(尽管对于不同的摄像头中继镜模拟距离可能不同)，仍属于本发明的保护范围之内。
附图说明
图1是本发明实施例方法流程框图。
图2是本发明实施例标定装置结构示意图。
图3是本发明实施例完整标定***原理框图。
图4是本发明实施例标定模板图案示意图。
图5是本发明实施例中继镜模拟远距离的成像关系示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，车载摄像头单板单图带中继镜的产线标定方法，构建包括标定模板、中继镜和待标定的车载摄像头的标定体系，通过调整中继镜与标定模板的距离适用于不同焦距的车载摄像头，标定模板图案为实心圆阵列，所述车载摄像头通过中继镜拍摄标定模板，具体过程如下：
S1、由车载摄像头采集获取一张标定模板通过中继镜形成的虚像作为标定模板图像。
S2、利用图像处理算法提取所述标定模板图像中实心圆圆心的像素位置坐标；具体通过二值化和中值滤波方法对所述标定模板图像的实心圆圆心特征点进行提取，得到标定模板图像中实心圆圆心的像素位置坐标；或者通过图像灰度值侦测所述标定模板图像中实心圆区域，计算该区域的质心得到标定模板图像中实心圆圆心的像素位置坐标。
S3、基于所述标定模板图像，结合其单应矩阵及实心圆圆心位置坐标，计算车载摄像头包括内、外参数和畸变参数的标定参数的初始值，其中：
根据标定模板图像的单应矩阵，结合标定模板图像的主点及实心圆圆心的像素位置，计算得到车载摄像头的内参数初始值。车载摄像头的外参数旋转矩阵的初始值为单位矩阵。车载摄像头的畸变参数的初始值为零。
S4、对步骤S3得到的车载摄像头的内、外参数和畸变参数的初始值进行优化，得到精确的车载摄像头的标定参数，其中基于使所述标定模板图像的实心圆圆心的重投影误差平方和最小的原则，使用Levenberg-Marquardt优化算法，对车载摄像头的内、外参数和畸变参数的初始值进行优化。
如图2所示，一种车载摄像头单板单图带中继镜的产线标定装置，包括中继镜1、标定模板2和待标定的车载摄像头3，中继镜1设于车载摄像头3的镜头和标定模板2之间，并且中继镜1与标定模板2之间距离可调，标定模板2表面设有实心圆阵列。
中继镜1、车载摄像头3光轴重合设置，并且中继镜1和车载摄像头3的光轴均垂直于标定模板2。标定模板2表面的实心圆阵列为多个实心圆构成的行列阵列，各个实心圆的半径相同，相邻实心圆水平和垂直方向的圆心距相同。
本发明车载摄像头单板单图的标定装置包括单个平面2D的标定模板，一个中继镜，一个待标定车载摄像头。完整标定***如图3所示，由光学***(含获图单元)及计算机中设置的算法软件***(含提取单元，标定单元，优化单元)实现，其中：
获图单元即为包括中继镜1、标定模板2和待标定车载摄像头3的标定体系光学***，其用于获取一幅通过中继镜拍摄标定模板得到的模拟远距离标定模板的图像。
提取单元，用于在标定模板图像中侦测实心圆，以提取圆心像素位置；
标定单元，计算或设定车载摄像头内参数、外参数(旋转向量和平移向量)和畸变参数的初值，准备下一步标定参数优化；
优化单元，基于所有圆心点重投影误差平方和的最小化，用Levenberg-Marquardt算法对车载摄像头的内参数、外参数和畸变参数进行优化，得到精确的标定结果。
具体说明如下：
1.获图单元
标定模板一般为带有固定间距的重复图案，例如黑白棋盘格标定模板、等间距实心圆阵列标定模板等(如图4所示)。本标定方案采用实心圆阵列作为标定图案，该实心圆阵列由C行×L列个实心圆组成，C和L为自然数。每个实心圆大小相同，半径一致，且水平及垂直方向圆心距均相同，实心圆的半径及圆心距由实心圆阵列的行数C、列数L及标定模板的尺寸确定。经中继镜头拍摄的标定图案与原始图案一致，也由C×L个实心圆组成；模拟远距离的标定图案的圆半径及圆心距与中继镜到标定模板的距离有关。
中继镜位于待标定车载摄像头与标定模板之间，将近距离的物理的标定模板2在同侧远距离处生成一个放大的虚像(即虚拟标定模板4，如图5所示)。通过中继镜1拍摄近距离的物体，即等同于获取远距离的标定模板虚像。根据物理的标定模板2的大小及中继镜1到物理的标定模板2之间的距离，基于光学高斯公式可以计算出虚拟标定模板4的大小及模拟距离，从而通过中继镜1可以对指定的对焦远距离进行准确的标定。
由高斯公式可得虚拟标定模板4到中继镜1的距离
及虚拟标定模板4的大小
其中：
f′：中继镜1的焦距；
l′：虚拟标定模板4到中继镜1的距离(模拟对焦距离)；
l：物理的标定模板2到中继镜1的距离；
y′：虚拟标定模板4的垂直方向尺寸；
y：物理的标定模板2的垂直方向尺寸；
由公式(1)、(2)可知，虚拟标定模板4与中继镜1之间模拟的距离由物理的标定模板2模到中继镜1之间的距离所决定，因此，在对不同焦距的车载摄像头进行标定时，根据车载摄像头的目标对焦距离，基于高斯公式调整中继镜到物理的标定模板2的距离即可达到准确模拟目标远距离的效果。
2.提取单元
在中继镜增距作用下，摄像头此时的标定对象为远距离的虚拟标定模板，将摄像头获取的一帧标定图像通过二值化和中值滤波等方法对圆心特征点进行提取。或者可以基于图像灰度值侦测实心圆区域，求取圆区域质心作为圆心的坐标。
3.标定单元
基于单张拍摄的标定模板的图像，可以计算出其对应的单应矩阵，结合标定模板图像中实心圆圆心的像素位置，计算得到车载摄像头的内参数初始值。其中车载摄像头的外参数旋转矩阵的初始值为单位矩阵，车载摄像头的畸变参数的初始值为零。标定过程在后文实施例中详细介绍。
4.优化单元
每个实心圆圆心拍照时在图像中生成一个对应的图像像素点。基于小孔成像原理及图像畸变的投影模型，每个圆心也可以计算出一个理论成像位置(包含图像畸变)。实际图像点和该理论像素位置的偏差称为重投影误差。该几何投影模型的参数，即摄像头的标定参数，应使得所有标定模板上实心圆圆心的重投影误差的平方和最小，此时该投影模型最准确地描述了该摄像头的光学成像投影过程
其中M为虚拟标定模板上实心圆圆心的位置，m为畸变矫正的标定图像中该圆心点对应像素位置，为重投影位置，K为摄像头的内参数，旋转向量R和平移向量T是摄像头的外参数，k＝[k1，k2，k3]为径向畸变参数，/>为切向畸变参数。
该方程使用Levenberg-Marquardt进行优化。将初始值输入进行若干次迭代以后，当迭代的误差小于一个预设的阀值时，优化迭代结束，求得的结果K，R，T，k，p分别为该标定距离对应的内参数，外参数及畸变参数。经过该非线性优化得到的摄像头标定参数更精确。
下面通过具体的实施例举例说明本发明的单板单图带中继镜的车载摄像头的标定方法及装置。采用该方法进行标定时，需在车载摄像头的生产线上安装一块2D平面的标定模板；在标定模板的特定距离处放置一个中继镜头用来生成远距离的标定模板虚像，该标定距离只拍一张标定模板的图像，且该标定模板不需要旋转；分析和处理该距离处拍得的单张标定模板图像，可计算得到这个距离对应的车载摄像头标定参数。
根据待标定的车载摄像头参数(焦距、对焦距离、视场角)选择适当的中继镜头，包括确定其焦距f′。根据需要模拟的标定距离l′以及中继镜的焦距f′，基于前文公式(1)可以确定中继镜到标定模板的距离l。
虚拟标定模板的垂直方向尺寸y′由待标定的车载摄像头的视场角以及标定距离l′确定。2D平面标定模板的垂直方向尺寸y，可以根据模拟的标定距离l′以及中继镜到标定模板的距离l，基于前文公式(2)来确定。
针对该距离标定时，标定方法的详细流程如下：
1、获取一幅通过中继镜拍摄标定模板得到的模拟远距离的标定模板图像；(对应于S1)
标定模板一般为带有固定间距的重复图案，例如黑白棋盘格标定模板、等间距实心圆阵列标定模板等。如图4所示，本标定方案采用实心圆阵列作为标定模板图案，该实心圆阵列由8行×11列个实心圆组成。每个实心圆大小相同，半径一致，且水平及垂直方向圆心距均相同，实心圆的半径及圆心距由实心圆阵列的行数8、列数11及标定模板的尺寸决定。经中继镜头拍摄的标定图案与原始图案一致，也由8×11个实心圆组成；模拟远距离的标定图案的圆半径及圆心距与中继镜到标定模板的距离有关。根据标定模板中水平和垂直方向上实心圆的个数和圆心距，可确定实心圆阵列在标定模板坐标系中的分布；基于中继镜模拟的距离，可以得到圆心的齐次坐标[X Y Z 1]。
在本实例中，针对这个模拟的标定距离只需要拍一张标定模板图像，并且在拍摄时车载摄像头光轴与中继镜光轴平行、同心且均垂直于标定模板，使得标定图像图案清晰且不存在因拍摄因角度引起的图案变形。另外由于标定模板置于LED面板灯上，标定图案和白色背景对比强烈，标定图案边缘对比强烈，易于抽取。基于以上两点有利因素，本实施例中采用实心圆阵列标定模板是合适的。
2、对所述标定模板图像进行实心圆检测，以提取圆心点；(对应于S2)
在三维场景重建等计算机视觉领域，经常利用重复的实心圆来构建标定图案。实心圆圆心具有易侦测、位置精度高、匹配可靠，实时处理等优势。目前的圆心检测算法包括：基于Blob区域分析的圆心检测、基于边缘抽取的圆心检测、基于霍夫Hough变换的圆心检测等。本实例中，在标定图像拍摄完成后，基于图像灰度值侦测实心圆区域，求取圆区域质心作为圆心像素位置的齐次坐标[x y 1]。该图像处理步骤计算简单，实时性强。
3、计算或设定车载摄像头内参数、外参数(旋转向量和平移向量)和畸变参数的初值；(对应于S3)
在计算机视觉中，空间物体上一点与其通过成像***在像平面上投影位置的相互关系，一般由摄像头(或相机)***的几何投影模型来描述。常用的投影模型是光学中基于小孔成像原理的中心投影。该模型中，物体上一点穿过投影中心，即镜头的光心，沿直线投影在成像芯片上。
实心圆圆心在参照坐标系的齐次坐标为[X Y Z 1]，假定该点在摄像头拍照所得的像素齐次坐标为[x y 1]。根据基于小孔成像的投影模型，标定模板实心圆圆心[X Y 1]按下列关系投影到图像上，得到对应的成像像素点[x y 1 ](此处针对平面标定模板的情况，Z坐标假定为0)
其中σ是尺度因子。旋转向量R和平移向量T是摄像头的外参数，描述摄像头在标定模板坐标系的空间位置。K为摄像头的内参数，其定义为
其中fx和fy为镜头水平及垂直方向的焦距，cx及cy是图像的主点。
基于每张拍摄的标定模板的图像，可以计算出其对应的单应矩阵
其中hj是第j列(j＝1，2，3)的列向量，hij是第i行第j列(i，j＝1，2，3)的H矩阵元素。根据单应矩阵的定义有：
根据旋转矩阵的性质，r1和r2是正交单位向量，从而有：
其中：
由公式(8)、(9)分别得到
h11h12·B11+(h31h12+h11h32)·B13+h21h22·B22+(h31h22+h21h32)·B23+h31h32·B33＝0 (11)
在摄像头生产的过程中，在光学镜头和成像芯片耦合组装时，要求图像的主点离成像芯片中心点不超出一定像素范围。因此预设主点cx和cy的初始值为图像中心。(11)、(12)式中，单应矩阵H可以通过拍摄的标定模板图像求得，其元素hij(i，j＝1，2，3)为已知；cx和cy为图像中心点，为已知，Bij是摄像头内参数焦距fx、fy和主点cx、cy的数学组合，是计算过程中出现的中间量，Bij中仅有两个未知数fx和fy，从而两个方程组(11)、(12)可以解出两个内参数：焦距fx和fy的初始值。车载摄像头在标定模板坐标系内的空间位置T的初始值可以根据摄像头相对于标定模板的位置及车载摄像头的类型来预估。由于车载摄像头光轴近似垂直于标定模板，旋转矩阵R的初始值设定为单位矩阵
由于镜头存在光学畸变，实际投影的像素点一般在图像上会有一个小幅偏移。引起图像畸变的主要有以下原因：镜片表面加工误差导致其径向曲率存在缺陷；每个镜片的光学中心不能严格的保持共线，产生了偏心误差；由于镜头设计、生产以及摄像头组装过程中的公差，镜头与成像芯片不平行，有倾斜。以上误差导致图像同时在径向和切向产生畸变。径向畸变是指实际图像点在它的理想位置和光心连线上，即径向上，向内或向外移动。切向畸变是指实际图像点在垂直于径向的方向，即切向上，出现偏移。
前述基于中心投影模型的理论像素位置[x y]受畸变影响，发生偏移，其实际投影位置用下列关系来模拟
其中，[k1 k2 k3]为径向畸变参数，[p1 p2]为切向畸变参数，r2＝x2+y2。一般情况下摄像头镜头的径向和切向畸变参数[k1 k2 k3]和[p1 p2]的初始值设定为零。
4、对车载摄像头的内参数、外参数和畸变参数进行优化，得到精确的标定结果；(对应于S4)
每个实心圆圆心拍照时在图像中生成一个对应的图像像素点。依照基于小孔成像原理的投影模型及上述畸变模型，每个圆心也可以计算出一个理论成像位置(包含畸变产生的偏移)。实际图像点和该理论像素位置的偏差称为重投影误差。该几何投影模型的参数，即摄像头的标定参数，应使得标定模板上所有实心圆圆心的重投影误差的平方和最小。此时该投影模型最准确地描述了这个景深深度该摄像头的光学成像投影过程，其中成像投影过程如前文公式(3)所示。
其中M为标定模板经中继镜头模拟的虚像中实心圆圆心的位置，m为图像中该圆心点对应实际像素位置，为重投影位置，即实心圆圆心在中心投影后、因图像畸变而偏移计算出来的像素位置(/>及/>包含畸变偏移)，K为摄像头的内参数，旋转向量R和平移向量T是摄像头的外参数，k＝[k1 k2 k3]为径向畸变参数，p＝[p1 p2]为切向畸变参数。该方程用Levenberg-Marquardt，列文伯格-马夸尔特算法进行优化，若干个迭代以后，当迭代的误差小于一个预设的阀值时，优化迭代结束，求得的结果K，R，T，k，p分别为该标定距离对应的内参数，外参数及畸变参数。经过该非线性优化得到的车载摄像头标定参数更精确。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (13)

1.车载摄像头单板单图带中继镜的产线标定方法，其特征在于，构建包括标定模板、中继镜和待标定的车载摄像头的标定体系，通过调整中继镜与标定模板的距离适用于不同焦距的车载摄像头，所述标定模板带有实心圆阵列，所述车载摄像头通过中继镜拍摄标定模板，具体过程如下：
S1、由车载摄像头采集获取一张标定模板通过中继镜形成的虚像作为标定模板图像；其中，根据所述车载摄像头需要模拟的目标对焦距离和所述中继镜的焦距，来设置所述中继镜到所述标定模板的距离；
S2、利用图像处理算法提取所述标定模板图像中实心圆圆心的像素位置坐标；
S3、基于所述标定模板图像，结合其单应矩阵及实心圆圆心位置坐标，计算车载摄像头包括内、外参数和畸变参数的标定参数的初始值；
S4、对步骤S3得到的车载摄像头的内、外参数和畸变参数的初始值进行优化，得到精确的车载摄像头的标定参数。
2.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S1中，所述车载摄像头、中继镜保持光轴平行且同心，并且车载摄像头、中继镜的光轴均保持垂直于标定模板。
3.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S2中，通过二值化和中值滤波方法对所述标定模板图像的实心圆圆心特征点进行提取，得到标定模板图像中实心圆圆心的像素位置坐标。
4.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S2中，通过图像灰度值侦测所述标定模板图像中实心圆区域，计算该区域质心得到标定模板图像中实心圆圆心的像素位置坐标。
5.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S3中，根据所述标定模板图像的单应矩阵，结合标定模板图像中实心圆圆心的像素位置，计算得到车载摄像头的内参数初始值。
6.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S3中，所述车载摄像头的外参数旋转矩阵的初始值为单位矩阵。
7.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S3中，所述车载摄像头的畸变参数的初始值为零。
8.根据权利要求1所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S4中，基于使所述标定模板图像的实心圆圆心的重投影误差平方和最小的原则，对车载摄像头的内、外参数和畸变参数的初始值进行优化。
9.根据权利要求1或8所述的车载摄像头单板单图带中继镜的产线标定方法，其特征在于，步骤S4中，使用Levenberg-Marquardt优化算法，对车载摄像头的内、外参数和畸变参数的初始值进行优化。
10.一种车载摄像头单板单图带中继镜的产线标定装置，其特征在于，包括中继镜、标定模板和待标定的车载摄像头，所述中继镜设于车载摄像头的镜头和标定模板之间，并且中继镜与标定模板之间距离可调，所述标定模板图案为实心圆阵列；其中，根据所述车载摄像头需要模拟的目标对焦距离和所述中继镜的焦距，来设置所述中继镜到所述标定模板的距离。
11.根据权利要求10所述的一种车载摄像头单板单图带中继镜的产线标定装置，其特征在于，所述中继镜、车载摄像头光轴重合设置，并且中继镜和车载摄像头的光轴均垂直于标定模板表面。
12.根据权利要求10所述的一种车载摄像头单板单图带中继镜的产线标定装置，其特征在于，所述标定模板表面的实心圆阵列为多个实心圆构成的行列阵列，各个实心圆的半径相同，相邻实心圆水平和垂直方向的圆心距相同。
13.根据权利要求10所述的一种车载摄像头单板单图带中继镜的产线标定装置，其特征在于，还包括计算机中构建的提取单元、标定单元、优化单元，其中所述提取单元提取所述标定模板图像中实心圆圆心的像素位置坐标，所述标定单元计算车载摄像头包括内、外参数和畸变参数的标定参数的初始值，所述优化单元对车载摄像头内、外参数和畸变参数进行优化，得到精确的车载摄像头的标定参数。
CN202011521340.0A 2020-12-21 2020-12-21 车载摄像头单板单图带中继镜的产线标定方法及装置 Active CN112489141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011521340.0A CN112489141B (zh) 2020-12-21 2020-12-21 车载摄像头单板单图带中继镜的产线标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011521340.0A CN112489141B (zh) 2020-12-21 2020-12-21 车载摄像头单板单图带中继镜的产线标定方法及装置

Publications (2)

Publication Number Publication Date
CN112489141A CN112489141A (zh) 2021-03-12
CN112489141B true CN112489141B (zh) 2024-01-30

Family

ID=74915173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011521340.0A Active CN112489141B (zh) 2020-12-21 2020-12-21 车载摄像头单板单图带中继镜的产线标定方法及装置

Country Status (1)

Country Link
CN (1) CN112489141B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850870A (zh) * 2021-09-13 2021-12-28 安徽光阵光电科技有限公司 一种车载摄像头的标定方法
CN115170674B (zh) * 2022-07-20 2023-04-14 禾多科技（北京）有限公司 基于单张图像的相机主点标定方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机***的外参数标定方法
CN109543660A (zh) * 2018-12-20 2019-03-29 深圳奥比中光科技有限公司 一种调焦装置以及调焦方法
CN109767476A (zh) * 2019-01-08 2019-05-17 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法
CN110274752A (zh) * 2018-03-14 2019-09-24 深圳市隆测技术有限公司 中继镜成像质量的多功能测试卡及其测试方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816733B (zh) * 2019-01-14 2023-08-18 京东方科技集团股份有限公司 相机参数初始化方法及装置、相机参数标定方法及设备、图像采集***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110274752A (zh) * 2018-03-14 2019-09-24 深圳市隆测技术有限公司 中继镜成像质量的多功能测试卡及其测试方法
CN109360245A (zh) * 2018-10-26 2019-02-19 魔视智能科技(上海)有限公司 无人驾驶车辆多相机***的外参数标定方法
CN109543660A (zh) * 2018-12-20 2019-03-29 深圳奥比中光科技有限公司 一种调焦装置以及调焦方法
CN109767476A (zh) * 2019-01-08 2019-05-17 像工场(深圳)科技有限公司 一种自动对焦双目摄像头标定及深度计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单平面模板的摄像机定标研究;杨敏, 沈春林;数据采集与处理(01);全文 *

Also Published As

Publication number Publication date
CN112489141A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN109767476B (zh) 一种自动对焦双目摄像头标定及深度计算方法
CN109598762B (zh) 一种高精度双目相机标定方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN105931222B (zh) 用低精度二维平面靶标实现高精度相机标定的方法
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN103530880B (zh) 基于投影高斯网格图案的摄像机标定方法
CN102810205B (zh) 一种摄像或照相装置的标定方法
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN110517325B (zh) 一种坐标变换及坐标变换的车身周围物体定位方法和***
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
CN102567989A (zh) 基于双目立体视觉的空间定位方法
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN109974618B (zh) 多传感器视觉测量***的全局标定方法
CN112489141B (zh) 车载摄像头单板单图带中继镜的产线标定方法及装置
CN110874854B (zh) 一种基于小基线条件下的相机双目摄影测量方法
CN111707187B (zh) 一种大型零件的测量方法及***
CN110827360B (zh) 一种光度立体式测量***及其标定光源方向的方法
CN112489137A (zh) 一种rgbd相机标定方法及***
CN113119129A (zh) 一种基于标准球的单目测距定位方法
CN114359405A (zh) 一种离轴沙姆3d线激光相机的标定方法
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN107067441B (zh) 摄像机标定方法及装置
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant