CN111311693B - 一种多目摄像头的在线标定方法及*** - Google Patents

一种多目摄像头的在线标定方法及*** Download PDF

Info

Publication number
CN111311693B
CN111311693B CN202010181386.6A CN202010181386A CN111311693B CN 111311693 B CN111311693 B CN 111311693B CN 202010181386 A CN202010181386 A CN 202010181386A CN 111311693 B CN111311693 B CN 111311693B
Authority
CN
China
Prior art keywords
camera
calibration
ground
point pairs
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010181386.6A
Other languages
English (en)
Other versions
CN111311693A (zh
Inventor
黄博
姚玉峰
伍宽
魏宇腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biji Shark Weihai Robot Technology Co ltd
Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone
Original Assignee
Biji Shark Weihai Robot Technology Co ltd
Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biji Shark Weihai Robot Technology Co ltd, Tianzhi Innovation Technology Research Institute Of Weihai Economic And Technological Development Zone filed Critical Biji Shark Weihai Robot Technology Co ltd
Priority to CN202010181386.6A priority Critical patent/CN111311693B/zh
Publication of CN111311693A publication Critical patent/CN111311693A/zh
Application granted granted Critical
Publication of CN111311693B publication Critical patent/CN111311693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种多目摄像头的在线标定方法及***，方法包括：分别对每个摄像头进行参数标定，得到每个摄像头的内参数；在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；在相邻摄像头的俯视图重叠区域上计算匹配的特征点对，基于多组匹配的特征点对计算得到严格对齐的标定结果。本发明无需标定辅助工具，也无需预先印制的场地，只要一块平整的有一定纹理的地面即可实现标定，大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。

Description

一种多目摄像头的在线标定方法及***
技术领域
本发明涉及图像处理技术领域，尤其涉及一种多目摄像头的在线标定方法及***。
背景技术
目前，随着电子技术的不断发展，多摄像头的环视拼接技术正广泛应用于汽车领域，特别是对于大型运输车辆和工程车辆，由于盲区非常大，经常造成重大的交通事故，因此环视产品尤为重要。在车辆或移动设备上安装多个摄像头，利用图像处理技术进行独立以及联合的标定工作是环视功能的基础。
传统的环视的标定方法依赖于标定辅助工具，需要在车辆四周铺设印有特殊图案的标定布或标定板，并且需要用测量出这些图案之间的距离。摄像头采集图像之后，通过识别图像中的特征点，先单独标定摄像头与地面之间的关系，并结合测量的距离数据进行计算，标定出摄像头之间的相对关系，以完成最终的环视标定。或是在地面印刷大面积的方格，让车辆开到方格中，通过识别方格的交叉点，以及事先设定的方格尺寸数据，实现环视的标定。
由此可以看出，对于使用标定辅助工具的传统的环视标定方法，需要专门的标定辅助工具，提高了生产和运输成本，需要准确测量图案之间的距离，很容易因为摆放不齐或是测量不准造成误差，标定流程复杂，需要专门培训人员操作，成本高，效率低；对于在地面印刷标定图案的标定方法，需要预留一大块地面，并且只能在固定地方进行标定，印刷的图案会随时间和反复被车碾压而变得模糊和缺损，需要维护，不同厂商对于图案的要求和尺寸不一，场地无法兼容。
因此，如何有效的对多目摄像头进行标定，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种多目摄像头的在线标定方法，不需要标定辅助工具，也无需预先印制的场地，只要找一块平整的有一定纹理的地面即可实现标定，既大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。
本发明提供了一种多目摄像头的在线标定方法，包括：
分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；
在相邻摄像头的俯视图重叠区域上计算匹配的特征点对；
基于多组匹配的特征点对计算得到严格对齐的标定结果。
优选地，所述基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图，包括：
基于每个摄像头的内参数和地面标定结果，将摄像头拍摄的画面去畸变和做单应变换，得到每个摄像头的俯视图。
优选地，所述基于多组匹配的特征点对计算得到严格对齐的标定结果，包括：
对多组匹配的特征点对做非线性优化计算，得到能够将相邻摄像头的俯视图对齐的单应变换矩阵；
将所述单应变换矩阵映射回摄像头与地面的关系上，得到标定结果。
优选地，所述在相邻摄像头的俯视图重叠区域上计算匹配的特征点对，包括：
在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对。
优选地，所述在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对，包括：
在相邻摄像头的俯视图重叠区域上，剔除每对点距离的离群度大于预设阈值的匹配点对，得到匹配的特征点对。
一种多目摄像头的在线标定***，包括：
参数标定模块，用于分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
地面标定模块，用于在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
采集模块，用于在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
第一计算模块，用于基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；
第二计算模块，用于在相邻摄像头的俯视图重叠区域上计算匹配的特征点对；
第三计算模块，用于基于多组匹配的特征点对计算得到严格对齐的标定结果。
优选地，所述第一计算模块具体用于：
基于每个摄像头的内参数和地面标定结果，将摄像头拍摄的画面去畸变和做单应变换，得到每个摄像头的俯视图。
优选地，所述第三计算模块具体用于：
对多组匹配的特征点对做非线性优化计算，得到能够将相邻摄像头的俯视图对齐的单应变换矩阵；
将所述单应变换矩阵映射回摄像头与地面的关系上，得到标定结果。
优选地，所述第二计算模块具体用于：
在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对。
优选地，所述第二计算模块在执行相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对时，具体用于：
在相邻摄像头的俯视图重叠区域上，剔除每对点距离的离群度大于预设阈值的匹配点对，得到匹配的特征点对。
综上所述，本发明公开了一种多目摄像头的在线标定方法，当需要对多个摄像头进行在线标定时，首先分别对每个摄像头进行参数标定，得到每个摄像头的内参数，然后在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；在相邻摄像头的俯视图重叠区域上计算匹配的特征点对，基于多组匹配的特征点对计算得到严格对齐的标定结果。本发明不需要标定辅助工具，也无需预先印制的场地，只要找一块平整的有一定纹理的地面即可实现标定，既大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种多目摄像头的在线标定方法实施例1的方法流程图；
图2为本发明公开的一种多目摄像头的在线标定方法实施例2的方法流程图；
图3为本发明公开的一种一种多目摄像头的在线标定***实施例1的结构示意图；
图4为本发明公开的一种多目摄像头的在线标定***实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种多目摄像头的在线标定方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
当需要对车辆上的多个摄像头进行在线标定时，首先对每个需要安装在车辆上的摄像头进行参数标定，得到摄像头的焦距、主点、镜头畸变系数等仅与摄像头自身特性相关的内参数。
S102、在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
在分别对每个摄像头进行参数标定，得到每个摄像头的内参数后，将已标定的摄像头安装在车辆车身的合适位置，启动车辆，进入自动标定程序。进入自动标定程序后，保持车辆慢速直行，在车辆慢速直行的过程中，对安装在车辆上的每个摄像头分别做地面标定，依次标定每个摄像头的地面法向量、摄像头高度、摄像头与车辆的相对方向等。
S103、在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
在完成摄像头的地面标定后，继续保持车辆直行或将车辆静止在纹理丰富的地面上，同时采集安装在车辆上的多个摄像头拍摄的画面。
S104、基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；
然后，根据得到的每个摄像头的内参数和地面标定结果，对摄像头拍摄的画面进行处理，计算得到每个摄像头的俯视图。
S105、在相邻摄像头的俯视图重叠区域上计算匹配的特征点对；
在计算得到每个摄像头的俯视图后，进一步在相邻摄像头的俯视图重叠区域上计算匹配的特征点对。
S106、基于多组匹配的特征点对计算得到严格对齐的标定结果。
最后，根据多组摄像头的特征点对计算得到严格对齐的标定结果。
综上所述，在上述实施例中，当需要对多个摄像头进行在线标定时，首先分别对每个摄像头进行参数标定，得到每个摄像头的内参数，然后在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；在相邻摄像头的俯视图重叠区域上计算匹配的特征点对，基于多组匹配的特征点对计算得到严格对齐的标定结果。本发明不需要标定辅助工具，也无需预先印制的场地，只要找一块平整的有一定纹理的地面即可实现标定，既大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。
如图2所示，为本发明公开的一种多目摄像头的在线标定方法实施例2的方法流程图，所述方法可以包括以下步骤：
S201、分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
当需要对车辆上的多个摄像头进行在线标定时，首先对每个需要安装在车辆上的摄像头进行参数标定，得到摄像头的焦距、主点、镜头畸变系数等仅与摄像头自身特性相关的内参数。
S202、在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
在分别对每个摄像头进行参数标定，得到每个摄像头的内参数后，将已标定的摄像头安装在车辆车身的合适位置，启动车辆，进入自动标定程序。进入自动标定程序后，保持车辆慢速直行，在车辆慢速直行的过程中，对安装在车辆上的每个摄像头分别做地面标定，依次标定每个摄像头的地面法向量、摄像头高度、摄像头与车辆的相对方向等。
S203、在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
在完成摄像头的地面标定后，继续保持车辆直行或将车辆静止在纹理丰富的地面上，同时采集安装在车辆上的多个摄像头拍摄的画面。
S204、基于每个摄像头的内参数和地面标定结果，将摄像头拍摄的画面去畸变和做单应变换，得到每个摄像头的俯视图；
在进行地面标定后，第i个摄像头的摄像头坐标系ci与其地面坐标系gi之间的关系可由一个单应矩阵Hgci描述。根据摄像头地面坐标系与车辆地面坐标系的夹角θi得到旋转矩阵：
根据摄像头大致安装位置与车辆坐标系原点的平移关系(dxi,dyi)得到平移矩阵：
接下来根据Ri和Ti将去畸变后的摄像头画面映射为俯视图。其中，俯视图中像素(u,v)与摄像头画面像素(x,y)的对应关系为：
S205、在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对；
将多个摄像头的俯视图分成N组，分组的方法是安装位置相邻的或者有足够大共视区域的摄像头作为一组，将每组摄像头的画面映射为俯视图，然后在第N组俯视图上得到M组匹配点对pij和qij。
从匹配点对中剔除异常匹配点。异常匹配点通常是由于误匹配或高于地面的物体产生，剔除异常匹配点的方法是分别评价每对点距离的离群度：
其中，norm()运算是指计算两个点的距离。计算后根据选定的阈值th，将Li>th的特征点对剔除，得到匹配的特征点对。
S206、对多组匹配的特征点对做非线性优化计算，得到能够将相邻摄像头的俯视图对齐的单应变换矩阵；
接下来对筛选后的匹配点对进行非线性优化。该非线性优化的损失函数定义如下：
其中：
当一组画面上匹配点对数量不够时，需在不同的位置拍摄多次，将多组画面的匹配点对一起计算。当拍摄P次时，非线性优化的损失函数为：
S207、将单应变换矩阵映射回摄像头与地面的关系上，得到标定结果。
在得到Hi后，将其叠加到原始的单应矩阵Hgci上得到最终标定结果：
综上所述，本发明无需不需要标定辅助工具，也无需在地面预先印刷特定的图案，直接利用地面已有的纹理，如裂缝、污渍、车道标志或其他看起来明显的点，通过摄像头视野的重叠区，计算摄像头之间的相对关系，既大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。
如图3所示，为本发明公开的一种多目摄像头的在线标定***实施例1的结构示意图，所述***可以包括：
参数标定模块301，用于分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
当需要对车辆上的多个摄像头进行在线标定时，首先对每个需要安装在车辆上的摄像头进行参数标定，得到摄像头的焦距、主点、镜头畸变系数等仅与摄像头自身特性相关的内参数。
地面标定模块302，用于在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
在分别对每个摄像头进行参数标定，得到每个摄像头的内参数后，将已标定的摄像头安装在车辆车身的合适位置，启动车辆，进入自动标定程序。进入自动标定程序后，保持车辆慢速直行，在车辆慢速直行的过程中，对安装在车辆上的每个摄像头分别做地面标定，依次标定每个摄像头的地面法向量、摄像头高度、摄像头与车辆的相对方向等。
采集模块303，用于在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
在完成摄像头的地面标定后，继续保持车辆直行或将车辆静止在纹理丰富的地面上，同时采集安装在车辆上的多个摄像头拍摄的画面。
第一计算模块304，用于基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；
然后，根据得到的每个摄像头的内参数和地面标定结果，对摄像头拍摄的画面进行处理，计算得到每个摄像头的俯视图。
第二计算模块305，用于在相邻摄像头的俯视图重叠区域上计算匹配的特征点对；
在计算得到每个摄像头的俯视图后，进一步在相邻摄像头的俯视图重叠区域上计算匹配的特征点对。
第三计算模块306，用于基于多组匹配的特征点对计算得到严格对齐的标定结果。
最后，根据多组摄像头的特征点对计算得到严格对齐的标定结果。
综上所述，在上述实施例中，当需要对多个摄像头进行在线标定时，首先分别对每个摄像头进行参数标定，得到每个摄像头的内参数，然后在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；在相邻摄像头的俯视图重叠区域上计算匹配的特征点对，基于多组匹配的特征点对计算得到严格对齐的标定结果。本发明不需要标定辅助工具，也无需预先印制的场地，只要找一块平整的有一定纹理的地面即可实现标定，既大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。
如图4所示，为本发明公开的一种多目摄像头的在线标定***实施例2的结构示意图，所述***可以包括：
参数标定模块401，用于分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
当需要对车辆上的多个摄像头进行在线标定时，首先对每个需要安装在车辆上的摄像头进行参数标定，得到摄像头的焦距、主点、镜头畸变系数等仅与摄像头自身特性相关的内参数。
地面标定模块402，用于在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
在分别对每个摄像头进行参数标定，得到每个摄像头的内参数后，将已标定的摄像头安装在车辆车身的合适位置，启动车辆，进入自动标定程序。进入自动标定程序后，保持车辆慢速直行，在车辆慢速直行的过程中，对安装在车辆上的每个摄像头分别做地面标定，依次标定每个摄像头的地面法向量、摄像头高度、摄像头与车辆的相对方向等。
采集模块403，用于在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
在完成摄像头的地面标定后，继续保持车辆直行或将车辆静止在纹理丰富的地面上，同时采集安装在车辆上的多个摄像头拍摄的画面。
第一计算模块404，用于基于每个摄像头的内参数和地面标定结果，将摄像头拍摄的画面去畸变和做单应变换，得到每个摄像头的俯视图；
在进行地面标定后，第i个摄像头的摄像头坐标系ci与其地面坐标系gi之间的关系可由一个单应矩阵Hgci描述。根据摄像头地面坐标系与车辆地面坐标系的夹角θi得到旋转矩阵：
根据摄像头大致安装位置与车辆坐标系原点的平移关系(dxi,dyi)得到平移矩阵：
接下来根据Ri和Ti将去畸变后的摄像头画面映射为俯视图。其中，俯视图中像素(u,v)与摄像头画面像素(x,y)的对应关系为：
第二计算模块405，用于在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对；
将多个摄像头的俯视图分成N组，分组的方法是安装位置相邻的或者有足够大共视区域的摄像头作为一组，将每组摄像头的画面映射为俯视图，然后在第N组俯视图上得到M组匹配点对pij和qij。
从匹配点对中剔除异常匹配点。异常匹配点通常是由于误匹配或高于地面的物体产生，剔除异常匹配点的方法是分别评价每对点距离的离群度：
其中，norm()运算是指计算两个点的距离。计算后根据选定的阈值th，将Li>th的特征点对剔除，得到匹配的特征点对。
第三计算模块406，用于对多组匹配的特征点对做非线性优化计算，得到能够将相邻摄像头的俯视图对齐的单应变换矩阵；
接下来对筛选后的匹配点对进行非线性优化。该非线性优化的损失函数定义如下：
其中：
当一组画面上匹配点对数量不够时，需在不同的位置拍摄多次，将多组画面的匹配点对一起计算。当拍摄P次时，非线性优化的损失函数为：
第三计算模块406，还用于将单应变换矩阵映射回摄像头与地面的关系上，得到标定结果。
在得到Hi后，将其叠加到原始的单应矩阵Hgci上得到最终标定结果：
综上所述，本发明无需不需要标定辅助工具，也无需在地面预先印刷特定的图案，直接利用地面已有的纹理，如裂缝、污渍、车道标志或其他看起来明显的点，通过摄像头视野的重叠区，计算摄像头之间的相对关系，既大大免除了标定工具或环境带来的成本，也减少了由于人员操作和测量带来失误的可能性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多目摄像头的在线标定方法，其特征在于，包括：
分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；
在相邻摄像头的俯视图重叠区域上计算匹配的特征点对；
基于多组匹配的特征点对计算得到严格对齐的标定结果。
2.根据权利要求1所述的方法，其特征在于，所述基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图，包括：
基于每个摄像头的内参数和地面标定结果，将摄像头拍摄的画面去畸变和做单应变换，得到每个摄像头的俯视图。
3.根据权利要求2所述的方法，其特征在于，所述基于多组匹配的特征点对计算得到严格对齐的标定结果，包括：
对多组匹配的特征点对做非线性优化计算，得到能够将相邻摄像头的俯视图对齐的单应变换矩阵；
将所述单应变换矩阵映射回摄像头与地面的关系上，得到标定结果。
4.根据权利要求3所述的方法，其特征在于，所述在相邻摄像头的俯视图重叠区域上计算匹配的特征点对，包括：
在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对。
5.根据权利要求4所述的方法，其特征在于，所述在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对，包括：
在相邻摄像头的俯视图重叠区域上，剔除每对点距离的离群度大于预设阈值的匹配点对，得到匹配的特征点对。
6.一种多目摄像头的在线标定***，其特征在于，包括：
参数标定模块，用于分别对每个摄像头进行参数标定，得到每个摄像头的内参数；
地面标定模块，用于在车辆慢速直行的过程中，对安装在车辆上的经过参数标定的摄像头分别做地面标定，得到地面标定结果；
采集模块，用于在车辆停留在纹理丰富的地面上时，同时采集多个摄像头拍摄的画面；
第一计算模块，用于基于每个摄像头的内参数和地面标定结果，计算每个摄像头的俯视图；
第二计算模块，用于在相邻摄像头的俯视图重叠区域上计算匹配的特征点对；
第三计算模块，用于基于多组匹配的特征点对计算得到严格对齐的标定结果。
7.根据权利要求6所述的***，其特征在于，所述第一计算模块具体用于：
基于每个摄像头的内参数和地面标定结果，将摄像头拍摄的画面去畸变和做单应变换，得到每个摄像头的俯视图。
8.根据权利要求7所述的***，其特征在于，所述第三计算模块具体用于：
对多组匹配的特征点对做非线性优化计算，得到能够将相邻摄像头的俯视图对齐的单应变换矩阵；
将所述单应变换矩阵映射回摄像头与地面的关系上，得到标定结果。
9.根据权利要求8所述的***，其特征在于，所述第二计算模块具体用于：
在相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对。
10.根据权利要求9所述的***，其特征在于，所述第二计算模块在执行相邻摄像头的俯视图重叠区域上剔除异常匹配点对，得到匹配的特征点对时，具体用于：
在相邻摄像头的俯视图重叠区域上，剔除每对点距离的离群度大于预设阈值的匹配点对，得到匹配的特征点对。
CN202010181386.6A 2020-03-16 2020-03-16 一种多目摄像头的在线标定方法及*** Active CN111311693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010181386.6A CN111311693B (zh) 2020-03-16 2020-03-16 一种多目摄像头的在线标定方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010181386.6A CN111311693B (zh) 2020-03-16 2020-03-16 一种多目摄像头的在线标定方法及***

Publications (2)

Publication Number Publication Date
CN111311693A CN111311693A (zh) 2020-06-19
CN111311693B true CN111311693B (zh) 2023-11-14

Family

ID=71162061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010181386.6A Active CN111311693B (zh) 2020-03-16 2020-03-16 一种多目摄像头的在线标定方法及***

Country Status (1)

Country Link
CN (1) CN111311693B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量***中的摄像机现场标定方法
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和***
WO2015043507A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视***
CN108230397A (zh) * 2017-12-08 2018-06-29 深圳市商汤科技有限公司 多目摄像机标定与校正方法和装置、设备、程序和介质
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN108596982A (zh) * 2018-04-24 2018-09-28 深圳市航盛电子股份有限公司 一种简易的车载多目摄像机环视***标定方法及装置
CN109278640A (zh) * 2018-10-12 2019-01-29 北京双髻鲨科技有限公司 一种盲区检测***和方法
CN109345591A (zh) * 2018-10-12 2019-02-15 北京双髻鲨科技有限公司 一种车辆自身姿态检测方法和装置
WO2019105044A1 (zh) * 2017-11-28 2019-06-06 东莞市普灵思智能电子有限公司 一种镜头畸变矫正和特征提取的方法及***
CN110288713A (zh) * 2019-07-03 2019-09-27 北京机械设备研究所 一种基于多目视觉的快速三维模型重建方法及***
WO2019192358A1 (zh) * 2018-04-02 2019-10-10 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
CN110473262A (zh) * 2019-08-22 2019-11-19 北京双髻鲨科技有限公司 多目相机的外参标定方法、装置、存储介质及电子设备
CN110503694A (zh) * 2019-08-08 2019-11-26 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876532A (zh) * 2010-05-25 2010-11-03 大连理工大学 测量***中的摄像机现场标定方法
WO2015043507A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视***
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和***
WO2019105044A1 (zh) * 2017-11-28 2019-06-06 东莞市普灵思智能电子有限公司 一种镜头畸变矫正和特征提取的方法及***
CN108230397A (zh) * 2017-12-08 2018-06-29 深圳市商汤科技有限公司 多目摄像机标定与校正方法和装置、设备、程序和介质
CN108564617A (zh) * 2018-03-22 2018-09-21 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
WO2019192358A1 (zh) * 2018-04-02 2019-10-10 杭州海康威视数字技术股份有限公司 一种全景视频合成方法、装置及电子设备
CN108596982A (zh) * 2018-04-24 2018-09-28 深圳市航盛电子股份有限公司 一种简易的车载多目摄像机环视***标定方法及装置
CN109278640A (zh) * 2018-10-12 2019-01-29 北京双髻鲨科技有限公司 一种盲区检测***和方法
CN109345591A (zh) * 2018-10-12 2019-02-15 北京双髻鲨科技有限公司 一种车辆自身姿态检测方法和装置
CN110288713A (zh) * 2019-07-03 2019-09-27 北京机械设备研究所 一种基于多目视觉的快速三维模型重建方法及***
CN110503694A (zh) * 2019-08-08 2019-11-26 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN110473262A (zh) * 2019-08-22 2019-11-19 北京双髻鲨科技有限公司 多目相机的外参标定方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯聪.360°车载环视***图像拼接技术研究.《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2019,(第2019年第01期),第1-59页. *
周宝通.车载3D全景辅助驾驶***关键技术研究及应用.《中国优秀硕士学位论文全文数据库信息科技辑》.2017,(2017年第08期),第1-53页. *

Also Published As

Publication number Publication date
CN111311693A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN111047536B (zh) Ccd图像矫正方法、装置、设备及存储介质
CN112819903B (zh) 基于l型标定板的相机和激光雷达联合标定的方法
CN111311689B (zh) 一种激光雷达与相机相对外参的标定方法及***
CN107886547B (zh) 一种鱼眼相机标定方法及***
CN102376089B (zh) 一种标靶校正方法及***
CN100583151C (zh) 三维扫描***中双摄像机标定方法
CN103278138B (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN112902874A (zh) 图像采集装置及方法、图像处理方法及装置、图像处理***
CN108305233B (zh) 一种针对微透镜阵列误差的光场图像校正方法
CN114283201A (zh) 相机标定方法、装置和路侧设备
CN109255818B (zh) 一种新型标靶及其亚像素级角点的提取方法
CN111707187B (zh) 一种大型零件的测量方法及***
CN111508027A (zh) 摄像机外参标定的方法和装置
CN113362228A (zh) 基于改进畸变校正和标记拼接的环视图像拼接方法及***
CN111862193A (zh) 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN114331924B (zh) 大工件多相机视觉测量方法
CN105118086A (zh) 3d-aoi设备中的3d点云数据配准方法及***
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
CN113658279B (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN112308926A (zh) 一种无公共视场的相机外参标定方法
CN116740187A (zh) 一种无重叠视场多相机联合标定方法
CN115861448A (zh) 基于角点检测及特征点提取的***标定方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant