CN105513056B - 车载单目红外相机外参自动标定方法 - Google Patents

车载单目红外相机外参自动标定方法 Download PDF

Info

Publication number
CN105513056B
CN105513056B CN201510856808.4A CN201510856808A CN105513056B CN 105513056 B CN105513056 B CN 105513056B CN 201510856808 A CN201510856808 A CN 201510856808A CN 105513056 B CN105513056 B CN 105513056B
Authority
CN
China
Prior art keywords
point
feature
projection matrix
straight line
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510856808.4A
Other languages
English (en)
Other versions
CN105513056A (zh
Inventor
周全赟
吴铮
张羽
张惟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Institute of Technical Physics
Original Assignee
Tianjin Jinhang Institute of Technical Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Institute of Technical Physics filed Critical Tianjin Jinhang Institute of Technical Physics
Priority to CN201510856808.4A priority Critical patent/CN105513056B/zh
Publication of CN105513056A publication Critical patent/CN105513056A/zh
Application granted granted Critical
Publication of CN105513056B publication Critical patent/CN105513056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车载单目红外相机外参自动标定方法，属于图像处理技术领域。本发明运用计算速度很快的FAST特征提取图像的特征点，运用特征光流追踪计算出特征的匹配点，进而对特征集和外点进行筛选、剔除，最后运用霍夫变换投影矩阵在时间轴累加计算最优极值点，即最终输出的消失点，从而有效解决了车载红外相机在线自动标定问题。

Description

车载单目红外相机外参自动标定方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种车载单目红外相机外参自动标定方法。
背景技术
相机在厂装配时都会进行标定，以确定相机的外参数符合使用条件。通常，在厂测试标定是利用合作目标，即标准的相机标定板进行的标定。它的优点是精度高，且方便快捷，但缺点是需要合作目标，且对标定的环境条件要求高。出厂时，相机完成标定后，***会将准确的标定参数记录在相机头内的存储器中，后续的使用过程中可以直接从相机头存储器中读取得到相机各类参数。但是，当车辆在行驶过程中发生碰撞，或因为震动而产生安装位置或角度偏移后，已有的标定外参数将不再适合当前的相机状态。而重新返厂标定将对车辆的使用产生很大的不便，因为很多时候客户或驾驶员并不清楚什么时候相机发生了偏移。因此需要车载夜视辅助驾驶***能够在驾驶过程中进行相机自动标定。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何设计一种基于连续图像的车载红外相机外参自动标定技术，使得相机外部参数(包括俯仰角、偏航角)可以在汽车的前进过程中自动标定，以便更好的适应发生碰撞或长期震动后相机安装角度出现偏移的状况。
(二)技术方案
为了解决上述技术问题，本发明提供了一种车载单目红外相机外参自动标定方法，包括以下步骤：
S1、初始化累计霍夫变换投影矩阵D为0；
S2、初始化帧间霍夫变换投影矩阵D(k,p)，p表示图像中的像素，k表示帧号；
S3、对于当前输入图像，在ROI区域内匹配追踪特征点集 得到匹配特征点集N为特征点的数量；所采用的特征点集中的特征点为FAST特征点；
S4、对于N个匹配点对，每一对匹配的特征点形成一条直线，即对应N条直线，任意两条不平行的直线计算出一个交点，该交点为光轴消失点候选点，N个匹配点对，最多得到条直线；
S5、对任意一条直线计算其与输入图像平面相交的像素点，对于相交像素点p，其帧间霍夫变换投影矩阵D(k,p)加1；
S6、二值化D(k,p)：对于每两帧之间的投影矩阵D(k,p)中的任意元素，如果其值大于0.7N，二值化为1，否则为0，二值化后的帧间投影矩阵为D’(k)；
S7、更新累计霍夫变换投影矩阵为D+D’(k)；
S8、求取D+D’(k)的极大值点输出：如果极大值点不唯一，则进行曲面拟合，求拟合后曲面的顶点，作为当前的消失点VPk；
S9、判断是否满足收敛条件，如果满足，则结束标定；如果不满足，则进行特征集筛选后返回步骤S3继续下一帧图像标定流程。
优选地，步骤S9的收敛条件为：
如果累计霍夫变换投影矩阵的极大值点，其累计值连续10帧大于总标定帧数的80％，则认为当前结果已经收敛；否则，不收敛。
优选地，步骤S3中确定特征点集时，检验当前匹配追踪的特征点集的覆盖率，如果其包络面对输入图像ROI区域的覆盖率小于输入图像的1/3，则放弃当前匹配追踪的特征点集 重新计算输入图像的特征点集。
优选地，步骤S9中进行特征集筛选的步骤为：
计算出每一个采样点的位移矢量
对于任意点对其位移矢量为
如果超出了输入图像的ROI边界，则在当前特征集 中删除点以上一帧所得到的消失点VPk-1作为参考点，如果VPk-1到所表示直线的距离大于预设阈值，说明当前匹配点对为误匹配，则在当前特征点集中删除
优选地，步骤S8中曲面拟合的方法为最小二乘法。
(三)有益效果
本发明运用计算速度很快的FAST特征提取图像的特征点，运用特征光流追踪计算出特征的匹配点，进而对特征集和外点进行筛选、剔除，最后运用霍夫变换投影矩阵在时间轴累加计算最优极值点，即最终输出的消失点，从而有效解决了车载红外相机在线自动标定问题。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合实施例，对本发明的具体实施方式作进一步详细描述。
红外夜视辅助驾驶***的重要作用就是目标检测及告警，而目标状态的估计准确性直接依赖于相机参数的准确性。因此相机的外部参数标定对于车载辅助驾驶***来说至关重要，尤其是相机的俯仰角和偏航角，本发明所针对的情况为车载红外夜视辅助驾驶***中的相机自动标定，***所采用的相机为定焦相机。当假设相机在相邻两帧图 像间隔时间内是前后平移运动的，那么图像特征点匹配的结果必然是以消失点为中心发散的。所以，本发明的在线标定方法的核心是解决消失点准确计算问题。为准确计算消失点，需要解决图像特征点快速提取和匹配跟踪、外点剔除、特征集筛选、霍夫变换投影矩阵计算、极大值寻优等问题。本发明运用计算速度很快的FAST特征提取图像的特征点，运用特征光流追踪计算出特征的匹配点，进而对特征集和外点进行筛选、剔除，最后运用霍夫变换投影矩阵在时间轴累加计算最优极值点，即最终输出的消失点，从而有效解决了车载红外相机在线自动标定问题。
本发明提供的一种车载单目红外相机外参自动标定方法，包括以下步骤：
S1、初始化累计霍夫变换(Hough Transform)投影矩阵D为0；
S2、初始化帧间霍夫变换投影矩阵D(k,p)，p表示图像中的像素，k表示帧号；
S3、对于当前输入图像，在ROI区域内确定待匹配追踪的特征点集对特征点集进行匹配追踪得到匹配特征点集N为特征点的数量；所采用的特征点集中的特征点为FAST特征点，FAST特征具有提取计算速度快的优点；确定特征点集时，检验当前匹配追踪的特征点集 的覆盖率，如果其包络面对输入图像ROI区域的覆盖率小于输入图像的1/3，则放弃当前匹配追踪的特征点集重新计算输入图像的特征点集。
S4、对于N个匹配点对，每一对匹配的特征点形成一条直线，即对应N条直线，任意两条不平行的直线计算出一个交点，该交点 为光轴消失点(Vanishing Point)候选点，N个匹配点对，最多得到条直线；
S5、对任意一条直线计算其与输入图像平面相交的像素点，对于相交像素点p，其帧间霍夫变换投影矩阵D(k,p)加1；
S6、二值化D(k,p)：一般情况下，D(k,p)中的极大值点非唯一的。所以对于每两帧之间的投影矩阵D(k,p)中的任意元素，如果其值大于0.7N，二值化为1，否则为0，二值化后的帧间投影矩阵为D’(k)；
S7、更新累计霍夫变换投影矩阵为D+D’(k)；
S8、求取D+D’(k)的极大值点输出：如果极大值点不唯一，则进行最小二乘法曲面拟合，求拟合后曲面的顶点，作为当前的消失点VPk；
S9、判断是否满足收敛条件，如果满足，则结束标定；如果不满足，则进行特征集筛选后返回步骤S3继续下一帧图像标定流程。
步骤S9的收敛条件为：
如果累计霍夫变换投影矩阵的极大值点，其累计值连续10帧大于总标定帧数的80％，则认为当前结果已经收敛；否则，不收敛。
步骤S9中进行特征集筛选的步骤为：
计算出每一个采样点的位移矢量
对于任意点对其位移矢量为
如果超出了输入图像的ROI边界，则在当前特征集 中删除点以上一帧所得到的消失点VPk-1作为参 考点，如果VPk-1到所表示直线的距离大于预设阈值，说明当前匹配点对为误匹配，则在当前特征点集中删除
本发明的应用方式如下：
1、选择一段较长的直线平滑道路作为相机标定路段，假设车辆在平直的道路上以一定的速度直线平滑行驶不小于5分钟；并假设相机的内部参数准确已知，包括焦距、像元尺寸和图像大小；
2、从某一运行时刻，启动相机自动标定程序；
3、自动标定程序实时进行特征集匹配追踪，计算帧间投影矩阵；如果当前匹配追踪特征集的基数小于一定阈值，则重新在当前帧计算特征点集；
4、累加计算投影矩阵D；
5、重复(3)(4)，直到收敛或手动结束标定程序；
6、***根据消失点计算结果，重新计算俯仰角和偏航角，并提示客户，以确认标定数据正确；
7、确认标定成功，数据装订。重新标定的相机俯仰角和偏航角外参数，需装订到相机存储器中，覆盖原来的参数。
可以看出，本发明针对车载红外相机外参数的自动标定需求，开发了在线标定算法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种车载单目红外相机外参自动标定方法，其特征在于，包括以下步骤：
S1、初始化累计霍夫变换投影矩阵D为0；
S2、初始化帧间霍夫变换投影矩阵D(k,p)，p表示图像中的像素，k表示帧号；
S3、对于当前输入图像，在ROI区域内确定待匹配追踪的特征点集对特征点集进行匹配追踪得到匹配特征点集N为特征点的数量；所采用的特征点集中的特征点为FAST特征点；
S4、对于N个匹配点对，每一对匹配的特征点形成一条直线，即对应N条直线，任意两条不平行的直线计算出一个交点，该交点为光轴消失点候选点，N个匹配点对，最多得到条直线；
S5、对任意一条直线计算其与输入图像平面相交的像素点，对于相交像素点p，其帧间霍夫变换投影矩阵D(k,p)加1；
S6、二值化D(k,p)：对于每两帧之间的投影矩阵D(k,p)中的任意元素，如果其值大于0.7N，二值化为1，否则为0，二值化后的帧间投影矩阵为D’(k)；
S7、更新累计霍夫变换投影矩阵为D+D’(k)；
S8、求取D+D’(k)的极大值点输出：如果极大值点不唯一，则进行曲面拟合，求拟合后曲面的顶点，作为当前的消失点VPk；
S9、判断是否满足收敛条件，如果满足，则结束标定；如果不满足，则进行特征集筛选后返回步骤S3继续下一帧图像标定流程。
2.如权利要求1所述的方法，其特征在于，步骤S3中确定特征点集时，检验当前匹配追踪的特征点集的覆盖率，如果其包络面对输入图像ROI区域的覆盖率小于输入图像的1/3，则放弃当前匹配追踪的特征点集重新计算输入图像的特征点集。
3.如权利要求1所述的方法，其特征在于，步骤S9中进行特征集筛选的步骤为：
计算出每一个采样点的位移矢量
对于任意点对其位移矢量为
如果超出了输入图像的ROI边界，则在当前特征集中删除点以上一帧所得到的消失点VPk-1作为参考点，如果VPk-1到所表示直线的距离大于预设阈值，说明当前匹配点对为误匹配，则在当前特征点集中删除
4.如权利要求1至3中任一项所述的方法，其特征在于，步骤S8中曲面拟合的方法为最小二乘法。
CN201510856808.4A 2015-11-30 2015-11-30 车载单目红外相机外参自动标定方法 Active CN105513056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510856808.4A CN105513056B (zh) 2015-11-30 2015-11-30 车载单目红外相机外参自动标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510856808.4A CN105513056B (zh) 2015-11-30 2015-11-30 车载单目红外相机外参自动标定方法

Publications (2)

Publication Number Publication Date
CN105513056A CN105513056A (zh) 2016-04-20
CN105513056B true CN105513056B (zh) 2018-06-19

Family

ID=55721013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510856808.4A Active CN105513056B (zh) 2015-11-30 2015-11-30 车载单目红外相机外参自动标定方法

Country Status (1)

Country Link
CN (1) CN105513056B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206430A1 (en) * 2016-01-19 2017-07-20 Pablo Abad Method and system for object detection
CN106875448B (zh) * 2017-02-16 2019-07-23 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN107437264B (zh) * 2017-08-29 2020-06-19 重庆邮电大学 车载相机外部参数自动检测与校正方法
CN107728617B (zh) * 2017-09-27 2021-07-06 速感科技（北京）有限公司 多目在线标定方法、可移动机器人及***
CN110310335B (zh) * 2018-03-27 2021-11-05 杭州海康威视数字技术股份有限公司 一种相机角度确定方法、装置、设备及***
CN111612849A (zh) * 2020-05-12 2020-09-01 深圳市哈工大交通电子技术有限公司 一种基于流动车辆的摄像机标定方法及***
CN113592953B (zh) * 2021-07-20 2023-05-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN116193108B (zh) * 2023-04-24 2023-07-07 知行汽车科技(苏州)股份有限公司 一种摄像头在线自校准方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661617A (zh) * 2008-08-30 2010-03-03 深圳华为通信技术有限公司 摄像机标定的方法及装置
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和***
CN104236478A (zh) * 2014-09-19 2014-12-24 山东交通学院 一种基于视觉的车辆外廓尺寸自动测量***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI420906B (zh) * 2010-10-13 2013-12-21 Ind Tech Res Inst 興趣區域之追蹤系統與方法及電腦程式產品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661617A (zh) * 2008-08-30 2010-03-03 深圳华为通信技术有限公司 摄像机标定的方法及装置
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN103824278A (zh) * 2013-12-10 2014-05-28 清华大学 监控摄像机的标定方法和***
CN104236478A (zh) * 2014-09-19 2014-12-24 山东交通学院 一种基于视觉的车辆外廓尺寸自动测量***及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于单视图的摄像机标定及其应用;高红波;《中国优秀硕士学位论文全文数据库信息科技辑》;20091115;第2009年卷(第11期);全文 *
点线光流预测机制的图像序列运动直线跟踪;张聪炫等;《中国图象图形学报》;20150916;第20卷(第9期);全文 *
结构光视觉引导的轨迹跟踪***的标定技术;李龙等;《计算机工程与应用》;20121121;第50卷(第16期);全文 *

Also Published As

Publication number Publication date
CN105513056A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105513056B (zh) 车载单目红外相机外参自动标定方法
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN108647638B (zh) 一种车辆位置检测方法及装置
US10354151B2 (en) Method of detecting obstacle around vehicle
KR101584693B1 (ko) 카메라 파라미터 측정 장치 및 그 방법
CN105894817B (zh) 车辆违章停车的取证方法及其装置
WO2017138216A1 (ja) キャリブレーションシステム、キャリブレーション装置
EP3678096A1 (en) Method for calculating a tow hitch position
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及***
CN111336951A (zh) 用于校准图像传感器的外部参数的方法和设备
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
CN107792070A (zh) 车辆的驾驶辅助装置
CN113580134B (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
CN113256739A (zh) 车载bsd摄像头的自标定方法、设备和存储介质
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN111985300A (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
US20090099767A1 (en) Light stripe detection method for indoor navigation and parking assist apparatus using the same
WO2021110497A1 (en) Estimating a three-dimensional position of an object
WO2015090691A1 (de) Verfahren zum erzeugen eines umgebungsmodells eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
KR20180022277A (ko) 블랙박스영상 기반 차간거리 측정 시스템
JP6841553B2 (ja) 撮像装置
CN115507815A (zh) 一种目标测距方法、装置及车辆
CN108961337A (zh) 车载相机航向角标定方法和装置、电子设备以及车辆
CN114037977A (zh) 道路灭点的检测方法、装置、设备及存储介质
KR20230074590A (ko) 빗물, 빛 번짐, 및 먼지가 있는 카메라 이미지의 보정

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant