CN110766747A - 基于热成像技术的前方车辆的定位方法 - Google Patents
基于热成像技术的前方车辆的定位方法 Download PDFInfo
- Publication number
- CN110766747A CN110766747A CN201910943577.9A CN201910943577A CN110766747A CN 110766747 A CN110766747 A CN 110766747A CN 201910943577 A CN201910943577 A CN 201910943577A CN 110766747 A CN110766747 A CN 110766747A
- Authority
- CN
- China
- Prior art keywords
- axis
- image
- cloud
- thermal imaging
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000005516 engineering process Methods 0.000 title claims abstract description 10
- 239000000779 smoke Substances 0.000 claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于热成像技术的前方车辆的定位方法,包括热成像摄像头标定与硬件安装、尾气云图像识别检测、建立图像坐标系、通过二值图像的遍历,确定烟雾云在图像中所在的区域、烟雾云质心标定、确定本车相对前车位置等步骤;有益效果:本发明利用热成像原理对前方车辆尾气进行检测,从而获得前方车辆与本车的位置关系,能够解决雷达或者摄像头在光线较弱或者复杂的情况下无法准确判断本车与前方车辆的位置关系的问题。
Description
技术领域
本发明涉及一种前方车辆的定位方法,特别涉及一种基于热成像技术的前方车辆的定位方法,属于车辆工程技术领域。
背景技术
车辆在行驶过程中需要保持与前方车辆的距离,车辆的智能化方面如果要实现无人驾驶、自动跟车或者防撞功能等技术时,首先要做的就是确定前方车辆与本车之间的位置关系。
目前车辆主要采用单目摄像头对车道线位置检测,配合车载远距雷达来实现车辆道路位置的确定,车载远距雷达对于周围环境物体的感知精准,但检测角度范围较小且价格高昂。在车况环境复杂的道路上,车载远距雷达能发挥很好的效果,采用远距车载雷达成本较高,受环境影响较大无法在夜间或者光线复杂的情况下完成两车位置的测定。
发明内容
发明目的:针对现有技术中存在的问题,本发明公开了一种基于热成像技术的前方车辆的定位方法,利用热成像原理对前方车辆尾气进行检测,从而获得前方车辆与本车的位置关系,能够解决雷达或者摄像头在光线较弱或者复杂的情况下无法准确判断本车与前方车辆的位置关系的问题。
技术方案:一种基于热成像技术的前方车辆的定位方法,包括以下步骤:
步骤一、热成像摄像头标定与硬件安装:热成像摄像头视线中心与地面保持平行,拍摄方向与纵向车身保持一致,图像分辨率=l·w;
步骤二、尾气云图像识别检测:通过热成像摄像头对前方环境进行检测,通过图像采集、形态学滤波、阈值分割后得到尾气云图像的二值图像;
步骤三、建立图像坐标系,以热成像摄像头中心位置作为坐标原点;
步骤四、通过二值图像的遍历,确定烟雾云在图像中所在的区域;
步骤五、烟雾云质心标定;
步骤六、确定本车相对前车位置:
a、根据几何关系确定图像大小与实际距离的比例关系;
b、确定尾气云质心位置相对于汽车前进方向的偏离角度;
c、根据图像确定前车与本车的实际距离。
本发明首先通过热成像摄像头对前方车辆尾气进行图像采集,对采集后的热感应图像进行灰度处理,图像滤波,和全局二值化处理。通过图像遍历的方式,对车辆尾气云质心位置进行分析,从而在图像上识别尾气云与尾气云质心在图像中的位置;通过热成像摄像头的标定,换算出本车实际与前车的相对位置距离及前方车辆纵向偏离位置关系。
进一步,所述步骤四中遍历方法为:
第一象限遍历:在图像第一象限对图像在y轴正方向进行遍历,并记录烟雾云在图像中y轴方向边界;在x轴正方向进行遍历,并记录x轴方向边界;
存在出现某行不全为0时记录此y轴坐标y1,继续进行y轴遍历,出现某行全不为0且下一行全为0或时再次记录此y轴坐标y2,x=y1,x=y2即为烟雾云在图像中y轴方向边界;继续在y轴正方向遍历,寻找烟雾云y轴方向边界,记为yn(n=1,2,3,....);
同样在x轴正方向进行遍历,若存在某列不全为0时记录此x轴坐标x1,继续进行x轴遍历,出现某列全不为0且下一列全为0或时再次记录此x轴坐标x2,y=x1,y=x2即为烟雾云在图像中x轴方向边界,继续在x轴正方向遍历,寻找烟雾云x轴方向边界,记为xn(n=1,2,3,....)。
同样第二象限沿y轴负方向和x轴正方向遍历,第三象限沿y轴负方向和x轴负方向遍历,第四象限沿y轴正方向,x轴正方向遍历;
进一步,所述步骤四中确定烟雾云在图像中所在的区域方法为:
烟雾所在区域仅可能在
构成的矩形区域内;
烟雾云判定方法:各区域内对二值图像为1的像素点进行统计,若为0,则为无烟雾区,大于0则为烟雾区。
进一步,所述步骤五中烟雾云质心标定方法为:
统计烟雾区域像素点个数记为u;
在x轴方向进行逐列遍历并统计不为0的点个数,直至不为0点个数达到个,停止遍历记录该点y轴坐标y;同样在y轴方向进行逐行遍历并统计不为0的点个数,直至不为0点个数达到个,停止遍历记录该点x轴坐标x;质心点标记为(x,y)。
进一步,所述步骤六中根据几何关系确定图像大小与实际距离的比例关系:
影像上尾气云质心与热成像摄像头下视界距离b与尾气云质心与热成像摄像头下视界在水平地面上的实际距离1的关系,可用下式表示:
其中,热成像摄像头相对于汽车底盘的标记高度h,热成像摄像头下视界与地面交线距离为p,热成像摄像头焦距f,尾气云质心与热成像摄像头下视界距离1,影像上尾气云质心与热成像摄像头下视界距离b。
进一步,所述步骤六中确定尾气云质心位置相对于汽车前进方向的偏离角度为:
其中,f为摄像头焦距,u为摄像头单位像素长度,s为热源质心在图像上离纵向中心线距离。
进一步,所述步骤六中确定前车与本车的实际距离为:
s=x (4)
其中,图像分辨率=l·w尾气云质心点标记为(x,y)
根据式2、式3、式4和式5本车与前车实际距离为:
有益效果:本发明利用热成像原理对前方车辆尾气进行检测,从而获得前方车辆与本车的位置关系,能够解决雷达或者摄像头在光线较弱或者复杂的情况下无法准确判断本车与前方车辆的位置关系的问题。
附图说明
图1为本发明的垂直方向摄像头标定图;
图2为本发明的前方车辆热成像图;
图3为本发明的本车与前车的位置关系示意图;
图4为本发明的控制流程图;
图5为本发明的烟雾云在坐标系内的示意图。
具体实施方式
下面将参照附图详细地描述实施例。
一种基于热成像技术的前方车辆的定位方法,采用热成像摄像头,图像处理软件,移动处理终端;具体包括以下步骤:
步骤一、热成像摄像头标定与硬件安装:热成像摄像头视线中心与地面保持平行,拍摄方向与纵向车身保持一致,图像分辨率=l·w;
步骤二、尾气云图像识别检测:如图2所示,通过热成像摄像头对前方环境进行检测,汽车尾气热量一般比周围环境高30到40度,物体在不同的温度下会释放不同能量的电磁辐射,通过图像采集,形态学滤波,阈值分割后得到尾气云图像的二值图像;
步骤三、建立图像坐标系,将图像分为如图5所示的四个象限,以热成像摄像头中心位置作为坐标原点;
步骤四、通过二值图像的遍历,遍历结果为0,则为此区域无烟雾,遍历结果不为0则为此区域存在烟雾,从而确定烟雾云在图像中所在的区域;
步骤五、烟雾云质心标定;
在图像第一象限对图像在y轴正方向进行遍历,存在出现某行不全为0时记录此y轴坐标y1,继续进行y轴遍历,出现某行全不为0且下一行全为0或时再次记录此y轴坐标y2,x=y1,x=y2即为烟雾云在图像中y轴方向边界。继续在y轴正方向遍历,寻找烟雾云y轴方向边界,记为yn(n=1,2,3,....);同样在x轴正方向进行遍历,若存在某列不全为0时记录此x轴坐标x1,继续进行x轴遍历,出现某列全不为0且下一列全为0或时再次记录此x轴坐标x2,y=x1,y=x2即为烟雾云在图像中x轴方向边界,继续在x轴正方向遍历,寻找烟雾云x轴方向边界,记为xn(n=1,2,3,....)。
此时第一象限遍历完成;
同样第二象限沿y轴负方向和x轴正方向遍历,第三象限沿y轴负方向和x轴负方向遍历,第四象限沿y轴正方向,x轴正方向遍历;
其烟雾所在区域仅可能在
构成的矩形区域内;
其划分效果如图5所示,其中s1s2s3s4烟雾可能出现的区域;
烟雾云判定方法:对图5所示的各区域内对对2值图像为1的像素点进行统计,若为0,则为无烟雾区,大于0则为烟雾区;
在x轴方向找寻一条y轴,使得找寻的y轴两边面积相等,在y轴方向找寻一条x轴,使得找寻的x轴两边面积相等,找寻到的x轴与y轴的交点即为烟雾云质心;
在x轴方向进行逐列遍历并统计不为0的点个数,直至不为0点个数达到个,停止遍历记录该点y轴坐标y。同样在y轴方向进行逐行遍历并统计不为0的点个数,直至不为0点个数达到个,停止遍历记录该点x轴坐标x。质心点标记为(x,y)。
步骤六、确定本车相对前车位置:
a、根据几何关系确定图像大小与实际距离的比例关系;
根据图1所示,在垂直方向的标定图片可知,影像上尾气云质心与热成像摄像头下视界距离b与尾气云质心与热成像摄像头下视界在水平地面上的实际距离1的关系,可用下式表示:
其中,热成像摄像头相对于汽车底盘的标记高度h,热成像摄像头下视界与地面交线距离为p,热成像摄像头焦距f,尾气云质心与热成像摄像头下视界距离l,影像上尾气云质心与热成像摄像头下视界距离b;
b、确定尾气云质心位置相对于汽车前进方向的偏离角度;
尾气云质心位置相对于汽车前进方向的偏离角度为:
其中,f为摄像头焦距,u为摄像头单位像素长度,s为热源质心在图像上离纵向中心线距离;
c、根据图像确定前车与本车的实际距离为:
s=x (4)
其中,图像分辨率=l·w尾气云质心点标记为(x,y)
如图3所示,根据式2、式3、式4和式5本车与前车实际距离为:
Claims (7)
1.一种基于热成像技术的前方车辆的定位方法,其特征在于,包括以下步骤:
步骤一、热成像摄像头标定与硬件安装:热成像摄像头视线中心与地面保持平行,拍摄方向与纵向车身保持一致,图像分辨率=l·w;
步骤二、尾气云图像识别检测:通过热成像摄像头对前方环境进行检测,通过图像采集、形态学滤波、阈值分割后得到尾气云图像的二值图像;
步骤三、建立图像坐标系,以热成像摄像头中心位置作为坐标原点;
步骤四、通过二值图像的遍历,确定烟雾云在图像中所在的区域;
步骤五、烟雾云质心标定;
步骤六、确定本车相对前车位置:
a、根据几何关系确定图像大小与实际距离的比例关系;
b、确定尾气云质心位置相对于汽车前进方向的偏离角度;
c、根据图像确定前车与本车的实际距离。
2.根据权利要求1所述的基于热成像技术的前方车辆的定位方法,其特征在于,所述步骤四中遍历方法为:
第一象限遍历:在图像第一象限对图像在y轴正方向进行遍历,并记录烟雾云在图像中y轴方向边界;在x轴正方向进行遍历,并记录x轴方向边界;
存在出现某行不全为0时记录此y轴坐标y1,继续进行y轴遍历,出现某行全不为0且下一行全为0或时再次记录此y轴坐标y2,x=y1,x=y2即为烟雾云在图像中y轴方向边界;继续在y轴正方向遍历,寻找烟雾云y轴方向边界,记为yn(n=1,2,3,....);
同样在x轴正方向进行遍历,若存在某列不全为0时记录此x轴坐标x1,继续进行x轴遍历,出现某列全不为0且下一列全为0或时再次记录此x轴坐标x2,y=x1,y=x2即为烟雾云在图像中x轴方向边界,继续在x轴正方向遍历,寻找烟雾云x轴方向边界,记为xn(n=1,2,3,....)。
同样第二象限沿y轴负方向和x轴正方向遍历,第三象限沿y轴负方向和x轴负方向遍历,第四象限沿y轴正方向,x轴正方向遍历。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910943577.9A CN110766747B (zh) | 2019-09-30 | 2019-09-30 | 基于热成像技术的前方车辆的定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910943577.9A CN110766747B (zh) | 2019-09-30 | 2019-09-30 | 基于热成像技术的前方车辆的定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110766747A true CN110766747A (zh) | 2020-02-07 |
CN110766747B CN110766747B (zh) | 2023-05-09 |
Family
ID=69330318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910943577.9A Active CN110766747B (zh) | 2019-09-30 | 2019-09-30 | 基于热成像技术的前方车辆的定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766747B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111596284A (zh) * | 2020-05-12 | 2020-08-28 | 河海大学常州校区 | 一种基于热成像技术的三维空间定位装置及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104802735A (zh) * | 2015-05-03 | 2015-07-29 | 上海速朗电子科技有限公司 | 汽车尾气热成像追踪*** |
CN205086849U (zh) * | 2015-10-15 | 2016-03-16 | 常州博显汽车电子有限公司 | 基于前车排气口为测量标志点的双目红外传感*** |
CN106828482A (zh) * | 2016-12-24 | 2017-06-13 | 北汽福田汽车股份有限公司 | 辅助驾驶的方法、装置及车辆 |
KR20180040020A (ko) * | 2016-10-11 | 2018-04-19 | 주식회사 만도 | 운전지원장치 및 운전지원방법 |
-
2019
- 2019-09-30 CN CN201910943577.9A patent/CN110766747B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104802735A (zh) * | 2015-05-03 | 2015-07-29 | 上海速朗电子科技有限公司 | 汽车尾气热成像追踪*** |
CN205086849U (zh) * | 2015-10-15 | 2016-03-16 | 常州博显汽车电子有限公司 | 基于前车排气口为测量标志点的双目红外传感*** |
KR20180040020A (ko) * | 2016-10-11 | 2018-04-19 | 주식회사 만도 | 운전지원장치 및 운전지원방법 |
CN106828482A (zh) * | 2016-12-24 | 2017-06-13 | 北汽福田汽车股份有限公司 | 辅助驾驶的方法、装置及车辆 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111596284A (zh) * | 2020-05-12 | 2020-08-28 | 河海大学常州校区 | 一种基于热成像技术的三维空间定位装置及方法 |
CN111596284B (zh) * | 2020-05-12 | 2023-09-01 | 河海大学常州校区 | 一种基于热成像技术的三维空间定位装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110766747B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107272021B (zh) | 使用雷达和视觉定义的图像检测区域的对象检测 | |
US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
CN106951879B (zh) | 基于摄像头与毫米波雷达的多特征融合车辆检测方法 | |
CN110148169B (zh) | 一种基于ptz云台相机的车辆目标三维信息获取方法 | |
CN108444390B (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
US9064418B2 (en) | Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system | |
CN106289159B (zh) | 基于测距补偿的车辆测距方法及装置 | |
CN110008893B (zh) | 一种基于车载图像传感器的车辆行驶跑偏自动检测方法 | |
Choi et al. | A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles and deep learning based object detection | |
CN113359097B (zh) | 一种毫米波雷达和相机联合标定的方法 | |
EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
CN110334678A (zh) | 一种基于视觉融合的行人检测方法 | |
CN107284455B (zh) | 一种基于图像处理的adas*** | |
JPH11203458A (ja) | 道路形状認識装置 | |
JP6834401B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
CN102483881A (zh) | 人行横道线检测方法及人行横道线检测装置 | |
CN105300390A (zh) | 障碍物体运动轨迹的确定方法及装置 | |
CN110766747B (zh) | 基于热成像技术的前方车辆的定位方法 | |
CN104931024B (zh) | 障碍物检测装置 | |
CN107330936B (zh) | 一种基于单目视觉的双圆形标志物定位方法及*** | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
Jiang et al. | Precise vehicle ego-localization using feature matching of pavement images | |
Zhang et al. | Study on the method of measuring the preceding vehicle distance based on trilinear method | |
CN112162252B (zh) | 一种毫米波雷达与可见光传感器的数据标定方法 | |
Moko et al. | High-Speed Localization Estimation Method Using Lighting Recognition in Tunnels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |