CN109960977B - 基于图像分层的显著性预处理方法 - Google Patents

基于图像分层的显著性预处理方法 Download PDF

Info

Publication number
CN109960977B
CN109960977B CN201711416957.4A CN201711416957A CN109960977B CN 109960977 B CN109960977 B CN 109960977B CN 201711416957 A CN201711416957 A CN 201711416957A CN 109960977 B CN109960977 B CN 109960977B
Authority
CN
China
Prior art keywords
image
saliency
target
background image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711416957.4A
Other languages
English (en)
Other versions
CN109960977A (zh
Inventor
田雨农
苍柏
唐丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201711416957.4A priority Critical patent/CN109960977B/zh
Publication of CN109960977A publication Critical patent/CN109960977A/zh
Application granted granted Critical
Publication of CN109960977B publication Critical patent/CN109960977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于图像分层的显著性预处理方法，属于车辆识别检测领域，技术要点：用显著性分析图减去拉伸图像，得到突出的目标图像，该目标图像是分离出来的第一层图像，由背景图像中分离出来的包含目标物体的子背景图像为第二背景图像，从第二背景图像中，将目标物体分离出来；同时，将子背景图像映射到0‑255的范围内，得到拉伸的子背景图像；效果：利用逐层剥离的手段将阴影与道路、车辆与阴影逐步剥离开，然后再进行车辆边界的修正，并精确检测的方法。

Description

基于图像分层的显著性预处理方法
技术领域
本发明属于车辆识别检测领域，涉及一种基于对比度与显著性分析的车辆检测方法。
背景技术
作为FCW(前方碰撞预警，Front Collision Warning)中重要的一环，基于视觉传感器的移动车辆检测成为众多同行研究的焦点之一。传统的基于视觉传感器的移动车辆检测技术主要应用在高速公路上或城市快道上，这些道路背景干净，干扰比较少，基本不受城市高楼等的阴影影响，所以整体的检测效果比较理想。而在普通道路上，由于车辆在道路上行驶的过程中，容易受到周围高楼的投影影响或马路两侧树木阴影的影响，以及其他物体的干扰，导致车辆检测效果出现很大程度的滑坡，检出率降低而虚警增高。
发明内容
为了解决上述问题，本发明提出如下方案：一种基于图像分层的显著性预处理方法，步骤是：
遍历图像统计输入图像各个像素的频率并记录像素最大最小值；
对计算每个像素值到其他像素值的距离之和作为衡量该点像素对比度的一种度量。
使用各个像素点的距离之和取指数运算，作为该点的显著性特征值；得到整幅图像的显著性分析图像；
在遍历图像的过程中，将显著性特征值的最大值与最小值记录下来；
对显著性分析图像进行均值滤波以增强其边缘部分。
计算距离之和的变化幅度，使用上面的最大值-最小值，将原始图像映射到0-255的范围内；同时，将特征图像也映射到0-255的范围内；
用显著性分析图减去拉伸图像，得到突出的目标图像，该目标图像是分离出来的第一层图像，由背景图像中分离出来的包含目标物体的子背景图像为第二背景图像，从第二背景图像中，将目标物体分离出来；同时，将子背景图像映射到0-255的范围内，得到拉伸的子背景图像；
使用拉伸后的子背景图像减去前面的显著性图，得到二次分层后的目标图；
对目标图像进行二值化获得突出的显著性对象的二值图像。
有益效果：利用逐层剥离的手段将阴影与道路、车辆与阴影逐步剥离开，然后再进行车辆边界的修正，并精确检测的方法。
附图说明
图1车辆检测总体流程图；
图2基于图像分层技术的目标区域确定流程图。
具体实施方式
如图1所示，本发明使用经过采样的图像Y通道信息进行车辆目标的检测。首先经过基于图像分层的显著性分析来进行预处理，得到筛选后的含有目标车辆的候选区域；然后，对含有目标车辆的候选目标区域进行边界修正；之后，将修正后的含有目标车辆的候选区域送给分类器进行精确判断；之后，根据多帧联合机制与图像去重合机制处理后得到最终的目标车辆区域。
(一)基于图像分层的显著性预处理
首先，本发明遍历图像统计输入图像各个像素的频率并记录像素最大最小值。
然后，对计算每个像素值到其他像素值的距离之和(这里使用欧式距离，但不限于欧式距离)，作为衡量该点像素对比度的一种度量。
下一步，利用前面的各个像素点的距离之和(这里使用欧式距离，但不限于欧式距离) 取一定的指数运算，作为该点的显著性特征值。这里所取的指数值与需检测的目标物体在图像中的对比度强烈程度有关，故此需要具体问题具体设定。
从而在这一步得到了整幅图像的显著性分析图像。在遍历图像的过程中，将显著性特征值的最大值与最小值记录下来；
然后，本发明对上一步中的显著性分析图像进行均值滤波，以增强其边缘部分。此步的均值滤波可以具有方向倾斜，比如想增强水平方向边缘，可以使用3*1的均值滤波模板。
再然后，计算距离之和的变化幅度，即使用上面的最大值-最小值，将原始图像映射到 0-255的范围内；同时，将特征图像也映射到0-255的范围内；
下一步，将用显著性分析图减去拉伸图像，得到突出的目标图像，该目标图像既可以认为是分离出来的第一层图像。由于其是由背景图像中分离出来的包含目标物体的子背景图像，所以我们又称之为第二背景图像。那么下面本发明将从第二背景图像中，将目标物体分离出来；同时，将子背景图像映射到0-255的范围内，得到拉伸的子背景图像；
进一步，使用拉伸后的子背景图像减去前面的显著性图，得到二次分层后的目标图像；
对上面目标图像进行二值化即可获得突出了的显著性对象的二值图像。
(二)对含有目标车辆的候选目标区域进行边界修正
根据前面的处理结果，可以将二值化的图中中长度满足要求的候选线作为目标车辆的底边候选线，然后以底边候选线的长作为边长画正方形候选区域，对各个矩形候选区域进行边界检查，不符合的矩形候选区域需要要去除。
然后，对底边进行上浮与左右扩充操作，与原底边形成一个感兴趣区域
对上面新的感兴趣区域进行尺度判断。
如果尺度小于等于最小宽度(预先设定在抽样图像中可以分辨车辆的最小宽度)，则需要将感兴趣区域映射返回到原图像中，在原图像的感兴趣区域中求取竖直方向的sobel梯度；否则直接在抽样图像中求取感兴趣区域的竖直sobel梯度；
下一步，将sobel梯度图投影到水平方向得到GGY图；
然后，根据竖直梯度计算车两侧，此处调节默认车的两侧即左右边界在候选区域的左右二分之一区域内，否则该方法无效。
所以该方法是基于前面的底边界定的具有一定程度的准确性的前提下进行的。
根据竖直梯度计算车的左右边界时，首先将前面计算得到的竖直梯度求取绝对值，然后求得的绝对值投影到水平方向；
之后，在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标，将最大值的坐标定为左右边界的候选之一；
由于，求得的最大值未必就是车的左右边界，因而在前面求得的最大值的某个极小的邻域内将前面的梯度绝对值在水平方向的投影置零；
然后，再在水平方向的左右各1/2区域内求取邻域内的最大值并返回最大值的坐标，将最大值的坐标定为左右边界的候选之一；
这样左右边界各有两个候选坐标，下面需要从中选出置信度相对高的候选坐标；
(一)对左右边界的候选坐标进行过滤
在前面确定了车辆左右边界的候选坐标后，根据底边的长度是否满足大于阈值，决定是否回到原图进行下面操作；
取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在左侧候选坐标A的左侧取这样一个临时区域LA1，在左侧候选坐标A的右侧取这样一个临时区域，将两个区域做差LA1-LA2然后求和，将最后的和Sum_LA作为左侧候选坐标A的可信度分数；
同理，取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在左侧候选坐标B的左侧取这样一个临时区域LB1，在左侧候选坐标B的右侧取这样一个临时区域，将两个区域做差LB1-LB2然后求和，将最后的和Sum_LB作为左侧候选坐标A的可信度分数；取Sum_LA与Sum_LB中最大值对应的候选坐标作为左侧坐标；
类似的，取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在右侧侧候选坐标 A的左侧取这样一个临时区域RA1，在右侧候选坐标A的右侧取这样一个临时区域，将两个区域做差RA1-RA2然后求和，将最后的和Sum_RA作为右侧候选坐标A的可信度分数；
同理，取宽度的1/5作为临时高度，取宽度的1/3作为临时高度，在右侧候选坐标B的左侧取这样一个临时区域LB1，在右侧候选坐标B的右侧取这样一个临时区域，
将两个区域做差LB1-LB2然后求和，将最后的和Sum_LB作为右侧候选坐标A的可信度分数；取Sum_RA与Sum_RB中最大值对应的候选坐标作为右侧坐标；
(三)将修正后的目标候选区域进行精确判断
将(二)中确定的修正后的目标区域送给分类器进行判断(此处分类器可以是Adaboost、 SVM、CNN等，但不局限于此)，将判断为“是车辆”的目标区域送给去重合模块；
(四)多帧联合与去重合
根据当前帧前面的多帧图像在一定邻域范围内一直有检测目标车辆的结果，当前帧在该邻域内也产生一定的候选窗口，同样送给上面的分类器进行判断。将判断为“是车辆”的目标区域送给去重合模块。
去重合模块在汇总了所有的目标区域后，对其进行是否重合的判定，然后对有重合区域的目标区域进行置信度判定，将置信度高的目标区域留下，置信度低的目标窗口去除。
最后，输出目标窗口区域坐标，完成车辆检测。
1、本发明利用分层的显著性分析手段，将车辆与周围环境的对比度逐步反映出来，通过阴影区域与背景区域的分离，阴影区域与目标车辆的分离，逐步实现复杂背景中，目标车辆与背景图像的分离，解决了复杂背景中车辆与背景难以分离的难题，同时也逐步的过滤掉许多干扰，进而在一定程度上降低了虚警。
2、本发明基于相对准确的车辆底边信息，根据车辆底边扩充区域内的竖直方向梯度在水平方向上的投影，利用其峰值变化特性求出车辆左右边界的候选区域，方法计算量小，可靠性高，可以相对快速准确地获取车辆坐标边界信息；
3、本发明当前帧检测出来的目标车辆区域与之前多帧联合检测出来的候选目标区域都进行分类器判别，并利用窗口去重合机制去除有重叠区域的目标区域，提高了车辆的检出率，同时在一定程度上抑制了虚警。
本发明利用显著性分析的手段将目标车辆突出，利用显著性图像与拉伸图像都是对原始图像在一定程度的对比度拉伸的特性，通过将距离和进行一定程度的指数运算，在一定程度增强局部对比度后，对拉伸图像做差，从而抑制背景信息的方法。本发明利用分层的显著性分析手段确定出候选目标区域，然后通过梯度幅值与对比度分析等手段修正车辆边界，并进行精确检测的方法。

Claims (2)

1.一种基于图像分层的显著性预处理方法，其特征步骤是：
遍历图像统计输入图像各个像素的频率并记录像素最大最小值；
对计算每个像素值到其他像素值的距离之和作为衡量该点像素对比度的一种度量；
使用各个像素点的距离之和取指数运算，作为该点的显著性特征值；得到整幅图像的显著性分析图像；
在遍历图像的过程中，将显著性特征值的最大值与最小值记录下来；
对显著性分析图像进行均值滤波以增强其边缘部分；
计算距离之和的变化幅度，使用上面的最大值-最小值，将原始图像映射到0-255的范围内；同时，将特征图像也映射到0-255的范围内；
用显著性分析图减去拉伸图像，得到突出的目标图像，该目标图像是分离出来的第一层图像，由背景图像中分离出来的包含目标物体的子背景图像为第二背景图像，从第二背景图像中，将目标物体分离出来；同时，将子背景图像映射到0-255的范围内，得到拉伸的子背景图像；
使用拉伸后的子背景图像减去前面的显著性图，得到二次分层后的目标图；
对目标图像进行二值化获得突出的显著性对象的二值图像。
2.如权利要求1所述的基于图像分层的显著性预处理方法，其特征在于，所述均值滤波具有方向倾斜，为增强水平方向边缘，使用3*1的均值滤波模板。
CN201711416957.4A 2017-12-25 2017-12-25 基于图像分层的显著性预处理方法 Active CN109960977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711416957.4A CN109960977B (zh) 2017-12-25 2017-12-25 基于图像分层的显著性预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711416957.4A CN109960977B (zh) 2017-12-25 2017-12-25 基于图像分层的显著性预处理方法

Publications (2)

Publication Number Publication Date
CN109960977A CN109960977A (zh) 2019-07-02
CN109960977B true CN109960977B (zh) 2023-11-17

Family

ID=67020602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711416957.4A Active CN109960977B (zh) 2017-12-25 2017-12-25 基于图像分层的显著性预处理方法

Country Status (1)

Country Link
CN (1) CN109960977B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101026778B1 (ko) * 2011-01-26 2011-04-11 주식회사보다텍 차량 영상 검지 장치
KR20130000023A (ko) * 2011-06-22 2013-01-02 (주)새하소프트 영상의 장면 정보를 이용한 전방 차량 검출 방법
CN104050477A (zh) * 2014-06-27 2014-09-17 西北工业大学 基于道路辅助信息和显著性检测的红外图像车辆检测方法
CN106951898A (zh) * 2017-03-15 2017-07-14 纵目科技（上海）股份有限公司 一种车辆候选区域推荐方法及***、电子设备
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2249307B1 (en) * 2009-05-05 2019-07-03 InterDigital Madison Patent Holdings Method for image reframing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101026778B1 (ko) * 2011-01-26 2011-04-11 주식회사보다텍 차량 영상 검지 장치
KR20130000023A (ko) * 2011-06-22 2013-01-02 (주)새하소프트 영상의 장면 정보를 이용한 전방 차량 검출 방법
CN104050477A (zh) * 2014-06-27 2014-09-17 西北工业大学 基于道路辅助信息和显著性检测的红外图像车辆检测方法
CN106951898A (zh) * 2017-03-15 2017-07-14 纵目科技（上海）股份有限公司 一种车辆候选区域推荐方法及***、电子设备
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视觉显著性和目标置信度的红外车辆检测技术;齐楠楠;姜鹏飞;李彦胜;谭毅华;;红外与激光工程(06);全文 *
多车道复杂环境下前方车辆检测算法;孔栋;黄江亮;孙亮;钟志伟;孙一帆;;河南科技大学学报(自然科学版)(02);全文 *

Also Published As

Publication number Publication date
CN109960977A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN105488454B (zh) 基于单目视觉的前方车辆检测与测距
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
EP2811423B1 (en) Method and apparatus for detecting target
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
CN103559791B (zh) 一种融合雷达和ccd摄像机信号的车辆检测方法
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
CN106815583B (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN105203552A (zh) 一种360°踏面图像检测***及其检测方法
CN102609720B (zh) 一种基于位置校正模型的行人检测方法
CN108280450A (zh) 一种基于车道线的高速公路路面检测方法
CN104183127A (zh) 交通监控视频检测方法和装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN101634705B (zh) 基于方向信息测度的sar图像目标变化检测方法
CN106951898B (zh) 一种车辆候选区域推荐方法及***、电子设备
CN107909009B (zh) 一种基于路面学习的障碍物检测方法与装置
CN104809433A (zh) 一种基于最大稳定区域和随机采样的斑马线检测方法
CN103632376A (zh) 一种两级框架的车辆部分遮挡消除方法
CN106886988B (zh) 一种基于无人机遥感的线性目标检测方法及***
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及***
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
Hernández et al. Lane marking detection using image features and line fitting model
CN108268866B (zh) 一种车辆检测方法和***
CN108629226B (zh) 一种基于图像分层技术的车辆检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant