CN105989614B - 融合多源视觉信息的危险物体检测方法 - Google Patents

融合多源视觉信息的危险物体检测方法 Download PDF

Info

Publication number
CN105989614B
CN105989614B CN201510080128.8A CN201510080128A CN105989614B CN 105989614 B CN105989614 B CN 105989614B CN 201510080128 A CN201510080128 A CN 201510080128A CN 105989614 B CN105989614 B CN 105989614B
Authority
CN
China
Prior art keywords
image
motion
visual information
calculating
dangerous object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510080128.8A
Other languages
English (en)
Other versions
CN105989614A (zh
Inventor
袁媛
王�琦
房建武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN201510080128.8A priority Critical patent/CN105989614B/zh
Publication of CN105989614A publication Critical patent/CN105989614A/zh
Application granted granted Critical
Publication of CN105989614B publication Critical patent/CN105989614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种融合多源视觉信息的危险物体检测方法，包括以下步骤：1】多源视觉影像采集；2】增量式运动一致性考量；3】多源视觉信息融合；4】计算检测率。该融合多源视觉信息的危险物体检测方法，解决了现有技术中危险物体检测类别有限、缺乏多种信息有效利用的技术问题。

Description

融合多源视觉信息的危险物体检测方法
技术领域
本发明属于计算机视觉、图像理解领域，具体涉及一种在视频监控中融合多源视觉信息的危险物体检测方法。
背景技术
在行车过程中自动预测可能出现的危险物体是视频监控中的关键技术。通常情况下，由于复杂的物体种类、多变的监控环境、剧烈的相机抖动，使得危险物体检测变得十分困难。目前，对于危险物体的检测方法主要分成两大类：
一是基于检测器的方法，这种方法是利用手动采集的行人或车辆样本事先训练好行人或车辆检测器，然后在监控视频中进行相应目标的检测。Xu等人在文献“Y.Xu,D.Xu,S.Lin,T.Han,X.Cao,and X.Li.Detection of Sudden Pedestrian Crossings forDriving Assistance Systems.IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,42(3):729–739,2012”提出了一种横跨道路的行人检测方法。该文献新颖地利用部分行人样本进行训练，从而使得行人在刚被发现时就可以检测出来。Rezaei和Terauchi在文献“M.Rezaei and M.Terauchi.Vehicle Detection Based on Multi-feature Clues and Dempster-shafer Fusion Theory.In Proceedings of Pacific-RimSymposium on Image and Video Technology,2013,pp.60–72”中提出一种融合多特征和Dempster-shafer技术的车辆检测方法。虽然这些方法可以在一定程度上进行危险物体检测，但其不足之处是都需要额外的训练样本，且不能覆盖所有的出现在车辆前方的物体。
二是基于显著性和颜色特征融合的方法，这种方法将心理学中的注意力选择机制利用显著性检测的方式引入到危险检测中来。比如Alonso等人在文献“J.Alonso,E.R.Vidal,A.Rotter,and M.Muhlenberg.Lane-change Decision Aid System Based onMotion-driven Vehicle Tracking.IEEE Transactions on Vehicular Technology,57(5):2736–2746,2008”中提出一种融合运动显著性和颜色特征的车辆检测方法。该方法存在的不足之处是只考虑了视场一侧的运动显著性，而在真正的驾驶过程中，危险物体出现的位置是不定的，也就是拍摄的左右侧视野均可能出现危险物体。
发明内容
本发明提出一种新的融合多源视觉信息的危险物体检测方法，解决了现有技术中危险物体检测类别有限、缺乏多种信息有效利用的技术问题。
本发明的技术解决方案是：
一种融合多源视觉信息的危险物体检测方法，包括以下步骤：
1】多源视觉影像采集：
1.1】使用多光谱相机实时获得彩***影像和近红外视频影像；
1.2】利用单序列深度恢复方法获得与彩***影像相对应的深度影像；
1.3】利用相关性光流方法获得与彩***影像相对应的运动影像；
1.4】利用线性迭代聚类方法分割运动影像中的每一帧图像，得到超像素网格；
1.5】将超像素网格叠加到彩***影像、近红外视频影像和深度影像上；
2】增量式运动一致性考量：
2.1】将运动影像分界为左侧运动视频帧和右侧运动视频帧，分界线为运动影像中轴线；
2.2】利用初始F帧分割得到的超像素运动模式，训练正常运动模式基A，包括左侧正常运动模式基Al和右侧正常运动模式基Ar；其中F的取值范围为5-20；
2.3】在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yi，其中i＝1:N；
2.4】构建图正则的最小软阈值均方目标式模型：
Figure GDA0002530904690000021
Figure GDA0002530904690000022
其中，U为构建的高斯-拉普拉斯误差项，Y为所有yi组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ1为高斯-拉普拉斯噪声稀疏项约束系数，
Figure GDA0002530904690000031
为几何流行正则项约束系数；
2.5】得到运动影像的危险置信度值计算结果：
Figure GDA0002530904690000032
综合左右两侧计算结果：
Figure GDA0002530904690000033
其中，
Figure GDA0002530904690000034
β为左右两侧的误差平衡系数；
2.6】得到整个运动影像动信息考量下的危险置信度
Figure GDA0002530904690000035
将
Figure GDA0002530904690000036
的值利用最大-最小归一化方法归一化到[0,1]之间；
3】多源视觉信息融合：
3.1】利用基于图评测的显著性计算方法分别计算彩***影像、近红外视频影像和深度影像的显著性结果，得到彩***影像危险置信度St C、近红外视频影像危险置信度
Figure GDA0002530904690000038
和深度影像危险置信度
Figure GDA0002530904690000039
3.2】利用显著性贝叶斯模型
Figure GDA00025309046900000310
融合得到运动影像、彩***影像、近红外视频影像和深度影像危险置信度图
Figure GDA00025309046900000311
3.2.1】计算先验概率Pr(O)：
根据超像素特征在图像空间的出现频率得到元素分布图
Figure GDA00025309046900000312
其中OPT为元素分布图索引；则先验概率为
Figure GDA00025309046900000313
3.2.2】计算似然概率Pr(S(z)|O)：
将得到的
Figure GDA00025309046900000314
二值化，计算目标区域在对应原始视觉图像上的落入
Figure GDA00025309046900000315
中对应数值的像素数
Figure GDA00025309046900000316
计算背景区域在对应原始视觉图像上的落入
Figure GDA00025309046900000317
中对应数值的像素数
Figure GDA00025309046900000318
则目标及背景的似然概率为
Figure GDA0002530904690000041
3.3】计算所有视觉信息贝叶斯化后的融合概率：
Figure GDA0002530904690000042
其中，
Figure GDA0002530904690000043
4】计算检测率：
对每帧影像均重复执行步骤2】-步骤3】，直至整个视频影像被处理完毕；标记视频第t帧中真实的危险物体区域为Gt，检测率为：
TPR＝TP/P,
FPR＝FP/N.
其中，TP为检测正确的像素点个数，FP为检测错误的像素点个数，P为Gt中的目标像素点个数，N为Gt中背景像素点个数。
上述λ1取值0.05，所述
Figure GDA0002530904690000044
取值0.005，所述β取值0.4。
上述步骤3.2.1】中的元素分布图索引OPT为：
Figure GDA0002530904690000045
上述步骤2.2】中的F取值为10。
本发明的优点在于：
本发明同时协同考虑了多源视觉信息的互补性和选择性，所得到的道路危险物体检测结果要明显优于其他的方法。
附图说明
图1为本发明融合多源视觉信息的危险物体检测方法流程图。
具体实施方式
参照图1，本发明实现的步骤如下：
步骤1，多源视觉影像采集模块。
(1a)利用多光谱相机实时获得彩色和近红外视频影像，然后利用单序列深度恢复方法获得对应彩***的深度影像，利用相关性光流方法获得对应彩***的运动影像。将运动影像利用线性迭代聚类(Simple Linear Iterative Clustering，简称SLIC)方法分割成指定数量的超像素图像，并将超像素网格叠加在近红外、深度、彩色图像上，以便于超像素特征计算。
步骤2，增量式运动一致性考量模块。
(2a)将运动图像分界成左右两个部分，分界线为运动图像中轴线；
(2b)利用初始10帧分割得到的超像素运动模式，分别训练左侧正常运动模式基Al和右侧正常运动模式基Ar。利用图正则的最小软阈值均方增量式的方法考量驾驶员视野内的危险运动信息。由于左右两侧运动一致性考量方式相同，为了简洁起见，Al和Ar以A指代。假设在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yi，i＝1:N，然后构建图正则的最小软阈值均方目标式模型：
Figure GDA0002530904690000051
Figure GDA0002530904690000052
U为构建的高斯-拉普拉斯误差项，Y为所有yi组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ1(所有实例中取0.05)为高斯-拉普拉斯噪声稀疏项约束系数，
Figure GDA0002530904690000053
(所有实例中取0.005)为几何流行正则项约束稀疏。
(2c)得到运动影像的危险置信度值计算结果：
Figure GDA0002530904690000054
综合左右两侧计算结果：
Figure GDA0002530904690000055
其中
Figure GDA0002530904690000056
β为左右两侧的误差的平衡系数，所有实例中取0.4。得到整个运动影像动信息考量下的危险置信度
Figure GDA0002530904690000057
将
Figure GDA0002530904690000058
的值利用最大-最小归一化方法归一化到[0,1]之间。
步骤3，多源视觉信息融合模块。
(3a)利用文献“C.Yang,L.Zhang,H.Lu,X.Ruan,and M.Yang.Saliency Detectionvia Graph-based Manifold Ranking.In Proceedings of IEEE Conference onComputer Vision and Pattern Recognition,2013:3166–3173”中的方法计算彩色、近红外及深度通道图像的显著性结果，分别表示为
Figure GDA0002530904690000061
这些结果也可称为彩色、近红外及深度影像的危险置信度图。
(3b)利用显著性贝叶斯模型融合得到的运动、彩色、近红外、深度影像危险置信度图
Figure GDA0002530904690000062
显著性贝叶斯模型为：
Figure GDA0002530904690000063
1)计算先验概率Pr(O)。与以往的显著性融合方法不同，本发明利用一种更加有效的元素分布图
Figure GDA0002530904690000064
来估计这些视觉图像中包含危险目标的先验概率。其中元素分布图利用文献“F.Perazzi,P.
Figure GDA0002530904690000065
Y.Pritch,A.Hornung.Saliency filters:ContrastBased Filtering for Salient Region Detection.In Proceedings of IEEEConf.Computer Vision and Pattern Recognition,2012:733-740”计算得到。其是通过计算图像中待测超像素特征的空间方差变化，也就是计算待测超像素特征在图像其它位置的出现概率。由于元素分布图中值越大，物体性越小。则物体先验概率
Figure GDA0002530904690000066
而最优的元素分布图索引OPT为：
Figure GDA0002530904690000067
2)计算相似然概率Pr(S(z)|O)。将得到的
Figure GDA0002530904690000068
二值化，然后计算目标区域在对应原始视觉图像上的落入
Figure GDA0002530904690000069
中对应数值的像素数
Figure GDA00025309046900000610
同时计算背景区域在对应原始视觉图像上的落入
Figure GDA00025309046900000611
中对应数值的像素数
Figure GDA00025309046900000612
则目标及背景的似然概率为：
Figure GDA00025309046900000613
(3c)计算所有视觉信息贝叶斯化后的融合概率：
Figure GDA00025309046900000614
其中，
Figure GDA0002530904690000071
步骤4，计算检测率。
在影像中每帧执行步骤2和步骤3，直至整个视频被处理完毕。标记视频第t帧中真实的危险物体区域为Gt。则检测率为ROC曲线计算公式：
TPR＝TP/P,FPR＝FP/N.
其中TP为检测正确的像素点个数，FP为检测错误的像素点个数，P为Gt中的目标像素点个数，N为Gt中背景像素点个数。
一种对12段多源视频影像的处理流程，包括如下处理步骤：
1、确定仿真条件
本发明是在中央处理器为
Figure GDA0002530904690000072
i3-3240 3.3GHz CPU、内存4G、WINDOWS 7操作***上，运用MATLAB软件进行的仿真。
仿真中使用的数据为自主采集的12段真实道路场景视频序列。
2、仿真内容
按如下步骤用本发明方法进行危险目标检测：
首先，将计算到的运动影像、原始彩色影像、近红外影像和恢复出的深度影像同时输入***，执行步骤2和步骤3。
其次，将得到的每帧检测结果和真实标记的结果进行受试者可接受测试曲线和曲线下面积值计算结果如表1所示。
表1中的没有PAD字样的方法为直接多种信息点乘得到的结果，本实例中穷举了所有信息组合方式，它们分别是单个运动信息(M)，运动-彩色信息点乘(MC)，运动-近红外信息点乘(MI)，运动-深度信息点乘(MD)，运动-彩色-近红外信息点乘(MCI)，运动-彩色-深度信息点乘(MID)，运动-近红外-深度信息点乘(MID)，运动-彩色-近红外-深度信息点乘(MCID)。PAD-MCID表示基于本发明的方法。为得到的可视化结果图，其中，(a)为原始的彩色影像帧；(b)为真实结果；(c)-(k)分别对应表1中的M，MC，MI，MD，MCI，MCD，MID，MCID，PAD。从表1可见，本发明的识别率要明显高于简单相乘式信息融合方法。
表1 危险物体检测ROC曲线下面积值对比
Figure GDA0002530904690000081

Claims (4)

1.一种融合多源视觉信息的危险物体检测方法，其特征在于：包括以下步骤：
1】多源视觉影像采集：
1.1】使用多光谱相机实时获得彩***影像和近红外视频影像；
1.2】利用单序列深度恢复方法获得与彩***影像相对应的深度影像；
1.3】利用相关性光流方法获得与彩***影像相对应的运动影像；
1.4】利用线性迭代聚类方法分割运动影像中的每一帧图像，得到超像素网格；
1.5】将超像素网格叠加到彩***影像、近红外视频影像和深度影像上；
2】增量式运动一致性考量：
2.1】将运动影像分界为左侧运动视频帧和右侧运动视频帧，分界线为运动影像中轴线；
2.2】利用初始F帧分割得到的超像素运动模式，训练正常运动模式基A，包括左侧正常运动模式基Al和右侧正常运动模式基Ar；其中F的取值范围为5-20；
2.3】在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yi，其中i＝1:N；
2.4】构建图正则的最小软阈值均方目标式模型：
Figure FDA0002530904680000011
Figure FDA0002530904680000012
其中，U为构建的高斯-拉普拉斯误差项，Y为所有yi组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ1为高斯-拉普拉斯噪声稀疏项约束系数，
Figure FDA0002530904680000013
为几何流行正则项约束系数；
2.5】得到运动影像的危险置信度值计算结果：
Figure FDA0002530904680000014
综合左右两侧计算结果：
Figure FDA0002530904680000021
其中，
Figure FDA0002530904680000022
β为左右两侧的误差平衡系数；
2.6】得到整个运动影像动信息考量下的危险置信度
Figure FDA0002530904680000023
将
Figure FDA0002530904680000024
的值利用最大-最小归一化方法归一化到[0,1]之间；
3】多源视觉信息融合：
3.1】利用基于图评测的显著性计算方法分别计算彩***影像、近红外视频影像和深度影像的显著性结果，得到彩***影像危险置信度
Figure FDA0002530904680000025
近红外视频影像危险置信度
Figure FDA0002530904680000026
和深度影像危险置信度
Figure FDA0002530904680000027
3.2】利用显著性贝叶斯模型
Figure FDA0002530904680000028
融合得到运动影像、彩***影像、近红外视频影像和深度影像危险置信度图
Figure FDA0002530904680000029
3.2.1】计算先验概率Pr(O)：
根据超像素特征在图像空间的出现频率得到元素分布图
Figure FDA00025309046800000210
其中OPT为元素分布图索引；则先验概率为
Figure FDA00025309046800000211
3.2.2】计算似然概率Pr(S(z)|O)：
将得到的
Figure FDA00025309046800000212
二值化，计算目标区域在对应原始视觉图像上的落入
Figure FDA00025309046800000213
中对应数值的像素数
Figure FDA00025309046800000214
计算背景区域在对应原始视觉图像上的落入
Figure FDA00025309046800000215
中对应数值的像素数
Figure FDA00025309046800000216
则目标及背景的似然概率为
Figure FDA00025309046800000217
3.3】计算所有视觉信息贝叶斯化后的融合概率：
Figure FDA00025309046800000218
其中，
Figure FDA00025309046800000219
4】计算检测率：
对每帧影像均重复执行步骤2】-步骤3】，直至整个视频影像被处理完毕；标记视频第t帧中真实的危险物体区域为Gt，检测率为：
TPR＝TP/P,
FPR＝FP/N
其中，TP为检测正确的像素点个数，FP为检测错误的像素点个数，P为Gt中的目标像素点个数，N为Gt中背景像素点个数。
2.根据权利要求1所述的融合多源视觉信息的危险物体检测方法，其特征在于：所述λ1取值0.05，所述
Figure FDA0002530904680000031
取值0.005，所述β取值0.4。
3.根据权利要求1或2所述的融合多源视觉信息的危险物体检测方法，其特征在于：所述步骤3.2.1】中的元素分布图索引OPT为：
Figure FDA0002530904680000032
4.根据权利要求3所述的融合多源视觉信息的危险物体检测方法，其特征在于：所述步骤2.2】中的F取值为10。
CN201510080128.8A 2015-02-13 2015-02-13 融合多源视觉信息的危险物体检测方法 Active CN105989614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510080128.8A CN105989614B (zh) 2015-02-13 2015-02-13 融合多源视觉信息的危险物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510080128.8A CN105989614B (zh) 2015-02-13 2015-02-13 融合多源视觉信息的危险物体检测方法

Publications (2)

Publication Number Publication Date
CN105989614A CN105989614A (zh) 2016-10-05
CN105989614B true CN105989614B (zh) 2020-09-01

Family

ID=57042282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510080128.8A Active CN105989614B (zh) 2015-02-13 2015-02-13 融合多源视觉信息的危险物体检测方法

Country Status (1)

Country Link
CN (1) CN105989614B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106767760A (zh) * 2016-12-30 2017-05-31 中国船舶重工集团公司第七0七研究所 基于多维度的多源船舶目标融合方法
CN108665484B (zh) * 2018-05-22 2021-07-09 国网山东省电力公司电力科学研究院 一种基于深度学习的危险源识别方法与***
CN109711239B (zh) * 2018-09-11 2023-04-07 重庆邮电大学 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测***和方法
CN110457990B (zh) * 2019-06-19 2020-06-12 特斯联（北京）科技有限公司 一种机器学习的安防监控视频遮挡智能填补方法与***
CN111832414B (zh) * 2020-06-09 2021-05-14 天津大学 一种基于图正则光流注意力网络的动物计数方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130042844A (ko) * 2011-10-19 2013-04-29 인하대학교 산학협력단 자세 보정 시스템
CN103247074A (zh) * 2013-04-23 2013-08-14 苏州华漫信息服务有限公司 一种结合深度信息与人脸分析技术的3d照相方法
CN103413151A (zh) * 2013-07-22 2013-11-27 西安电子科技大学 基于图正则低秩表示维数约简的高光谱图像分类方法
CN103927551A (zh) * 2014-04-21 2014-07-16 西安电子科技大学 基于超像素相关矩阵的极化sar图像半监督分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130042844A (ko) * 2011-10-19 2013-04-29 인하대학교 산학협력단 자세 보정 시스템
CN103247074A (zh) * 2013-04-23 2013-08-14 苏州华漫信息服务有限公司 一种结合深度信息与人脸分析技术的3d照相方法
CN103413151A (zh) * 2013-07-22 2013-11-27 西安电子科技大学 基于图正则低秩表示维数约简的高光谱图像分类方法
CN103927551A (zh) * 2014-04-21 2014-07-16 西安电子科技大学 基于超像素相关矩阵的极化sar图像半监督分类方法

Also Published As

Publication number Publication date
CN105989614A (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
CN105989614B (zh) 融合多源视觉信息的危险物体检测方法
Wu et al. Lane-mark extraction for automobiles under complex conditions
Rasmussen Texture-Based Vanishing Point Voting for Road Shape Estimation.
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及***
US20170124415A1 (en) Subcategory-aware convolutional neural networks for object detection
Vojíř et al. The enhanced flock of trackers
WO2015010451A1 (zh) 一种从单幅图像检测道路的方法
CN110222667B (zh) 一种基于计算机视觉的开放道路交通参与者数据采集方法
CN103281477A (zh) 基于多级别特征数据关联的多目标视觉跟踪方法
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
CN102156995A (zh) 一种运动相机下的视频运动前景分割方法
CN103093198A (zh) 一种人群密度监测方法及装置
KR20170097265A (ko) 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법
CN105512618A (zh) 视频跟踪方法
Garg et al. Look no deeper: Recognizing places from opposing viewpoints under varying scene appearance using single-view depth estimation
CN105469054A (zh) 正常行为的模型构建方法及异常行为的检测方法
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置
CN107832732B (zh) 基于三叉树遍历的车道线检测方法
Abujayyab et al. Integrating object-based and pixel-based segmentation for building footprint extraction from satellite images
Gupta et al. Robust lane detection using multiple features
CN112990009A (zh) 基于端到端的车道线检测方法、装置、设备及存储介质
CN110135382B (zh) 一种人体检测方法和装置
Cheng Highway traffic flow estimation for surveillance scenes damaged by rain
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN115909219A (zh) 一种基于视频分析的场景变更检测方法与***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant