CN109190455A - 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 - Google Patents

基于高斯混合和自回归滑动平均模型的黑烟车识别方法 Download PDF

Info

Publication number
CN109190455A
CN109190455A CN201810789111.3A CN201810789111A CN109190455A CN 109190455 A CN109190455 A CN 109190455A CN 201810789111 A CN201810789111 A CN 201810789111A CN 109190455 A CN109190455 A CN 109190455A
Authority
CN
China
Prior art keywords
feature
value
pixel
black smoke
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810789111.3A
Other languages
English (en)
Other versions
CN109190455B (zh
Inventor
路小波
陶焕杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810789111.3A priority Critical patent/CN109190455B/zh
Publication of CN109190455A publication Critical patent/CN109190455A/zh
Application granted granted Critical
Publication of CN109190455B publication Critical patent/CN109190455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于高斯混合和自回归滑动平均模型的黑烟车识别方法,包括如下步骤:(1)利用高斯混合模型从道路监控视频中检测车辆运动目标;(2)提取车辆关键区域的三种特征,包括Haar‑like特征,共生矩阵梯度方向直方图特征和局部二值模式傅里叶直方图特征;(3)利用自回归滑动平均模型对每种特征的连续多帧进行建模,得到三个不同模型;(4)对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的分类,结合不同特征的分类结果和连续多帧的综合分析,对当前视频段是否有黑烟车做出判断。本发明可以大大节省传统方法消耗的人力和财力,有利于证据的获取和保存,不影响正常交通,能有效的提高执法效率。

Description

基于高斯混合和自回归滑动平均模型的黑烟车识别方法
技术领域
本发明涉及计算机视觉和模式识别技术领域,特别是涉及基于高斯混合和自回归滑动平 均模型的黑烟车识别方法。
背景技术
污染比较严重的柴油车又称黑烟车,通常在排气孔处会有浓浓的黑烟,其污染一直是机 动车污染治理的重点,及时发现道路上行驶的黑烟车,并由环保部门做进一步的处理,将有 助于降低机动车污染,提高空气质量,减少其对人体的危害。
目前很多城市仍旧采用道路巡查、群众举报和人工视频监控的方式检测道路上的黑烟车, 费时费力,还会影响正常的交通运行,不利于相关车辆违法证据的保存。现在随机计算机视 觉技术和模式识别技术的不断发展,如何采用视频分析的方式自动检测黑烟车越来越成为热 点,非常值得研究。
本发明提供了一种基于视频分析的智能黑烟车检测方法,该发明将高斯混合模型和自回 归滑动平均模型相结合,同时设计了Haar-like特征,共生矩阵梯度方向直方图特征(CoHOG) 和局部二值模式傅里叶直方图特征(LBP-HF),三种特征的融合增加了黑烟车识别的准确率, 降低了误报率。
发明内容
为了以上问题,本发明提供基于高斯混合和自回归滑动平均模型的黑烟车识别方法, 能综合不同类型的静态特征,并引入自回归滑动平均模型刻画关键区域的动态特征,对相 机抖动和车辆阴影具有很高的鲁棒性,能降低噪声的干扰,进一步提高黑烟车的识别率, 降低误报率。为达此目的,本发明提供基于高斯混合和自回归滑动平均模型的黑烟车识别 方法,具体步骤如下,其特征在于:
(1)利用高斯混合模型从道路监控视频中检测车辆运动目标;
(2)提取车辆关键区域的三种特征,包括Haar-like特征,共生矩阵梯度方向直方图特 征和局部二值模式傅里叶直方图特征;
(3)利用自回归滑动平均模型对每种特征的连续多帧进行建模,得到三个不同模型;
(4)对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的分类, 结合不同特征的分类结果和连续多帧的综合分析,对当前视频段是否有黑烟车做出判断。
进一步,步骤(1)中的利用高斯混合模型从道路监控视频中检测车辆运动目标包括如下 步骤:
(11)将每一帧图像转化为灰度图像,并均分为3x3像素的小块,对每个像素块建立高 斯模型,以提高背景建模速度和稳定性,降低噪声的干扰;
(12)模型初始化,以某帧图像一个像素块M为例,该像素块的初始模型利用前N帧序 列图像的像素块序列建立,记作{x1,x2,...,xN},取像素块的灰度平均值μ0和方差初始化第1 个高斯分布的均值和方差,即
其中,I(xi,yj,k)表示该像素块在第k帧图像在位置(x,y)处的像素值;
(13)以第N+1帧为例来说明背景模型的更新方法,
若像素块的灰度值xN+1满足|xN+1i,N|≤2.5σi,N,则该像素块与对应的K个高斯分布匹配, 参数更新如下,
其中,β和ρ分别是高斯分布均值和方差的学***均值,μi,N和σi,N 2为第N+1 帧,第i个高斯模型的均值和方差;
若该像素块的灰度值xN+1与对应的K个高斯分布不匹配,则参数μi,N和σi,N 2保持不变,需 要以xN+1为均值,较大方差和较小权重建立一个新的高斯分布,取代原有K个高斯分布中权 重最小的一个,同时,更新K个高斯分布的权重ωi,N,,
ωi,N+1=(1-α)ωi,N+αMi,N+1,i=1,2,...,K.
其中,α是学习率,对于参数Mi,N+1,当xN+1与第i个高斯分布不匹配时,Mi,N+1=1,否则, Mi,N+1=0;
(14)背景估计,按照的值由大到小,对像素块M的K个高斯分布排序。 取前B个高斯分布作为背景模型,取后K-B个高斯分布作为前景模型,
其中,T是阈值,决定了背景分布个数,
判断像素块M是否属于运动目标,当M的灰度值xN+1与前B个高斯分布中某个匹配时, 认为M为背景像素;否则M为目标像素;
所有目标像素组成的区域即为前景目标区域(车辆目标),为降低误报,需确定关键区域, 以前景目标的包围盒的底边为关键区域的底边,该区域的宽等于车辆目标的宽的0.8倍,高 为60像素,归一化该关键区域为80x120像素,记作Inorm
进一步,步骤(2)中的Haar-like特征的计算包括如下步骤:
(21)Haar-like特征是计算机视觉领域一种常用的特征描述算子,其特征值是一个小 区域内的黑色像素灰度值之和减去白色像素灰度值之和,采用基于块特征的方式替代基于像 素的方式可以降低计算成本,特征选择主要边缘特征,线特征,点特征(中心环绕特征)和对 角特征;
(22)Haar-like特征一般由2-3个矩形块组成,为了提高计算速度,采用积分图的方 法快速计算出矩形内所有灰度的和;
(23)为降低特征维数,使用PCA算法进行特征选择和降维,得到降维后的Haar-like 特征向量,记作FHaar-like
进一步,步骤(2)中的共生矩阵梯度方向直方图特征的计算包括如下步骤:
(24)分别计算归一化关键区域Inorm在位置(x,y)处梯度的幅度mag(x,y)和方向ori(x,y), 即
其中,Inorm(x,y)表示归一化关键区域Inorm在位置(x,y)处的像素值;
(25)将关键区域按照宽高比均分为m×n个小块,小块是无重叠区域的;
(26)选定一种偏移方式对每个小块进行扫描,生成一个共生矩阵,偏移方式是指点对 之间的相对位置,共31种,比如上下关系,左右关系等等,一种偏移方式对应一个共生矩阵,
将每个像素点的梯度方向进行成对的组合,同时将原来的梯度方向划分为8个,范围从0度到360度,即每45度为一个bin,由于每两个像素点组成一个组合,所以共生矩阵的大 小为8x8=64,因此,一种偏移方式得到一个m*n*64的列向量;
(27)变换一种偏移关系在整幅图像上扫描,直到所有偏移方式都扫描一次。这样将会 生成31*64*m*n的列向量,也就是最终的共生矩阵梯度方向直方图特征,记作FCoHOG
进一步,步骤(2)中的局部二值模式傅里叶直方图特征LBP-HF的计算包括如下步骤:
(28)利用下式计算规范型局部二值模式,
其中,P表示局部区域中邻域内像素的数量,R表示圆形邻域的半径,U(LBPP,R)表示领域像 素个数为P,半径为R的图像区域的中心像素的规范型局部二值模式数值,gc区域的中心像 素值,gp(p=1,2,...,P)表示邻域上第p个像素点的像素值;
计算规范型局部二值模式的直方图特征;
(29)对直方图进行离散傅里叶变换,即
其中,P为近邻像素点的个数,Up(n,r)为某一规范化模式,hI(Up(n,r))为图像I中存在Up(n,r) 规范化模式的个数,H(n,u)表示傅里叶变换后的直方图;
(210)利用下式得到局部二值模式傅里叶直方图特征LBP-HF,
其中,表示H(n,u)的复数共轭,FLBP-HF表示局部二值模式傅里叶直方图特征。
进一步,步骤(3)中的利用自回归滑动平均模型对每种特征的连续多帧进行建模包括如 下步骤:
(31)自回归滑动平均模型适用于客观世界大部分的时间序列的分析,且未知参数少, 特性优化逼近程度较好,该模型认为序列当前值是现在和过去的误差以及先前的序列值的线 性组合,其一般形式为,
ξt~WGN(0,σ2)
其中,p表示自回归阶数,q表示滑动平均阶数,均表示自回归系数,θj均表示滑动平均 系数,ξt表示随机干扰值,ξt~WGN(0,σ2)表示ξt为均值为0,方差为σ2的正态白噪声过程, Yi(i=1,2,...,t.)表示时刻i的序列值;
(32)引入概率描述策略,变换上述模型公式为
(33)建立最小二乘问题,采用最基本的最速下降法估计模型参数,
对于同一关键区域,特征含有FHaar-like,FCoHOG和FLBP-HF三类,采用序列分析建立时间序列 特征,因此可以得到三种不同的自回归滑动平均模型。
进一步,步骤(4)中的识别黑烟车视频片段包括如下步骤:
(41)对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的分 类,选取概率最大的模型的识别结果作为该关键区域的识别结果,如果当前帧有一个关键区 域被识别为黑烟区域,则当前帧被认定为黑烟帧;
(42)综合多帧的分析,如果在连续100帧内有超过δ帧被识别为黑烟帧,则认定当前 视频段内含有黑烟车,参数δ为用户设置的调节检出率和漏报率的系数。
本发明的优点主要体现在:
(1)本发明融合了Haar-like特征,共生矩阵梯度方向直方图特征(CoHOG)和局部二 值模式傅里叶直方图特征(LBP-HF)三种特征的优势,其中,Haar-like特征可以充分反映 了图像的灰度变化情况,特别是水平边缘特征提取的作用最大;CoHOG特征在光照变化和形 变下具有鲁棒性,该特征维数较高可以更加细化地表达图像的形状信息,且计算速度很快; LBP-HF不仅保留了传统LBP描述子在局部纹理描述方面较强的优势,而且增加了旋转不变的 特性,同时对阴影有一定的鲁棒性。综合各个特征的优势,该技术发明进一步提高了识别率, 降低了误报率,并且对相机抖动和车辆阴影具有很高的鲁棒性。
(2)本发明引入自回归滑动平均模型用于连续多帧的特征序列的分析,充分利用了关键 区域的动态特征,刻画了黑烟区域的黑烟逐渐扩散的特征和非黑烟区域的车辆尾部逐渐向前 平移并消失的特征,从而降低了黑烟车误报率。
(3)相比于传统方法,本发明的技术方案是一种智能黑烟车检测方法,可以大大节省传 统方法消耗的人力和财力,有利于证据的获取和保存,不影响正常交通,能有效的提高执法 效率。
附图说明
图1为本发明的方法流程示意图。
图2为本发明采用的Haar-like特征的边缘特征、线特征、点特征和对角特征。
图3为本发明检测到的黑烟车的一个例子。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提供基于高斯混合和自回归滑动平均模型的黑烟车识别方法,能综合不同类型的 静态特征,并引入自回归滑动平均模型刻画关键区域的动态特征,对相机抖动和车辆阴影具 有很高的鲁棒性,能降低噪声的干扰,进一步提高黑烟车的识别率,降低误报率。
本发明提供一种基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其流程图如 图1所示,具体按照以下步骤进行:
步骤1:利用高斯混合模型从道路监控视频中检测车辆运动目标;
步骤2:提取车辆关键区域的三种特征,包括Haar-like特征,共生矩阵梯度方向直方 图特征(CoHOG)和局部二值模式傅里叶直方图特征(LBP-HF);
步骤3:利用自回归滑动平均(ARMA)模型对每种特征的连续多帧进行建模,得到三个 不同模型;
步骤4:对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的分 类,结合不同特征的分类结果和连续多帧的综合分析,对当前视频段是否有黑烟车做出判 断。
所述步骤1中的利用高斯混合模型从道路监控视频中检测车辆运动目标包括如下步骤:
步骤1.1:将每一帧图像转化为灰度图像,并均分为3x3像素的小块,对每个像素块建 立高斯模型,以提高背景建模速度和稳定性,降低噪声的干扰;
步骤1.2:模型初始化,以某帧图像一个像素块M为例,该像素块的初始模型利用前N帧 序列图像的像素块序列建立,记作{x1,x2,...,xN},取像素块的灰度平均值μ0和方差初始化第 1个高斯分布的均值和方差,即
其中,I(xi,yj,k)表示该像素块在第k帧图像在位置(x,y)处的像素值;
步骤1.3:以第N+1帧为例来说明背景模型的更新方法,
若像素块的灰度值xN+1满足|xN+1i,N|≤2.5σi,N,则该像素块与对应的K个高斯分布匹配, 参数更新如下,
其中,β和ρ分别是高斯分布均值和方差的学***均值,μi,N和σi,N 2为第N+1 帧,第i个高斯模型的均值和方差;
若该像素块的灰度值xN+1与对应的K个高斯分布不匹配,则参数μi,N和σi,N 2保持不变,需 要以xN+1为均值,较大方差和较小权重建立一个新的高斯分布,取代原有K个高斯分布中权 重最小的一个,同时,更新K个高斯分布的权重ωi,N,,
ωi,N+1=(1-α)ωi,N+αMi,N+1,i=1,2,...,K.
其中,α是学习率,对于参数Mi,N+1,当xN+1与第i个高斯分布不匹配时,Mi,N+1=1,否则, Mi,N+1=0;
步骤1.4:背景估计,按照的值由大到小,对像素块M的K个高斯分布 排序。取前B个高斯分布作为背景模型,取后K-B个高斯分布作为前景模型,
其中,T是阈值,决定了背景分布个数,
判断像素块M是否属于运动目标,当M的灰度值xN+1与前B个高斯分布中某个匹配时, 认为M为背景像素;否则M为目标像素;
所有目标像素组成的区域即为前景目标区域,为降低误报,需确定关键区域,以前景目 标的包围盒的底边为关键区域的底边,该区域的宽等于车辆目标的宽的0.8倍,高为60像素, 归一化该关键区域为80x120像素,记作Inorm
所述步骤2中的Haar-like特征的计算包括如下步骤:
步骤2.1:Haar-like特征是计算机视觉领域一种常用的特征描述算子,其特征值是一个 小区域内的黑色像素灰度值之和减去白色像素灰度值之和,采用基于块特征的方式替代基于 像素的方式可以降低计算成本,特征选择主要边缘特征,线特征,点特征(中心环绕特征)和 对角特征,如图2所示,每一行代表一种特征;
步骤2.2:Haar-like特征一般由2-3个矩形块组成,为了提高计算速度,采用积分图的 方法快速计算出矩形内所有灰度的和;
步骤2.3:为降低特征维数,使用PCA算法进行特征选择和降维,得到降维后的Haar-like 特征向量,记作FHaar-like
所述步骤2中的共生矩阵梯度方向直方图特征的计算包括如下步骤:
步骤2.4:分别计算归一化关键区域Inorm在位置(x,y)处梯度的幅度mag(x,y)和方向 ori(x,y),即
其中,Inorm(x,y)表示归一化关键区域Inorm在位置(x,y)处的像素值;
步骤2.5:将关键区域按照宽高比均分为m×n个小块,小块是无重叠区域的;
步骤2.6:选定一种偏移方式对每个小块进行扫描,生成一个共生矩阵,偏移方式是指 点对之间的相对位置,共31种,比如上下关系,左右关系等等,一种偏移方式对应一个共生 矩阵,
将每个像素点的梯度方向进行成对的组合,同时将原来的梯度方向划分为8个,范围从 0度到360度,即每45度为一个bin,由于每两个像素点组成一个组合,所以共生矩阵的大 小为8x8=64,因此,一种偏移方式得到一个m*n*64的列向量;
步骤2.7:变换一种偏移关系在整幅图像上扫描,直到所有偏移方式都扫描一次。这样 将会生成31*64*m*n的列向量,也就是最终的共生矩阵梯度方向直方图特征,记作FCoHOG
所述步骤2中的局部二值模式傅里叶直方图特征的计算包括如下步骤:
步骤2.8:利用下式计算规范型局部二值模式,
其中,P表示局部区域中邻域内像素的数量,R表示圆形邻域的半径,U(LBPP,R)表示领域像 素个数为P,半径为R的图像区域的中心像素的规范型局部二值模式数值,gc区域的中心像 素值,gp(p=1,2,...,P)表示邻域上第p个像素点的像素值;
计算规范型局部二值模式的直方图特征;
步骤2.9:对直方图进行离散傅里叶变换,即
其中,P为近邻像素点的个数,Up(n,r)为某一规范化模式,hI(Up(n,r))为图像I中存在Up(n,r) 规范化模式的个数,H(n,u)表示傅里叶变换后的直方图;
步骤2.10:利用下式得到局部二值模式傅里叶直方图特征,
其中,表示H(n,u)的复数共轭,FLBP-HF表示局部二值模式傅里叶直方图特征。
所述步骤3中的利用自回归滑动平均模型对每种特征的连续多帧进行建模包括如下步 骤:
步骤3.1:自回归滑动平均模型适用于客观世界大部分的时间序列的分析,且未知参数 少,特性优化逼近程度较好,该模型认为序列当前值是现在和过去的误差以及先前的序列值 的线性组合,其一般形式为,
ξt~WGN(0,σ2)
其中,p表示自回归阶数,q表示滑动平均阶数,均表示自回归系数,θj均表示滑动平均 系数,ξt表示随机干扰值,ξt~WGN(0,σ2)表示ξt为均值为0,方差为σ2的正态白噪声过程, Yi(i=1,2,...,t.)表示时刻i的序列值;
步骤3.2:引入概率描述策略,变换上述模型公式为
步骤3.3:建立最小二乘问题,采用最基本的最速下降法估计模型参数,
对于同一关键区域,特征含有FHaar-like,FCoHOG和FLBP-HF三类,采用序列分析建立时间序列 特征,因此可以得到三种不同的自回归滑动平均模型。
所述步骤4中的识别黑烟车视频片段包括如下步骤:
步骤4.1:对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的 分类,选取概率最大的模型的识别结果作为该关键区域的识别结果,如果当前帧有一个关键 区域被识别为黑烟区域,则当前帧被认定为黑烟帧;
步骤4.2:综合多帧的分析,如果在连续100帧内有超过δ帧被识别为黑烟帧,则认定当 前视频段内含有黑烟车;
参数δ为用户设置的调节检出率和漏报率的系数。
图3显示了利用本发明从车辆监控视频中检测到的一个黑烟车的例子,细线黑色矩形框 表示检测到的前景目标的位置区域,粗线黑色矩形框表示关键区域的位置,矩形框底部的数 值表示该区域是黑烟区域的概率。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而 依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。

Claims (7)

1.基于高斯混合和自回归滑动平均模型的黑烟车识别方法,具体步骤如下,其特征在于:
(1)利用高斯混合模型从道路监控视频中检测车辆运动目标;
(2)提取车辆关键区域的三种特征,包括Haar-like特征,共生矩阵梯度方向直方图特征和局部二值模式傅里叶直方图特征;
(3)利用自回归滑动平均模型对每种特征的连续多帧进行建模,得到三个不同模型;
(4)对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的分类,结合不同特征的分类结果和连续多帧的综合分析,对当前视频段是否有黑烟车做出判断。
2.根据权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其特征在于:步骤(1)中的利用高斯混合模型从道路监控视频中检测车辆运动目标包括如下步骤:
(11)将每一帧图像转化为灰度图像,并均分为3x3像素的小块,对每个像素块建立高斯模型,以提高背景建模速度和稳定性,降低噪声的干扰;
(12)模型初始化,以某帧图像一个像素块M为例,该像素块的初始模型利用前N帧序列图像的像素块序列建立,记作{x1,x2,...,xN},取像素块的灰度平均值μ0和方差初始化第1个高斯分布的均值和方差,即
其中,I(xi,yj,k)表示该像素块在第k帧图像在位置(x,y)处的像素值;
(13)以第N+1帧为例来说明背景模型的更新方法,
若像素块的灰度值xN+1满足|xN+1i,N|≤2.5σi,N,则该像素块与对应的K个高斯分布匹配,参数更新如下,
其中,β和ρ分别是高斯分布均值和方差的学***均值,μi,N和σi,N 2为第N+1帧,第i个高斯模型的均值和方差;
若该像素块的灰度值xN+1与对应的K个高斯分布不匹配,则参数μi,N和σi,N 2保持不变,需要以xN+1为均值,较大方差和较小权重建立一个新的高斯分布,取代原有K个高斯分布中权重最小的一个,同时,更新K个高斯分布的权重ωi,N,,
ωi,N+1=(1-α)ωi,N+αMi,N+1,i=1,2,...,K.
其中,α是学习率,对于参数Mi,N+1,当xN+1与第i个高斯分布不匹配时,Mi,N+1=1,否则,Mi,N+1=0;
(14)背景估计,按照的值由大到小,对像素块M的K个高斯分布排序。取前B个高斯分布作为背景模型,取后K-B个高斯分布作为前景模型,
其中,T是阈值,决定了背景分布个数,
判断像素块M是否属于运动目标,当M的灰度值xN+1与前B个高斯分布中某个匹配时,认为M为背景像素;否则M为目标像素;
所有目标像素组成的区域即为前景目标区域,为降低误报,需确定关键区域,以前景目标的包围盒的底边为关键区域的底边,该区域的宽等于车辆目标的宽的0.8倍,高为60像素,归一化该关键区域为80x120像素,记作Inorm
3.根据权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其特征在于:步骤(2)中的Haar-like特征的计算包括如下步骤:
(21)Haar-like特征是计算机视觉领域一种常用的特征描述算子,其特征值是一个小区域内的黑色像素灰度值之和减去白色像素灰度值之和,采用基于块特征的方式替代基于像素的方式可以降低计算成本,特征选择主要边缘特征,线特征,点特征(中心环绕特征)和对角特征;
(22)Haar-like特征一般由2-3个矩形块组成,为了提高计算速度,采用积分图的方法快速计算出矩形内所有灰度的和;
(23)为降低特征维数,使用PCA算法进行特征选择和降维,得到降维后的Haar-like特征向量,记作FHaar-like
4.如权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其特征在于,步骤(2)中的共生矩阵梯度方向直方图特征的计算包括如下步骤:
(24)分别计算归一化关键区域Inorm在位置(x,y)处梯度的幅度mag(x,y)和方向ori(x,y),即
其中,Inorm(x,y)表示归一化关键区域Inorm在位置(x,y)处的像素值;
(25)将关键区域按照宽高比均分为m×n个小块,小块是无重叠区域的;
(26)选定一种偏移方式对每个小块进行扫描,生成一个共生矩阵,偏移方式是指点对之间的相对位置,共31种,比如上下关系,左右关系等等,一种偏移方式对应一个共生矩阵,
将每个像素点的梯度方向进行成对的组合,同时将原来的梯度方向划分为8个,范围从0度到360度,即每45度为一个bin,由于每两个像素点组成一个组合,所以共生矩阵的大小为8x8=64,因此,一种偏移方式得到一个m*n*64的列向量;
(27)变换一种偏移关系在整幅图像上扫描,直到所有偏移方式都扫描一次。这样将会生成31*64*m*n的列向量,也就是最终的共生矩阵梯度方向直方图特征,记作FCoHOG
5.根据权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其特征在于:步骤(2)中的局部二值模式傅里叶直方图特征的计算包括如下步骤:
(28)利用下式计算规范型局部二值模式,
其中,P表示局部区域中邻域内像素的数量,R表示圆形邻域的半径,U(LBPP,R)表示领域像素个数为P,半径为R的图像区域的中心像素的规范型局部二值模式数值,gc区域的中心像素值,gp(p=1,2,...,P)表示邻域上第p个像素点的像素值;
计算规范型局部二值模式的直方图特征;
(29)对直方图进行离散傅里叶变换,即
其中,P为近邻像素点的个数,Up(n,r)为某一规范化模式,hI(Up(n,r))为图像I中存在Up(n,r)规范化模式的个数,H(n,u)表示傅里叶变换后的直方图;
(210)利用下式得到局部二值模式傅里叶直方图特征,
其中,表示H(n,u)的复数共轭,FLBP-HF表示局部二值模式傅里叶直方图特征。
6.根据权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其特征在于:步骤(3)中的利用自回归滑动平均模型对每种特征的连续多帧进行建模包括如下步骤:
(31)自回归滑动平均模型适用于客观世界大部分的时间序列的分析,且未知参数少,特性优化逼近程度较好,该模型认为序列当前值是现在和过去的误差以及先前的序列值的线性组合,其一般形式为,
ξt~WGN(0,σ2)
其中,p表示自回归阶数,q表示滑动平均阶数,均表示自回归系数,θj均表示滑动平均系数,ξt表示随机干扰值,ξt~WGN(0,σ2)表示ξt为均值为0,方差为σ2的正态白噪声过程,Yi(i=1,2,...,t.)表示时刻i的序列值;
(32)引入概率描述策略,变换上述模型公式为
(33)建立最小二乘问题,采用最基本的最速下降法估计模型参数,
对于同一关键区域,特征含有FHaar-like,FCoHOG和FLBP-HF三类,采用序列分析建立时间序列特征,因此可以得到三种不同的自回归滑动平均模型。
7.根据权利要求1所述的基于高斯混合和自回归滑动平均模型的黑烟车识别方法,其特征在于:步骤(4)中的识别黑烟车视频片段包括如下步骤:
(41)对于新的车辆目标,将三个模型分别用于车辆关键区域提取到的三种特征的分类,选取概率最大的模型的识别结果作为该关键区域的识别结果,如果当前帧有一个关键区域被识别为黑烟区域,则当前帧被认定为黑烟帧;
(42)综合多帧的分析,如果在连续100帧内有超过δ帧被识别为黑烟帧,则认定当前视频段内含有黑烟车,参数δ为用户设置的调节检出率和漏报率的系数。
CN201810789111.3A 2018-07-18 2018-07-18 基于高斯混合和自回归滑动平均模型的黑烟车识别方法 Active CN109190455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810789111.3A CN109190455B (zh) 2018-07-18 2018-07-18 基于高斯混合和自回归滑动平均模型的黑烟车识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810789111.3A CN109190455B (zh) 2018-07-18 2018-07-18 基于高斯混合和自回归滑动平均模型的黑烟车识别方法

Publications (2)

Publication Number Publication Date
CN109190455A true CN109190455A (zh) 2019-01-11
CN109190455B CN109190455B (zh) 2021-08-13

Family

ID=64936156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810789111.3A Active CN109190455B (zh) 2018-07-18 2018-07-18 基于高斯混合和自回归滑动平均模型的黑烟车识别方法

Country Status (1)

Country Link
CN (1) CN109190455B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084220A (zh) * 2019-05-08 2019-08-02 重庆邮电大学 一种基于多尺度二进制模式的车载疲劳检测方法
CN111523492A (zh) * 2020-04-26 2020-08-11 安徽皖仪科技股份有限公司 一种黑烟车的检测方法
CN111539343A (zh) * 2020-04-26 2020-08-14 安徽皖仪科技股份有限公司 一种基于卷积注意力网络的黑烟车检测方法
CN112598648A (zh) * 2020-12-24 2021-04-02 重庆邮电大学 一种基于图像梯度方向的图像接缝裁剪篡改检测方法
CN117788570A (zh) * 2024-02-26 2024-03-29 山东济矿鲁能煤电股份有限公司阳城煤矿 一种基于机器视觉的斗轮机定位方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089545A1 (en) * 2009-04-01 2012-04-12 Sony Corporation Device and method for multiclass object detection
CN103714554A (zh) * 2013-12-12 2014-04-09 华中科技大学 一种基于传播融合的视频跟踪方法
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN105703954A (zh) * 2016-03-17 2016-06-22 福州大学 一种基于arima模型的网络数据流预测方法
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089545A1 (en) * 2009-04-01 2012-04-12 Sony Corporation Device and method for multiclass object detection
CN104680508A (zh) * 2013-11-29 2015-06-03 华为技术有限公司 卷积神经网络和基于卷积神经网络的目标物体检测方法
CN103714554A (zh) * 2013-12-12 2014-04-09 华中科技大学 一种基于传播融合的视频跟踪方法
CN105703954A (zh) * 2016-03-17 2016-06-22 福州大学 一种基于arima模型的网络数据流预测方法
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084220A (zh) * 2019-05-08 2019-08-02 重庆邮电大学 一种基于多尺度二进制模式的车载疲劳检测方法
CN111523492A (zh) * 2020-04-26 2020-08-11 安徽皖仪科技股份有限公司 一种黑烟车的检测方法
CN111539343A (zh) * 2020-04-26 2020-08-14 安徽皖仪科技股份有限公司 一种基于卷积注意力网络的黑烟车检测方法
CN111523492B (zh) * 2020-04-26 2023-04-18 安徽皖仪科技股份有限公司 一种黑烟车的检测方法
CN111539343B (zh) * 2020-04-26 2023-05-23 安徽皖仪科技股份有限公司 一种基于卷积注意力网络的黑烟车检测方法
CN112598648A (zh) * 2020-12-24 2021-04-02 重庆邮电大学 一种基于图像梯度方向的图像接缝裁剪篡改检测方法
CN117788570A (zh) * 2024-02-26 2024-03-29 山东济矿鲁能煤电股份有限公司阳城煤矿 一种基于机器视觉的斗轮机定位方法及***
CN117788570B (zh) * 2024-02-26 2024-05-07 山东济矿鲁能煤电股份有限公司阳城煤矿 一种基于机器视觉的斗轮机定位方法及***

Also Published As

Publication number Publication date
CN109190455B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN109190455A (zh) 基于高斯混合和自回归滑动平均模型的黑烟车识别方法
CN102165493B (zh) 对图像中的车辆的检测
CN107610114B (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN109657632B (zh) 一种车道线检测识别方法
CN103605953B (zh) 基于滑窗搜索的车辆兴趣目标检测方法
CN103218831B (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN109284669A (zh) 基于Mask RCNN的行人检测方法
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN109101924A (zh) 一种基于机器学习的路面交通标志识别方法
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN106650553A (zh) 车牌识别方法及***
CN109918971B (zh) 监控视频中人数检测方法及装置
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别***
CN106529461A (zh) 一种基于积分特征通道和svm训练器的车型识别算法
CN109191495B (zh) 基于自组织背景差模型和多特征融合的黑烟车检测方法
CN110766016B (zh) 一种基于概率神经网络的喷码字符识别方法
CN105718866A (zh) 一种视觉目标检测与识别方法
CN105224945B (zh) 一种基于联合检测与辨识算法的车标识别方法
CN106503748A (zh) 一种基于s‑sift特征和svm训练器的车型识别算法
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
CN110706235A (zh) 一种基于双级级联分割的远红外行人检测方法
CN108335294A (zh) 复杂条件下的配电房异常状态图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant