CN111339823A - 基于机器视觉和反向投影算法的打谷晒场检测方法 - Google Patents
基于机器视觉和反向投影算法的打谷晒场检测方法 Download PDFInfo
- Publication number
- CN111339823A CN111339823A CN201911398320.6A CN201911398320A CN111339823A CN 111339823 A CN111339823 A CN 111339823A CN 201911398320 A CN201911398320 A CN 201911398320A CN 111339823 A CN111339823 A CN 111339823A
- Authority
- CN
- China
- Prior art keywords
- threshing
- background
- gaussian
- image
- gaussian distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉和反向投影算法的打谷晒场检测方法,对获取的帧图像进行背景建模,分离运动物体和背景,获得背景图像;利用PSPNet语义分割模型对背景图像进行分割,提取图像中的道路区域;利用反向投影算法,对道路进行反向投影,提取颜色与谷物相近的可疑区域;采用支持向量机对打谷晒场可疑区域进行分类,得到符合打谷晒场特性的候选区域;判断所有候选区域中是否存在语义分割模型划分为打谷晒场的子区域,如果存在,则判断这一区域为打谷晒场区域。本发明有效减少了复杂背景对检测任务的干扰,提高了打谷晒场检测的准确度和可靠性。
Description
技术领域
本发明属于机器视觉技术领域,具体为一种基于机器视觉和反向投影算法的打谷晒场检测方法。
背景技术
打谷晒场事件是指在公路及公路用地范围内出现晒粮、堆粮等的违法侵占行为。在道路上随意占道进行打谷晒场,不仅影响了过往车辆正常通行,还给道路交通带来了极大的安全隐患,甚至可能引发交通事故。目前,针对占用公路“打谷晒场”的巡查主要依赖公路站的执法人员进行人工巡查,耗费人力物力且效率低。
随着智慧城市的快速发展,安防行业市场持续增长,安防行业将向规模化、自动化、智能化转型升级;同时由于人工智能、云计算、物联网等新一代信息技术的迅速发展,将机器视觉技术融入视频监控***是未来发展的必然趋势。但是,对于监控视角下复杂道路场景图像来说,其具有背景复杂、目标尺度较小、纹理特征退化等特点,不加改进的照搬现有方法对该类图像进行打谷晒场的目标检测,检测的准确度和可靠性不高。
发明内容
本发明提出了一种基于机器视觉和反向投影算法的打谷晒场检测方法。
实现本发明的技术解决方案为:一种基于机器视觉和反向投影算法的打谷晒场检测方法,具体步骤为:
步骤1、对获取的帧图像进行背景建模,分离运动物体和背景,获得背景图像;
步骤2、利用PSPNet语义分割模型对背景图像进行分割,提取图像中的道路区域;
步骤3、利用反向投影算法,对道路进行反向投影,提取颜色与谷物相近的可疑区域;
步骤4、采用支持向量机对打谷晒场可疑区域进行分类,得到符合打谷晒场特性的候选区域;
步骤5、判断所有候选区域中是否存在被步骤2中的语义分割模型划分为打谷晒场的子区域,如果存在,则判断这一区域为打谷晒场区域。
优选地,对交通监控视频流的帧图像进行背景建模,分离运动物体和背景,获得背景图像的具体方法为:
步骤1.1、对第一帧图像中的每个像素点建立高斯混合模型,每个高斯混合模型采用K个高斯分布组成,且各高斯分布按ωi,t/σi,t由大到小排列,σi,t表示t时刻第i个高斯分布的均方差,wi,t是t时刻第i个高斯分布的权重;
如果存在高斯分布满足Xt-μi,t-1|≤2.5σi,t-1,则将该高斯分布按如下公式更新参数,其中,μi,t-1为上一帧图像高斯模型在该像素点对应高斯分布的均值:
ωi,t=(1-α)ωi,t-1+α
μi,t=(1-ρ)μi,t-1+ρXt
不满足条件的高斯分布只更新权重:ωi,t=(1-a)ωi,t-1;
对各高斯分布的权重进行归一化处理,确定各高斯分布的权重;
计算当前图像中该像素点各个高斯分布的优先级λi,t=ωi,t/σi,t,并按从大到小的顺序排序,选择前B个高斯分布作为背景模型中各像素点的高斯分布。
步骤1.3、检验t时刻每一个像素点的像素值Xt与其得到的前B个高斯分布的概率密度函数η匹配关系,如果Xt=η,则将该像素点设为背景点,否则将该像素点设为前景,得到前景掩膜;
对所获得的前景掩膜进行腐蚀膨胀操作后取反获得背景掩膜,对背景掩膜和原图像进行按位与操作,获得当前背景图像。
优选地,像素点在时刻t的像素值为Xt的概率为:
其中,wi,t是t时刻第i个高斯分布的权重,μi,t是t时刻第i个高斯分布的均值,Σi,t是t时刻第i个高斯分布的协方差矩阵,η(Xt,μi,t,Σi,t)表示高斯概率密度函数,。
优选地,高斯概率密度函数具体为:
其中,n为Xt的维数。
优选地,所述PSPNet语义分割模型包括PSPNet语义分割模型包括依次连接的基础层、金字塔池化模块以及卷积层;所述金字塔池化模块包括pool层、四个扩张率不同的空洞卷积;所述基础层为经过空洞卷积策略预训练过的ResNet网络。
优选地,利用PSPNet语义分割模型对背景图像进行分割,提取图像中的道路区域的具体方法为:
将步骤1获取的背景图像作为语义分割模型的输入,基础层采用经过空洞卷积策略预训练过的ResNet网络提取特征;
将提取的特征作为金字塔池化模块的输入,金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图;
将四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同;
将ResNet的输出特征图与上采样后的四张特征图进行concat连接作为金字塔池化模块的输出;
将金字塔池化模块的输出连接N个卷积层提取特征并输出语义分割特征图,根据获取的语义分割特征图提取出道路区域。
本发明与现有技术相比,其显著优点为:
1、本发明基于特征的检测手段和反向投影算法进行打谷晒场的检测,降低了人工成本,提高了巡查效率,具有一定的创新性;
2、本发明利用背景差分法和反向投影算法对复杂道路场景进行初始背景图片的提取,结合谷物的颜色特征实现对打谷晒场的检测,一定程度减少了复杂背景对检测任务的干扰,提高了算法的鲁棒性。
附图说明
图1为本发明的流程图。
图2为本发明的混合高斯模型背景建模流程图。
图3为本发明的语义分割模型网络结构图。
图4为本发明的检测效果图。
具体实施方式
如图1所示,一种基于机器视觉和反向投影算法的打谷晒场检测方法,具体步骤为:
步骤1、如图2所示,采用GMM对交通监控视频流的帧图像进行背景建模,分离运动物体和背景,获得背景图像;
进一步的实施例中,对图像进行背景建模的方法可以但不限于使用差分背景建模、GMM、SACON、VIBE等各类背景建模方法,在本实施例中采用GMM背景建模获得背景图像,具体为:
步骤1.1、读入第一帧图像,对图像中的每个像素点建立高斯混合模型。采用K(K=3)个高斯分布组成的混合高斯模型表示同一个像素点在时间域上的概率分布,该像素点在时刻t的像素值为Xt的概率为:
其中,wi,t是t时刻第i个高斯分布的权重,μi,t是t时刻第i个高斯分布的均值,Σi,t是t时刻第i个高斯分布的协方差矩阵,η(Xt,μi,t,Σi,t)表示高斯概率密度函数:其中,n为Xt的维数,每个像素的K个高斯分布总是按ωi,t/σi,t由大到小排列,σi,t表示t时刻第i个高斯分布的均方差,。
步骤1.2、当有新的图像帧到来时,将图像的每个像素点的像素值,与上一帧图像中该像素点对应的K个高斯分布进行比较,如果存在高斯分布满足Xt-μi,t-1|≤2.5σi,t-1,则将该高斯分布按如下公式更新参数,其中,μi,t-1为上一帧图像高斯模型在该像素点对应高斯分布的均值:
ωi,t=(1-α)ωi,t-1+α
μi,t=(1-ρ)μi,t-1+ρXt
不满足条件的高斯分布的均值、方差都不变,只需要修改权重:ωi,t=(1-α)ωi,t-1;
完成上述更新后对各高斯分布的权重进行归一化处理,确定各高斯分布的权重;
计算当前图像中该像素点各个高斯分布的优先级λi,t=ωi,t/σi,t,并按从大到小的顺序排序,选择前B个高斯分布作为背景模型中各像素点的高斯分布,参数T表示背景所占比例(T=0.7)。
步骤1.3、检验t时刻每一个像素点的像素值Xt与其得到的前B个高斯分布的概率密度函数η匹配关系,如果Xt=η,则将该像素点设为背景点,否则将该像素点设为前景,即运动物体,从而得到前景掩膜;
对所获得的前景掩膜进行腐蚀膨胀操作后取反获得背景掩膜,然后对背景掩膜和原图像进行按位与操作,获得当前背景图像。
步骤2:利用PSPNet语义分割模型对背景图像进行分割,提取图像中的道路区域。
如图3所示,所述PSPNet语义分割模型包括依次连接的基础层、金字塔池化模块以及卷积层。
所述金字塔池化模块包括pool层、四个扩张率不同的空洞卷积。
所述基础层为经过空洞卷积策略预训练过的ResNet网络。
进一步的实施例中,将步骤1获取的背景图像作为语义分割模型的输入,基础层采用经过空洞卷积策略预训练过的ResNet网络提取特征;将提取的特征作为金字塔池化模块的输入,金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度(特征尺寸分别为1*1、2*2、3*3和6*6)下的特征图,将这四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同,随后将ResNet的输出特征图与上采样后的四张特征图进行concat连接作为金字塔池化模块的输出;最后,将金字塔池化模块的输出连接N个卷积层进一步提取特征并输出语义分割特征图,根据获取的语义分割特征图提取出道路区域。
步骤3、利用反向投影算法,对道路进行反向投影,提取颜色与谷物相近的可疑区域,具体方法为:分别计算特征图像(打谷晒场)以及步骤2中提取的道路区域的直方图,检测道路区域直方图的每个像素点的色调值是否位于特征图像直方图中的bin位置,若存在则记录特征图像直方图中的bin位置的色调值,从而获取打谷晒场的可疑区域。
步骤4、采用支持向量机对打谷晒场可疑区域进行分类,得到符合打谷晒场特性的候选区域,具体为:
将所有交通监控图像中的打谷晒场截取出来,统一缩放成48×48像素大小的图片作为正样本集P,将交通监控图像中不包含打谷晒场的区域分割成若干个48×48像素大小的图片作为负样本集N,提取所有正负样本的LBP纹理特征,使用这些LBP纹理特征进行支持向量机的训练,其中,支持向量机的核函数选用线性核函数,惩罚因子C设定为1.319。
将可疑区域输入训练好的支持向量机进行分类,得到符合打谷晒场特性的候选区域
步骤5、判断所有候选区域中是否存在被步骤2中的语义分割特征图划分为打谷晒场的子区域,如果存在,则判断这一区域为打谷晒场区域。
如图4所示,该结果是在天气情况较好,视线视距良好的情况下得到的,由于打谷晒场这一事件发生的时间及天气情况均比较特定、谷物颜色较显眼,因此检测精度较高,检测准确率能达到92%。
Claims (5)
1.一种基于机器视觉和反向投影算法的打谷晒场检测方法,其特征在于,具体步骤为:
步骤1、对获取的帧图像进行背景建模,分离运动物体和背景,获得背景图像;
步骤2、利用PSPNet语义分割模型对背景图像进行分割,提取图像中的道路区域;
步骤3、利用反向投影算法,对道路进行反向投影,提取颜色与谷物相近的可疑区域;
步骤4、采用支持向量机对打谷晒场可疑区域进行分类,得到符合打谷晒场特性的候选区域;
步骤5、判断所有候选区域中是否存在被步骤2中的语义分割模型划分为打谷晒场的子区域,如果存在,则判断这一区域为打谷晒场区域。
2.根据权利要求1所述的基于机器视觉和反向投影算法的打谷晒场检测方法,其特征在于,对交通监控视频流的帧图像进行背景建模,分离运动物体和背景,获得背景图像的具体方法为:
步骤1.1、对第一帧图像中的每个像素点建立高斯混合模型,每个高斯混合模型采用K个高斯分布组成,且各高斯分布按ωi,t/σi,t由大到小排列,σi,t表示t时刻第i个高斯分布的均方差,wi,t是t时刻第i个高斯分布的权重;
如果像素点存在高斯分布满足Xt-μi,t-1|≤2.5σi,t-1,则将该高斯分布按如下公式更新参数,其中,μi,t-1为上一帧图像高斯模型在该像素点对应高斯分布的均值:
ωi,t=(1-α)ωi,t-1+α
μi,t=(1-ρ)μi,t-1+ρXt
不满足条件的高斯分布只更新权重:ωi,t=(1-α)ωi,t-1;
对各高斯分布的权重进行归一化处理,确定各高斯分布的权重;
计算当前图像中该像素点各个高斯分布的优先级λi,t=ωi,t/σi,t,并按从大到小的顺序排序,选择前B个高斯分布作为背景模型中各像素点的高斯分布。
步骤1.3、检验t时刻每一个像素点的像素值Xt与其得到的前B个高斯分布的概率密度函数η匹配关系,如果Xt=η,则将该像素点设为背景点,否则将该像素点设为前景,得到前景掩膜;
对所获得的前景掩膜进行腐蚀膨胀操作后取反获得背景掩膜,对背景掩膜和原图像进行按位与操作,获得当前背景图像。
4.根据权利要求1所述的基于机器视觉和反向投影算法的打谷晒场检测方法,其特征在于,所述PSPNet语义分割模型包括PSPNet语义分割模型包括依次连接的基础层、金字塔池化模块以及卷积层;所述金字塔池化模块包括pool层、四个扩张率不同的空洞卷积;所述基础层为经过空洞卷积策略预训练过的ResNet网络。
5.根据权利要求1所述的基于机器视觉和反向投影算法的打谷晒场检测方法,其特征在于,利用PSPNet语义分割模型对背景图像进行分割,提取图像中的道路区域的具体方法为:
将步骤1获取的背景图像作为语义分割模型的输入,基础层采用经过空洞卷积策略预训练过的ResNet网络提取特征;
将提取的特征作为金字塔池化模块的输入,金字塔池化模块通过四个扩张率不同的空洞卷积提取四种不同尺度下的特征图;
将四张特征图进行上采样使其尺度均与ResNet网络的输出特征图相同;
将ResNet的输出特征图与上采样后的四张特征图进行concat连接作为金字塔池化模块的输出;
将金字塔池化模块的输出连接N个卷积层提取特征并输出语义分割特征图,根据获取的语义分割特征图提取出道路区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911398320.6A CN111339823A (zh) | 2019-12-30 | 2019-12-30 | 基于机器视觉和反向投影算法的打谷晒场检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911398320.6A CN111339823A (zh) | 2019-12-30 | 2019-12-30 | 基于机器视觉和反向投影算法的打谷晒场检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111339823A true CN111339823A (zh) | 2020-06-26 |
Family
ID=71181400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911398320.6A Withdrawn CN111339823A (zh) | 2019-12-30 | 2019-12-30 | 基于机器视觉和反向投影算法的打谷晒场检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339823A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539494A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 基于U-Net和SVM的水工保护损毁检测方法 |
CN113269794A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像区域分割方法、装置、终端设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130148853A1 (en) * | 2011-12-12 | 2013-06-13 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
CN110532876A (zh) * | 2019-07-26 | 2019-12-03 | 纵目科技(上海)股份有限公司 | 夜晚模式镜头付着物的检测方法、***、终端和存储介质 |
-
2019
- 2019-12-30 CN CN201911398320.6A patent/CN111339823A/zh not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130148853A1 (en) * | 2011-12-12 | 2013-06-13 | Samsung Electronics Co., Ltd. | Image processing apparatus and image processing method |
CN110532876A (zh) * | 2019-07-26 | 2019-12-03 | 纵目科技(上海)股份有限公司 | 夜晚模式镜头付着物的检测方法、***、终端和存储介质 |
Non-Patent Citations (1)
Title |
---|
李勇: "基于改进混合高斯模型的前景目标提取算法" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539494A (zh) * | 2020-07-08 | 2020-08-14 | 浙江浙能天然气运行有限公司 | 基于U-Net和SVM的水工保护损毁检测方法 |
CN113269794A (zh) * | 2021-05-27 | 2021-08-17 | 中山大学孙逸仙纪念医院 | 一种图像区域分割方法、装置、终端设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816024B (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
Chen et al. | Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature | |
CN109325502B (zh) | 基于视频渐进区域提取的共享单车停放检测方法和*** | |
CN111160205B (zh) | 一种交通场景嵌入式多类目标端对端统一检测方法 | |
CN111709416A (zh) | 车牌定位方法、装置、***及存储介质 | |
CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
CN111582070B (zh) | 一种高速公路视频抛洒物检测的前景提取方法 | |
CN108416316B (zh) | 一种黑烟车的检测方法及*** | |
CN109635789B (zh) | 基于强度比和空间结构特征提取的高分辨sar图像分类方法 | |
CN105868734A (zh) | 基于bow图像表征模型的输电线路大型施工车辆识别方法 | |
CN110717886A (zh) | 复杂环境下基于机器视觉的路面坑塘检测方法 | |
CN111582339A (zh) | 一种基于深度学习的车辆检测与识别的方法 | |
CN114596500A (zh) | 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法 | |
CN112990004A (zh) | 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法 | |
CN111339823A (zh) | 基于机器视觉和反向投影算法的打谷晒场检测方法 | |
Ghahremannezhad et al. | Automatic road detection in traffic videos | |
CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
Harianto et al. | Data augmentation and faster rcnn improve vehicle detection and recognition | |
CN111524121A (zh) | 一种基于机器视觉技术的路桥病害自动检测方法 | |
CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
CN114550134A (zh) | 基于深度学习的交通标志检测与识别方法 | |
CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200626 |