CN110390673A - 一种监控场景下基于深度学习的香烟自动检测方法 - Google Patents
一种监控场景下基于深度学习的香烟自动检测方法 Download PDFInfo
- Publication number
- CN110390673A CN110390673A CN201910659255.1A CN201910659255A CN110390673A CN 110390673 A CN110390673 A CN 110390673A CN 201910659255 A CN201910659255 A CN 201910659255A CN 110390673 A CN110390673 A CN 110390673A
- Authority
- CN
- China
- Prior art keywords
- image
- cigarette
- target
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000019504 cigarettes Nutrition 0.000 title claims abstract description 103
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000012360 testing method Methods 0.000 title claims abstract description 20
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000009499 grossing Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000002304 perfume Substances 0.000 claims description 6
- 235000013599 spices Nutrition 0.000 claims description 6
- 238000011551 log transformation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000009987 spinning Methods 0.000 claims description 3
- 238000012876 topography Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 238000004904 shortening Methods 0.000 abstract 1
- 230000000391 smoking effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种监控场景下基于深度学***滑处理得到更大的数据集,将数据集训练基于YOLOv3深度学习网络,形成模板库;使用图像增强方法对待检测的图像或视频帧进行相应的图像增强处理;对大尺寸图像进行图像分割,将图像中香烟或带香烟的人分离出来,缩短检测所需时间;然后在待检测的图像上进行预生成预测框,将每个预测框与预先训练的模板库对比;最后在所有的预测框的检测置信度中选择高于预先设定阈值的预测框将其认定为是目标物体。对当前帧的整张图像进行扫描后,标注出所有检测到的目标显示在图像上,完成对香烟的检测。本发明能有效提高检测准确率并且缩短检测时间。
Description
技术领域
本发明涉及深度学习与计算机视觉领域,特别是一种监控场景下基于深度学习的香烟自动检测方法。
背景技术
随着现代人生活水平地不断提升,观念不断地进步。人们对吸烟的危害性关注也越来越多。近来,不断有因为吸烟而引起事故被人们熟知,如:高铁上吸烟导致高铁停运,致使数百旅客滞留;因未远离加油站吸烟,导致加油站起火,导致人员伤亡、财产损失;更有甚者因吸烟导致森林大火,祖国大好河山遭到破坏。因此,在高铁、动车组上严禁吸烟,近几年更是加大惩罚力度,上升至法律层面;在加油站、特殊场所等公共区域更是对违规进行吸烟的人进行大力度的惩罚,甚至追究法律责任。
计算机视觉领域的相关技术发展日新月异,并呈现稳步增长的势头。我国在这一领域虽然相较世界一些发达的国家或地区起步较晚,但发展势头迅猛,人工智能在计算机数据的领域内的运用更是越来越多。据相关数据统计,从2015年来我国的计算机市场规模增速位居全球第一,人工智能相关研究数量的增长率也稳居世界前列。如何利用好计算机技术进行研究与探索便显得意义非凡。
基于此类问题与现状,便有了利用深度学习和计算机视觉技术进行对香烟自动识别的想法。现如今,对公共场所或禁烟场所的吸烟如何制止的问题,大多数使用的是“烟雾报警器”,且都只能在已经有人开始吸烟,即吸烟已成既定事实的情况下才会发出警报。不仅需要额外的开销进行相关设备的安装,且无法在吸烟这一事件发生后给出一定的警示。
发明内容
有鉴于此,本发明的目的是提出一种监控场景下基于深度学习的香烟自动检测方法,能够对香烟这一小目标进行检测,并且在检测的准确率与效率上进行提升。
本发明采用以下方案实现:一种监控场景下基于深度学习的香烟自动检测方法,包括以下步骤:
步骤S1:获取数据集,并分别采用翻转、滤波、平滑技术对原始香烟数据集进行处理,得到最终香烟训练数据集;
步骤S2:使用步骤S1中所述的最终香烟训练数据集训练基于YOLOv3的深度学习网络,生成香烟模板库;
步骤S3:进行香烟检测:提供待检测的香烟图片或者视频,以识别所述待检测的香烟图片或者视频的后缀名判断是图片或视频,若是.PNG、.JPG、.JEPG、.GIF、.BMP则认为是图片,对图像进行图像增强处理,否则若是.AVI、.MOV、.MP4的后缀名,则认为是视频,并以OpenCV中的VideoCapture类获取当前视频的视频帧并对当前帧采用自适应图像增强方法进行增强,对增强后的图像将其分为7*7的网格,每个网格在进行检测前预选随机生成两个预测框,执行步骤S5;
步骤S4:判断步骤S3中进行图像增强后的图像像素是否大于500*500,若是则采用图像分割方法将香烟目标在图像中分割出来,对分割出来的香烟图像将其分为7*7的网格,每个网格在进行检测前随机生成两个预测框,执行步骤S5;否则直接在未分割的原图像上分为7*7的网格,每个网格在进行预测前随机生成两个预测框,执行步骤S5;
步骤S5:将步骤S2中生成的香烟模板库分别与步骤S3和步骤S4中生成的预测框进行对比,判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值,所述设定的阈值为0.25;若是则框选出目标,图片输出检测结果,检测结束;否则跳出此预测框。
进一步地,步骤S3中对图像进行图像增强的方法包括但不限于直方图均衡化、拉普拉斯算子、对数log变换、伽马变换四种图像增加方法进行图像增强。
进一步地,所述步骤S5还可替换为以下内容:将步骤S2中生成的香烟模板库与步骤S5中生成的预测框进行对比,判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值;若是则框选出目标,输出结果;若为视频帧,则实时输出视频帧,并判断能否获取下一帧,若是则继续执行视频帧输出,实时检测,否则检测结束;若置信度没有超过设定阈值则跳过此预测框。
进一步地,所述步骤S1具体包括以下步骤:
步骤S11:获取香烟数据集;所述香烟数据集的获取是通过拍摄的图像以及网络资源图像下载;
步骤S12:将步骤S11中收集的数据集进行划分,其中80%的为训练集,10%的验证集以及10%的测试集;对数据集中的训练集进行翻转变化,翻转变换通过改变图像的坐标,用以将图像呈现不同角度,增大训练集;对图像的翻转主要通过对图像矩阵的坐标变换实现,包括上下翻转以及左右翻转,其中上下翻转原理公式为:
x=a-x1+1;
y=y1;
左右翻转的原理公式为:
x=x1
y=b-y1+1
上两式中,x与y图像翻转后某一像素点所在横坐标与纵坐标,a、b分别为图像二维矩阵的行数与列数,x1与y1是翻转前的图像某一像素点所在的横坐标与纵坐标。
步骤S13:对数据集中的原始训练集,既步骤S11中获取的训练集进行滤波处理,对滤波后的图像进行均值滤波的平滑操作用以消除噪声。
进一步地,步骤S13所述的滤波处理采用的是高斯滤波,用卷积扫描训练集图像中的每一个像素点,用模板确定的领域内像素的加权平均灰度值去替代模板中心像素点的值;高斯滤波原理公式为:
式中,A为二维高斯分布的幅值,(t,s)为中心点坐标,σt、σs是分布的概率的方差。
进一步地,所述步骤S2具体包括以下内容:对YOLOv3网络,调制参数,包括打开多尺度学***滑处理图像进行标注,标注出图像中香烟的位置与形状,用于训练,得到香烟模板库。
进一步地,当图像的整体对比度低,则采用基于直方图均衡化的图像增强方法进行图像细节的增强,通过对原图像通道分离后的RGB每个通道的像素灰度值进行映射性变换,使得经过变换后的像素灰度值在分布角度上更加均匀,然后将通道合并,使得图像像素灰度的动态范围得到提升,用以提升了图像的对比度与细节,使得香烟这一目标在图像中更加突出,容易检测;
当需要将图像中的中低灰度部分进行扩展与增强而高灰度部分保持不变的,则采用基于对数Log变换的图像增强方法,将图像通过二值化处理,读取出图像的矩阵掩码,经过Log变换处理后输出最终的图像,其原理公式为:
S=c1·logv+1(1+v·r)r∈[0,1]
式中S为最终输出图像的灰度值,c1为设定的常数,v是此变化中最重要的参数,由高到低与r乘积得到不同的底数,底数越大对低灰度部分的扩展就越强,对高灰度部分的压缩也就越强;
当图像边缘灰暗、目标与背景区分不太明显的,则采用基于拉普拉斯算子的图像增强方法,将香烟目标的浅色边缘线与突变点叠加,一起添加到暗色背景中产生图片,将拉普拉斯变换产生的图片与原图像叠加在一起,用以实现复原背景并保持拉普拉斯锐化处理的效果,使得香烟目标与背景之间的边缘清晰,其原理公式为:
式中,g为输出函数,d为源图像,c2是系数,c2代表加上细节的多少;为拉普拉斯算子中的卷积核操作系数,采取中心点为5的8邻居拉普拉斯算子与图像进行卷积,用以锐化图像和增强图像,使得检测香烟目标有更好的准确率与置信度;
当图像的灰度值高,既曝光过度的图像,则采取基于Gamma变换的图像增强方法,用以使其整体灰度值降低;Gamma变换对每个像素值进行乘积运算达到改变像素灰度值的效果,其原理公式为:
w=c3lγ l∈[0,1]
式中,γ值为指数,是整个函数的指标,以1为分界;当γ值小于1时,该值越小,对目标图像的低灰度部分的扩展和增强效果越大;当γ的值大于1时,该值越大,对目标图像的高灰度部分的压缩和衰减效果越大;利用不同的伽马值,可以通过伽马变换实现两种不同效果的图像处理。
进一步地,步骤S3中对当前帧进行图像增强的具体内容为:
若读入的为视频帧,并非当一图像时,则采用彩色图像自适应对比度增强方法,对于图像的每一个像素,分别计算其局部均值与局部标准差,其公式为:
上述式中,f(s,k)代表左边为(s,k)的点的像素值;M(i,j)为以点(i,j)为中心,窗口大小为(2n+1),(2m+1)的区域局部均值;对应的τ2(i,j)为局部方差,τ(i,j)为局部图像的标准差;在取得局部均值与标准差后对图像进行增强。
进一步地,步骤S4中所述采用图像分割方法,,对像素大于500*500的图像,将图像中的香烟目标分割出来的具体内容是:
首先用户通过在图像上利用鼠标交互框选出香烟目标或带有香烟的人,得到一个初始的前景;
之后在被选定的目标区域范围内,即由人工交互框选的方框内,将像素初始化为1,即作为可能是目标;对人工交互框选的方框外的,将初始像素设为0,即外部的背景区域;
然后,采用一个K个的高斯分量的全协方差GMM,高斯混合模型对图像的目标和背景进行建模;整个图像的能量公式为:
E(α,p,θ,o)=U(α,p,θ,o)+V(α,o)
公式中p就是P个高斯分量产生的一个向量k={P1,P2,..........,Pn},其中Pn代表的是图像中第n个像素对应于哪个的高斯分量;对于每个像素为目标混合模型的某个高斯分量或背景的某个高斯分量;其中,函数中的U是区域项,表示像素被分类为目标或背景丢失,即像素被分类为背景的前景或负对数;根据高斯模型,利用像素样本集、RGB值得到协方差和参数均值;
最后,在高斯模型的建立完成后,进行不断的迭代,每次迭代会交互地优化模型和分割结果,一次保证迭代过程到最后是收敛的,最后输出分割后的前景,既香烟目标图像。
与现有技术相比,本发明有以下有益效果:
1、本发明能够有效地对图像中或视频中的香烟进行检测并及时的给出反馈。
2、本发明能够在保证跟踪效果的同时对视频中的人脸进行实时的检测。
3、针对检测过程中的图像或视频帧在不同环境下会受到的不同程度的影响,本发明针对图像提出了四种不同方面的增强技术,用以解决图像整体灰度值较低、部分灰度值较低、边缘模糊以及灰度值较高的问题;针对图像帧,本发明提出了一种自适应的图像增强技术,有效的提升的检测的检测率。
4、针对香烟检测过程中大图像出现的检测时间过长问题,本发明提出一种图像分割技术,将大图像中的香烟前进分离出来再进行检测,在不影响检测准确率的情况下大大提升了检测的效率。
附图说明
图1为本发明实施例的流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种监控场景下基于深度学习的香烟自动检测方法,包括以下步骤:
步骤S1:获取数据集,并分别采用翻转、滤波、平滑技术对原始香烟数据集进行处理,得到最终香烟训练数据集
步骤S2:使用步骤S1中所述的最终香烟训练数据集训练基于YOLOv3的深度学习网络,生成香烟模板库;
步骤S3:进行香烟检测:提供待检测的香烟图片或者视频,以所述识别待检测的香烟图片或视频的后缀名判断是图片或视频,若是.PNG、.JPG、.JEPG、.GIF、.BMP则认为是图片,对图像进行图像增强处理,否则若是.AVI、.MOV、.MP4的后缀名,则认为是视频,并以OpenCV中的VideoCapture类获取当前视频的视频帧并对当前帧采用自适应图像增强方法进行增强,对增强后的图像将其分为7*7的网格,每个网格在进行检测前预选随机生成两个预测框,执行步骤S5;
步骤S4:判断步骤S3中进行图像增强后的图像像素是否大于500*500,若是则采用图像分割方法将香烟目标在图像中分割出来,对分割出来的香烟图像将其分为7*7的网格,每个网格在进行检测前随机生成两个预测框,执行步骤S5;否则直接在未分割的原图像上分为7*7的网格,每个网格在进行预测前随机生成两个预测框,执行步骤S5;
步骤S5:将步骤S2中生成的香烟模板库分别与步骤S3和步骤S4中生成的预测框进行对比,判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值,阈值设定为0.25;若是则框选出目标,图片输出检测结果,检测结束;否则跳出此预测框。
在本实施例中,步骤S3中对图像进行图像增强的方法包括但不限于直方图均衡化、拉普拉斯算子、对数log变换、伽马变换四种图像增加方法进行图像增强。
在本实施例中,所述步骤S5还可替换为以下内容:将步骤S2中生成的香烟模板库与步骤S5中生成的预测框进行对比,判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值,阈值设定为.25;若是则框选出目标,输出结果;若为视频帧,则实时输出视频帧,并判断能否获取下一帧,若是则继续执行视频帧输出,实时检测,否则检测结束;若置信度没有超过设定阈值则跳过此预测框。
在本实施例中,所述步骤S1具体包括以下步骤:
步骤S11:获取香烟数据集;所述香烟数据集的获取是通过拍摄的图像以及网络资源图像下载;
步骤S12:将步骤S11中收集的数据集进行划分,其中80%的为训练集,10%的验证集以及10%的测试集,进行翻转变化,翻转变换通过改变图像的坐标,用以将图像呈现不同角度,以此达到增大训练集的目的;对图像的翻转主要通过对图像矩阵的坐标变换实现,包括上下翻转以及左右翻转,其中上下翻转原理公式为:
x=a-x1+1;
y=y1;
左右翻转的原理公式为:
x=x1
y=b-y1+1
上两式中,x与y为图像翻转后某一像素点所在横坐标与纵坐标,a、b分别为图像二维矩阵的行数与列数,x1与y1是翻转前的图像某一像素点所在的横坐标与纵坐标。上下翻转通过对图像像素点横坐标的变换实现,左右翻转则通过纵坐标的变换实现,通过翻转变换使得数据集扩大,使有更大的数据量。
步骤S13:对数据集中的原始训练集,即步骤S11中获取的训练集进行滤波处理,对滤波后的图像进行均值滤波的平滑操作用以消除噪声。
滤波处理在尽可能保留图像的细节特征的前提下对目标图像的噪声进行抑制,其中消除噪声的操作被称为平滑操作。通过滤波操作,可使训练集图像产生模糊化,其视觉效果如经过一个半透明屏幕观察头像,以此模拟恶劣条件下的情况对网络进行训练,使得后续检测对质量较差的图像也有较好的结果。
在本实施例中,步骤S13所述的滤波处理采用的是高斯滤波,用卷积扫描训练集图像中的每一个像素点,用模板确定的领域内像素的加权平均灰度值去替代模板中心像素点的值;高斯滤波原理公式为:
式中,A为二维高斯分布的幅值,(t,s)为中心点坐标,σt、σs是分布的概率的方差。通过对图像或视频帧的每一点像素点运用上述公式进行加权平均,每一个像素点变换后的值,都是由本身和领域内的其他像素值经过加权平均后得到。通过此使得数据集进一步扩大,使得后续对网络有更好的训练效果。
在本实施例中,所述步骤S2具体包括以下内容:对YOLOv3网络,包括打开多尺度学***滑处理图像进行标注,标注出图像中香烟的位置与形状,用于训练,得到香烟模板库
在本实施例中,当图像的整体对比度低,则采用基于直方图均衡化的图像增强方法进行图像细节的增强,通过对原图像通道分离后的RGB每个通道的像素灰度值进行映射性变换,使得经过变换后的像素灰度值在分布角度上更加均匀,然后将通道合并,使得图像像素灰度的动态范围得到提升,用以提升了图像的对比度与细节,使得香烟这一目标在图像中更加突出,容易检测;
当需要将图像中中低灰度部分进行扩展与增强而高灰度部分保持不变的,则采用基于对数Log变换的图像增强方法,将图像通过二值化处理,读取出图像的矩阵掩码,经过Log变换处理后输出最终的图像,其原理公式为:
S=c1·logv+1(1+v·r) r∈[0,1]
式中S为最终输出图像的灰度值,c1为设定的常数,v是此变化中最重要的参数,由高到低与r乘积得到不同的底数,底数越大对低灰度部分的扩展就越强,对高灰度部分的压缩也就越强;
当图像边缘灰暗、目标与背景区分不太明显的,则采用基于拉普拉斯算子的图像增强方法,将香烟目标的浅色边缘线与突变点叠加,一起添加到暗色背景中产生图片,将拉普拉斯变换产生的图片与原图像叠加在一起,用以实现复原背景并保持拉普拉斯锐化处理的效果,使得香烟目标与背景之间的边缘清晰,其原理公式为:
式中,g为输出函数,d为源图像,c2是系数,代表加上细节的多少;为拉普拉斯算子中的卷积核操作系数,采取中心点为5的8邻居拉普拉斯算子与图像进行卷积,用以锐化图像和增强图像,使得检测香烟目标有更好的准确率与置信度;
当图像的灰度值高,既曝光过度的图像,则采取基于Gamma变换的图像增强方法,用以使其整体灰度值降低;Gamma变换对每个像素值进行乘积运算达到改变像素灰度值的效果,其原理公式为:
w=c3lγ l∈[0,1]
式中,γ值为指数,是整个函数的指标,以1为分界;当γ值小于1时,该值越小,对目标图像的低灰度部分的扩展和增强效果越大;当γ的值大于1时,该值越大,对目标图像的高灰度部分的压缩和衰减效果越大;利用不同的伽马值,可以通过伽马变换实现两种不同效果的图像处理。本实施例采取的为γ为2.5的变换,降低在高光照前强度下的图像灰度。
在本实施例中,步骤S3中对当前帧进行图像增强的具体内容为:
若读入的为视频帧,并非当一图像时,则采用彩色图像自适应对比度增强方法,对于图像的每一个像素,分别计算其局部均值与局部标准差,其公式为:
上述式中,f(s,k)代表左边为(s,k)的点的像素值;M(i,j)为以点(i,j)为中心,窗口大小为(2n+1),(2m+1)的区域局部均值;对应的τ2(i,j)为局部方差,τ(i,j)为局部图像的标准差;在取得局部均值与标准差后对图像进行增强。
在本实施例中,步骤S4中所述采用图像分割方法,对像素值大于500*500的图像,将图像中的香烟目标分割出来的具体内容是:
首先用户通过在图像上利用鼠标交互框选出香烟目标或带有香烟的人,得到一个初始的前景;
之后在被选定的目标区域范围内,即由人工交互框选的方框内,将像素初始化为1,即作为可能是目标;对人工交互框选的方框外的,将初始像素设为0,即外部的背景区域;
然后,采用一个K个的高斯分量的全协方差GMM,高斯混合模型对图像的目标和背景进行建模;整个图像的能量公式为:
E(α,p,θ,o)=U(α,p,θ,o)+V(α,o)
公式中p就是P个高斯分量产生的一个向量k={P1,P2,..........,Pn},其中Pn代表的是图像中第n个像素对应于哪个的高斯分量;对于每个像素为目标混合模型的某个高斯分量或背景的某个高斯分量;其中,函数中的U是区域项,表示像素被分类为目标或背景丢失,即像素被分类为背景的前景或负对数;根据高斯模型,利用像素样本集、RGB值得到协方差和参数均值;
最后,在高斯模型的建立完成后,进行不断的迭代,每次迭代会交互地优化模型和分割结果,一次保证迭代过程到最后是收敛的,最后输出分割后的前景,既香烟目标图像。在进行检测时就会大大缩短检测的时间,对分辨率越大图像的效果尤为明显。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (9)
1.一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:包括以下步骤:
步骤S1:获取数据集,并分别采用翻转、滤波、平滑方法对原始香烟数据集进行处理,得到最终香烟训练数据集;
步骤S2:使用步骤S1中所述的最终香烟训练数据集训练基于YOLOv3的深度学习网络,生成香烟模板库;
步骤S3:进行香烟检测:提供待检测的香烟图片或者视频,以所述识别待检测的香烟图片或视频的后缀名判断是图片或视频,若是.PNG、.JPG、.JEPG、.GIF、.BMP则认为是图片,对图像进行图像增强处理,否则若是.AVI、.MOV、.MP4的后缀名,则认为是视频,并以OpenCV中的VideoCapture类获取当前视频的视频帧并对当前帧采用自适应图像增强方法进行增强,对增强后的图像将其分为7*7的网格,每个网格在进行检测前预选随机生成两个预测框,执行步骤S5;
步骤S4:判断步骤S3中进行图像增强后的图像像素是否大于500*500,若是则采用图像分割方法将香烟目标在图像中分割出来,对分割出来的香烟图像将其分为7*7的网格,每个网格在进行检测前随机生成两个预测框,执行步骤S5;否则直接在未分割的原图像上分为7*7的网格,每个网格在进行预测前随机生成两个预测框,执行步骤S5;
步骤S5:将步骤S2中生成的香烟模板库分别与步骤S3和步骤S4中生成的预测框进行对比,判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值,所述阈值为0.25;若是则框选出目标,图片输出检测结果,检测结束;否则跳出此预测框。
2.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:步骤S3中对图像进行图像增强的方法包括但不限于直方图均衡化、拉普拉斯算子、对数log变换、伽马变换四种图像增加方法进行图像增强。
3.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:所述步骤S5还可替换为以下内容:将步骤S2中生成的香烟模板库与步骤S5中生成的预测框进行对比,判断经过S3步骤中的图像增强、S4步骤中的图像分割处理后的图片中检测到的香烟目标的置信度是否超过设定阈值;若是则框选出目标,输出结果;若为视频帧,则实时输出视频帧,并判断能否获取下一帧,若是则继续执行视频帧输出,实时检测,否则检测结束;若置信度没有超过设定阈值则跳过此预测框。
4.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:所述步骤S1具体包括以下步骤:
步骤S11:获取香烟数据集;所述香烟数据集的获取是通过拍摄的图像以及网络资源图像下载;
步骤S12:将步骤S11中收集的数据集进行划分,其中80%的为训练集,10%的验证集以及10%的测试集;对数据集中的训练集进行翻转变化,翻转变换通过改变图像的坐标,用以将图像呈现不同角度,增大训练集;对图像的翻转主要通过对图像矩阵的坐标变换实现,包括上下翻转以及左右翻转,其中上下翻转原理公式为:
x=a-x1+1;
y=y1;
左右翻转的原理公式为:
x=x1
y=b-y1+1
上两式中,x与y为图像翻转后某一像素点所在横坐标与纵坐标,a、b分别为图像二维矩阵的行数与列数,x1与y1是翻转前的图像某一像素点所在的横坐标与纵坐标。
步骤S13:对数据集中的原始训练集,即步骤S11中获取的训练集进行滤波处理,对滤波后的图像进行均值滤波的平滑操作用以消除噪声。
5.根据权利要求4所述的一种监控场景下基于深度学***均灰度值去替代模板中心像素点的值;高斯滤波原理公式为:
式中,A为二维高斯分布的幅值,(t,s)为中心点坐标,σt、σs是分布的概率的方差。
6.根据权利要求1所述的一种监控场景下基于深度学***滑处理后的图像进行标注,标注出图像中香烟的位置与形状,用于训练,得到香烟模板库。
7.根据权利要求2所述的一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:
当图像的整体对比度低,则采用基于直方图均衡化的图像增强方法进行图像细节的增强,通过对原图像通道分离后的RGB每个通道的像素灰度值进行映射性变换,使得经过变换后的像素灰度值在分布角度上更加均匀,然后将通道合并,使得图像像素灰度的动态范围得到提升,用以提升了图像的对比度与细节,使得香烟这一目标在图像中更加突出,容易检测;
当需要将图像中的中低灰度部分进行扩展与增强而高灰度部分保持不变的,则采用基于对数Log变换的图像增强方法,将图像通过二值化处理,读取出图像的矩阵掩码,经过Log变换处理后输出最终的图像,其原理公式为:
S=c1·logv+1(1+v·r)r∈[0,1]
式中S为最终输出图像的灰度值,c1为设定的常数,v是此变化中最重要的参数,由高到低与r乘积得到不同的底数,底数越大对低灰度部分的扩展就越强,对高灰度部分的压缩也就越强;
当图像边缘灰暗、目标与背景区分不太明显的,则采用基于拉普拉斯算子的图像增强方法,将香烟目标的浅色边缘线与突变点叠加,一起添加到暗色背景中产生图片,将拉普拉斯变换产生的图片与原图像叠加在一起,用以实现复原背景并保持拉普拉斯锐化处理的效果,使得香烟目标与背景之间的边缘清晰,其原理公式为:
式中,g为输出函数,d为源图像,c2是系数,c2代表加上细节的多少;为拉普拉斯算子中的卷积核操作系数,采取中心点为5的8邻居拉普拉斯算子与图像进行卷积,用以锐化图像和增强图像,使得检测香烟目标有更好的准确率与置信度;
当图像的灰度值高,既曝光过度的图像,则采取基于Gamma变换的图像增强方法,用以使其整体灰度值降低;Gamma变换对每个像素值进行乘积运算达到改变像素灰度值的效果,其原理公式为:
w=c3lγ l∈[0,1]
式中,γ值为指数,是整个函数的指标,以1为分界;当γ值小于1时,该值越小,对目标图像的低灰度部分的扩展和增强效果越大;当γ的值大于1时,该值越大,对目标图像的高灰度部分的压缩和衰减效果越大;利用不同的伽马值,可以通过伽马变换实现两种不同效果的图像处理。
8.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:步骤S3中对当前帧进行图像增强的具体内容为:
若读入的为视频帧,并非当一图像时,则采用彩色图像自适应对比度增强方法,对于图像的每一个像素,分别计算其局部均值与局部标准差,其公式为:
上述式中,f(s,k)代表左边为(s,k)的点的像素值;M(i,j)为以点(i,j)为中心,窗口大小为(2n+1),(2m+1)的区域局部均值;对应的τ2(i,j)为局部方差,τ(i,j)为局部图像的标准差;在取得局部均值与标准差后对图像进行增强。
9.根据权利要求1所述的一种监控场景下基于深度学习的香烟自动检测方法,其特征在于:步骤S4中所述采用图像分割方法,对像素大于500*500的图像,将图像中的香烟目标分割出来的具体内容是:
首先用户通过在图像上利用鼠标交互框选出香烟目标或带有香烟的人,得到一个初始的前景;
之后在被选定的目标区域范围内,即由人工交互框选的方框内,将像素初始化为1,即作为可能是目标;对人工交互框选的方框外的,将初始像素设为0,即外部的背景区域;
然后,采用一个K个的高斯分量的全协方差GMM,高斯混合模型对图像的目标和背景进行建模;整个图像的能量公式为:
E(α,p,θ,o)=U(α,p,θ,o)+V(α,o)
公式中p就是P个高斯分量产生的一个向量k={P1,P2,……….,Pn},其中Pn代表的是图像中第n个像素对应于哪个的高斯分量;对于每个像素为目标混合模型的某个高斯分量或背景的某个高斯分量;其中,函数中的U是区域项,表示像素被分类为目标或背景丢失,即像素被分类为背景的前景或负对数;根据高斯模型,利用像素样本集、RGB值得到协方差和参数均值;
最后,在高斯模型的建立完成后,进行不断的迭代,每次迭代会交互地优化模型和分割结果,一次保证迭代过程到最后是收敛的,最后输出分割后的前景,既香烟目标图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659255.1A CN110390673B (zh) | 2019-07-22 | 2019-07-22 | 一种监控场景下基于深度学习的香烟自动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659255.1A CN110390673B (zh) | 2019-07-22 | 2019-07-22 | 一种监控场景下基于深度学习的香烟自动检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110390673A true CN110390673A (zh) | 2019-10-29 |
CN110390673B CN110390673B (zh) | 2021-04-27 |
Family
ID=68286952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910659255.1A Active CN110390673B (zh) | 2019-07-22 | 2019-07-22 | 一种监控场景下基于深度学习的香烟自动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110390673B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111414800A (zh) * | 2020-02-17 | 2020-07-14 | 妙微(杭州)科技有限公司 | 图像中小目标识别监控方法及其训练集的获取方法 |
CN111507416A (zh) * | 2020-04-21 | 2020-08-07 | 湖北马斯特谱科技有限公司 | 一种基于深度学习的吸烟行为实时检测方法 |
CN112950638A (zh) * | 2019-12-10 | 2021-06-11 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN113240611A (zh) * | 2021-05-28 | 2021-08-10 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
CN116052062A (zh) * | 2023-03-07 | 2023-05-02 | 深圳爱莫科技有限公司 | 一种鲁棒的烟草陈列图像处理方法和装置 |
CN116703921A (zh) * | 2023-08-07 | 2023-09-05 | 东莞市溢信高电子科技有限公司 | 一种柔性线路板表面镀层质量检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978829A (zh) * | 2015-06-24 | 2015-10-14 | 国家电网公司 | 一种室内吸烟监控控制方法及*** |
CN105469105A (zh) * | 2015-11-13 | 2016-04-06 | 燕山大学 | 一种基于视频监控的香烟烟雾检测方法 |
CN106611169A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于深度学习的危险驾驶行为实时检测方法 |
US20170178344A1 (en) * | 2015-12-18 | 2017-06-22 | Samsung Electronics Co., Ltd. | Method and apparatus for modeling smoke turbulence based on patch |
CN107358164A (zh) * | 2017-06-13 | 2017-11-17 | 深圳市易成自动驾驶技术有限公司 | 吸烟的检测方法、装置及计算机可读存储介质 |
CN108629282A (zh) * | 2018-03-29 | 2018-10-09 | 福州海景科技开发有限公司 | 一种吸烟检测方法、存储介质及计算机 |
CN108710837A (zh) * | 2018-05-07 | 2018-10-26 | 广州通达汽车电气股份有限公司 | 吸烟行为识别方法、装置、计算机设备和存储介质 |
CN109165575A (zh) * | 2018-08-06 | 2019-01-08 | 天津艾思科尔科技有限公司 | 一种基于ssd框架的烟火识别算法 |
CN109829429A (zh) * | 2019-01-31 | 2019-05-31 | 福州大学 | 基于YOLOv3的监控场景下的安防敏感物品检测方法 |
-
2019
- 2019-07-22 CN CN201910659255.1A patent/CN110390673B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978829A (zh) * | 2015-06-24 | 2015-10-14 | 国家电网公司 | 一种室内吸烟监控控制方法及*** |
CN105469105A (zh) * | 2015-11-13 | 2016-04-06 | 燕山大学 | 一种基于视频监控的香烟烟雾检测方法 |
US20170178344A1 (en) * | 2015-12-18 | 2017-06-22 | Samsung Electronics Co., Ltd. | Method and apparatus for modeling smoke turbulence based on patch |
CN106611169A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于深度学习的危险驾驶行为实时检测方法 |
CN107358164A (zh) * | 2017-06-13 | 2017-11-17 | 深圳市易成自动驾驶技术有限公司 | 吸烟的检测方法、装置及计算机可读存储介质 |
CN108629282A (zh) * | 2018-03-29 | 2018-10-09 | 福州海景科技开发有限公司 | 一种吸烟检测方法、存储介质及计算机 |
CN108710837A (zh) * | 2018-05-07 | 2018-10-26 | 广州通达汽车电气股份有限公司 | 吸烟行为识别方法、装置、计算机设备和存储介质 |
CN109165575A (zh) * | 2018-08-06 | 2019-01-08 | 天津艾思科尔科技有限公司 | 一种基于ssd框架的烟火识别算法 |
CN109829429A (zh) * | 2019-01-31 | 2019-05-31 | 福州大学 | 基于YOLOv3的监控场景下的安防敏感物品检测方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950638A (zh) * | 2019-12-10 | 2021-06-11 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN112950638B (zh) * | 2019-12-10 | 2023-12-29 | 深圳华大生命科学研究院 | 图像分割方法、装置、电子设备及计算机可读存储介质 |
CN111414800A (zh) * | 2020-02-17 | 2020-07-14 | 妙微(杭州)科技有限公司 | 图像中小目标识别监控方法及其训练集的获取方法 |
CN111414800B (zh) * | 2020-02-17 | 2023-08-01 | 妙微(杭州)科技有限公司 | 图像中小目标识别监控方法及其训练集的获取方法 |
CN111507416A (zh) * | 2020-04-21 | 2020-08-07 | 湖北马斯特谱科技有限公司 | 一种基于深度学习的吸烟行为实时检测方法 |
CN111507416B (zh) * | 2020-04-21 | 2023-08-04 | 湖北马斯特谱科技有限公司 | 一种基于深度学习的吸烟行为实时检测方法 |
CN113240611A (zh) * | 2021-05-28 | 2021-08-10 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
CN113240611B (zh) * | 2021-05-28 | 2024-05-07 | 中建材信息技术股份有限公司 | 一种基于图片序列的异物检测方法 |
CN116052062A (zh) * | 2023-03-07 | 2023-05-02 | 深圳爱莫科技有限公司 | 一种鲁棒的烟草陈列图像处理方法和装置 |
CN116703921A (zh) * | 2023-08-07 | 2023-09-05 | 东莞市溢信高电子科技有限公司 | 一种柔性线路板表面镀层质量检测方法 |
CN116703921B (zh) * | 2023-08-07 | 2023-12-05 | 东莞市溢信高电子科技有限公司 | 一种柔性线路板表面镀层质量检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110390673B (zh) | 2021-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390673A (zh) | 一种监控场景下基于深度学习的香烟自动检测方法 | |
CN108154134B (zh) | 基于深度卷积神经网络的互联网直播色情图像检测方法 | |
CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN109977790A (zh) | 一种基于迁移学习的视频烟雾检测与识别方法 | |
CN110472627A (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
CN107688784A (zh) | 一种基于深层特征和浅层特征融合的字符识别方法及存储介质 | |
CN107680119A (zh) | 一种基于时空上下文融合多特征及尺度滤波的跟踪算法 | |
CN107871134A (zh) | 一种人脸检测方法及装置 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN110321873A (zh) | 基于深度学习卷积神经网络的敏感图片识别方法及*** | |
Qu et al. | A pedestrian detection method based on yolov3 model and image enhanced by retinex | |
CN107341480A (zh) | 一种改进型pccnn神经网络模型的人群聚集检测方法 | |
CN109214366A (zh) | 局部目标重识别方法、装置及*** | |
CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
CN109657582A (zh) | 人脸情绪的识别方法、装置、计算机设备及存储介质 | |
CN107808358A (zh) | 图像水印自动检测方法 | |
CN107730515A (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN112597815A (zh) | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 | |
CN109711416A (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
CN110008853A (zh) | 行人检测网络及模型训练方法、检测方法、介质、设备 | |
CN110415260A (zh) | 基于字典与bp神经网络的烟雾图像分割与识别方法 | |
CN110147753A (zh) | 一种检测图像中小物体的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |