CN103763515A - 一种基于机器学习的视频异常检测方法 - Google Patents

Abstract

一种基于机器学习的视频异常检测方法，包括以下步骤：1）视频文件读入：将视频文件以一帧一帧的bmp图像数据读入；2）视频异常检测：对分解出的图像进行检测，过程如下：a）画面过亮、画面过暗；b）增益紊乱；c）模糊、被遮挡；d）条带状干扰、滚屏；e）雪花干扰；f）抖动；g）偏色；h）冻结；i）蓝、黑屏；3）机器学习：将判断为异常的视频，根据异常代码与数据库中存在的同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。本发明检测全面、具有自我学习改善能力、准确度较高。

Description

一种基于机器学习的视频异常检测方法

技术领域

本发明涉及了图像处理、视频相似度计算和机器学习等技术领域，主要内容为一种基于机器学习的视频异常检测方法。

背景技术

随着我国社会的发展和电子领域的兴起，视频监控***已经非常广泛的应用于各行各业中，不再局限于往日的治安、金融、银行、交通、军队和口岸等特殊领域，在我们日常生活触手能及的社区、写字楼、酒店、公共场所、工厂、商场、小区，甚至家庭，都已安装了视频监控***。但随着应用场合监控摄像机数量的不断增加，监控的时间不断延长，人工实时对监控软件的维护越来越难，所以对于监控软件的智能化也越来越迫切。

现有的监控视频检测***大多基于硬件设备检测，虽然准确度高，但是不具备平台移植性，且功能模块拓展升级限制大，同时成本偏高。而已有的视频检测算法所能检测的异常类型大都不全面，并对于发生误判的情况不具备自我学习记忆的能力。

本发明提出的基于机器学习的视频异常检测方法不但能实现对大多数的视频异常类型的检测，还具备对误判情况自我学习记忆的能力，避免下次同样误判的发生，且功能扩展性良好。实验证明该方法具有很高的准确性和实用性。

发明内容

针对现有视频异常检测方法仍不够全面且缺乏自我学习改善的能力，本发明提出了一种基于机器学习的视频异常检测方法，该方法首先读取视频文件，将视频分解成一帧帧图像，继而对分解出的图像数据进行检测；如果使用者在使用中发生误判，可根据异常类型将误判视频分类存储起来作为学习记忆，当再一次发生相同类型异常时调用出来进行比对，防止再次发生相同误判。

本发明的技术方案是：

一种基于机器学习的视频异常检测方法，其特征在于：所述视频异常检测方法包括以下步骤：

1）视频文件读入：分解成一帧帧图像数据；

2）视频异常检测：对分解出的图像进行检测，过程如下：

a)画面过亮、画面过暗；

b)增益紊乱；

c)模糊、被遮挡；

d)条带状干扰、滚屏；

e)雪花干扰；

f)抖动；

g)偏色；

h)冻结；

i)蓝、黑屏；

3）机器学习：将判断为异常的视频，根据异常代码与数据库中存在的同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。

进一步，所述异常检测方法还包括以下步骤：4）算法优化：设定相互冲突的异常类型，对于相互冲突的异常类型不需要重复检测。

本发明的技术构思为：该方法首先读取视频文件，将视频分解成一帧帧图像，继而对分解出的图像数据进行检测；如果在使用中发生误判，可根据异常类型将误判视频分类存储起来作为学习记忆，当再一次发生相同类型异常时调用出来进行比对，防止再次发生相同误判。

本发明提出的基于机器学习的视频异常检测方法不但能实现对大多数的视频异常类型的检测，还具备对误判情况自我学习记忆的能力，避免下次同样误判的发生，且功能扩展性良好。

视频异常检测方法是可以对监控***传回的视频文件进行处理、检测，它能让使用者迅速、直观的掌握当前监控***的运行状况，便于使用者对监控***的维护。目前所存在的视频异常检测方法大多检测异常类型不全面，且发生误判时不能自我完善，本发明运用图像处理、视频相似度衡量来实现大多数异常类型的检测以及方法的自我学习能力，经大量实验验证，具有很高的准确率和实时性。

本发明的有益效果主要在于：一方面使视频异常检测方法所能检测的异常检测类型更为全面；另一方面在视频异常检测方法中加入了机器学习能力，将判断为异常的视频，根据异常代码与同类型误判的视频进行相似度比较，来减少当前视频误判的情况，提高检测准确率。

附图说明

图1是一种基于机器学习的视频异常检测方法流程图。

图2是偏色判断坐标图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于机器学习的视频异常检测方法，所述方法包括以下步骤：

1）视频文件读入：将视频文件以一帧一帧的bmp图像数据读入方法；

2）视频异常检测：对分解出的图像进行检测，可检测的异常类型有

a）画面过亮、画面过暗：图像画面整体的亮、暗度取决于图像的镜头灰度。首先对图像进行灰度化处理f(x,y)：

f(x,y)＝0.114*B(x,y)+0.587*G(x,y)+0.299*R(x,y)，

其中B(x,y)，G(x,y)，R(x,y)分别对应图像在(x,y)这个像素点的蓝色，绿色和红色分量值。设立亮度阀值light，暗度阀值dark，当f(x,y)＞light时，该点记为过亮点，当f(x,y)＜dark时，该点记为过暗点。统计视频镜头区域的过亮点、过暗点个数NUMlight、NUMdark。设立阀值T_α和T_β，如果NUMlight＞T_α，则当前帧为过亮帧；如果NUMdark＞T_β，则当前帧为过暗帧。

如果连续出现一定数量的过亮帧、过暗帧，则该视频判断为过亮、过暗。

b）增益紊乱：图像颜色紊乱，采用YUV颜色空间进行判断。

Y＝0.114*B+0.587*G+0.299*R

U＝0.436*B-0.147*R-0.289*G

V＝0.615*R-0.515*G-0.100*B

Y代表灰度，U分量和V分量决定了颜色本身偏蓝或偏红的色度。YUV颜色空间的基本原理是建立二维坐标，以U为横坐标，V为纵坐标，将颜色分为4个色区，坐标原点表示图像灰度，与原点的距离

越大颜色越深，设立阀值T_D，如果d＞T_D，则(U,V)为颜色深点。对图像进行2*2分区，当总的颜色深点的点数大于图像面积的

且每个色区、图像分区的颜色深点存在及个数均匀时，则当前帧为增益紊乱帧。

如果连续出现一定数量的增益紊乱帧，则该视频判断为增益紊乱。

c）模糊、被遮挡：两种异常都为图像显示不清晰，梯度偏小，区别在于模糊是整体性的，被遮挡是局部的，且被遮挡部分内容偏暗。对图像像素f(x,y)与Sobel算子进行卷积求取图像x和y方向的梯度图f_x(x,y)和f_y(x,y)，然后求得f(x,y)的梯度|f(x,y)|：

|f(x,y)|＝|f_x(x,y)|+|f_y(x,y)|

设阀值T_γ，如果|f(x,y)|＞T_y，则记为边缘点。对图像进行分区，设立阀值T_A，如果每个分区的边缘点个数N₁都小于T_A，且图像的平均灰度F满足T_β＜F＜T_α，则判断为模糊帧。如果部分区域的边缘点个数小于T_A，且该部分平均灰度F满足F＜T_β，其他区域边缘点个数大于T_A，则判断为被遮挡帧。

如果连续出现一定数量的模糊帧、被遮挡帧，则该视频判断为模糊、被遮挡。

d）条带状干扰、滚屏：两种异常都会在图像中产生干扰线，区别在与条带状干扰的线条噪声变化很小，随画面滚动改变位置。同2.3）求得图像的梯度|f(x,y)|，根据阀值对图像像素点进行标记，分别为边缘点和非边缘点。统计每一行的边缘点个数{N_i,i＝1,2,…,H}及每一列的边缘点个数{M_j,j＝1,2,…,W}，其中H和W分别表示图像的高度和宽度。当至少有一行N_i＞0.6*W时，则判断为条状干扰帧；当至少有一列M_j＞0.6*H时，则判断为带状干扰帧。当存在N_i＞0.9*W或者M_j＞0.9*H，记录最大值：

$\max i=\underset{1\≤i\≤H}{\arg \max }\{N_i>0.9*W\}$ 或 $\max j=\underset{1\≤j\≤W}{\arg \max }\{M_i>0.9*H\}$

每隔3帧对图像线条位置maxi或maxj进行一次比较，设立滚屏滚动阀值T_N和T_M，当

|maxi-maxi'|＞T_N或|maxj-maxj'|＞T_M

其中maxi'与maxi对应帧相隔3帧，则判断为滚屏帧。

如果连续出现一定数量的条状干扰帧、带状干扰帧、滚屏帧，则该视频判断为条状干扰、带状干扰、滚屏。

e）雪花干扰：相邻帧图像变化很小，雪花干扰画面均匀分布噪点，并且位置随机变换。先对图像灰度化处理，设立像素差阀值T_η，如果帧间像素差分绝对值|f_k(x,y)-f_k+1(x,y)＞T_η，则记为雪花噪点，当噪点数大于图像面积的

时，可能存在雪花噪声。将图像分为16*16的小块，当每块都存在噪声时，则判断为雪花帧。

如果连续出现一定数量的雪花帧，则该视频判断为雪花。

f）抖动：相邻帧图像变化很小，但位置晃动，若是将相邻帧图像重合，则正常图像基本保持一致，而抖动图像会出现重影，内容增加。先求得图像的梯度图，如果||f_k(x,y)|-|f_k+2(x,y)||＞T_κ，则将(x,y)记为图像晃动轮廓点。统计当前图像的晃动轮廓点N₂以及图像中的边缘点数N₁，如果|N₂-N₁|大于图像面积的

则判断为抖动帧。

如果连续出现一定数量的抖动帧，则该视频判断为抖动。

g）偏色：RGB颜色结构不利于偏色的判断，会在一些特殊场景中误判，比如图像中绿色树叶占大比例，很容易把正常图像判断为偏绿。将RGB颜色空间转化到Lab空间进行检测。Lab色彩模型由三个要素组成，L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。

先将图像RGB转换为Lab空间：

X=0.412453*r+0.357580*g+0.180423*b x=X/97.31

Y=0.212671*r+0.715160*g+0.072169*b y=Y/100

Z=0.019334*r+0.119193*g+0.950227*b z=Z/60.19

如果x>0.008856，x=x^1/3，否则x=7.787*x+16/116；

如果y>0.008856，y=y^1/3，否则y=7.787*y+16/116；

如果z>0.008856，z=z^1/3，否则z=7.787*z+16/116。

L=116*y-16;a=500*(z-y);b=200*(y-z);

求出图像平均色度D，图像色度中心距M：

$d_a=\frac{\underset{i=0}{\overset{H}{\mathrm{\Σ}}}\underset{j=0}{\overset{W}{\mathrm{\Σ}}}a}{\mathrm{HW}}$ $d_b=\frac{\underset{i=0}{\overset{H}{\mathrm{\Σ}}}\underset{j=0}{\overset{W}{\mathrm{\Σ}}}b}{\mathrm{HW}}$ $D=\sqrt{d_a^2+d_b^2}$

$M_a=\frac{\underset{i=0}{\overset{H}{\mathrm{\Σ}}}\underset{j=0}{\overset{W}{\mathrm{\Σ}}}{(a-d_a)}^2}{\mathrm{HW}}$ $M_b=\frac{\underset{i=0}{\overset{H}{\mathrm{\Σ}}}\underset{j=0}{\overset{W}{\mathrm{\Σ}}}{(b-d_b)}^2}{\mathrm{HW}}$ $M=\sqrt{M_a^2+M_b^2}$

偏色因子

具体偏色判断标准如图2所示。

h）冻结：视频图像画面连续定格不变

当连续一定数量帧的像素一模一样时，f_k(x,y)＝f_k+1(x,y)，判断为冻结。

i）蓝、黑屏：视屏画面缺失，呈统一蓝色或黑色，并根据不同摄像头在中间显示提示画面缺失的字符（一般摄像头蓝、黑屏都会显示“无信号”）。

统计与像素f(10,10)一样的像素点个数N，当

时，判断可能缺失。当像素f(10,10)中R(10,10)＜20，B(10,10)＜20，G(10,10)＜20时，判断为黑屏帧；当B(10,10)＞R(10,10)且B(10,10)＞G(10,10)时，判断为蓝屏帧。

如果连续出现一定数量的黑屏帧、蓝屏帧时，则该视频判断为黑屏、蓝屏。3)机器学习：用以提高***的准确率，减少误判。将判断为异常的视频，根据异常代码与曾经同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。

参考《视频相似度衡量》，提取的视频特征有颜色和纹理两类，引入视频镜头特征向量k_(1,2,...35),向量k的前32维为根据HSV颜色直方图统计得到的颜色信息分量，后三位为根据Tamura定义的粗糙度、对比度、方向性三个分量，比较两视频镜头质心向量之间的距离计算视频之间的相似度。

设镜头s由m个关键帧组成，s＝{k₁,k₂,...,k_m}，每个关键帧k_i由35个维度的特征向量表示：

k₁＝{F₁₁,F₁₂,...,F_1N},…,k_m＝{F_m1,F_m2,...,F_mN},N＝35

特征向量相似度比对公式如下：

Claims (4)

1.一种基于机器学习的视频异常检测方法，其特征在于：所述异常检测方法包括以下步骤：

1)视频读入；将视频文件以一帧一帧的bmp图像数据读入；

2)视频异常检测：对分解出的图像进行检测，过程如下：

a)画面过亮、画面过暗；

b)增益紊乱；

c)模糊、被遮挡；

d)条带状干扰、滚屏；

e)雪花干扰；

f)抖动；

g)偏色；

h)冻结；

i)蓝、黑屏；

3)机器学习：将判断为异常的视频，根据异常代码与数据库中存在的同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。

2.如权利要求1所述的一种基于机器学习的视频异常检测方法，其特征在于：所述异常检测方法还包括以下步骤：

算法优化，通过设定相互冲突的异常类型，对于相互冲突的异常类型不需要重复检测。

3.如权利要求1或2所述的一种基于机器学习的视频异常检测方法，其特征在于：

所述步骤a)中，画面过亮、画面过暗检测过程：首先对图像进行灰度化处理f(x,y)，设立亮度阀值light，暗度阀值dark，当f(x,y)＞light时，该点记为过亮点，当f(x,y)＜dark时，该点记为过暗点，统计视频镜头区域的过亮点、过暗点个数NUMlight、NUMdark设立阀值T_α和T_β，如果NUMlight＞T_α，则当前帧为过亮帧；如果NUMdark＞T_β，则当前帧为过暗帧；

所述步骤b)中，增益紊乱的检测过程：图像颜色紊乱，采用YUV颜色空间进行判断，Y代表灰度，U分量和V分量决定了颜色本身偏蓝或偏红的色度；YUV颜色空间的基本原理是建立二维坐标，以U为横坐标，V为纵坐标，将颜色分为4个色区，坐标原点表示图像灰度，与原点的越深，设立阀值T_D，如果d＞T_D，则(U,V)为颜色深点；对图像进行2*2分区，当总的颜色深点的点数大于图像面积的1/2，且每个色区、图像分区的颜色深点存在及个数均匀时，则当前帧为增益紊乱帧，距离

越大颜色越深；

所述步骤c)中，模糊、被遮挡检测过程：对图像像素f(x,y)与Sobel算子进行卷积求取图像x和y方向的梯度图f_x(x,y)和f_y(x,y)，然后求得f(x,y)的梯度，设阀值T_γ，如果|f(x,y)|＞T_y，则记为边缘点；对图像进行分区，设立阀值T_A，如果每个分区的边缘点个数N₁都小于T_A，且图像的平均灰度F满足T_β＜F＜T_α，则判断为模糊帧；如果部分区域的边缘点个数小于T_A，且该部分平均灰度F满足F＜T_β，其他区域边缘点个数大于T_A，则判断为被遮挡帧；

所述步骤d)中，条带状干扰、滚屏的检测过程：同步骤c）求得图像的梯度|f(x,y)|，根据阀值对图像像素点进行标记，分别为边缘点和非边缘点；统计每一行的边缘点个数{N_i,i＝1,2,…,H}及每一列的边缘点个数{M_j,j＝1,2,…,W}，其中H代表图像高，W是图像宽；当至少有一行N_i＞0.6*W时，则判断为条状干扰帧；当至少有一列M_j＞0.6*H时，则判断为带状干扰帧；当存在N_i＞0.9*W或者M_j＞0.9*H，记录最大值maxi或maxj，每隔3帧对图像线条位置maxi或maxj进行一次比较，设立滚屏滚动阀值T_N和T_M，当|maxi-maxi'|＞T_N或|maxj-maxj'|＞T_M，则判断为滚屏帧，其中maxi'与maxi对应帧相隔3帧；

所述步骤e)中，雪花干扰的检测过程：先对图像灰度化处理，设立像素差阀值T_η，如果帧间像素差分绝对值|f_k(x,y)-f_k+1(x,y)|＞T_η，则记为雪花噪点，当噪点数大于图像面积的1/5时，可能存在雪花噪声，将图像分为16*16的小块，当每块都存在噪声时，则判断为雪花帧；

所述步骤f)中，抖动的检测过程：先求得图像的梯度图，如果所求得的||f_k(x,y)-|f_k+2(x,y)||＞T_κ，则将(x,y)记为图像晃动轮廓点，统计当前图像的晃动轮廓点N₂以及图像中的边缘点数N₁，如果|N₂-N₁|大于图像面积的1/10，则判断为抖动帧；

所述步骤g)中，偏色的检测过程如下：RGB颜色结构不利于偏色的判断，会在一些特殊场景中误判，比如图像中绿色树叶占大比例，很容易把正常图像判断为偏绿，将RGB颜色空间转化到Lab空间进行检测，Lab色彩模型由三个要素组成，L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，先将图像RGB转换为Lab空间，求出图像平均色度D，图像色度中心距M，偏色因子K＝D/M，根据偏色标准进行判断；

所述步骤h)中，冻结的检测过程如下：当连续一定数量帧的像素一模一样时，f_k(x,y)＝f_k+1(x,y)，判断为冻结；

所述步骤i)中，蓝、黑屏的检测过程如下：视屏画面缺失，呈统一蓝色或黑色，并根据不同摄像头在中间显示提示画面缺失的字符，统计与像素f(10,10)一样的像素点个数N，当N＞0.75*W*H时，判断可能缺失；当像素f(10,10)中R(10,10)＜20，B(10,10)＜20，G(10,10)＜20时，判断为黑屏帧；当B(10,10)＞R(10,10)且B(10,10)＞G(10,10)时，判断为蓝屏帧。

4.如权利要求1或2所述的一种基于机器学习的视频异常检测方法，其特征在于：步骤3）中，相似度比较过程：提取的视频特征有颜色和纹理两类，引入视频镜头特征向量，向量的前32维为根据HSV颜色直方图统计得到的颜色信息分量，后三位为根据Tamura定义的粗糙度、对比度、方向性三个分量，比较两视频镜头质心向量之间的距离计算视频之间的相似度。

Images