CN103096120A - 视频图像异常状态检测方法及装置 - Google Patents

视频图像异常状态检测方法及装置 Download PDF

Info

Publication number
CN103096120A
CN103096120A CN2011103360607A CN201110336060A CN103096120A CN 103096120 A CN103096120 A CN 103096120A CN 2011103360607 A CN2011103360607 A CN 2011103360607A CN 201110336060 A CN201110336060 A CN 201110336060A CN 103096120 A CN103096120 A CN 103096120A
Authority
CN
China
Prior art keywords
image
information
yuv
video image
statistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103360607A
Other languages
English (en)
Other versions
CN103096120B (zh
Inventor
潘晖
谢志明
黄虎
潘石柱
张兴明
傅利泉
朱江明
吴军
吴坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201110336060.7A priority Critical patent/CN103096120B/zh
Publication of CN103096120A publication Critical patent/CN103096120A/zh
Application granted granted Critical
Publication of CN103096120B publication Critical patent/CN103096120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种视频图像异常状态检测方法及装置,该方法包括:根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;根据输入视频图像的YUV图像信息、运动帧差信息和边缘信息,获得去除边缘和运动影响的YUV检测视频图像;将YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;对YUV检测视频图像进行直方图统计,获得直方图统计信息;根据YUV、RGB和HSV各分量的偏差量信息,以及直方图统计信息,检测视频图像是否偏色、过亮或过暗;根据直方图统计信息、运动帧差信息图像和边缘信息图像,检测视频图像是否丢失或冻结。该方法识别速度快,准确率高,可实现对视频图像异常状态的自动检测。

Description

视频图像异常状态检测方法及装置
技术领域
本发明涉及计算机视觉图像处理技术,属于人工智能技术领域和智能视频监控应用领域,特别涉及一种视频图像异常状态检测方法及装置。
背景技术
随着社会经济的快速发展,安防监控市场急剧扩张,视频监控的摄像机、DVR数目呈几何级增长,也是现在异常事件调查的重要依据。
但是,发明人在实现本发明的过程中发现,由于人力资源问题,面对海量的视频图像数据,人们无法第一时间发现异常视频,对出现的视频丢失、过亮、过暗、偏色等异常视频无法及时处理,导致大量垃圾视频数据产生,不仅浪费了大量空间和资源,也使得安防监控的效果大打折扣。所以如何有效的利用和管理这些海量数据和视频,并尽量减少及时主动的垃圾数据的存储,是安防监控行业必须解决的一个重要问题。
发明内容
本发明的目的在于,克服现有技术的不足,提供一种基于视频图像信息分析的视频图像异常状态检测方法及装置,以提供智能化的视频监控管理,实现海量视频的智能化监控管理,对视频进行监控、统计和管理,对出现的异常视频进行分析和按照事先设定的阈值进行报警预警,自动提醒相关人员及时对异常视频录像进行处理,在相对较少的人力成本下,能够大大减少无效视频的数量,减少存储资源的浪费,提高安防监控的效率。
为达上述目的,一方面,本发明实施例提供了一种视频图像异常状态检测方法,所述方法包括:
根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;
根据所述输入视频图像的YUV图像信息、所述运动帧差信息图像和所述边缘信息图像,获得去除边缘和运动影响的YUV检测视频图像;
将所述YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;对所述YUV检测视频图像进行直方图统计,获得直方图统计信息;
根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色、过亮或过暗;
根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结。
为达上述目的,又一方面,本发明实施例提供了一种视频图像异常状态检测装置,所述装置包括:
帧差及边缘信息获取单元,用于根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;
YUV检测视频图像生成单元,用于根据所述输入视频图像的YUV图像信息、所述运动帧差信息图像和所述边缘信息图像,获得去除边缘和运动影响的YUV检测视频图像;
空间转换及偏差量计算单元,用于将所述YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;
直方图统计信息获取单元,用于对所述YUV检测视频图像进行直方图统计,获得直方图统计信息;
第一图像异常检测单元,用于根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色、过亮或过暗;
第二图像异常检测单元,用于根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结。
本发明实施例提供的上述安防监控视频图像异常状态检测的方法及装置,根据视频图像YUV分量、RGB分量和HSV分量的特征信息、亮度特征信息、直方图统计信息以及前后帧帧差信息,综合分析视频图像的颜色分布、亮度分布状况,并检测判断视频丢失等视频图像异常事件。本发明实施例的技术方案适用于白天、夜晚及多种光照条件下,且识别速度快,准确率高,能够实现对视频图像状态的自动检测,为安防监控视频管理提供了新的解决方案。另外,本发明实施例的视频图像异常状态检测方法及装置不仅能够进行大规模的监控视频状态的轮巡智能分析,还可以嵌入到相关设备中,针对设备采集的视频进行实时状态智能监控,实时检测出视频异常状况并报警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的视频图像异常状态检测方法的整体流程图;
图2为本发明实施例的视频图像异常状态检测方法的具体流程图;
图3为本发明实施例图2的步骤290中视频冻结丢失判断的具体流程图;
图4为本发明实施例的一种视频图像异常状态检测装置的整体功能框图;
图5A为本发明实施例第一图像异常检测单元450的具体功能框图;
图5B为本发明实施例第二图像异常检测单元460的一种具体功能框图;
图5C为本发明实施例第二图像异常检测单元460又一种具体功能框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视频图像异常状态检测方法,该方法通过对图像的直方图、颜色分量信息、帧差信息、边缘信息这四个基本特征的计算,组合计算出视频图像的颜色偏色量化值、亮度量化值以及视频丢失或冻结的状态值,并根据外部设定的系列判定阈值,对视频图像的偏色、过亮或过暗以及视频丢失或视频冻结等异常现象进行报警。本发明实施例的视频图像异常状态检测方法可以为视频图像的智能化管理提供量化依据。其中,上述系列判定阈值主要包括:偏色预警阈值、偏色报警阈值、亮度过暗预警阈值、亮度过暗报警阈值、亮度过亮预警阈值、亮度过亮报警阈值。需要说明的是:视频丢失和冻结都是0、1BOOL脉冲状态值,不需要判断阈值。在本发明的一较佳实施例中,预警阈值以下为正常,预警阈值以上报警阈值以下为需要关注,报警阈值以上为需要处理。以下结合附图和实施例来详细说明本发明技术方案的实施方式。
图1为本发明实施例的视频图像异常状态检测方法的整体流程图。如图1所示,该方法包括如下步骤:
步骤100、根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;
步骤110、根据所述输入视频图像的YUV图像信息、所述运动帧差信息图像和所述边缘信息图像,获得去除边缘和运动影响的YUV检测视频图像;
步骤120、将所述YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;
步骤130、对所述YUV检测视频图像进行直方图统计,获得直方图统计信息;
步骤140、根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色、过亮或过暗;
步骤150、根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结。
可选地,在步骤140中,根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色可以包括如下步骤:根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的偏色量化值;根据预设的偏色预警阈值、颜色偏色报警阈值和计算的所述偏色量化值,检测图像是否偏色。
可选地,在步骤140中,根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否过亮或过暗可以包括如下步骤:根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的亮度量化值;根据预设的亮度过暗预警阈值、亮度过暗报警阈值、亮度过亮预警阈值、亮度过亮报警阈值和计算的亮度量化值,检测视频图像是否过亮或过暗。
可选地,步骤150的具体处理过程可以包括如下步骤:统计所述运动帧差信息对应的帧差图像中大于0的像素点的数量;如果大于0的像素点的数量小于第一阈值,则进一步统计所述边缘信息对应的边缘图像中边缘的数量,当边缘的数量小于第二阈值则判定为视频丢失,否则为视频冻结;或者,如果大于0的像素点的数量小于第一阈值,则进一步根据直方图统计信息得到亮度直方图,当所述亮度直方图中统计的分布区间集中于两个以内的区域时判定为视频丢失,否则为视频冻结。
以下对图1所示方法进行更为详细的说明。图2为本发明实施例的视频图像异常状态检测方法的具体流程图,如图2所示,该方法包括:
步骤200、输入原始图像。该输入的原始图像为普通的监控图像,可以为实时的视频流,也可以为本地保存的录像,只需要***配置的解码器能够解析该码流即可。
步骤210、执行图像采样,选择CIF大小区域作为检测区域。具体地,本步骤对输入的视频图像进行前处理,主要是将图像压缩或截取到CIF(CommonIntermediate Format,视频采集设备标准采集分辨率)大小,这样做的目的是为了能够更好的控制算法运算时间,因为本发明实施例所涉及的各种算法运算时间基本和图像大小成正比。其中,步骤210为可选,主要用于控制实际应用中算法工作量。
步骤220、根据步骤210得到的当前图像和保存的前帧图像得到帧差运动图像。其中,前帧图像指上一帧图像,当前图像和前帧图像相减,得到前后帧帧差运动图像,帧差运动图像指前后帧帧差运动图像。
步骤230、根据步骤110得到的当前图像,得到YUV3个分量的边缘信息图像,边缘图像包括YUV分量的Sobel边缘图像,其边缘检测阈值根据前一帧边缘图像统计数目自适应得到。Sobel是一种图像处理的通用边缘检测算法,本领域技术人员可以理解。边缘检测阈值主要是对边缘值有效性的判断,大于该阈值的边缘值才有效,小于该阈值的边缘值置0,这个主要用于初步过滤噪声的作用,自适应的意思是指该阈值不是外部设定的或者一直不变的,而是会根据一些统计数据,比如边缘数目,边缘点均值等进行自动变换的。
其中,边缘图像和运动差分图像阈值通过自适应阈值自动设定获取;边缘图像和运动差分图像本质上都是对应像素的矩阵减法,这个阈值就是减法得到的值有效的判定阈值,大于该阈值则有效,小于该阈值则为0。
步骤240、根据步骤210、步骤220和步骤230的结果,并根据Y分量的边缘特征和帧差运动图像的膨胀信息图像中的非0点,将YUV检测视频图像中所对应的点从下述计算中去除,得到去除边缘和运动影响的YUV检测视频图像。
由于人眼对颜色和亮度的感官,主要集中在图像的非边缘区域,并且,在边缘区域的噪声比较大,会对实际图像分析结果造成一定影响,所以为了提高量化感官的准确性,当帧差和边缘数量统计值在一定范围内时,原始YUV图像需要去除掉边缘和帧差区域的像素值。
步骤250、将步骤240中的去除边缘和运动的YUV检测视频图像的区域像素YUV转换到RGB和HSV空间,本实施例中的转换方法如下:
R=Y+1.402×(V-128)
G=Y-0.34414×(U-128)-0.71414×(V-128)
B=Y+1.772×(U-128)
设max=max(R,G,B),min=min(R,G,B);当max≠min时,定义
R / = ( max - R ) / ( max - min ) G / = ( max - G ) / ( max - min ) B / = ( max - B ) / ( max - min )
Figure BDA0000103460360000072
则H=60*h;S=(max-min)/max;V=max/255;当max=min,即R=G=B时,则H=S=0;V=R/255。
步骤250中,所述RGB空间各分量偏差如下:
ΔR=R-Mean;
ΔG=G-Mean;
ΔB=B-Mean
其中,参数Mean为Y分量的平均值,参数R,G,B为各分量平均值,ΔR,ΔG,ΔB为各分量偏差值,由视频图像统计得到。
步骤260、对步骤240得到的YUV检测视频图像进行直方图统计,并根据以下公式得到YUV检测视频图像的最大值、最小值、平均值、方差、中值,提高算法计算速度。步骤260的计算过程基于下列步骤和公式:
(1)根据直方图分布得到最大值和最小值;
(2)根据统计的直方图数目和图像像素总和得到平均值;
(3)根据统计的直方图数目得到中值;
(4)根据图像像素总和直方图得到方差。
S=∑Hist[i]×i;
SS=∑Hist[i]×i2
Num=∑Hist[i];
average=S/Num;
variance = ( SS - average × S ) / ( Num - 1 ) ;
Median=k;
其中,Hist数组为图像直方图统计数组,参数S为像素总和,SS为像素平方总和,Num为像素数目,由视频图像统计得到,average为平均值,variance为方差,Median为中值,k为临时变量。
步骤270、根据计算的YUV、RGB各分量的偏差量,根据下述公式,综合HSV中的S分量以及直方图统计的量化分布状况,再根据UV分量平均值与平均灰度值averageY的最大偏差量、RGB分量平均值与平均灰度值averageY的最大偏差量以及HSV的S分量加权平均综合得到颜色的偏色量化值。然后根据外部设定的颜色偏色预警阈值和颜色偏色报警阈值判定图像是否出现偏色。
if(abs(averageU-averageY)>abs(averageV-averageY))
UVMax=average U-averageY
else
UVMax=averageV-averageY
ΔColor=S+α1·UVMax+α2·RGBMax;
其中ΔColor是颜色量化值,UVMax为UV分量平均值与平均灰度值averageY的最大偏差值,RGBMax为RGB分量平均值与平均灰度值averageY的最大偏差值,平均灰度值averageY(Y分量平均值)、UV分量平均值以及RGB各分量平均值可以从步骤250和步骤260中得到。
α1代表UV分量平均值与平均灰度值averageY偏差最大值UVMax的权重,具体体现为UVMax所对应的UV分量的直方图统计中非0区间相对于255的比例。而α2代表RGB分量平均值与平均灰度值averageY偏差最大值RGBMax的权重,具体体现为RGBMax所对应的RGB分量的直方图统计中0区域相对于255的比例。
最后将得到的ΔColor按照S分量的取值区间,线性转换到0-100区间,大于100置为100,小于0置为0,作为颜色偏色量化值输出。
步骤280、通过对步骤260得到的直方图统计量化数据的分析,根据直方图得到的平均值和中值,加权平均初步得到视频图像亮度量化分析值,并根据RGB各分量的偏差量和RGB分量在YUV的Y分量转换中的权重,对初步得到的亮度进行加权修正,对得到的初始亮度量化值进行微调,得到最终的亮度量化值。
lowNum = Σ k = 0 35 Hist [ k ] ;
HighNum = Σ k = 220 255 Hist [ k ] ;
Level=averageY-128;
if(Level>0&&HighNum>LowNum)
Bright=Level+50×HighNum/Num+α·RGBMax;
if(Level<0&&LowNum>HighNum)
Bright=Level-50×LowNum/Num+α·RGBMax;
else
Bright=Level+·RGBMax;
Bright=Bright×100/128;
其中,Hist为图像直方图统计数组,Num为直方图统计中得到的像素数目,LowNum代表像素值小于等于35的像素点数目统计,HighNum则代表像素值大于等于220的像素点数目统计,这两类主要是针对过亮过暗亮度统计的一类加权。Level则代表基本的亮度偏差,是亮度量化的主体。RGBMax则是步骤270中所用到的颜色RGB分量对灰度平均值的最大偏差量,而其系数α则代表RGBMax所代表的RGB分量中对应分量在RGB转换为Y分量中的权重系数。综合上述几类信息,加权得到亮度Bright的值。最后Bright乘以加权系数得到最后输出的亮度量化值,大于100置为100,小于-100置为-100。
如果需要区分亮度过亮或过暗,则Bright输出的量化值区间为-100到100,小于亮度过暗报警阈值,则输出亮度过暗报警,小于亮度过暗预警阈值且大于亮度过暗报警阈值,则输出亮度过暗关注状态,大于亮度过亮报警阈值,则输出亮度过亮报警,小于亮度过亮报警阈值且大于亮度过亮预警阈值,则输出亮度过亮关注状态。如果仅仅需要输出亮度异常判断量化值,则Bright取绝对值输出,根据亮度报警阈值和预警阈值输出报警、关注、正常等状态。
以上示例仅用于说明本发明实施例,而不应理解为对本发明实施例的限制。
步骤290、根据步骤220、步骤230和步骤260分别得到的帧差图像、边缘信息图像以及直方图统计信息,判断视频冻结和丢失。
图3为本发明实施例图2中步骤290的具体流程图。如图3所示,步骤290中判断视频冻结和丢失的流程包括如下步骤:
步骤300、对步骤220获得的帧差图像中大于0的像素点进行统计;
步骤310、如果步骤300中统计的数目小于阈值Thres1则继续,否则退出流程;
步骤320、对步骤230中到的Y分量的边缘图像信息进行统计,统计图像中边缘的数目,并且对步骤260中得到的亮度直方图统计结果进行分析;小于阈值Thres2或者亮度直方图中统计的分布区间过于集中于两个以内的区域则为视频丢失,否则为视频冻结。
本发明提供的视频图像异常状态检测方法,简单易行,运算速度快,结果合理,能够对视频中出现的偏色、过亮、过暗、视频丢失、视频冻结等异常状态进行检测、分析、报警,能够对大规模监控视频管理提供智能化辅助。
本发明实施例还提供了一种安防监控视频图像异常状态检测的装置,根据视频图像YUV分量、RGB分量和HSV分量的特征信息、亮度特征信息、直方图统计信息以及前后帧帧差信息,综合分析视频图像的颜色分布、亮度分布状况,并检测判断视频丢失等视频图像异常事件,而且对检测到的异常图像进行处理,节省存储资源。本发明实施例的检测装置适用于白天、夜晚及多种光照条件下,且识别速度快,准确率高,能够实现对视频图像状态的自动检测,为安防监控视频管理提供了新的解决方案。
图4为本发明实施例的一种视频图像异常状态检测装置的整体功能框图。如图4所示,该装置包括:
帧差及边缘信息获取单元410,用于根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;
YUV检测视频图像生成单元420,用于根据所述输入视频图像的YUV图像信息、所述运动帧差信息图像和所述边缘信息图像,获得去除边缘和运动影响的YUV检测视频图像;
空间转换及偏差量计算单元430,用于将所述YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;
直方图统计信息获取单元440,用于对所述YUV检测视频图像进行直方图统计,获得直方图统计信息;
第一图像异常检测单元450,用于根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色、过亮或过暗;
第二图像异常检测单元460,用于根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结。
可选地,图5A为本发明实施例第一图像异常检测单元450的具体功能框图,如图5所示,该第一图像异常检测单元450包括:偏色检测模块451,用于根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的偏色量化值;根据预设的偏色预警阈值、颜色偏色报警阈值和计算的所述偏色量化值,检测图像是否偏色。
可选地,该第一图像异常检测单元450还可以包括:亮度异常检测模块452,用于根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的亮度量化值;根据预设的亮度过暗预警阈值、亮度过暗报警阈值、亮度过亮预警阈值、亮度过亮报警阈值和计算的亮度量化值,检测视频图像是否过亮或过暗。
可选地,图5B为本发明实施例第二图像异常检测单元460的一种具体功能框图,如图5B所示,该第二图像异常检测单元460包括:第一统计模块461,用于统计所述运动帧差信息对应的帧差图像中大于0的像素点的数量;第二统计模块462,用于如果大于0的像素点的数量小于第一阈值,则进一步统计所述边缘信息对应的边缘图像中边缘的数量;第一判定模块463,用于当边缘的数量小于第二阈值则判定为视频丢失,否则为视频冻结。
可选地,图5C为本发明实施例第二图像异常检测单元460的又一种具体功能框图,如图5C所示,该第二图像异常检测单元460包括:第一统计模块461,用于统计所述运动帧差信息对应的帧差图像中大于0的像素点的数量;亮度直方图分析模块464,用于如果大于0的像素点的数量小于第一阈值,则进一步根据直方图统计信息得到亮度直方图;第二判定模块465,用于当所述亮度直方图中统计的分布区间集中于两个以内的区域时判定为视频丢失,否则为视频冻结。
本发明实施例的装置的工作过程及原理已在上述方法实施例中详述,故在此不详述。
本发明实施例的视频图像异常状态检测装置,基于视频图像异常状态检测技术,其是一种基于视频图像信息的计算机人工智能技术。与基于视频图像内容分析的智能算法不同,视频图像异常状态检测技术采用国际领先的计算机图像处理和机器学习算法,可以对视频图像的信息进行分析,对视频中的异常事件,例如视频偏色、视频的亮度过高或过低、视频冻结和丢失等多种异常事件进行检测、分析、量化、统计和报警。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,或者二者的结合来实施。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该软件模块或计算机软件产品可以存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。存储介质可以是随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (12)

1.一种视频图像异常状态检测方法,其特征在于,所述方法包括:
根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;
根据所述输入视频图像的YUV图像信息、所述运动帧差信息图像和所述边缘信息图像,获得去除边缘和运动影响的YUV检测视频图像;
将所述YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;
对所述YUV检测视频图像进行直方图统计,获得直方图统计信息;
根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色、过亮或过暗;
根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结。
2.根据权利要求1所述的方法,其特征在于,所述将所述YUV检测视频图像分别转换到RGB空间和HSV空间包括如下关系式:
R=Y+1.402×(V-128)
G=Y-0.34414×(U-128)-0.71414×(V-128)
B=Y+1.772×(U-128)
设max=max(R,G,B),min=min(R,G,B);当max≠min时,定义
R / = ( max - R ) / ( max - min ) G / = ( max - G ) / ( max - min ) B / = ( max - B ) / ( max - min )
Figure FDA0000103460350000021
则H=60*h;S=(max-min)/max;V=max/255;当max=min,即R=G=B时,则H=S=0;V=R/255。
3.根据权利要求1或2所述的方法,其特征在于,所述计算RGB各分量的偏差量信息包括如下关系式:
ΔR=R-Mean;
ΔG=G-Mean;
ΔB=B-Mean
其中参数R,G,B为各分量平均值,ΔR,ΔG,ΔB为各分量偏差值,Mean为Y分量的平均值。
4.根据权利要求1所述的方法,其特征在于,所述直方图统计信息包括:最大值、最小值、平均值、中值和方差;所述对所述YUV检测视频图像进行直方图统计,获得直方图统计信息包括如下关系式:
S=∑Hist[i]×i;
SS=∑Hist[i]×i2
Num=∑Hist[i];
average=S/Num;
variance = ( SS - average × S ) / ( Num - 1 ) ;
Figure FDA0000103460350000023
Median=k;
其中,Hist数组为图像直方图统计数组,S为像素总和,SS为像素平方总和,Num为像素数目,average为平均值,var iance为方差,Median为中值,k为临时变量。
5.根据权利要求1所述的方法,其特征在于,所述根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色包括:
根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的偏色量化值;
根据预设的偏色预警阈值、颜色偏色报警阈值和计算的所述偏色量化值,检测图像是否偏色。
6.根据权利要求1所述的方法,其特征在于,所述根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否过亮或过暗包括:
根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的亮度量化值;
根据预设的亮度过暗预警阈值、亮度过暗报警阈值、亮度过亮预警阈值、亮度过亮报警阈值和计算的亮度量化值,检测视频图像是否过亮或过暗。
7.根据权利要求1所述的方法,其特征在于,所述根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结包括:
统计所述运动帧差信息对应的帧差图像中大于0的像素点的数量;
如果大于0的像素点的数量小于第一阈值,则进一步统计所述边缘信息对应的边缘图像中边缘的数量,当边缘的数量小于第二阈值则判定为视频丢失,否则为视频冻结;或者,
如果大于0的像素点的数量小于第一阈值,则进一步根据直方图统计信息得到亮度直方图,当所述亮度直方图中统计的分布区间集中于两个以内的区域时判定为视频丢失,否则为视频冻结。
8.一种视频图像异常状态检测装置,其特征在于,所述装置包括:
帧差及边缘信息获取单元,用于根据输入视频图像的YUV图像信息,获得运动帧差信息图像和边缘信息图像;
YUV检测视频图像生成单元,用于根据所述输入视频图像的YUV图像信息、所述运动帧差信息图像和所述边缘信息图像,获得去除边缘和运动影响的YUV检测视频图像;
空间转换及偏差量计算单元,用于将所述YUV检测视频图像分别转换到RGB空间和HSV空间,并计算YUV、RGB和HSV各分量的偏差量信息;
直方图统计信息获取单元,用于对所述YUV检测视频图像进行直方图统计,获得直方图统计信息;
第一图像异常检测单元,用于根据所述YUV、RGB和HSV各分量的偏差量信息,以及所述直方图统计信息,检测视频图像是否偏色、过亮或过暗;
第二图像异常检测单元,用于根据所述直方图统计信息、所述运动帧差信息图像和所述边缘信息图像,检测视频图像是否丢失或冻结。
9.根据权利要求8所述的装置,其特征在于,所述第一图像异常检测单元包括:偏色检测模块,用于根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的偏色量化值;根据预设的偏色预警阈值、颜色偏色报警阈值和计算的所述偏色量化值,检测图像是否偏色。
10.根据权利要求8所述的装置,其特征在于,所述第一图像异常检测单元包括:亮度异常检测模块,用于根据视频图像的YUV、RGB各分量偏差值和HSV的s分量,以及直方图统计信息,计算视频图像的亮度量化值;根据预设的亮度过暗预警阈值、亮度过暗报警阈值、亮度过亮预警阈值、亮度过亮报警阈值和计算的亮度量化值,检测视频图像是否过亮或过暗。
11.根据权利要求8所述的装置,其特征在于,所述第二图像异常检测单元包括:第一统计模块,用于统计所述运动帧差信息对应的帧差图像中大于0的像素点的数量;第二统计模块,用于如果大于0的像素点的数量小于第一阈值,则进一步统计所述边缘信息对应的边缘图像中边缘的数量;第一判定模块,用于当边缘的数量小于第二阈值则判定为视频丢失,否则为视频冻结。
12.根据权利要求8所述的装置,其特征在于,所述第二图像异常检测单元包括:第一统计模块,用于统计所述运动帧差信息对应的帧差图像中大于0的像素点的数量;亮度直方图分析模块,用于如果大于0的像素点的数量小于第一阈值,则进一步根据直方图统计信息得到亮度直方图;第二判定模块,用于当所述亮度直方图中统计的分布区间集中于两个以内的区域时判定为视频丢失,否则为视频冻结。
CN201110336060.7A 2011-10-28 2011-10-28 视频图像异常状态检测方法及装置 Active CN103096120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110336060.7A CN103096120B (zh) 2011-10-28 2011-10-28 视频图像异常状态检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110336060.7A CN103096120B (zh) 2011-10-28 2011-10-28 视频图像异常状态检测方法及装置

Publications (2)

Publication Number Publication Date
CN103096120A true CN103096120A (zh) 2013-05-08
CN103096120B CN103096120B (zh) 2015-09-02

Family

ID=48208170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110336060.7A Active CN103096120B (zh) 2011-10-28 2011-10-28 视频图像异常状态检测方法及装置

Country Status (1)

Country Link
CN (1) CN103096120B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414914A (zh) * 2013-08-21 2013-11-27 浙江宇视科技有限公司 一种色彩诊断装置和方法
CN104168478A (zh) * 2014-07-29 2014-11-26 银江股份有限公司 基于Lab空间及相关性函数的视频图像偏色检测方法
CN104243967A (zh) * 2013-06-07 2014-12-24 浙江大华技术股份有限公司 一种图像检测方法及装置
CN104424632A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种视频对比度异常检测方法及装置
CN104967840A (zh) * 2015-06-19 2015-10-07 中央电视台 一种视频图像超标检测方法及装置
CN105046682A (zh) * 2015-05-20 2015-11-11 王向恒 一种基于本地计算的视频监控方法
CN105357518A (zh) * 2015-11-26 2016-02-24 江苏省电力公司南京供电公司 用于视频监控***的视频故障诊断方法
CN106056584A (zh) * 2016-05-24 2016-10-26 努比亚技术有限公司 一种前后景分割装置和方法
CN106384348A (zh) * 2016-09-09 2017-02-08 海信集团有限公司 监控图像的异常检测方法及装置
CN106993185A (zh) * 2015-12-10 2017-07-28 青岛海信网络科技股份有限公司 一种视频质量诊断方法和***
CN106998464A (zh) * 2016-01-26 2017-08-01 北京佳讯飞鸿电气股份有限公司 检测视频图像中刺状噪声的方法及装置
CN107087119A (zh) * 2017-06-02 2017-08-22 奇酷互联网络科技(深圳)有限公司 调整测光的方法、装置及电子设备
CN108903913A (zh) * 2018-05-31 2018-11-30 中南大学湘雅医院 皮瓣移植术后护理监控设备、***、方法、产品及服务器
CN109583573A (zh) * 2018-12-13 2019-04-05 银河水滴科技(北京)有限公司 一种轨道扣件的零件缺失检测方法及装置
CN110082781A (zh) * 2019-05-20 2019-08-02 东北大学秦皇岛分校 基于slam技术与图像识别的火源定位方法及***
CN111507301A (zh) * 2020-04-26 2020-08-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机设备以及存储介质
CN113808135A (zh) * 2021-11-19 2021-12-17 北京的卢深视科技有限公司 图像亮度异常检测方法、电子设备及存储介质
CN117893529A (zh) * 2024-03-14 2024-04-16 江苏富翰医疗产业发展有限公司 一种眼底智能拍摄方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184241A (zh) * 2007-12-03 2008-05-21 中兴通讯股份有限公司 一种图像自动检测的方法及装置
US20100027842A1 (en) * 2008-08-01 2010-02-04 National Taiwan University Of Science And Technology Object detection method and apparatus thereof
CN101765025A (zh) * 2008-12-23 2010-06-30 北京中星微电子有限公司 一种监控摄像设备异常检测的***及方法
CN102169585A (zh) * 2011-03-31 2011-08-31 汉王科技股份有限公司 图像偏色的检测方法及装置
CN102202163A (zh) * 2011-05-13 2011-09-28 成都西图科技有限公司 一种监控视频的自适应增强方法及其装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184241A (zh) * 2007-12-03 2008-05-21 中兴通讯股份有限公司 一种图像自动检测的方法及装置
US20100027842A1 (en) * 2008-08-01 2010-02-04 National Taiwan University Of Science And Technology Object detection method and apparatus thereof
CN101765025A (zh) * 2008-12-23 2010-06-30 北京中星微电子有限公司 一种监控摄像设备异常检测的***及方法
CN102169585A (zh) * 2011-03-31 2011-08-31 汉王科技股份有限公司 图像偏色的检测方法及装置
CN102202163A (zh) * 2011-05-13 2011-09-28 成都西图科技有限公司 一种监控视频的自适应增强方法及其装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243967A (zh) * 2013-06-07 2014-12-24 浙江大华技术股份有限公司 一种图像检测方法及装置
CN104243967B (zh) * 2013-06-07 2017-02-01 浙江大华技术股份有限公司 一种图像检测方法及装置
CN103414914B (zh) * 2013-08-21 2016-02-03 浙江宇视科技有限公司 一种色彩诊断装置和方法
CN103414914A (zh) * 2013-08-21 2013-11-27 浙江宇视科技有限公司 一种色彩诊断装置和方法
CN104424632B (zh) * 2013-08-23 2017-11-21 浙江大华技术股份有限公司 一种视频对比度异常检测方法及装置
CN104424632A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种视频对比度异常检测方法及装置
CN104168478B (zh) * 2014-07-29 2016-06-01 银江股份有限公司 基于Lab空间及相关性函数的视频图像偏色检测方法
CN104168478A (zh) * 2014-07-29 2014-11-26 银江股份有限公司 基于Lab空间及相关性函数的视频图像偏色检测方法
CN105046682A (zh) * 2015-05-20 2015-11-11 王向恒 一种基于本地计算的视频监控方法
CN105046682B (zh) * 2015-05-20 2018-04-03 王向恒 一种基于本地计算的视频监控方法
CN104967840A (zh) * 2015-06-19 2015-10-07 中央电视台 一种视频图像超标检测方法及装置
CN105357518A (zh) * 2015-11-26 2016-02-24 江苏省电力公司南京供电公司 用于视频监控***的视频故障诊断方法
CN105357518B (zh) * 2015-11-26 2018-05-08 江苏省电力公司南京供电公司 用于视频监控***的视频故障诊断方法
CN106993185A (zh) * 2015-12-10 2017-07-28 青岛海信网络科技股份有限公司 一种视频质量诊断方法和***
CN107071398A (zh) * 2015-12-10 2017-08-18 青岛海信网络科技股份有限公司 一种视频质量诊断方法和***
CN106998464A (zh) * 2016-01-26 2017-08-01 北京佳讯飞鸿电气股份有限公司 检测视频图像中刺状噪声的方法及装置
CN106998464B (zh) * 2016-01-26 2019-02-26 北京佳讯飞鸿电气股份有限公司 检测视频图像中刺状噪声的方法及装置
CN106056584A (zh) * 2016-05-24 2016-10-26 努比亚技术有限公司 一种前后景分割装置和方法
CN106056584B (zh) * 2016-05-24 2019-08-02 努比亚技术有限公司 一种前后景分割装置和方法
CN106384348A (zh) * 2016-09-09 2017-02-08 海信集团有限公司 监控图像的异常检测方法及装置
CN106384348B (zh) * 2016-09-09 2019-06-14 海信集团有限公司 监控图像的异常检测方法及装置
CN107087119B (zh) * 2017-06-02 2020-06-26 奇酷互联网络科技(深圳)有限公司 调整曝光的方法、装置及电子设备
CN107087119A (zh) * 2017-06-02 2017-08-22 奇酷互联网络科技(深圳)有限公司 调整测光的方法、装置及电子设备
CN108903913A (zh) * 2018-05-31 2018-11-30 中南大学湘雅医院 皮瓣移植术后护理监控设备、***、方法、产品及服务器
CN108903913B (zh) * 2018-05-31 2020-12-01 中南大学湘雅医院 皮瓣移植术后护理监控设备、***、方法、产品及服务器
CN109583573A (zh) * 2018-12-13 2019-04-05 银河水滴科技(北京)有限公司 一种轨道扣件的零件缺失检测方法及装置
CN110082781A (zh) * 2019-05-20 2019-08-02 东北大学秦皇岛分校 基于slam技术与图像识别的火源定位方法及***
CN110082781B (zh) * 2019-05-20 2021-12-17 东北大学秦皇岛分校 基于slam技术与图像识别的火源定位方法及***
CN111507301A (zh) * 2020-04-26 2020-08-07 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机设备以及存储介质
CN113808135A (zh) * 2021-11-19 2021-12-17 北京的卢深视科技有限公司 图像亮度异常检测方法、电子设备及存储介质
CN113808135B (zh) * 2021-11-19 2022-03-25 北京的卢深视科技有限公司 图像亮度异常检测方法、电子设备及存储介质
CN117893529A (zh) * 2024-03-14 2024-04-16 江苏富翰医疗产业发展有限公司 一种眼底智能拍摄方法
CN117893529B (zh) * 2024-03-14 2024-07-09 江苏富翰医疗产业发展有限公司 一种眼底智能拍摄方法

Also Published As

Publication number Publication date
CN103096120B (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
CN103096120B (zh) 视频图像异常状态检测方法及装置
CN105430384B (zh) 一种视频质量诊断方法和***
CN103714325B (zh) 基于嵌入式***的遗留物和遗失物实时检测方法
CN106296612B (zh) 一种图像质量评价和天气状况引导的分级式监控视频清晰化***及方法
EP1697901B1 (en) Method for modeling background and foreground regions
EP1631073A2 (en) Apparatus and methods for the detection of abnormal motion in a video stream
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
CN105761261A (zh) 一种检测摄像头遭人为恶意破坏的方法
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN110233991A (zh) 一种用于视频监控中视频遮挡的检测方法及***
CN104700405A (zh) 一种前景检测方法和***
Soeleman et al. Adaptive threshold for background subtraction in moving object detection using Fuzzy C-Means clustering
CN108174198B (zh) 一种视频图像质量诊断分析检测设备及应用***
CN113297926A (zh) 行为检测识别方法及***
CN103425960A (zh) 一种视频中快速运动物体侦测方法
CN110728212B (zh) 一种基于计算机视觉的道路井盖监控装置及监控方法
CN102509414B (zh) 一种基于计算机视觉的烟雾检测方法
CN110677619A (zh) 一种智能监控视频处理方法
CN114708532A (zh) 一种监控视频质量评估方法、***及存储介质
CN113327263A (zh) 一种基于图像视觉的鱼群活跃度监测方法
Zhang et al. Brightness segmentation-based plateau histogram equalization algorithm for displaying high dynamic range infrared images
CN109685833B (zh) 移动目标跟踪方法
CN106251345A (zh) 一种实时监测视频对比度异常的方法
Lyu et al. A novel visual perception enhancement algorithm for high-speed railway in the low light condition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant