CN104504717B - 一种图像信息检测方法及装置 - Google Patents
一种图像信息检测方法及装置 Download PDFInfo
- Publication number
- CN104504717B CN104504717B CN201410853949.6A CN201410853949A CN104504717B CN 104504717 B CN104504717 B CN 104504717B CN 201410853949 A CN201410853949 A CN 201410853949A CN 104504717 B CN104504717 B CN 104504717B
- Authority
- CN
- China
- Prior art keywords
- image
- target video
- pixel
- video frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像信息检测方法及装置,涉及图像处理技术领域,其中,上述方法包括:对目标视频帧进行边缘提取;根据边缘提取结果,统计目标视频帧的各像素行中图像边缘像素点的数量;确定目标视频帧的标题区域的上、下边界;根据边缘提取结果,统计目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量;确定所述目标视频帧的标题区域的备选竖直方向边界;确定目标视频帧的标题区域的左、右边界;根据目标视频帧的标题区域的上、下边界和左、右边界,确定目标视频帧的标题区域。应用本发明实施例提供的方案检测图像信息,能够提高检测出标题区域的准确率。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像信息检测方法及装置。
背景技术
视频以信息量大、内容丰富等特点深受广大用户喜欢。从视频的各个视频帧中是否包含标题信息的角度可以将视频分为两类,一类是包含标题信息的视频,例如,新闻类视频,一类是不包含标题信息的视频。视频帧中的标题信息对视频检索、视频分析、视频分割等等具有重要意义。
实际应用中,为了根据视频帧中的标题信息进行视频检索、视频分析、视频分割等,需先检测出视频帧中的标题区域。现有技术中,通常根据以下步骤检测标题区域:先根据当前视频帧和其前一视频帧的图像信息,计算两视频帧之间各个像素点之间的灰度差值,再根据计算得到的灰度差值确定当前视频帧中的标题区域。
上述检测标题区域的方法,利用了标题区域在连续的视频帧中存在持续性这一特性,因此,各视频帧中标题区域的各像素点的灰度差值一般较小,且比较稳定,而非标题区域的各像素点的灰度差值会随着视频场景的变化而变化,利用这一特性能够很好的检测出视频帧中标题区域。但是当各视频帧的非标题区域中场景内容相似时,非标题区域的各像素点的灰度差值也会较小,因此,这种情况下,应用上述方法检测视频帧中的标题区域时,准确率较低,甚至检测失败。
发明内容
本发明实施例公开了一种图像信息检测方法及装置,以在各个视频帧的非标题区域中场景内容相似时,提高从视频帧中检测出标题区域的准确率。
为达到上述目的,本发明实施例公开了一种图像信息检测方法,所述方法包括:
对目标视频帧进行边缘提取;
根据边缘提取结果,统计所述目标视频帧的各像素行中图像边缘像素点的数量;
根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界;
根据边缘提取结果,统计所述目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量;
根据统计得到的各个像素列中图像边缘像素点的数量和预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,确定所述目标视频帧的标题区域的备选竖直方向边界;
从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界;
根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域。
具体的,所述根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界,包括:
选择所述目标视频帧中图像边缘像素点的数量大于预设的第一阈值的像素行,作为所述目标视频帧的标题区域的备选水平方向边界;
从所述备选水平方向边界中,查找连续图像边缘像素点数量的最大值大于预设的第二阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的上、下边界。
具体的,根据以下步骤计算连续图像边缘像素点的数量:
确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点;
设置待判断像素点为所述起始图像边缘像素点;
判断是否存在与待判断像素点相邻的图像边缘像素点,其中,对于坐标为(i,j)的待判断像素点P,若坐标为(i+1,j)、(i+1,j-1)或者(i+1,j+1)的像素点为图像边缘像素点,则判定存在与待判断像素点P相邻的图像边缘像素点;
若存在,设置上述的与待判断像素点相邻的图像边缘像素点为待判断像素点,更新pixnum为当前pixnum加1,返回执行所述判断是否存在与待判断像素点相邻的图像边缘像素点的步骤,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
具体的,所述从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界,包括:
以预设的第三阈值个相邻像素列为一个统计单元,根据统计得到的各个像素列中图像边缘像素点的数量,计算各统计单元中图像边缘像素点的数量;
根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域;
从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界;
根据查找结果和所述文字区域的边界,确定所述目标视频帧的标题区域的左、右边界。
具体的,所述根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域,包括:
根据如下表达式计算图像边缘像素点数量的均值pixnum_avg,
其中,N表示统计单元的数量,pixnum_i表示第i个统计单元中图像边缘像素点的数量;
将计算得到的各统计单元中图像边缘像素点的数量大于pixnum_avg的统计单元所在区域,确定为所述目标视频帧中的文字区域。
具体的,所述从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界,包括:
分别获得每一备选竖直方向边界两侧预设长度的图像区域的颜色直方图统计值;
根据所获得的颜色直方图统计值,从所述备选竖直方向边界中,查找边界两侧图像区域相似度低于预设的相似度阈值的边界;
根据查找结果,确定所述目标视频帧的标题区域的左、右边界。
具体的,所述根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域,包括:
根据所述目标视频帧的标题区域的上、下边界和左、右边界,在所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及所述目标视频帧中,分别确定待比较图像区域;
判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似;
若相似,将由所述目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,作为所述目标视频帧的标题区域。
具体的,所述判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,包括:
根据所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧的待比较图像区域中,与所述目标视频帧中的待比较图像区域相似的待比较图像区域对应的视频帧的数量Spic_num,判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,其中,若Spic_num>预设的第四阈值,判定所述目标视频帧中的待比较图像区域,与所述目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似;
具体的,针对所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的任一视频帧pic,根据以下步骤判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似:
获得所述目标视频帧中的待比较图像区域的灰度信息G1,和视频帧pic中的待比较图像区域的灰度信息G2;
按照如下关系式计算灰度信息G1和灰度信息G2中相应像素点的灰度差值:
其中,i、j分别表示像素点的横坐标和纵坐标,pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,表示灰度信息G1中坐标为(i,j)的像素点的灰度值,表示灰度信息G2中坐标为(i,j)的像素点的灰度值;
统计计算得到的灰度差值大于预设的第五阈值的像素点的数量;
根据统计得到的像素点的数量与预设的第六阈值的关系,判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似,其中,若统计得到的像素点的数量小于预设的第六阈值,判定所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域相似。
具体的,所述图像信息检测方法还包括:
根据以下信息中的至少一种,检测所述目标视频帧的标题区域的内容是否发生变化:
所述目标视频帧的标题区域的颜色直方图统计值和所述目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值;
所述目标视频帧的标题区域中各像素点分别与所述目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差;
所述目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及所述目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息。
为达到上述目的,本发明实施例公开了一种图像信息检测装置,所述装置包括:
边缘提取模块,用于对目标视频帧进行边缘提取;
第一像素点数量统计模块,用于根据边缘提取结果,统计所述目标视频帧的各像素行中图像边缘像素点的数量;
第一边界确定模块,用于根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界;
第二像素点数量统计模块,用于根据边缘提取结果,统计所述目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量;
第二边界确定模块,用于根据统计得到的各个像素列中图像边缘像素点的数量和预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,确定所述目标视频帧的标题区域的备选竖直方向边界;
第三边界确定模块,用于从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界;
标题区域确定模块,用于根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域。
具体的,所述第一边界确定模块,包括:
边界选择子模块,用于选择所述目标视频帧中图像边缘像素点的数量大于预设的第一阈值的像素行,作为所述目标视频帧的标题区域的备选水平方向边界;
第一边界确定子模块,用于从所述备选水平方向边界中,查找连续图像边缘像素点数量的最大值大于预设的第二阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的上、下边界。
具体的,所述第一边界确定模块,还包括:
像素点数量计算子模块,用于计算边界中连续图像边缘像素点数量;
其中,所述像素点数量计算子模块,包括:
起始像素点确定单元,用于确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点;
第一像素点设置单元,用于设置待判断像素点为所述起始图像边缘像素点;
像素点判断单元,用于判断是否存在与待判断像素点相邻的图像边缘像素点,其中,对于坐标为(i,j)的待判断像素点P,若坐标为(i+1,j)、(i+1,j-1)或者(i+1,j+1)的像素点为图像边缘像素点,则判定存在与待判断像素点P相邻的图像边缘像素点;
第二像素点设置单元,用于在所述像素点判断子单元的判断结果为是的情况下,设置上述的与待判断像素点相邻的图像边缘像素点为待判断像素点,更新pixnum为当前pixnum加1,并触发所述像素点判断子单元判断是否存在边缘像素点,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
具体的,所述第三边界确定模块,包括:
像素点数量统计子模块,用于以预设的第三阈值个相邻像素列为一个统计单元,根据统计得到的各个像素列中图像边缘像素点的数量,计算各统计单元中图像边缘像素点的数量;
文字区域确定子模块,用于根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域;
第一边界查找子模块,用于从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界;
第二边界确定子模块,用于根据查找结果和所述文字区域的边界,确定所述目标视频帧的标题区域的左、右边界。
具体的,所述文字区域确定子模块,包括:
像素点数量均值计算单元,用于根据如下表达式计算图像边缘像素点数量的均值pixnum_avg,
其中,N表示统计单元的数量,pixnum_i表示第i个统计单元中图像边缘像素点的数量;
文字区域确定单元,用于将计算得到的各统计单元中图像边缘像素点的数量大于pixnum_avg的统计单元所在区域,确定为所述目标视频帧中的文字区域。
具体的,所述第三边界确定模块,包括:
直方图统计值获得子模块,用于分别获得每一备选竖直方向边界两侧预设长度的图像区域的颜色直方图统计值;
第二边界查找子模块,用于根据所获得的颜色直方图统计值,从所述备选竖直方向边界中,查找边界两侧图像区域相似度低于预设的相似度阈值的边界;
第三边界确定子模块,用于根据查找结果,确定所述目标视频帧的标题区域的左、右边界。
具体的,所述标题区域确定模块,包括:
图像区域确定子模块,用于根据所述目标视频帧的标题区域的上、下边界和左、右边界,在所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及所述目标视频帧中,分别确定待比较图像区域;
第一图像区域判断子模块,用于判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似;
标题区域确定子模块,用于在搜书图像区域判断子模块的判断结果为是的情况下,将由所述目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,作为所述目标视频帧的标题区域。
具体的,所述第一图像区域判断子模块,具体用于根据所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧的待比较图像区域中,与所述目标视频帧中的待比较图像区域相似的待比较图像区域对应的视频帧的数量Spic_num,判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,其中,若Spic_num>预设的第四阈值,判定所述目标视频帧中的待比较图像区域,与所述目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似;
具体的,所述标题区域确定模块,还包括:
第二图像区域判断子模块,用于判断所述目标视频帧中的待比较图像区域,与针对所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的任一视频帧pic的待比较图像区域是否相似;
所述第二图像区域判断子模块,包括:
灰度信息获得单元,用于获得所述目标视频帧中的待比较图像区域的灰度信息G1,和视频帧pic中的待比较图像区域的灰度信息G2;
灰度差值计算单元,用于按照如下关系式计算灰度信息G1和灰度信息G2中相应像素点的灰度差值:
其中,i、j分别表示像素点的横坐标和纵坐标,pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,表示灰度信息G1中坐标为(i,j)的像素点的灰度值,表示灰度信息G2中坐标为(i,j)的像素点的灰度值;
像素点数量统计单元,用于统计计算得到的灰度差值大于预设的第五阈值的像素点的数量;
图像区域判断单元,用于根据统计得到的像素点的数量与预设的第六阈值的关系,判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似,其中,若统计得到的像素点的数量小于预设的第六阈值,判定所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域相似。
具体的,所述图像信息检测装置还包括:
内容检测模块,用于根据以下信息中的至少一种,检测所述目标视频帧的标题区域的内容是否发生变化:
所述目标视频帧的标题区域的颜色直方图统计值和所述目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值;
所述目标视频帧的标题区域中各像素点分别与所述目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差;
所述目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及所述目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息。
由以上可见,本发明实施例提供的方案中,对目标视频帧进行边缘提取后,根据边缘提取结果,分别以像素行和像素列为单位,统计各像素行和相应的像素列中边缘像素点的数量,确定目标视频帧的标题区域的上、下边界和左、右边界,进而确定目标视频帧的标题区域。与现有技术相比,本发明实施例提供的方案中,在确定目标视频帧中的标题区域时,仅仅利用了目标视频帧自身的信息,而未利用其它视频帧的信息,因此,即使各个视频帧的非标题区域中场景内容相似,也依然能够检测出目标视频帧中的标题区域,能够提高检测出标题区域的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像信息检测方法的第一种流程示意图;
图2为本发明实施例提供的图像信息检测方法的第二种流程示意图;
图3为本发明实施例提供的图像信息检测方法的第三种流程示意图;
图4为本发明实施例提供的图像信息检测方法的第四种流程示意图;
图5为本发明实施例提供的图像信息检测装置的第一种结构示意图;
图6为本发明实施例提供的图像信息检测装置的第二种结构示意图;
图7为本发明实施例提供的图像信息检测装置的第三种结构示意图;
图8为本发明实施例提供的图像信息检测装置的第四种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的图像信息检测方法的第一种流程示意图,该方法包括:
S101:对目标视频帧进行边缘提取。
边缘提取,是指数字图像处理中,一种针对图像轮廓的处理方式。在边缘提取过程中,将灰度值变化比较剧烈的地方,定义为边缘。边缘提取结果中,所有像素点被划分为两类:边缘像素点和非边缘像素点,一般可通过一位二进制数分别表示边缘像素点和非边缘像素点,例如,采用二进制数“1”表示边缘像素点,二进制数“0”表示非边缘像素点。
实际应用中,存在多种边缘提取算法,且已比较成熟,这里不再详细叙述。
S102:根据边缘提取结果,统计目标视频帧的各像素行中图像边缘像素点的数量。
S103:根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定目标视频帧的标题区域的上、下边界。
本领域内的技术人员可以理解的是,标题区域在视频帧中一般以规则区域的形式呈现,例如,矩形区域等等。不管标题区域以什么形式呈现,标题区域的背景颜色与非标题区域的颜色一般不同,这样在进行边缘提取时,标题区域与非标题区域交界的地方,也即标题区域的边缘通常被识别为图像边缘,因此,标题区域边缘所在像素行中包含的图像边缘像素点一般较多。
具体的,上述预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,可以是某一像素行中图像边缘像素点数量大于预设的固定阈值时,将该像素行作为备选的水平方向边界;
还可以是某一像素行中图像边缘像素点数量与图像宽度的比例大于预设的比例值时,将该像素行作为备选的水平方向边界等等。
本申请只是以上述为例,列举了两种预设的图像边缘像素点数量与区域水平方向边界之间的对应关系的具体表现形式,实际应用中,对应关系的具体表现形式并不仅限于此。
根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定备选的水平方向边界后,可根据备选的水平方向边界确定目标视频帧的标题区域的上、下边界。
其中,所确定的备选的水平方向边界中,边界的数量可以是零条、一条、两条或者大于两条,下面分情况说明如何根据备选的水平方向边界确定目标视频帧的标题区域的上、下边界。
在上述备选的水平方向边界数量为零条的情况下,可以认为目标视频帧中没有标题区域,当然,也可以认为未检测出目标视频帧的标题区域的上、下边界;
在上述备选的水平方向边界数量为一条的情况下,可以将该备选的水平方向边界作为目标视频帧的标题区域的上、下边界中的一条,将目标视频帧上、下边中的一条作为目标视频帧的标题区域的上、下边界中的另一条;
在上述备选的水平方向边界数量为两条的情况下,可以将这两条边界作为目标视频帧的标题区域的上、下边界,当然,实际应用中,还可以结合通常情况下标题区域内文字的高度等信息综合考虑,例如,当上述的两条边界之间的距离小于通常情况下标题区域内文字的高度时,可以仅从上述的两条边界中选择一条作为标题区域的上边界或者下边界;
在上述备选的水平方向边界数量大于两条的情况下,可以从备选的水平方向边界中选择两条作为标题区域的上、下边界,例如,选择备选的水平方向边界中最上面和最下面的两条作为标题区域的上、下边界等,当然,这种情况下也可以结合备选的水平方向边界中任意两条边界之间的距离与通常情况下标题区域内文字的高度等信息之间的关系,综合考虑,确定目标视频帧的标题区域的上、下边界。
S104:根据边缘提取结果,统计目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量。
S105:根据统计得到的各个像素列中图像边缘像素点的数量和预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,确定目标视频帧的标题区域的备选竖直方向边界。
可以理解的是,目标视频帧的标题区域的左、右边界可以是目标视频帧的左、右两条边,也可以是目标视频帧左、右两条边之间的某两个像素列,还可以是目标视频帧的左、右两条边中一条,与该左、右两条边之间的某一像素列的组合。
目标视频帧的标题区域的宽度可以与目标视频帧的宽度相等,也可以小于目标视频帧的宽度;另外,目标视频帧的标题区域内包含文字信息,目标视频帧的标题区域的上、下边界之间的非标题区域可能包含图标信息、细节丰富的画面信息等等,因此,标题区域的上、下边界之间,除了可能存在标题区域的左、右边界对应的图像边缘外,还可能存在文字对应的图像边缘、图标信息对应的图像边缘、画面内容对应的图像边缘等等。
在上述的S103确定出目标视频帧的标题区域的上、下边界后,可根据该标题区域上、下边界的位置计算得到这两条边界之间的距离,也就是目标视频帧标题区域的高度。
通常情况下,标题区域的左、右边界对应的图像边缘的长度与标题区域的高度相等,但是由于边缘提取算法的准确性等因素的影响,提取到的标题区域的左、右边界对应的图像边缘的长度可能小于标题区域的高度。
具体的,上述的预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,可以是某一像素列中图像边缘像素点数量大于预设的固定阈值时,将该像素列作为备选的竖直方向边界;
还可以是某一像素列中图像边缘像素点数量与标题区域高度的比例大于预设的比例值时,将该像素列作为备选的竖直方向边界等等。
本申请只是以上述为例,列举了两种预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系的具体表现形式,实际应用中,对应关系的具体表现形式并不仅限于此。
S106:从备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定目标视频帧的标题区域的左、右边界。
对于备选竖直方向边界中的每一条边界,若该边界两侧图像区域相似,则说明边界两侧图像区域属于同一区域,该边界不是标题区域的左、右边界,例如,边界两侧图像区域均属于标题区域或均不属于标题区域。
在本发明的一个可选实施例中,从备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定目标视频帧的标题区域的左、右边界时,可以先分别获得每一备选竖直方向边界两侧预设长度的图像区域的颜色直方图统计值,再根据所获得的颜色直方图统计值,从备选竖直方向边界中,查找边界两侧图像区域相似度低于预设的相似度阈值的边界,若相似度低于预设的相似度阈值,说明边界两侧图像区域相似,反之,说明边界两侧图像区域不相似,根据查找结果,确定目标视频帧的标题区域的左、右边界。
其中,颜色直方图统计值可以是RGB颜色直方图统计值,分别统计R、G、B三个颜色通道的直方图统计值,当然,也可以是其他图像格式的颜色直方图统计值,例如,HSV等等。
上述的查找结果中所包含的边界的数量可以是零条、一条、两条或者大于两条,下面分情况说明如何根据查找结果,确定目标视频帧的标题区域的左、右边界。
在上述的查找结果中所包含边界的数量为零条的情况下,可以将目标视频帧的左、右两条边作为目标视频帧的标题区域的左、右边界;
在上述的查找结果中所包含边界的数量为一条的情况下,可以将该查找结果中的边界作为目标视频帧的标题区域的左、右边界中的一条,将目标视频帧左、右两条边中的一条作为目标视频帧的标题区域的左、右边界中的另一条;
在上述的查找结果中所包含边界的数量为两条的情况下,可以将这两条边界作为目标视频帧的标题区域的左、右边界,当然,实际应用中,还可以结合通常情况下标题区域的宽度等信息综合考虑,例如,当上述的两条边界之间的距离小于通常情况下标题区域的宽度时,可以仅从上述的两条边界中选择一条作为目标视频帧的标题区域的左边界或者右边界;
在上述的查找结果中所包含边界的数量大于两条的情况下,可以从查找结果中选择两条作为标题区域的左、右边界,例如,选择查找结果中最左面和最右面的两条边界作为目标视频帧的标题区域的左、右边界等,当然,这种情况下也可以结合查找结果中任意两条边界之间的距离与通常情况下标题区域的宽度等信息之间的关系,综合考虑,确定目标视频帧的标题区域的左、右边界。
S107:根据目标视频帧的标题区域的上、下边界和左、右边界,确定目标视频帧的标题区域。
由以上可见,本实施例提供的方案中,对目标视频帧进行边缘提取后,根据边缘提取结果,分别以像素行和像素列为单位,统计各像素行和相应的像素列中边缘像素点的数量,确定目标视频帧的标题区域的上、下边界和左、右边界,进而确定目标视频帧的标题区域。与现有技术相比,本实施例提供的方案中,在确定目标视频帧中的标题区域时,仅仅利用了目标视频帧自身的信息,而未利用其它视频帧的信息,因此,即使各个视频帧的非标题区域中场景内容相似,也依然能够检测出目标视频帧中的标题区域,能够提高检测出标题区域的准确率。
通过前面的描述可知,对目标视频帧进行边缘提取后,提取结果中的标题区域可包含若干水平方向的图像边缘,这些图像边缘一些是属于目标视频帧的标题区域的边界的,一些是属于目标视频帧的标题区域内文字等信息的,还有一些是属于目标视频帧的标题区域的背景信息的,其中,通常情况下,属于目标视频帧的标题区域边界的图像边缘长度较其他情况下图像边缘长度长。
由于图像处理是以像素点为单位进行的,所以,这里图像边缘的长度可以理解为连续图像边缘像素点的数量。
鉴于上述情况,在本发明的一个具体实施例中,参见图2,提供了图像信息检测方法的第二种流程示意图,与前述实施例相比,本实施例中,根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定目标视频帧的标题区域的上、下边界,包括:
S103A:选择目标视频帧中图像边缘像素点的数量大于预设的第一阈值的像素行,作为目标视频帧的标题区域的备选水平方向边界。
其中,预设的第一阈值可以是与目标视频帧的宽度相关的数值,例如,目标视频帧的宽度的0.8倍等等,也可以是一个固定数值,本申请并不对此进行限定。
S103B:从备选水平方向边界中,查找连续图像边缘像素点数量的最大值大于预设的第二阈值的边界,根据查找结果,确定目标视频帧的标题区域的上、下边界。
对目标视频帧进行边缘提取后,一个像素行中可能包含多段连续的图像边缘,本步骤中需分别统计各个像素行中每一段连续图像边缘像素点的数量,并选择各个像素行中连续图像边缘像素点数量的最大值。
需要说明的是,连续图像边缘像素点的数量,可以理解为在同一像素行中,连续图像边缘像素点的数量,另外,由于受人眼分辨率及边缘提取算法等因素的影响,虽然图像边缘像素点位于相邻的不同像素行,但是用户观看原始视频帧时,仍然可能会感觉是一条连续的区域边界,即:连续图像边缘像素点的数量,还可以理解为相邻多像素行中,连续图像边缘像素点的数量。
下面分情况进行说明,如何计算连续图像边缘像素点的数量。
第一种情况,根据以下步骤计算同一像素行中,连续图像边缘像素点的数量:
确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点,另外,该像素行中可以包含多个起始图像边缘像素点;
设置待判断像素点为起始图像边缘像素点;
判断待判断像素点所在像素行中,与待判断像素点相邻的下一像素点是否为图像边缘像素点;
若为是,设置上述的与待判断像素点相邻的下一像素点为待判断像素点,更新pixnum为当前pixnum加1,返回执行上述的判断待判断像素点所在像素行中,与待判断像素点相邻的下一像素点是否为图像边缘像素点的步骤,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
第二种情况,根据以下步骤计算相邻多像素行中,连续图像边缘像素点的数量:
确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点,另外,该像素行中可以包含多个起始图像边缘像素点;
设置待判断像素点为起始图像边缘像素点;
判断是否存在与待判断像素点相邻的图像边缘像素点,其中,对于坐标为(i,j)的待判断像素点P,若坐标为(i+1,j)、(i+1,j-1)或者(i+1,j+1)的像素点为图像边缘像素点,则判定存在与待判断像素点P相邻的图像边缘像素点;
若存在,设置上述的与待判断像素点相邻的图像边缘像素点为待判断像素点,更新pixnum为当前pixnum加1,返回执行上述的判断是否存在与待判断像素点相邻的图像边缘像素点的步骤,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
应用上述方法计算相邻多像素行中,连续图像边缘像素点的数量时,坐标为(i,j)的像素点的相邻像素点(i+1,j+1)可能为图像边缘像素点,坐标为(i+1,j+1)的像素点的相邻像素点(i+2,j+2)可能为图像边缘像素点,依此可知,应用上述方法计算连续图像边缘像素点的数量时可能涉及多个像素行。当然,涉及的像素行过多时,用户观看原始视频帧时会有区域边界***或者倾斜的感觉,因此,实际应用中可以设定可用于计算连续图像边缘像素点的数量的像素行的数量。
本步骤中,预设的第二阈值的取值情况可以与S103A中预设的第一阈值的取值情况类似,这里不再重复。
需要说明的是,本实施例中提供的方法同样也适用于S105中确定目标视频帧的标题区域的备选竖直方向边界,即:可以从目标视频帧的标题区域的上、下边界之间,图像边缘像素点的数量大于预设阈值的像素列中,根据同一像素列中连续图像边缘像素点的数量,确定目标视频帧的标题区域的备选数值方向边界;
也可以从目标视频帧的标题区域的上、下边界之间,图像边缘像素点的数量大于预设阈值的像素列中,根据多个像素列的像素信息计算得到的连续图像边缘像素点的数量,确定目标视频帧的标题区域的备选数值方向边界。
具体的计算像素列中连续图像边缘像素点的数量的方法,与上述的计算像素行中连续图像边缘像素点的数量的方法相同,这里不再重复。
由以上可见,本实施例中,根据连续图像边缘像素点数量的最大值进行边界查找,并根据查找结果确定目标视频帧的标题区域的上、下边界。根据连续图像边缘像素点数量的最大值进行边界查找时,可以一定程度上排除标题区域的背景、文字等信息对应的图像边缘,能够提高正确定位目标视频帧的标题区域的上、下边界的概率。
在本发明的另一个具体实施例中,参见图3,提供了图像信息检测方法的第三种流程示意图,与前述实施例相比,本实施例中,从备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定目标视频帧的标题区域的左、右边界,包括:
S106A:以预设的第三阈值个相邻像素列为一个统计单元,根据统计得到的各个像素列中图像边缘像素点的数量,计算各统计单元中图像边缘像素点的数量。
其中,预设的第三阈值≥1,具体的,该阈值可以是固定数值,也可以是与标题区域的高度等信息相关的数值,例如,标题区域高度的五分之一等等。
当预设的第三阈值等于1时,表示以一个像素列为单位统计图像边缘像素点的数量;
当预设的第三阈值大于1时,表示以多个像素列为单位统计图像边缘像素点的数量,这样可以平滑文字与文字间空白区域之间无图像边缘像素点的情况,防止将某一文字的边缘误判为标题区域的左、右边界。
S106B:根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定目标视频帧中的文字区域。
一种可选的实施方式中,可以先根据如下表达式计算图像边缘像素点数量的均值pixnum_avg,
再将计算得到的各统计单元中图像边缘像素点的数量大于pixnum_avg的统计单元所在区域,确定为目标视频帧中的文字区域。
其中,N表示统计单元的数量,pixnum_i表示第i个统计单元中图像边缘像素点的数量。
在S106A中预设的第三阈值等于1时,上述的N为目标视频帧的标题区域中上、下边界之间的像素列数,pixnum_i为目标视频帧的标题区域中上、下边界之间的第i个像素列中图像边缘像素点的数量。
另一种可选的实施例方式中,可以先判断计算得到的各统计单元中图像边缘像素点的数量是否大于预设的像素点数量阈值,若大于,再根据像素点数量大于预设的像素点数量阈值的各统计单元所在区域,确定目标视频帧中的文字区域。
其中,预设的像素点数量阈值可以是固定值,也可以是根据标题区域的图像信息确定的动态值等,本申请对此并不进行限定。
S106C:从备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界。
S106D:根据查找结果和文字区域的边界,确定目标视频帧的标题区域的左、右边界。
可以理解的是,视频帧中标题区域一般在其中的文字区域之后结束,因此,在S106B确定出文字区域后,可以直接将文字区域的右边界作为标题区域的右边界,然后再根据查找结果确定标题区域的左边界。
由以上可见,本实施例提供的方案中,根据查找结果和文字区域的边界,确定目标视频帧的标题区域的左、右边界,这样可以根据文字区域的边界确定出标题区域的右边界,能够降低将目标视频帧的右侧边作为标题区域边界的概率,能够得到更精确的标题区域。
在本发明的另一个具体实施例中,参见图4,提供了图像信息检测方法的第四种流程示意图,与前述实施例相比,本实施例中,根据目标视频帧的标题区域的上、下边界和左、右边界,确定目标视频帧的标题区域,包括:
S107A:根据目标视频帧的标题区域的上、下边界和左、右边界,在目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及目标视频帧中,分别确定待比较图像区域。
可以理解的是,视频中多个连续的视频帧中标题区域的位置以及标题区域的内容是相同的,也即与目标视频帧临近的多个视频帧中,与目标视频帧的标题区域位置相同的区域的内容,与目标视频帧的标题区域的内容相似度高。
与目标视频帧临近的多个视频帧,可以是目标视频帧之前的第一预设数量个视频帧,也可以是目标视频帧之后的第二预设数量个视频帧,当然,也可以同时包含两者。
实际应用中,在与目标视频帧临近的多个视频帧中,包含目标视频帧之后的第二预设数量个视频帧的情况下,需先解码得到目标视频帧之后的第二预设数量个视频帧,才能进行后续步骤。
S107B:判断目标视频帧中的待比较图像区域,与目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,若相似,执行S107C,否则,执行S107D。
一种较佳的实现方式中,可根据目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧的待比较图像区域中,与目标视频帧中的待比较图像区域相似的待比较图像区域对应的视频帧的数量Spic_num,判断目标视频帧中的待比较图像区域,与目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,其中,若Spic_num>预设的第四阈值,判定目标视频帧中的待比较图像区域,与目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似。
具体的,针对目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的任一视频帧pic,可根据以下步骤判断目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似:
获得目标视频帧中的待比较图像区域的灰度信息G1,和视频帧pic中的待比较图像区域的灰度信息G2;
按照如下关系式计算灰度信息G1和灰度信息G2中相应像素点的灰度差值:
其中,i、j分别表示像素点的横坐标和纵坐标,
pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,
表示灰度信息G1中坐标为(i,j)的像素点的灰度值,
表示灰度信息G2中坐标为(i,j)的像素点的灰度值;
统计计算得到的灰度差值大于预设的第五阈值的像素点的数量;
根据统计得到的像素点的数量与预设的第六阈值的关系,判断目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似,其中,若统计得到的像素点的数量小于预设的第六阈值,判定目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域相似。
需要说明的是,上述的计算像素点灰度差值的关系式还可以是:
S107C:将由目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,作为目标视频帧的标题区域。
目标视频帧中的待比较图像区域,与目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似,说明由目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,在目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及目标视频帧中,区域内容稳定,一般为目标视频帧的标题区域。
S107D:结束本流程。
在S107B判断得,目标视频帧中的待比较图像区域,与目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域不相似时,说明由目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,在目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及目标视频帧中,区域内容不稳定,这种情况下,可以认为所确定的目标视频帧的标题区域的上、下边界和左、右边界不准确,可放弃该结果;也可以采用其它方法重新检测目标视频帧的标题区域;还可以结合目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧信息修正所确定的目标视频帧的标题区域的上、下边界和左、右边界,进而得到目标视频帧的标题区域。
当然,本申请只是以上述为例进行说明,实际应用中,在目标视频帧中的待比较图像区域,与目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域不相似的情况下,还可以根据其它方法确定目标视频帧的标题区域。
由以上可见,本实施例提供的方案中,结合目标视频帧之前的视频帧和/或之后的视频帧的图像信息,确定目标视频的标题区域,考虑了视频中连续多个视频帧中标题区域在视频帧中的位置及内容稳定这一特性,因此,能够得到更准确的目标视频帧的标题区域。
应用上述各个实施例提供的方法确定视频帧的标题区域后,可以对标题区域内的文字进行文字识别,可以检测标题区域的内容是否发生变化,并可根据标题区域内容的变化情况对视频进行分段等等。
鉴于实际应用中存在多种与视频帧的标题区域相关的应用,上述的图像信息检测方法还可以包括:
根据以下信息中的至少一种,检测目标视频帧的标题区域的内容是否发生变化:
目标视频帧的标题区域的颜色直方图统计值和目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值;
目标视频帧的标题区域中各像素点分别与目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差;
目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息。
当然,检测目标视频帧的标题区域的内容是否发生变化,能够依据的信息不仅限于上述几种,本申请不再一一列举。
检测到目标视频帧的标题区域的内容发生变化后,可以根据目标视频帧的帧号等信息获得该视频帧的播放时刻、该标题区域的持续时间、该标题区域的颜色等信息。
下面分情况介绍如何根据上述的几种信息检测目标视频帧的标题区域的内容是否发生变化。
第一种情况:根据目标视频帧的标题区域的颜色直方图统计值和目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值,检测目标视频帧的标题区域的内容是否发生变化。
一种具体实现方式中,根据颜色直方图统计值,分别计算目标视频帧的标题区域与目标视频帧之前的第三预设数量个视频帧的标题区域之间的相似度,若计算得到的各个相似度中,大于预设的第一相似度阈值的相似度数量大于第六预设数量,则判定目标视频帧的标题区域的内容未发生变化。
可根据以下步骤,计算目标视频帧的标题区域A1与目标视频帧之前的第三预设数量个视频帧中的任意一个视频帧的标题区域A2之间的相似度:
分别获得标题区域A1和A2的各个颜色通道的直方图统计值,例如,视频帧的图像格式为RGB格式时,分别获得R、G、B三个颜色通道的直方图统计值;
分别计算标题区域A1和A2的各个颜色通道的直方图统计值之间的相似度,例如,分别计算标题区域A1和A2的R颜色通道的直方图统计值之间的相似度SR、G颜色通道的直方图统计值之间的相似度SG和B颜色通道的直方图统计值之间的相似度SB;
根据计算得到的各个颜色通道的直方图统计值之间的相似度,计算标题区域A1和A2之间的相似度,例如,根据关系式计算标题区域A1和A2之间的相似度,当然,实际应用中用于计算标题区域A1和A2之间相似度的关系式并不仅限于此。
第二种情况:根据目标视频帧的标题区域中各像素点分别与目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差,检测目标视频帧的标题区域的内容是否发生变化。
一种具体实现方式中,根据像素值之差,分别计算目标视频帧的标题区域与目标视频帧之前的第四预设数量个视频帧的标题区域之间的相似度,若计算得到的各个相似度中,大于预设的第二相似度阈值的相似度数量大于第七预设数量,则判定目标视频帧的标题区域的内容未发生变化。
可根据以下步骤,计算目标视频帧的标题区域A1与目标视频帧之前的第四预设数量个视频帧中的任意一个视频帧的标题区域A2之间的相似度:
获得标题区域A1和A2的灰度信息G3和G4;
计算灰度信息G3和G4中相应像素点的灰度差值,具体的,可以按照关系式
或计算相应像素点的灰度差值,当然,实际应用中计算相应像素点的灰度差值的关系式并不仅限于上述两种,其中,i、j分别表示像素点的横坐标和纵坐标,
pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,
表示灰度信息G3中坐标为(i,j)的像素点的灰度值,
表示灰度信息G4中坐标为(i,j)的像素点的灰度值;
统计计算得到的灰度差值大于预设的灰度差值的像素点的数量;
根据统计得到的像素点的数量与第八预设数量之间的关系,判断标题区域A1和A2是否相似,其中,若统计得到的像素点的数量小于第八预设数量,判定标题区域A1和A2相似。
第三种情况:根据目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,检测目标视频帧的标题区域的内容是否发生变化。
一种具体实现方式中,根据标题区域中文字区域的颜色信息以及背景区域的颜色信息,分别计算目标视频帧的标题区域与目标视频帧之前的第五预设数量个视频帧的标题区域之间的相似度,若计算得到的各个相似度中,大于预设的第三相似度阈值的相似度数量大于第九预设数量,则判定目标视频帧的标题区域的内容未发生变化。
标题区域中通常包括两种颜色,即文字颜色和背景颜色。各个视频帧中标题区域的内容未发生变化的情况下,文字颜色和背景颜色一般是不变的,相反的,当标题区域中文字颜色、背景颜色中的一种或者两种发生变化时,可以判定目标视频帧的标题区域的内同发生变化。
可根据以下步骤,计算目标视频帧的标题区域A1与目标视频帧之前的第五预设数量个视频帧中的任意一个视频帧的标题区域A2之间的相似度:
分别获得标题区域A1和A2的文字颜色信息和背景颜色信息,通常情况下,文字位于标题区域的中间位置,因此,可以从标题区域A1和A2的靠近中间的位置获得文字的颜色信息,而从标题区域A1和A2的靠近上、下、左、右边界的位置获得背景颜色信息;
分别计算标题区域A1和A2的文字颜色信息之间的相似度和背景颜色信息之间的相似度;
根据计算得到的文字颜色信息之间的相似度及背景颜色信息之间的相似度,确定标题区域A1和A2的是否相似。
与上述的图像信息检测方法相对应,本发明实施例还提供了一种图像信息检测装置。
图5为本发明实施例提供的图像信息检测装置的第一种结构示意图,该装置包括:边缘提取模块501、第一像素点数量统计模块502、第一边界确定模块503、第二像素点数量统计模块504、第二边界确定模块505、第三边界确定模块506和标题区域确定模块507。
其中,边缘提取模块501,用于对目标视频帧进行边缘提取;
第一像素点数量统计模块502,用于根据边缘提取结果,统计所述目标视频帧的各像素行中图像边缘像素点的数量;
第一边界确定模块503,用于根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界;
第二像素点数量统计模块504,用于根据边缘提取结果,统计所述目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量;
第二边界确定模块505,用于根据统计得到的各个像素列中图像边缘像素点的数量和预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,确定所述目标视频帧的标题区域的备选竖直方向边界;
第三边界确定模块506,用于从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界;
标题区域确定模块507,用于根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域。
可选的,上述的第三边界确定模块506可以包括:直方图统计值获得子模块、第二边界查找子模块和第三边界确定子模块(图中未示出)。
其中,直方图统计值获得子模块,用于分别获得每一备选竖直方向边界两侧预设长度的图像区域的颜色直方图统计值;
第二边界查找子模块,用于根据所获得的颜色直方图统计值,从所述备选竖直方向边界中,查找边界两侧图像区域相似度低于预设的相似度阈值的边界;
第三边界确定子模块,用于根据查找结果,确定所述目标视频帧的标题区域的左、右边界。
可选的,该图像信息检测装置还可以包括:内容检测模块(图中未示出)。
其中,内容检测模块,用于根据以下信息中的至少一种,检测所述目标视频帧的标题区域的内容是否发生变化:
所述目标视频帧的标题区域的颜色直方图统计值和所述目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值;
所述目标视频帧的标题区域中各像素点分别与所述目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差;
所述目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及所述目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息。
由以上可见,本实施例提供的方案中,对目标视频帧进行边缘提取后,根据边缘提取结果,分别以像素行和像素列为单位,统计各像素行和相应的像素列中边缘像素点的数量,确定目标视频帧的标题区域的上、下边界和左、右边界,进而确定目标视频帧的标题区域。与现有技术相比,本实施例提供的方案中,在确定目标视频帧中的标题区域时,仅仅利用了目标视频帧自身的信息,而未利用其它视频帧的信息,因此,即使各个视频帧的非标题区域中场景内容相似,也依然能够检测出目标视频帧中的标题区域,能够提高检测出标题区域的准确率。
在本发明的一个具体实施例中,参见图6,提供了图像信息检测装置的第二种结构示意图,与前述实施例相比,本实施例中,第一边界确定模块503,包括:边界选择子模块5031和第一边界确定子模块5032。
其中,边界选择子模块5031,用于选择所述目标视频帧中图像边缘像素点的数量大于预设的第一阈值的像素行,作为所述目标视频帧的标题区域的备选水平方向边界;
第一边界确定子模块5032,用于从所述备选水平方向边界中,查找连续图像边缘像素点数量的最大值大于预设的第二阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的上、下边界。
可选的,上述的第一边界确定模块503,还可以包括:像素点数量计算子模块(图中未示出)。
其中,像素点数量计算子模块,用于计算边界中连续图像边缘像素点数量;
具体的,该像素点数量计算子模块可以包括:起始像素点确定单元、第一像素点设置单元、像素点判断单元和第二像素点设置单元(图中未示出)。
其中,起始像素点确定单元,用于确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点;
第一像素点设置单元,用于设置待判断像素点为所述起始图像边缘像素点;
像素点判断单元,用于判断是否存在与待判断像素点相邻的图像边缘像素点,其中,对于坐标为(i,j)的待判断像素点P,若坐标为(i+1,j)、(i+1,j-1)或者(i+1,j+1)的像素点为图像边缘像素点,则判定存在与待判断像素点P相邻的图像边缘像素点;
第二像素点设置单元,用于在所述像素点判断子单元的判断结果为是的情况下,设置上述的与待判断像素点相邻的图像边缘像素点为待判断像素点,更新pixnum为当前pixnum加1,并触发所述像素点判断子单元判断是否存在边缘像素点,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
由以上可见,本实施例中,根据连续图像边缘像素点数量的最大值进行边界查找,并根据查找结果确定目标视频帧的标题区域的上、下边界。根据连续图像边缘像素点数量的最大值进行边界查找时,可以一定程度上排除标题区域的背景、文字等信息对应的图像边缘,能够提高正确定位目标视频帧的标题区域的上、下边界的概率。
在本发明的另一个具体实施例中,参见图7,提供了图像信息检测装置的第三种结构示意图,与前述实施例相比,本实施例中,第三边界确定模块506,包括:像素点数量统计子模块5061、文字区域确定子模块5062、第一边界查找子模块5063和第二边界确定子模块5064。
其中,像素点数量统计子模块5061,用于以预设的第三阈值个相邻像素列为一个统计单元,根据统计得到的各个像素列中图像边缘像素点的数量,计算各统计单元中图像边缘像素点的数量;
文字区域确定子模块5062,用于根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域;
第一边界查找子模块5063,用于从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界;
第二边界确定子模块5064,用于根据查找结果和所述文字区域的边界,确定所述目标视频帧的标题区域的左、右边界。
可选的,上述的文字区域确定子模块5062可以包括:像素点数量均值计算单元和文字区域确定单元(图中未示出)。
其中,像素点数量均值计算单元,用于根据如下表达式计算图像边缘像素点数量的均值pixnum_avg,
其中,N表示统计单元的数量,pixnum_i表示第i个统计单元中图像边缘像素点的数量;
文字区域确定单元,用于将计算得到的各统计单元中图像边缘像素点的数量大于pixnum_avg的统计单元所在区域,确定为所述目标视频帧中的文字区域。
由以上可见,本实施例提供的方案中,根据查找结果和文字区域的边界,确定目标视频帧的标题区域的左、右边界,这样可以根据文字区域的边界确定出标题区域的右边界,能够降低将目标视频帧的右侧边作为标题区域边界的概率,能够得到更精确的标题区域。
在本发明的另一个具体实施例中,参见图8,提供了图像信息检测装置的第四种结构示意图,与前述实施例相比,本实施例中,标题区域确定模块507,包括:图像区域确定子模块5071、第一图像区域判断子模块5072和标题区域确定子模块5073(图中未示出)。
其中,图像区域确定子模块5071,用于根据所述目标视频帧的标题区域的上、下边界和左、右边界,在所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及所述目标视频帧中,分别确定待比较图像区域;
第一图像区域判断子模块5072,用于判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似;
标题区域确定子模块5073,用于在搜书图像区域判断子模块的判断结果为是的情况下,将由所述目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,作为所述目标视频帧的标题区域。
可选的,所述第一图像区域判断子模块5072,具体用于根据所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧的待比较图像区域中,与所述目标视频帧中的待比较图像区域相似的待比较图像区域对应的视频帧的数量Spic_num,判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,其中,若Spic_num>预设的第四阈值,判定所述目标视频帧中的待比较图像区域,与所述目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似;
具体的,所述标题区域确定模块507还可以包括:第二图像区域判断子模块(图中未示出)。
其中,第二图像区域判断子模块,用于判断所述目标视频帧中的待比较图像区域,与针对所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的任一视频帧pic的待比较图像区域是否相似;
该第二图像区域判断子模块,包括:灰度信息获得单元、灰度差值计算单元、像素点数量统计单元和图像区域判断单元(图中未示出)。
其中,灰度信息获得单元,用于获得所述目标视频帧中的待比较图像区域的灰度信息G1,和视频帧pic中的待比较图像区域的灰度信息G2;
灰度差值计算单元,用于按照如下关系式计算灰度信息G1和灰度信息G2中相应像素点的灰度差值:
其中,i、j分别表示像素点的横坐标和纵坐标,pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,表示灰度信息G1中坐标为(i,j)的像素点的灰度值,表示灰度信息G2中坐标为(i,j)的像素点的灰度值;
像素点数量统计单元,用于统计计算得到的灰度差值大于预设的第五阈值的像素点的数量;
图像区域判断单元,用于根据统计得到的像素点的数量与预设的第六阈值的关系,判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似,其中,若统计得到的像素点的数量小于预设的第六阈值,判定所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域相似。
由以上可见,本实施例提供的方案中,结合目标视频帧之前的视频帧和/或之后的视频帧的图像信息,确定目标视频的标题区域,考虑了视频中连续多个视频帧中标题区域在视频帧中的位置及内容稳定这一特性,因此,能够得到更准确的目标视频帧的标题区域。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种图像信息检测方法,其特征在于,所述方法包括:
对目标视频帧进行边缘提取;
根据边缘提取结果,统计所述目标视频帧的各像素行中图像边缘像素点的数量;
根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界;
根据边缘提取结果,统计所述目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量;
根据统计得到的各个像素列中图像边缘像素点的数量和预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,确定所述目标视频帧的标题区域的备选竖直方向边界;
从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界;
根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域;
所述根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界,包括:
选择所述目标视频帧中图像边缘像素点的数量大于预设的第一阈值的像素行,作为所述目标视频帧的标题区域的备选水平方向边界;
从所述备选水平方向边界中,查找连续图像边缘像素点数量的最大值大于预设的第二阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的上、下边界;
根据以下步骤计算所述连续图像边缘像素点的数量:
确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点;
设置待判断像素点为所述起始图像边缘像素点;
判断是否存在与待判断像素点相邻的图像边缘像素点,其中,对于坐标为(i,j)的待判断像素点P,若坐标为(i+1,j)、(i+1,j-1)或者(i+1,j+1)的像素点为图像边缘像素点,则判定存在与待判断像素点P相邻的图像边缘像素点;
若存在,设置上述的与待判断像素点相邻的图像边缘像素点为待判断像素点,更新pixnum为当前pixnum加1,返回执行所述判断是否存在与待判断像素点相邻的图像边缘像素点的步骤,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
2.根据权利要求1所述的方法,其特征在于,所述从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界,包括:
以预设的第三阈值个相邻像素列为一个统计单元,根据统计得到的各个像素列中图像边缘像素点的数量,计算各统计单元中图像边缘像素点的数量;
根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域;
从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界;
根据查找结果和所述文字区域的边界,确定所述目标视频帧的标题区域的左、右边界。
3.根据权利要求2所述的方法,其特征在于,所述根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域,包括:
根据如下表达式计算图像边缘像素点数量的均值pixnum_avg,
<mrow>
<msub>
<mi>pix</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
<mo>_</mo>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>pix</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
<mo>_</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>/</mo>
<mi>N</mi>
<mo>,</mo>
</mrow>
其中,N表示统计单元的数量,pixnum_i表示第i个统计单元中图像边缘像素点的数量;
将计算得到的各统计单元中图像边缘像素点的数量大于pixnum_avg的统计单元所在区域,确定为所述目标视频帧中的文字区域。
4.根据权利要求1所述的方法,其特征在于,所述从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界,包括:
分别获得每一备选竖直方向边界两侧预设长度的图像区域的颜色直方图统计值;
根据所获得的颜色直方图统计值,从所述备选竖直方向边界中,查找边界两侧图像区域相似度低于预设的相似度阈值的边界;
根据查找结果,确定所述目标视频帧的标题区域的左、右边界。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域,包括:
根据所述目标视频帧的标题区域的上、下边界和左、右边界,在所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及所述目标视频帧中,分别确定待比较图像区域;
判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似;
若相似,将由所述目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,作为所述目标视频帧的标题区域。
6.根据权利要求5所述的方法,其特征在于,所述判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,包括:
根据所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧的待比较图像区域中,与所述目标视频帧中的待比较图像区域相似的待比较图像区域对应的视频帧的数量Spic_num,判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,其中,若Spic_num>预设的第四阈值,判定所述目标视频帧中的待比较图像区域,与所述目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似;
具体的,针对所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的任一视频帧pic,根据以下步骤判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似:
获得所述目标视频帧中的待比较图像区域的灰度信息G1,和视频帧pic中的待比较图像区域的灰度信息G2;
按照如下关系式计算灰度信息G1和灰度信息G2中相应像素点的灰度差值:
<mrow>
<msub>
<mi>pix</mi>
<mi>D</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>pix</mi>
<msub>
<mi>G</mi>
<mn>1</mn>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>pix</mi>
<msub>
<mi>G</mi>
<mn>2</mn>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,i、j分别表示像素点的横坐标和纵坐标,pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,表示灰度信息G1中坐标为(i,j)的像素点的灰度值,表示灰度信息G2中坐标为(i,j)的像素点的灰度值;
统计计算得到的灰度差值大于预设的第五阈值的像素点的数量;
根据统计得到的像素点的数量与预设的第六阈值的关系,判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似,其中,若统计得到的像素点的数量小于预设的第六阈值,判定所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域相似。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据以下信息中的至少一种,检测所述目标视频帧的标题区域的内容是否发生变化:
所述目标视频帧的标题区域的颜色直方图统计值和所述目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值;
所述目标视频帧的标题区域中各像素点分别与所述目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差;
所述目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及所述目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息。
8.一种图像信息检测装置,其特征在于,所述装置包括:
边缘提取模块,用于对目标视频帧进行边缘提取;
第一像素点数量统计模块,用于根据边缘提取结果,统计所述目标视频帧的各像素行中图像边缘像素点的数量;
第一边界确定模块,用于根据统计得到的各个像素行中图像边缘像素点的数量和预设的图像边缘像素点数量与区域水平方向边界之间的对应关系,确定所述目标视频帧的标题区域的上、下边界;
第二像素点数量统计模块,用于根据边缘提取结果,统计所述目标视频帧的标题区域的上、下边界之间的各像素列中图像边缘像素点的数量;
第二边界确定模块,用于根据统计得到的各个像素列中图像边缘像素点的数量和预设的图像边缘像素点数量与区域竖直方向边界之间的对应关系,确定所述目标视频帧的标题区域的备选竖直方向边界;
第三边界确定模块,用于从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的左、右边界;
标题区域确定模块,用于根据所述目标视频帧的标题区域的上、下边界和左、右边界,确定所述目标视频帧的标题区域;
所述第一边界确定模块,包括:
边界选择子模块,用于选择所述目标视频帧中图像边缘像素点的数量大于预设的第一阈值的像素行,作为所述目标视频帧的标题区域的备选水平方向边界;
第一边界确定子模块,用于从所述备选水平方向边界中,查找连续图像边缘像素点数量的最大值大于预设的第二阈值的边界,根据查找结果,确定所述目标视频帧的标题区域的上、下边界;
所述第一边界确定模块,还包括:
像素点数量计算子模块,用于计算边界中连续图像边缘像素点数量;
其中,所述像素点数量计算子模块,包括:
起始像素点确定单元,用于确定像素行中的起始图像边缘像素点,其中,该像素行中起始图像边缘像素点的前一像素点为非图像边缘像素点;
第一像素点设置单元,用于设置待判断像素点为所述起始图像边缘像素点;
像素点判断单元,用于判断是否存在与待判断像素点相邻的图像边缘像素点,其中,对于坐标为(i,j)的待判断像素点P,若坐标为(i+1,j)、(i+1,j-1)或者(i+1,j+1)的像素点为图像边缘像素点,则判定存在与待判断像素点P相邻的图像边缘像素点;
第二像素点设置单元,用于在所述像素点判断子单元的判断结果为是的情况下,设置上述的与待判断像素点相邻的图像边缘像素点为待判断像素点,更新pixnum为当前pixnum加1,并触发所述像素点判断子单元判断是否存在边缘像素点,其中,pixnum表示连续图像边缘像素点的数量,其初始值为1。
9.根据权利要求8所述的装置,其特征在于,所述第三边界确定模块,包括:
像素点数量统计子模块,用于以预设的第三阈值个相邻像素列为一个统计单元,根据统计得到的各个像素列中图像边缘像素点的数量,计算各统计单元中图像边缘像素点的数量;
文字区域确定子模块,用于根据计算得到的各统计单元中图像边缘像素点的数量和预设的图像边缘像素点数量与文字边缘之间的对应关系,确定所述目标视频帧中的文字区域;
第一边界查找子模块,用于从所述备选竖直方向边界中,查找两侧图像区域相似度低于预设的相似度阈值的边界;
第二边界确定子模块,用于根据查找结果和所述文字区域的边界,确定所述目标视频帧的标题区域的左、右边界。
10.根据权利要求9所述的装置,其特征在于,所述文字区域确定子模块,包括:
像素点数量均值计算单元,用于根据如下表达式计算图像边缘像素点数量的均值pixnum_avg,
<mrow>
<msub>
<mi>pix</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
<mo>_</mo>
<mi>a</mi>
<mi>v</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>pix</mi>
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
<mo>_</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>/</mo>
<mi>N</mi>
<mo>,</mo>
</mrow>
其中,N表示统计单元的数量,pixnum_i表示第i个统计单元中图像边缘像素点的数量;
文字区域确定单元,用于将计算得到的各统计单元中图像边缘像素点的数量大于pixnum_avg的统计单元所在区域,确定为所述目标视频帧中的文字区域。
11.根据权利要求8所述的装置,其特征在于,所述第三边界确定模块,包括:
直方图统计值获得子模块,用于分别获得每一备选竖直方向边界两侧预设长度的图像区域的颜色直方图统计值;
第二边界查找子模块,用于根据所获得的颜色直方图统计值,从所述备选竖直方向边界中,查找边界两侧图像区域相似度低于预设的相似度阈值的边界;
第三边界确定子模块,用于根据查找结果,确定所述目标视频帧的标题区域的左、右边界。
12.根据权利要求8-11中任一项所述的装置,其特征在于,所述标题区域确定模块,包括:
图像区域确定子模块,用于根据所述目标视频帧的标题区域的上、下边界和左、右边界,在所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧,以及所述目标视频帧中,分别确定待比较图像区域;
第一图像区域判断子模块,用于判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似;
标题区域确定子模块,用于在搜书图像区域判断子模块的判断结果为是的情况下,将由所述目标视频帧的标题区域的上、下边界和左、右边界确定的图像区域,作为所述目标视频帧的标题区域。
13.根据权利要求12所述的装置,其特征在于,
所述第一图像区域判断子模块,具体用于根据所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧的待比较图像区域中,与所述目标视频帧中的待比较图像区域相似的待比较图像区域对应的视频帧的数量Spic_num,判断所述目标视频帧中的待比较图像区域,与所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域是否相似,其中,若Spic_num>预设的第四阈值,判定所述目标视频帧中的待比较图像区域,与所述目标视频帧之前第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的待比较图像区域相似;
具体的,所述标题区域确定模块,还包括:
第二图像区域判断子模块,用于判断所述目标视频帧中的待比较图像区域,与针对所述目标视频帧之前的第一预设数量个视频帧和/或之后的第二预设数量个视频帧中的任一视频帧pic的待比较图像区域是否相似;
所述第二图像区域判断子模块,包括:
灰度信息获得单元,用于获得所述目标视频帧中的待比较图像区域的灰度信息G1,和视频帧pic中的待比较图像区域的灰度信息G2;
灰度差值计算单元,用于按照如下关系式计算灰度信息G1和灰度信息G2中相应像素点的灰度差值:
<mrow>
<msub>
<mi>pix</mi>
<mi>D</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>pix</mi>
<msub>
<mi>G</mi>
<mn>1</mn>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>pix</mi>
<msub>
<mi>G</mi>
<mn>2</mn>
</msub>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,i、j分别表示像素点的横坐标和纵坐标,pixD(i,j)表示坐标为(i,j)的像素点的灰度差值,表示灰度信息G1中坐标为(i,j)的像素点的灰度值,表示灰度信息G2中坐标为(i,j)的像素点的灰度值;
像素点数量统计单元,用于统计计算得到的灰度差值大于预设的第五阈值的像素点的数量;
图像区域判断单元,用于根据统计得到的像素点的数量与预设的第六阈值的关系,判断所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域是否相似,其中,若统计得到的像素点的数量小于预设的第六阈值,判定所述目标视频帧中的待比较图像区域与视频帧pic中的待比较图像区域相似。
14.根据权利要求8所述的装置,其特征在于,所述装置还包括:
内容检测模块,用于根据以下信息中的至少一种,检测所述目标视频帧的标题区域的内容是否发生变化:
所述目标视频帧的标题区域的颜色直方图统计值和所述目标视频帧之前的第三预设数量个视频帧的标题区域的颜色直方图统计值;
所述目标视频帧的标题区域中各像素点分别与所述目标视频帧之前的第四预设数量个视频帧的标题区域中各像素点的像素值之差;
所述目标视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息,以及所述目标视频帧之前的第五预设数量个视频帧的标题区域中文字区域的颜色信息、背景区域的颜色信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410853949.6A CN104504717B (zh) | 2014-12-31 | 2014-12-31 | 一种图像信息检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410853949.6A CN104504717B (zh) | 2014-12-31 | 2014-12-31 | 一种图像信息检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104504717A CN104504717A (zh) | 2015-04-08 |
CN104504717B true CN104504717B (zh) | 2017-10-27 |
Family
ID=52946111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410853949.6A Active CN104504717B (zh) | 2014-12-31 | 2014-12-31 | 一种图像信息检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104504717B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104792263B (zh) * | 2015-04-20 | 2018-01-05 | 合肥京东方光电科技有限公司 | 确定显示母板的待检测区域的方法和装置 |
CN105869122A (zh) * | 2015-11-24 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 图像处理方法和装置 |
WO2018187917A1 (zh) * | 2017-04-10 | 2018-10-18 | 深圳市柔宇科技有限公司 | 图片质量评估方法及装置 |
CN107590447B (zh) * | 2017-08-29 | 2021-01-08 | 北京奇艺世纪科技有限公司 | 一种文字标题识别方法及装置 |
CN107609546B (zh) * | 2017-08-29 | 2020-12-18 | 北京奇艺世纪科技有限公司 | 一种文字标题识别方法及装置 |
CN108229476B (zh) * | 2018-01-08 | 2021-02-09 | 北京奇艺世纪科技有限公司 | 标题区域检测方法及*** |
CN108446603B (zh) * | 2018-02-28 | 2021-03-16 | 北京奇艺世纪科技有限公司 | 一种新闻标题检测方法及装置 |
CN108256508B (zh) * | 2018-02-28 | 2021-02-26 | 北京奇艺世纪科技有限公司 | 一种新闻主副标题检测方法及装置 |
CN111061904B (zh) * | 2019-12-06 | 2023-04-18 | 武汉理工大学 | 一种基于图像内容识别的本地图片快速检测方法 |
CN113034524B (zh) * | 2019-12-25 | 2024-06-14 | 深圳怡化电脑股份有限公司 | 一种图像边缘检测方法和装置 |
CN111353404B (zh) * | 2020-02-24 | 2023-12-01 | 支付宝实验室(新加坡)有限公司 | 一种人脸识别方法、装置及设备 |
CN111931678B (zh) * | 2020-08-21 | 2021-09-07 | 腾讯科技(深圳)有限公司 | 一种视频信息处理方法、装置、电子设备及存储介质 |
CN115396726B (zh) * | 2022-08-01 | 2024-05-07 | 陈兵 | 一种用于商务直播的演示文稿生成***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101102419A (zh) * | 2007-07-10 | 2008-01-09 | 北京大学 | 一种定位视频字幕区域的方法 |
CN101510260A (zh) * | 2008-02-14 | 2009-08-19 | 富士通株式会社 | 字幕存在时间确定装置和方法 |
CN102332096A (zh) * | 2011-10-17 | 2012-01-25 | 中国科学院自动化研究所 | 一种视频字幕文本提取和识别的方法 |
CN102542268A (zh) * | 2011-12-29 | 2012-07-04 | 中国科学院自动化研究所 | 用于视频中文本区域检测与定位的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060045346A1 (en) * | 2004-08-26 | 2006-03-02 | Hui Zhou | Method and apparatus for locating and extracting captions in a digital image |
-
2014
- 2014-12-31 CN CN201410853949.6A patent/CN104504717B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101102419A (zh) * | 2007-07-10 | 2008-01-09 | 北京大学 | 一种定位视频字幕区域的方法 |
CN101510260A (zh) * | 2008-02-14 | 2009-08-19 | 富士通株式会社 | 字幕存在时间确定装置和方法 |
CN102332096A (zh) * | 2011-10-17 | 2012-01-25 | 中国科学院自动化研究所 | 一种视频字幕文本提取和识别的方法 |
CN102542268A (zh) * | 2011-12-29 | 2012-07-04 | 中国科学院自动化研究所 | 用于视频中文本区域检测与定位的方法 |
Non-Patent Citations (1)
Title |
---|
新闻视频帧中的字幕探测;谢毓湘, 栾悉道, 吴玲达, 老松杨;《计算机工程》;20041031;第30卷(第20期);第167-168页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104504717A (zh) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104504717B (zh) | 一种图像信息检测方法及装置 | |
US10896349B2 (en) | Text detection method and apparatus, and storage medium | |
US8316301B2 (en) | Apparatus, medium, and method segmenting video sequences based on topic | |
CN107491762B (zh) | 一种行人检测方法 | |
US7471827B2 (en) | Automatic browsing path generation to present image areas with high attention value as a function of space and time | |
CN107590447A (zh) | 一种文字标题识别方法及装置 | |
CN104298982A (zh) | 一种文字识别方法及装置 | |
GB2431793A (en) | Image comparison | |
CN1343339A (zh) | 视频流可分类符号分离的方法与*** | |
CN102915438A (zh) | 一种视频字幕的提取方法及装置 | |
US8340412B2 (en) | Image processing | |
CN105205488A (zh) | 基于Harris角点和笔画宽度的文字区域检测方法 | |
US20090169066A1 (en) | Multidirectonal face detection method | |
CN107977645B (zh) | 一种视频新闻海报图的生成方法及装置 | |
CN114973207B (zh) | 一种基于目标检测的路标识别方法 | |
CN108875744A (zh) | 基于矩形框坐标变换的多方向文本行检测方法 | |
CN109801297A (zh) | 一种基于卷积实现的图像全景分割预测优化方法 | |
CN109800756A (zh) | 一种用于中文历史文献密集文本的文字检测识别方法 | |
CN108052931A (zh) | 一种车牌识别结果融合方法及装置 | |
CN108108733A (zh) | 一种新闻字幕检测方法及装置 | |
CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
CN108288061A (zh) | 一种基于mser快速在自然场景中定位倾斜文本的方法 | |
CN109815954A (zh) | 增值税***图像的方向校正方法、装置、设备及存储介质 | |
CN111722891A (zh) | 显示方法、装置、计算机可读存储介质和计算机设备 | |
JP5027201B2 (ja) | テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |