CN108010044B - 一种视频边界检测的方法 - Google Patents
一种视频边界检测的方法 Download PDFInfo
- Publication number
- CN108010044B CN108010044B CN201610962372.1A CN201610962372A CN108010044B CN 108010044 B CN108010044 B CN 108010044B CN 201610962372 A CN201610962372 A CN 201610962372A CN 108010044 B CN108010044 B CN 108010044B
- Authority
- CN
- China
- Prior art keywords
- segment
- similarity
- frame
- video
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了计算机视频信息处理技术领域的一种视频边界检测的方法,所述该视频边界检测的方法,具体步骤如下:S1:通过计算每一帧的像素间标准差;S4:计算所有非孤立片段的中间帧和首尾的直方图相似度;S5:合并连续非孤立片段为疑似渐变镜头片段,本方法先通过像素差计算方式删除单色帧,把视频进行分段,计算片段首尾帧的直方图相似度,根据该信息删除冗余视频片段,其余视频片段分为孤立和非孤立分别检测镜头突变和渐变,该方法所有的计算都没有重复计算,考虑了图像的位置信息以及颜色信息,镜头切换检测的方法有别于其它方法,不仅可以检测出镜头渐变,而且可以检测出位置和长度,算法有一定的鲁棒性,思想简单有效。
Description
技术领域
本发明涉及计算机视频信息处理技术领域,具体为一种视频边界检测的方法。
背景技术
镜头边界检测的基础,在于同一个镜头内的视觉内容相近、不同镜头间的视频内容差异大,特征区别明显。视频的镜头变换主要分为切变和渐变两种类型,切变是前一个镜头的末帧没有过渡的紧接着下一个镜头的首帧,渐变是在一段时间内通过溶解、淡入/淡出、擦除等视觉效果,逐渐完成镜头的变换,一般持续几帧到十几帧。
目前很多围绕视频切变和渐变的研究,一部分研究只单一的针对切变或者渐变镜头,另一部分能够同时检测出渐变和切变的方法复杂度往往比较高。制约镜头边界检测算法处理速度主要原因在于反复提取特征对比,待处理视频图片数量较多。
现有的检测方法视频检测时未考虑视频字幕(底部固定滚动画面)、台标和黑标等因素的影响,检测算法在做视频帧间颜色相似度时未考虑位置信息。现有算法中渐变检测或者未检测出渐变长度和位置,或者是检测过程复杂度太高,耗时且准确率不高,未去除单色帧的影响。为此,我们发明了一种视频边界检测的方法投入使用,以解决上述问题。
发明内容
本发明的目的在于提供一种视频边界检测的方法,以解决上述背景技术中提出的现有的检测方法视频检测时未考虑视频字幕(底部固定滚动画面)、台标和黑标等因素的影响,检测算法在做视频帧间颜色相似度时未考虑位置信息。现有算法中渐变检测或者未检测出渐变长度和位置,或者是检测过程复杂度太高,耗时且准确率不高,未去除单色帧的影响的问题。
为实现上述目的,本发明提供如下技术方案:一种视频边界检测的方法,所述该视频边界检测的方法,具体步骤如下:
S1:通过计算每一帧的像素间标准差,如果标准差接近于0,则为单色帧,剔除所有单色帧,再以20帧为间隔,将待检测视频分割为一系列长度为21帧的视频片段,然后,计算每个视频片段的首尾帧间直方图相似度;
S2:动态选取阈值,并计算步骤S1中所有视频片段的剔除阈值;
S3:剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段,设d20(n+1)和d20(n-1)被剔除,则d20(n)为孤立片段,计算该片段与未被剔除的相邻片段间的首尾间直方图相似度,记为d20(n-2,n)和d20(n,n+2),若1<d20(n)/d20(n-2,n)<T1或者1<d20(n)/d20(n,n+2)<T1,表明该视频片段帧间没有大的特征差异,剔除,其中,d20(n)代表第n个时间片段的首尾特征差值,T1代表直方图相似度的一个接近1的倍数;
S8:相似度较大的一侧视频片段,首先计算10帧内的标准差,再依次逐一加帧计算该后续的标准差;
S9:设剩余片段长度为L,当L≤25时,因为新的渐变不能发生在25帧以内,否则人眼无法识别,进入步骤S5中进行渐变再检测,当L>25的视频片段按照步骤S6进行迭代。
优选的,所述步骤S1中,直方图相似度均以去除图片上部10%,下部15%,留下中间75%部分,分成4块计算每帧的HSV直方图信息,并计算对应分量计算帧间相似度,再加权求和,归一化,
其中,直方图相似度的具体计算方法为:
式中:d(i,i+1)代表归一化后的i和i+1帧间直方图相似度,M是直方图的总等级数,对于要强调的直方图等级的情况,使用权值W(j),b代表矩形块的个数,Ck代表第k个矩形块的权值。
优选的,所述步骤S2中,动态阈值计算方法为:
式中:μG表示视频中所有片段首尾特征的均值,μL表示一组阈值单元中10个片段首尾特征差值的均值,δL是阈值单元内各个片段的特征距离标准差,在式中,a是一个参数,将会在训练参数中确定,将特征差值小于等于阈值TL且不满足d20(n))>3d20(n-1)∪d20(n)>3d20(n+1∩d20(n)>0.8μG的视频片段剔除。
优选的,所述步骤S5中,所有相邻帧间相似度的具体判断方法如下:
S52:若其中T2为两个直方图相似度间的较大倍数,表明首尾帧间相似度和最大帧间相似度大小差不多,而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显,代表该片段中间无典型镜头变换,剔除;
优选的,所述步骤S6中,1<d10/d20<T1或1<d20/d10<T1,表明该片段最大值两边的特征变化类似,假设d10较大,1<d10/d20<T1,当时,表明两边帧间相似度很大,代表该片段为突变片段,为突变位置,m片段两侧剩余的视频片段分别按照步骤S6重新迭代,当表明两边帧间变化不大,整个疑似渐变片段为无镜头变化片段,剔除,当d10/d20>T1或者d20/d10>T1时,表明该片段最大值两边的特征变化不一致,代表所在的位置在渐变的两端的其中一端,假设d10较大,则d10对应的一侧片段转到步骤S8中,d20对应的一侧片段转到步骤S6中。
优选的,所述步骤S7中,当δx1/δx1+1>T3或者δX2/δX2+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,分别表示左边或者右边对应的位置为渐变结束点,中间视频片段长度为渐变长度,若两边有剩余视频片段转到步骤S9中,否则,继续迭代直至片段结束。
优选的,所述步骤S8中,设第K帧和第K+1帧的标准差分别为δK和δK+1,直至δK/δK+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,则K为渐变结束所在的位置,渐变长度为所在位置到第K帧,剩余视频片段转下一步骤中,否则,则继续迭代至片段结束。
与现有技术相比,本发明的有益效果是:本方法先通过像素差计算方式删除单色帧,把视频进行分段,计算片段首尾帧的直方图相似度,根据该信息删除冗余视频片段,其余视频片段分为孤立和非孤立分别检测镜头突变和渐变,该方法所有的计算都没有重复计算,并且最大限度保留最多信息的前提下进行非边界帧的剔除,平衡了镜头边界检测的效率和正确率,考虑了图像的位置信息以及颜色信息,比较综合全面的衡量了图片的信息,渐变检测的方法有别于其它方法,不仅可以检测出位置和长度,而且思想简单有效。
附图说明
图1为本发明工作流程图;
图2为本发明动态选取阈值片段示意图;
图3为本发明片段首和尾计算帧间相似度示意图;
图4为本发明疑似渐变片段示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-4,本发明提供一种技术方案:一种视频边界检测的方法,所述该视频边界检测的方法,具体步骤如下:
S1:通过计算每一帧的像素间标准差,如果标准差接近于0,则为单色帧,剔除所有单色帧,再以20帧为间隔,将待检测视频分割为一系列长度为21帧的视频片段,然后,计算每个视频片段的首尾帧间直方图相似度,直方图相似度均以去除图片上部10%,下部15%,留下中间75%部分,分成4块计算每帧的HSV直方图信息,并计算对应分量计算帧间相似度,再加权求和,归一化,其中,直方图相似度的具体计算方法为:
式中:d(i,i+1)代表归一化后的i和i+1帧间直方图相似度,M是直方图的总等级数,尤其是对于某些要强调的直方图等级的情况,使用权值W(j),b代表矩形块的个数,Ck代表第k个矩形块的权值;
S2:动态选取阈值,并计算步骤S1中所有视频片段的剔除阈值,如d20(n)按照图2选取阈值单元,当n<6时,阈值计算单元是第1-10个视频片段,按照图2选取阈值单元,动态阈值计算方法为:
式中:μG表示视频中所有片段首尾特征的均值,μL表示一组阈值单元中10个片段首尾特征差值的均值,δL是阈值单元内各个片段的特征距离标准差,在式中,a是一个参数,将会在训练参数中确定,将特征差值小于等于阈值TL且不满足(d20(n))>3d20(n-1)∪d20(n)>3d20(n+1)∩d20(n)>0.8μG的视频片段剔除;
S3:剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段,设d20(n+1)和d20(n-1)被剔除,则d20(n)为孤立片段,计算该片段与未被剔除的相邻片段间的首尾间直方图相似度,记为d20(n-2,n)和d20(n,n+2),若1<d20(n)/d20(n-2,n)<T1或者1<d20(n)/d20(n,n+2)<T1,表明该视频片段帧间没有大的特征差异,剔除,其中,d20(n)代表第n个时间片段的首尾特征差值,T1代表直方图相似度的一个接近1的倍数;
S5:合并连续非孤立片段为疑似渐变镜头片段,针对孤立片段,按顺序计算片段中相邻两帧间的直方图相似度,记片段d20(n)中所有相邻帧间相似度中最大值和除最大值外的均值分别为和所有相邻帧间相似度的具体判断方法如下:
S52:若其中T2为两个直方图相似度间的较大倍数,表明首尾帧间相似度和最大帧间相似度大小差不多,而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显,代表该片段中间无典型镜头变换,剔除;
S6:选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段m,代表渐变最剧烈的片段,计算片段中相邻两帧间的直方图相似度,选取所对应的两帧,分别与该片段首和尾计算帧间相似度d10和d20,如图3所示,1<d10/d20<T1或1<d20/d10<T1,表明该片段最大值两边的特征变化类似,假设d10较大,1<d10/d20<T1,当时,表明两边帧间相似度很大,代表该片段为突变片段,为突变位置,m片段两侧剩余的视频片段分别按照步骤S6重新迭代,当表明两边帧间变化不大,整个疑似渐变片段为无镜头变化片段,剔除,当d10/d20>T1或者d20/d10>T1时,表明该片段最大值两边的特征变化不一致,代表所在的位置在渐变的两端的其中一端,假设d10较大,则d10对应的一侧片段转到步骤S8中,d20对应的一侧片段转到步骤S6中;
S7:所对应的两帧分别为x1和x2,依次分别计算两边的帧间相似度,再计算x1至x1+10和x2至x2+10的标准差为δX1和δX2,然后再逐一加帧计算后续的标准差,如图4所示,例如两边11帧的标准差为δx1+1和δx2+1,当δx1/δx1+1>T3或者δX2/δX2+1>T3时,分别表示左边或者右边对应的位置为渐变结束点,中间视频片段长度为渐变长度,若两边有剩余视频片段转到步骤S9中,否则,继续迭代直至片段结束;
S8:相似度较大的一侧视频片段,首先计算10帧内的标准差,再依次逐一加帧计算该后续的标准差,设第K帧和第K+1帧的标准差分别为δK和δK+1,直至δK/δK+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,则K为渐变结束所在的位置,渐变长度为所在位置到第K帧,剩余视频片段转下一步骤中,否则,则继续迭代至片段结束;
S9:设剩余片段长度为L,当L≤25时,因为新的渐变不能发生在25帧以内,否则人眼无法识别,进入步骤S5中进行渐变再检测,当L>25的视频片段按照步骤S6进行迭代。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (7)
1.一种视频边界检测的方法,其特征在于:所述该视频边界检测的方法,具体步骤如下:
S1:通过计算每一帧的像素间标准差,如果标准差接近于0,则为单色帧,剔除所有单色帧,再以20帧为间隔,将待检测视频分割为一系列长度为21帧的视频片段,然后,计算每个视频片段的首尾帧间直方图相似度;
S2:动态选取阈值,并计算步骤S1中所有视频片段的剔除阈值;
S3:剩余所有视频片段中相邻片段都被剔除的片段称为孤立片段,设d20(n+1)和d20(n-1)被剔除,则d20(n)为孤立片段,计算该片段与未被剔除的相邻片段间的首尾间直方图相似度,记为d20(n-2,n)和d20(n,n+2),若1<d20(n)/d20(n-2,n)<T1或者1<d20(n)/d20(n,n+2)<T1,表明该视频片段帧间没有大的特征差异,剔除,其中,d20(n)代表第n个时间片段的首尾特征差值,T1代表直方图相似度的一个接近1的倍数;
S6:选取疑似渐变视频中按步骤S1中分段的首尾帧相似度最大的片段
S8:相似度较大的一侧视频片段,首先计算10帧内的标准差,再依次逐一加帧计算该后续的标准差;
S9:设剩余片段长度为L,当L≤25时,因为新的渐变不能发生在25帧以内,否则人眼无法识别,进入步骤S5中进行渐变再检测,当L>25的视频片段按照步骤S6进行迭代。
4.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S5中,所有相邻帧间相似度的具体判断方法如下:
S52:若其中T2为两个直方图相似度间的较大倍数,表明首尾帧间相似度和最大帧间相似度大小差不多,而最大帧间相似度与其它平均帧间相似度相差不大或者整个视频片段特征变化趋势不明显,代表该片段中间无典型镜头变换,剔除;
5.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S6中,1<d10/d20<T1或1<d20/d10<T1,表明该片段最大值两边的特征变化类似,假设d10较大,1<d10/d20<T1,当时,表明两边帧间相似度很大,代表该片段为突变片段,为突变位置,m片段两侧剩余的视频片段分别按照步骤S6重新迭代,当表明两边帧间变化不大,整个疑似渐变片段为无镜头变化片段,剔除,当d10/d20>T1或者d20/d10>T1时,表明该片段最大值两边的特征变化不一致,代表所在的位置在渐变的两端的其中一端,假设d10较大,则d10对应的一侧片段转到步骤S8中,d20对应的一侧片段转到步骤S6中。
6.根据权利要求1所述的一种视频边界检测的方法,其特征在于:所述步骤S7中,当δx1/δx1+1>T3或者δX2/δX2+1>T3时,其中T3为两个直方图相似度的标准差的较大倍数,分别表示左边或者右边对应的位置为渐变结束点,中间视频片段长度为渐变长度,若两边有剩余视频片段转到步骤S9中,否则,继续迭代直至片段结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610962372.1A CN108010044B (zh) | 2016-10-28 | 2016-10-28 | 一种视频边界检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610962372.1A CN108010044B (zh) | 2016-10-28 | 2016-10-28 | 一种视频边界检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108010044A CN108010044A (zh) | 2018-05-08 |
CN108010044B true CN108010044B (zh) | 2021-06-15 |
Family
ID=62048458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610962372.1A Active CN108010044B (zh) | 2016-10-28 | 2016-10-28 | 一种视频边界检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108010044B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826365B (zh) | 2018-08-09 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 一种视频指纹生成方法和装置 |
CN109151499A (zh) * | 2018-09-26 | 2019-01-04 | 央视国际网络无锡有限公司 | 视频审核方法及装置 |
CN109493820A (zh) * | 2018-12-19 | 2019-03-19 | 惠科股份有限公司 | 显示数据处理方法及显示装置 |
CN111860185A (zh) * | 2020-06-23 | 2020-10-30 | 北京无限创意信息技术有限公司 | 一种镜头边界检测方法及*** |
CN112511719B (zh) * | 2020-11-10 | 2021-11-26 | 陕西师范大学 | 屏幕内容视频运动类型的判断方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685398A (zh) * | 2011-09-06 | 2012-09-19 | 天脉聚源(北京)传媒科技有限公司 | 一种新闻视频场景生成方法 |
CN104952073A (zh) * | 2015-06-15 | 2015-09-30 | 上海交通大学 | 基于深度学习的镜头边缘检测方法 |
-
2016
- 2016-10-28 CN CN201610962372.1A patent/CN108010044B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102685398A (zh) * | 2011-09-06 | 2012-09-19 | 天脉聚源(北京)传媒科技有限公司 | 一种新闻视频场景生成方法 |
CN104952073A (zh) * | 2015-06-15 | 2015-09-30 | 上海交通大学 | 基于深度学习的镜头边缘检测方法 |
Non-Patent Citations (2)
Title |
---|
视频镜头边界检测研究;葛宝;《中国优秀博硕士学位论文全文数据库 (硕士)》;20041215(第4期);6-72 * |
镜头边界检测及关键帧提取研究;李秀环;《中国优秀硕士学位论文全文数据库》;20100115(第1期);8-43 * |
Also Published As
Publication number | Publication date |
---|---|
CN108010044A (zh) | 2018-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108010044B (zh) | 一种视频边界检测的方法 | |
CN106296725B (zh) | 运动目标实时检测与跟踪方法及目标检测装置 | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
CN103942751B (zh) | 一种视频关键帧提取方法 | |
CN105069456B (zh) | 一种车牌字符分割方法及装置 | |
CN106937114B (zh) | 用于对视频场景切换进行检测的方法和装置 | |
CN107679469B (zh) | 一种基于深度学习的非极大值抑制方法 | |
JP2002288658A (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
CN104021544B (zh) | 一种温室蔬菜病害监控视频关键帧提取方法即提取*** | |
CN106127735B (zh) | 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置 | |
CN109850518B (zh) | 一种基于红外图像的实时矿用胶带预警撕裂检测方法 | |
CN110889328A (zh) | 检测道路交通状况的方法、装置、电子设备和存储介质 | |
CN115131351B (zh) | 基于红外图像的机油散热器检测方法 | |
CN113111878B (zh) | 一种复杂背景下的红外弱小目标检测方法 | |
CN110717900A (zh) | 基于改进Canny边缘检测算法的受电弓磨耗检测方法 | |
CN107369162B (zh) | 一种绝缘子候选目标区域的生成方法及*** | |
CN106327513B (zh) | 基于卷积神经网络的镜头边界检测方法 | |
CN109978858B (zh) | 一种基于前景检测的双框架缩略图像质量评价方法 | |
CN107832732B (zh) | 基于三叉树遍历的车道线检测方法 | |
CN113610052A (zh) | 一种基于深度学习的隧道渗漏水自动识别方法 | |
CN106446832B (zh) | 一种基于视频的实时检测行人的方法 | |
CN108573217B (zh) | 一种结合局部结构化信息的压缩跟踪方法 | |
CN115063603B (zh) | 基于边缘信息的木材年轮线精确提取及复原方法 | |
CN108154521B (zh) | 一种基于目标块融合的运动目标检测方法 | |
CN103279962B (zh) | 一种老电影斑点自适应检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |