CN116168045A - 扫变镜头的分割方法和***、存储介质及电子设备 - Google Patents
扫变镜头的分割方法和***、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116168045A CN116168045A CN202310431428.0A CN202310431428A CN116168045A CN 116168045 A CN116168045 A CN 116168045A CN 202310431428 A CN202310431428 A CN 202310431428A CN 116168045 A CN116168045 A CN 116168045A
- Authority
- CN
- China
- Prior art keywords
- image frame
- frame
- image
- preset
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000010408 sweeping Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种扫变镜头的分割方法和***、存储介质及电子设备,涉及视频处理技术领域。方法包括:获取当前图像帧;在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列;根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;若存在,则基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。由于本申请不限定扫变镜头的扫变帧的数量,通过分析连续视频帧的图像内容和变化动态判断扫变镜头的分割点,实现视频中的扫变镜头的检测。
Description
技术领域
本申请涉及视频处理技术领域,具体而言,涉及一种扫变镜头的分割方法和***、存储介质及电子设备。
背景技术
随着信息传播工具的迅速发展,视频逐渐成为人们日常生活中获取信息的一个主要途径,如何对这些视频进行有效的处理和分析已经成为互联网应用的一个重要问题。为了对视频内容进行有效的处理和分析,需要将视频分割为一个个基本单元,通常认为视频的基本组成单元是镜头,镜头是指摄影机在一次开机到停机之间所拍摄的连续画面片断,是视频构成的基本单位,因此镜头分割是视频分析和处理过程中的首要任务。
目前,视频中的镜头分为渐变镜头和切变镜头,渐变镜头又分为渐出渐入镜头、扫变镜头和融变镜头。切变镜头在镜头切换时有明确的镜头边界,可以明确判断每一帧图像所属镜头;渐变镜头的边界通常是模糊的,镜头切换时往往通过多帧才能完成,切换时无法明确判断帧图像属于哪一个镜头,往往规定中间一帧作为切换帧,因此如何检测和分割渐变镜头,如何提高检测和分割的准确度和效率,是有待解决技术问题。
发明内容
本申请实施例提供了一种扫变镜头的分割方法和***、存储介质及电子设备,以至少解决相关技术中对于视频对应的扫变镜头检测与分割的准确度与效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种扫变镜头的分割方法,方法包括:获取当前图像帧,其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的;在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列;根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;若存在,则基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
可选的,预设图像筛选条件包括预设查询条件和预设第一计算条件;根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧,包括:在差异率序列中查找满足预设查询条件的目标差异率;在连续多个图像帧中确定目标差异率对应的第二图像帧;计算当前图像帧的序号与每个第二图像帧的序号差值,得到多个目标序号差值p,并确定出最小的目标序号差值p;判断连续多个图像帧从当前图像帧的前一帧至所述最小的目标序号差值p对应的第二图像帧之间的任意相邻两帧是否满足预设第一计算条件;若是,则将最小的目标序号差值p对应的第二图像帧作为第一图像帧。
可选的,预设查询条件为:,/>为当前图像帧,/>为第二图像帧,/>为第二图像帧的序号,/>为固有误差,/>表示当前图像帧与第二图像帧之间的差异率;预设第一计算条件为:/>且,/>为预设帧数量取值区间的下限值/>,/>表示当前图像帧与第三图像帧之间的差异率,第三图像帧为连续多个图像帧中序号为的图像帧,/>表示当前图像帧与第四图像帧之间的差异率,第四图像帧为连续多个图像帧中序号为/>的图像帧。
可选的,基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,包括:计算第一图像帧是否满足预设第二计算条件,其中,预设第二计算条件为:且/>;/>表示第二图像帧和第五图像帧之间的差异率,第五图像帧为连续多个图像帧中序号为的图像帧;/>为第二图像帧和第六图像帧之间的差异率,第六图像帧为连续多个图像帧中序号为/>的图像帧;若是,则计算当前图像帧与/>帧的第一差异率,并计算/>与/>帧的第二差异率;/>帧为连续多个图像帧中序号为/>的图像帧;计算第一差异率与第二差异率的目标和;其中,目标和计算公式为:/>且/>;/>为第二图像帧与/>帧之间的差异率;/>为当前图像帧与帧之间的差异率;当每个y值对应的目标和满足预设求和条件时,判断连续多个图像帧中是否存在满足预设镜头分割条件的图像帧;其中,预设镜头分割条件为:且/>且/>,表示当前图像帧与第七图像帧之间的差异率,第七图像帧为连续多个图像帧中序号为/>的图像帧;/>表示当前图像帧与第八图像帧之间的差异率,第八图像帧为连续多个图像帧中序号为/>的图像帧;若存在满足预设镜头分割条件的图像帧,则将连续多个图像帧中满足预设镜头分割条件的图像帧确定为目标图像帧;其中,目标图像帧的序号为所述第七图像帧的序号,所述第七图像帧的序号为:/>。
可选的,获取当前图像帧之后,还包括:计算当前图像帧中每个像素点的LBP特征;其中,其中,LPB特征计算公式为:
其中,/>为中心像素,/>为邻域内的特征点,/>为像素点的像素值;根据每个像素点的LBP特征计算一个8bitLBP特征,得到每个像素点对应的8bit无符号整数值;将所有8bit无符号整数值组成一个特征矩阵,作为当前图像帧对应的LBP特征矩阵。
可选的,方法还包括:在当前图像帧之前的连续多个图像帧的数量小于预设帧数量取值区间的上限值或连续多个图像帧中存在镜头分割帧时,判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历;或者,当连续多个图像帧中不存在满足预设图像筛选条件的第一图像帧时,判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历;或者,当第一图像帧不满足预设第一计算条件或者当每个目标和不满足预设求和条件时或者连续多个图像帧不满足预设查询条件或者第一图像帧不满足预设第二计算条件时,判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历。
根据本申请实施例的另一方面,还提供了一种扫变镜头的分割***,***包括:获取模块,用于获取当前图像帧,其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的;计算模块,用于在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列;判断模块,用于根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;确定模块,用于若存在,则基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的扫变镜头的分割方法。
根据本申请实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述扫变镜头的分割方法。
在本申请实施例中,扫变镜头的分割***首先获取当前图像帧,其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的,然后在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列,其次根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;若存在,则最后基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。由于本申请不限定扫变镜头的扫变帧的数量,通过分析连续视频帧的图像内容和变化动态判断扫变镜头的分割点,实现了视频中的扫变镜头的检测,从而提升了视频中扫变镜头的检测与分割的准确度和效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的扫变镜头的分割方法的应用环境的示意图;
图2是根据本申请实施例的另一种可选的扫变镜头的分割方法的应用环境的示意图;
图3是一种本申请实施例的扫变镜头序列示意图;
图4是根据本申请实施例的一种可选的扫变镜头的分割方法的流程示意图;
图5是根据本申请实施例的一种扫变镜头的分割过程的过程示意框图;
图6是根据本申请实施例的一种扫变镜头的分割***的结构示意图;
图7是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面,提供了一种扫变镜头的分割方法,作为一种可选地实施方式,上述扫变镜头的分割方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括:与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互,终端设备102中运行有扫变镜头的镜头分割应用程序。上述终端设备102中包括人机交互屏幕1022,处理器1024及存储器1026。人机交互屏幕1022用于显示原始视频集合;处理器1024用于扫变镜头的镜头分割。存储器1026用于存储上述待分割视频和镜头分割帧序列。
此外,服务器106中包括数据库1062及处理引擎1064,数据库1062中用于存储原始视频和图像帧序列。处理引擎1064用于:获取当前图像帧,其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的;在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列;根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;若存在,则基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
在一个或多个实施例中,本申请上述扫变镜头的分割方法可以应用于图2所示的应用环境中。如图2所示,用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作,得到扫变镜头的镜头分割帧。
可选地,上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机,车载电子设备,可穿戴设备等终端,上述网络104可以包括但不限于无线网络或有线网络。其中,该无线网络包括:WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
相关技术中,例如图3所示,扫变镜头是使用类似拉幕的方式来切换不同镜头,切换镜头时前后镜头的图像内容的一部分会同时出现组成完整的帧画面,例如帧序号1和2的帧为前一个镜头的图像,6和7的帧为后一个镜头的图像,3到5帧为扫变过程的帧序列;但由于视频中扫变镜头的扫变过程的帧数不确定,而且扫变方式不唯一,会导致相关技术中对于视频对应的扫变镜头检测与分割的准确度差、效率低。
为了解决上述技术问题,作为一种可选地实施方式,如图4所示,本申请实施例提供了一种扫变镜头的分割方法,包括如下步骤:
S101,获取当前图像帧;
其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的。原始视频可以来自任意视频平台的,也可以是用户上传的,还可以是本地数据资源库中预先保存的。
通常,在实际应用场景中,电子设备可以是从待分割视频的第一帧图像开始逐一处理的,因此待分割视频的第一帧图像可作为当前图像帧,也可以是从预先设定的中间某一帧开始逐一处理,因此待分割视频的中间某一帧可作为当前图像帧。
例如图3所示,扫变镜头是渐变镜头的一种,使用类似拉幕的方式来切换不同镜头,切换镜头时前后镜头的图像内容的一部分会同时出现组成完整的帧画面,切换过程会持续多帧,切换时不同镜头的图像有明确的分界线,而且同一镜头内的画面内容基本保持不变,切换过程的帧数量通常不会超过(/>)。
在一种可能的实现方式中,在进行扫变镜头的镜头分割时,首先接收或者获取原始视频,然后对原始视频进行预处理操作,得到待分割视频,其中视频预处理包括解帧、归一化等操作,视频属性信息包括大小、时长、分辨率等;最后在待分割视频中获取第一帧图像作为当前图像帧,或者在待分割视频中获取中间某一帧作为当前图像帧。
S102,在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列;
在一种可能的实现方式中,在当前图像帧之前的连续多个图像帧的数量小于预设帧数量取值区间的上限值或连续多个图像帧中存在镜头分割帧时,判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历。
进一步地,若待分割视频中的所有图像帧没有全部遍历结束,则获取当前图像帧的下一帧作为当前图像帧继续判断,直到满足在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,执行逐个计算当前图像帧与多个图像帧之间的特征差异率的步骤。
具体的,在计算差异率时,首先在待分割视频中获取当前图像帧,然后判断当前图像帧与上一个标记的镜头分割帧之间的连续多个图像帧的数量是否大于预设帧数量取值区间的上限值,若是,则逐个计算当前图像帧与多个图像帧之间的特征差异率。
在一种可能的实现方式中,当前图像帧可记为,当前图像帧之前的连续多个图像帧的数量为/>,可计算当前图像帧/>与其前/>帧的特征差异率,构造差异率序列dis。例如图3中,当前图像帧的帧序号为7时,则逐一计算第7帧与前6帧之间的差异率,得到差异率序列。
进一步地,在计算两帧图像之间的差异率时,可首先计算当前图像帧中每个像素点的LBP特征;其中,LPB特征计算公式为:
其中,/>为中心像素,/>为邻域内的特征点,/>为像素点的像素值;然后根据每个像素点的LBP特征计算一个8bit LBP特征,得到每个像素点对应的8bit无符号整数值,最后将所有8bit无符号整数值组成一个特征矩阵,作为当前图像帧对应的LBP特征矩阵。
同样可计算出当前图像帧之前的连续多个图像帧中任意一个图像帧对应的LBP特征矩阵。
S103,根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;
其中,预设图像筛选条件包括预设查询条件和预设第一计算条件。
在本申请实施例中,在根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧时,首先在差异率序列中查找满足预设查询条件的目标差异率,然后在连续多个图像帧中确定目标差异率对应的第二图像帧,其次计算当前图像帧的序号与每个第二图像帧的序号差值,得到多个目标序号差值p,并确定出最小的目标序号差值p,最后判断连续多个图中帧中当前图像帧的前一帧至最小的目标序号差值p对应的第二图像帧之间的任意相邻两帧是否满足预设第一计算条件;若是,则将最小的目标序号差值p对应的第二图像帧作为第一图像帧。
预设第一计算条件为:且,/>为预设帧数量取值区间的下限值/>,/>表示当前图像帧与第三图像帧之间的差异率,第三图像帧为连续多个图像帧中序号为的图像帧,/>表示当前图像帧与第四图像帧之间的差异率,第四图像帧为连续多个图像帧中序号为/>的图像帧。
S104,若存在,则基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
在本申请实施例中,在基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧时,首先计算第一图像帧是否满足预设第二计算条件,其中,预设第二计算条件为:且/>;/>表示第二图像帧和第五图像帧之间的差异率,第五图像帧为连续多个图像帧中序号为的图像帧;/>为第二图像帧和第六图像帧之间的差异率,第六图像帧为连续多个图像帧中序号为/>的图像帧;若是,则计算当前图像帧与/>帧的第一差异率,并计算/>与/>帧的第二差异率;/>帧为连续多个图像帧中序号为/>的图像帧;然后计算第一差异率与第二差异率的目标和;其中,目标和/>计算公式为:/>且/>;为第二图像帧与/>帧之间的差异率;/>为当前图像帧与/>帧之间的差异率;其次当每个y值对应的目标和满足预设求和条件时,判断连续多个图像帧中是否存在满足预设镜头分割条件的图像帧;其中,预设镜头分割条件为:且/>且/>,表示当前图像帧与第七图像帧之间的差异率,第七图像帧为连续多个图像帧中序号为/>的图像帧;/>表示当前图像帧与第八图像帧之间的差异率,第八图像帧为连续多个图像帧中序号为/>的图像帧;最后若存在满足预设镜头分割条件的图像帧,则将连续多个图像帧中满足预设镜头分割条件的图像帧确定为目标图像帧;其中,目标图像帧的序号为所述第七图像帧的序号,所述第七图像帧的序号为:/>。
具体的,当连续多个图像帧中不存在满足预设图像筛选条件的第一图像帧时,判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历;或者,当第一图像帧不满足预设第一计算条件或者当每个目标和不满足预设求和条件时或者连续多个图像帧不满足预设查询条件或者第一图像帧不满足预设第二计算条件时,判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历。
在实际应用场景中,本申请中得到待分割视频对应的镜头分割帧序列后,可基于该镜头分割帧序列分割视频,并基于分割的视频可进行视频分析和处理,具体可基于实际场景进行确定,此处不做限定。
例如图5所示,图5是本申请提供的一种扫变镜头的分割过程的过程示意框图,首先获取当前图像帧,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的,然后在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列,其次在差异率序列中查找满足预设查询条件的目标差异率,并在连续多个图像帧中确定目标差异率对应的第二图像帧,以及计算当前图像帧的序号与每个第二图像帧的序号差值,得到多个目标序号差值p,并确定出最小的目标序号差值p,最后判断连续多个图中帧中当前图像帧的前一帧至最小的目标序号差值p对应的第二图像帧之间的任意相邻两帧是否满足预设第一计算条件,若是,将最小的目标序号差值p对应的第二图像帧作为第一图像帧,并基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧;若否,则判断待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历。
本申请实施例还具有以下有益效果:
在本申请实施例中,由于本申请不限定扫变镜头的扫变帧的数量,通过分析连续视频帧的图像内容和变化动态判断扫变镜头的分割点,实现了视频中的扫变镜头的检测,从而提升了视频中扫变镜头的检测与分割的准确度和效率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
下述为本申请***实施例,可以用于执行本申请方法实施例。对于本申请***实施例中未披露的细节,请参照本申请方法实施例。
请参见图6,其示出了本申请一个示例性实施例提供的扫变镜头的分割***的结构示意图。该扫变镜头的分割***可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该***1包括获取模块10、计算模块20、判断模块30、确定模块40。
获取模块10,用于获取当前图像帧,其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的;
计算模块20,用于在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列;
判断模块30,用于根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;
确定模块40,用于若存在,则基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
可选的,判断模块30包括:
目标差异率查询单元301,用于在差异率序列中查找满足预设查询条件的目标差异率;
第一图像帧确定单元302,用于在连续多个图像帧中确定目标差异率对应的第二图像帧;
序号差值计算单元303,用于计算当前图像帧的序号与每个第二图像帧的序号差值,得到多个目标序号差值p,并确定出最小的目标序号差值p;
条件判断单元304,用于判断连续多个图中帧中当前图像帧的前一帧至最小的目标序号差值p对应的第二图像帧之间的任意相邻两帧是否满足预设第一计算条件;
第二图像帧确定单元305,用于若是,则将最小的目标序号差值p对应的第二图像帧作为第一图像帧。
可选的,***1还包括:
第一特征计算模块50,用于计算当前图像帧中每个像素点的LBP特征;
其中,LPB特征计算公式为:
第二特征计算模块60,用于根据每个像素点的LBP特征计算一个8bit LBP特征,得到每个像素点对应的8bit无符号整数值;
特征矩阵组成模块70,用于将所有8bit无符号整数值组成一个特征矩阵,作为当前图像帧对应的LBP特征矩阵。
需要说明的是,上述实施例提供的扫变镜头的分割***在新事件确定方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的扫变镜头的分割***与扫变镜头的分割方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,扫变镜头的分割***首先获取当前图像帧,其中,当前图像帧为待分割视频中任意一帧图像,待分割视频是将接收的原始视频预处理后生成的,然后在当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且多个图像帧均非镜头分割帧时,逐个计算当前图像帧与多个图像帧之间的特征差异率,得到差异率序列,其次根据差异率序列,判断连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;若存在,则最后基于第一图像帧,在连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。由于本申请不限定扫变镜头的扫变帧的数量,通过分析连续视频帧的图像内容和变化动态判断扫变镜头的分割点,实现了视频中的扫变镜头的检测,从而提升了视频中扫变镜头的检测与分割的准确度和效率。
根据本申请实施例的又一个方面,还提供了一种用于实施上述扫变镜头的分割方法的电子设备,该电子设备可以是图7所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图7所示,该电子设备包括存储器1802和处理器1804,该存储器1802中存储有计算机程序,该处理器1804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以上S101-S104步骤。
可选地,本领域普通技术人员可以理解,图7所示的结构仅为示意,电子***电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图7其并不对上述电子***电子设备的结构造成限定。例如,电子***电子设备还可包括比图7中所示更多或者更少的组件(如网络接口等),或者具有与图7所示不同的配置。
其中,存储器1802可用于存储软件程序以及模块,如本申请实施例中的扫变镜头的分割方法和***对应的程序指令/模块,处理器1804通过运行存储在存储器1802内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的扫变镜头的分割方法。存储器1802可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储***、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1802可进一步包括相对于处理器1804远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1802具体可以但不限于用于存储原始图像和最终特征矩阵等信息。作为一种示例,如图7所示,上述存储器1802中可以但不限于包括上述扫变镜头的分割***中的分割单元1702、获取单元1704与第一确定单元1706。此外,还可以包括但不限于上述扫变镜头的分割***中的其他模块单元,本示例中不再赘述。
可选地,上述的传输***1806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输***1806包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输***1806为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1808,用于显示上述账单子任务的处理结果;和连接总线1810,用于连接上述电子设备中的各个模块部件。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述扫变镜头的分割方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以上步骤S101-S104的计算机程序。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的***实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种扫变镜头的分割方法,其特征在于,所述方法包括:
获取当前图像帧,其中,所述当前图像帧为待分割视频中任意一帧图像,所述待分割视频是将接收的原始视频预处理后生成的;
在所述当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且所述多个图像帧均非镜头分割帧时,逐个计算所述当前图像帧与所述多个图像帧之间的特征差异率,得到差异率序列;
根据所述差异率序列,判断所述连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;
若存在,则基于所述第一图像帧,在所述连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
2.根据权利要求1所述的方法,其特征在于,所述预设图像筛选条件包括预设查询条件和预设第一计算条件;
所述根据所述差异率序列,判断所述连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧,包括:
在所述差异率序列中查找满足预设查询条件的目标差异率;
在所述连续多个图像帧中确定所述目标差异率对应的第二图像帧;
计算所述当前图像帧的序号与每个第二图像帧的序号差值,得到多个目标序号差值p,并确定出最小的目标序号差值p;
判断所述连续多个图像帧从当前图像帧的前一帧至所述最小的目标序号差值p对应的第二图像帧之间的任意相邻两帧是否满足预设第一计算条件;
若是,则将最小的目标序号差值p对应的第二图像帧作为第一图像帧。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一图像帧,在所述连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,包括:
计算所述第一图像帧是否满足预设第二计算条件,其中,所述预设第二计算条件为:且/>;/>表示所述第二图像帧和第五图像帧之间的差异率,所述第五图像帧为所述连续多个图像帧中序号为/>的图像帧;/>为所述第二图像帧和第六图像帧之间的差异率,所述第六图像帧为所述连续多个图像帧中序号为/>的图像帧;
当每个y值对应的目标和满足预设求和条件时,判断所述连续多个图像帧中是否存在满足预设镜头分割条件的图像帧;其中,所述预设镜头分割条件为:
且/>且/>,表示所述当前图像帧与第七图像帧之间的差异率,所述第七图像帧为所述连续多个图像帧中序号为/>的图像帧;/>表示所述当前图像帧与第八图像帧之间的差异率,所述第八图像帧为所述连续多个图像帧中序号为/>的图像帧;
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在所述当前图像帧之前的连续多个图像帧的数量小于预设帧数量取值区间的上限值或所述连续多个图像帧中存在镜头分割帧时,判断所述待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历;或者,
当所述连续多个图像帧中不存在满足预设图像筛选条件的第一图像帧时,判断所述待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历;或者,
当所述第一图像帧不满足预设第一计算条件或者当每个目标和不满足预设求和条件时或者所述连续多个图像帧不满足预设查询条件或者所述第一图像帧不满足预设第二计算条件时,判断所述待分割视频中的所有图像帧是否全部遍历结束,若是,则停止遍历。
8.一种扫变镜头的分割***,其特征在于,所述***包括:
获取模块,用于获取当前图像帧,其中,所述当前图像帧为待分割视频中任意一帧图像,所述待分割视频是将接收的原始视频预处理后生成的;
计算模块,用于在所述当前图像帧之前的连续多个图像帧的数量等于预设帧数量取值区间的上限值且所述多个图像帧均非镜头分割帧时,逐个计算所述当前图像帧与所述多个图像帧之间的特征差异率,得到差异率序列;
判断模块,用于根据所述差异率序列,判断所述连续多个图像帧中是否存在满足预设图像筛选条件的第一图像帧;
确定模块,用于若存在,则基于所述第一图像帧,在所述连续多个图像帧中确定满足预设镜头分割条件的目标图像帧,作为扫变镜头的镜头分割帧。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-7任意一项所述的方法。
10.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310431428.0A CN116168045B (zh) | 2023-04-21 | 2023-04-21 | 扫变镜头的分割方法和***、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310431428.0A CN116168045B (zh) | 2023-04-21 | 2023-04-21 | 扫变镜头的分割方法和***、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116168045A true CN116168045A (zh) | 2023-05-26 |
CN116168045B CN116168045B (zh) | 2023-08-18 |
Family
ID=86413426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310431428.0A Active CN116168045B (zh) | 2023-04-21 | 2023-04-21 | 扫变镜头的分割方法和***、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116168045B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117177004A (zh) * | 2023-04-23 | 2023-12-05 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205657A (zh) * | 2017-11-24 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频镜头分割的方法、存储介质和移动终端 |
CN110290426A (zh) * | 2019-06-24 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 展示资源的方法、装置、设备及存储介质 |
CN110766711A (zh) * | 2019-09-16 | 2020-02-07 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频镜头分割方法、***、装置和存储介质 |
WO2020119187A1 (zh) * | 2018-12-14 | 2020-06-18 | 北京沃东天骏信息技术有限公司 | 用于分割视频的方法和装置 |
CN112990191A (zh) * | 2021-01-06 | 2021-06-18 | 中国电子科技集团公司信息科学研究院 | 一种基于字幕视频的镜头边界检测与关键帧提取方法 |
CN114708287A (zh) * | 2020-12-16 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 一种镜头边界检测方法、设备及存储介质 |
-
2023
- 2023-04-21 CN CN202310431428.0A patent/CN116168045B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108205657A (zh) * | 2017-11-24 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频镜头分割的方法、存储介质和移动终端 |
WO2020119187A1 (zh) * | 2018-12-14 | 2020-06-18 | 北京沃东天骏信息技术有限公司 | 用于分割视频的方法和装置 |
CN111327945A (zh) * | 2018-12-14 | 2020-06-23 | 北京沃东天骏信息技术有限公司 | 用于分割视频的方法和装置 |
US20210224550A1 (en) * | 2018-12-14 | 2021-07-22 | Beijing Wodong Tianjun Information Technology Co., Ltd. | Method and apparatus for segmenting video |
CN110290426A (zh) * | 2019-06-24 | 2019-09-27 | 腾讯科技(深圳)有限公司 | 展示资源的方法、装置、设备及存储介质 |
CN110766711A (zh) * | 2019-09-16 | 2020-02-07 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频镜头分割方法、***、装置和存储介质 |
CN114708287A (zh) * | 2020-12-16 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 一种镜头边界检测方法、设备及存储介质 |
CN112990191A (zh) * | 2021-01-06 | 2021-06-18 | 中国电子科技集团公司信息科学研究院 | 一种基于字幕视频的镜头边界检测与关键帧提取方法 |
Non-Patent Citations (3)
Title |
---|
YUEXIANG SHI等: "Detection Algorithm of Scene Boundary Based on Information Theory", 《2009 INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY AND COMPUTER SCIENCE》, pages 154 - 157 * |
吴霞: "基于视觉特征分析的视频镜头边界检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 1579 * |
汪昭辰等: "基于拓扑连通性约束遗传算法的主动解列断面搜索", 《电力***保护与控制》, vol. 50, no. 21, pages 149 - 156 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117177004A (zh) * | 2023-04-23 | 2023-12-05 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
CN117177004B (zh) * | 2023-04-23 | 2024-05-31 | 青岛尘元科技信息有限公司 | 内容帧的提取方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116168045B (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107945098B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN116188821B (zh) | 版权检测方法、***、电子设备和存储介质 | |
CN111553362B (zh) | 一种视频处理方法、电子设备和计算机可读存储介质 | |
US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
CN116168045B (zh) | 扫变镜头的分割方法和***、存储介质及电子设备 | |
CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
CN110677585A (zh) | 目标检测框的输出方法、装置、终端及存储介质 | |
CN113255685B (zh) | 一种图像处理方法、装置、计算机设备以及存储介质 | |
CN112116551A (zh) | 一种摄像头遮挡检测方法、装置、电子设备和存储介质 | |
CN111629146B (zh) | 拍摄参数的调整方法、调整装置、调整设备及存储介质 | |
CN108540817B (zh) | 视频数据处理方法、装置、服务器及计算机可读存储介质 | |
CN113076159B (zh) | 图像显示方法和装置、存储介质及电子设备 | |
CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
CN116761018B (zh) | 一种基于云平台的实时渲染*** | |
CN111494947B (zh) | 摄像机移动轨迹确定方法、装置、电子设备及存储介质 | |
CN110751120A (zh) | 一种检测方法、装置及电子设备 | |
CN117197706B (zh) | 渐出渐入镜头的分割方法和***、存储介质及电子设备 | |
CN113313642A (zh) | 图像去噪方法、装置、存储介质及电子设备 | |
CN108431867B (zh) | 一种数据处理方法及终端 | |
CN117177004B (zh) | 内容帧的提取方法、装置、设备及存储介质 | |
CN113064689A (zh) | 场景识别方法和装置、存储介质及电子设备 | |
JP2021039647A (ja) | 画像データ分類装置および画像データ分類方法 | |
CN111818300B (zh) | 一种数据存储、查询方法、装置、计算机设备及存储介质 | |
CN117197707A (zh) | 切变镜头的分割方法和装置、存储介质及电子设备 | |
CN115690662B (zh) | 视频素材生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |