CN102737383B - 视频中的摄像机运动分析方法及装置 - Google Patents
视频中的摄像机运动分析方法及装置 Download PDFInfo
- Publication number
- CN102737383B CN102737383B CN201110085676.1A CN201110085676A CN102737383B CN 102737383 B CN102737383 B CN 102737383B CN 201110085676 A CN201110085676 A CN 201110085676A CN 102737383 B CN102737383 B CN 102737383B
- Authority
- CN
- China
- Prior art keywords
- video segment
- video
- type
- sports
- merging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了视频中的摄像机运动分析方法及装置,其中一种方法包括:所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。通过本发明实施例,能够更有效、准确地检测出视频中摄像机的运动类型,也更加准确地反映出用户的拍摄意图。
Description
技术领域
本发明一般地涉及视频数据处理技术领域,尤其是视频中的摄像机运动分析方法及装置。
背景技术
随着数字视频文件数目的急剧增长,人们日常生活的许多方面都需要使用有效的视频管理分析***。在该***的帮助下,人们可以更加方便地组织个人电脑中的视频文件,城市交通可以有效地控制,视频监控也可以很容易地检测出诸如陌生人侵入等异常事件。
视频文件是由拍摄者使用摄像机(可能是专门的摄像机,也可能是带有摄像功能的终端设备,如手机、便携式计算机等等)拍摄得到的。在拍摄的过程中,可能会根据需要进行一些调整焦距、移动摄像机等动作,这种动作对应着摄像机的运动,不同的动作则对应着不同的运动类型。通常,由于拍摄者在拍摄过程中可能需要做各种不同的调整(例如先平移,再聚焦,然后静止,等等),因此,一个视频文件中可能会包含多种运动类型。
对于拍摄者而言,对摄像机进行调整时,通常是源于关注对象的重要程度。例如,当拍摄者想要重点拍摄远处某个人物的动作时,则当镜头对准该人物之后,可能会调整摄像机的焦距,以放大该人物在画面中的显示比例。相应的,对于视频文件而言,如果其中包含聚焦等运动类型,则该运动类型对应的那部分视频内容通常应该是拍摄者想要重点关注的,因此可能是该视频文件的重点内容,甚至可能能够代表该视频文件的主要内容,如果需要提取该视频文件的摘要,则可以将这部分内容提取出来。
因此,有效的摄像机运动检测成为视频管理分析***中的一项关键技术。基于拍摄视频过程中摄像机的运动类型,能够更加方便地浏览视频,并能够更加容易地获取视频的主要内容,进而可以便于获取视频文件的摘要,为进一步的视频文件检索等提供基础。
现有的视频管理分析***,能够从视频文件中分析出视频摄取设备的各种运动类型,进而可以获得拍摄意图等高层信息。然而,现有技术在从视频文件中分析视频摄取设备的运动类型时,分析的对象通常是由专业视频拍摄人员拍摄、并经过编辑之后的标准视频文件。但是,对于实际应用中越来越多的非专业人员拍摄得到的视频文件,或者未经编辑的视频文件,现有技术的方法在分析视频摄取设备的运动类型时,分析的结果往往不够准确,或者不能准确地反映出用户的实际拍摄意图。
发明内容
有鉴于此,本发明实施例提供了视频中的摄像机运动分析方法及装置,能够更有效、准确地检测出视频中摄像机的运动类型,也更加准确地反映出用户的拍摄意图。
根据本发明实施例的一个方面,提供一种视频中的摄像机运动分析方法,包括:从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
根据本发明实施例的另一个方面,提供另一种视频中的摄像机运动分析方法,包括:从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型。
根据本发明实施例的再一个方面,提供一种视频中的摄像机运动分析装置,包括:分析单元,配置为从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;标准调整单元,配置为对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;判断单元,配置为判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及合并单元,配置为根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
根据本发明实施例的另一个方面,提供另一种视频中的摄像机运动分析装置,包括:分析单元,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;查找单元,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及合并单元,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述视频中的摄像机运动分析方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述视频中的摄像机运动分析方法。
根据本发明实施例的上述一种方法,对于不具有显著运动特征的视频片段而言,如果其前后相邻的两个视频片段具有不同的运动类型,则进行合并时,并不是直接将不具有显著运动特征的视频片段从中间帧分为两部分,并分别与前后相邻视频片段合并,而是,首先将前后相邻两个视频片段对应的运动类型的检测标准降低,然后判断该视频片段是否符合降低后的检测标准,并根据判断结果,进行视频片段的合并。这样,可以使得合并后的视频片段更加符合实际的情况,也更符合用户的拍摄意图。
根据本发明实施例的上述另一种方法,对于分析得到的视频片段与运动类型之间的对应关系,可以根据一些预先设置的规则,对视频片段进行一些合并。这相当于考虑了一些业余拍摄者在拍摄过程中引入的非故意运动的情况,换言之,相当于在检测视频中的摄像机运动类型时,在划分的精细度与用户实际拍摄意图之间进行了均衡,通过这种均衡,使得最终的检测结果能够更加符合实际情况,当然也更符合用户的拍摄意图。
在下面的说明书部分中给出本发明实施例的其他方面,其中,详细说明用于充分地公开本发明实施例的优选实施例,而不对其施加限定。
附图说明
下面结合具体的实施例,并参照附图,对本发明实施例的上述和其它目的和优点做进一步的描述。在附图中,相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。
图1是示出作为本发明实施例提供的方法的流程图;
图2是示出作为本发明实施例提供的另一方法的流程图;
图3是示出作为本发明实施例提供的第一装置的示意图;
图4是示出作为本发明实施例提供的第二装置的示意图;
图5是示出作为本发明实施例提供的第三装置的示意图;
图6是示出作为本发明实施例提供的第四装置的示意图;
图7是示出作为本发明实施例提供的第五装置的示意图;
图8是示出作为本发明实施例提供的第六装置的示意图;
图9是示出作为本发明实施例提供的第七装置的示意图;
图10是示出作为本发明实施例提供的第八装置的示意图;
图11是示出作为本发明实施例提供的第九装置的示意图;
图12是示出作为本发明的实施例中所采用的信息处理设备的个人计算机的示例性结构的框图。
具体实施方式
下面参照附图来说明本发明的实施例。
本发明人在实现本发明的过程中发现,在利用现有技术的方法对视频中摄像机的运动进行分析时,至少存在以下问题:
一方面,现有技术在检测视频中包含的摄像机运动类型时,通常是首先根据估计出的运动向量计算出摄像机运动参数,然后根据计算出的摄像机运动参数,判断各个运动参数是否符合各种运动类型对应的检测标准,从而确定出视频中包含的具有显著运动特征的视频片段;然后将剩余的视频片段,如果各种运动类型的判断标准均不满足,则作为不具有显著运动特征的片段,最后,再将不具有显著运动特征的视频片段,合并到具有显著运动特征的视频片段中。其中,在该合并的过程中,现有技术通常采用以下方法:
对于一个不具有显著运动特征的视频片段,如果其前后两个相邻的具有显著运动特征的视频片段,对应的运动类型相同,则直接将这个不具有显著运动特征的视频片段与前后相邻的两个视频片段合并即可。例如其前后相邻的两个视频片段的运动类型都为聚焦,则很显然,直接将这个视频片段与前后两个相邻的具有显著运动特征的视频片段合并,并且将合并后的视频片段对应的摄像机运动类型确定为聚焦即可。
而如果其前后两个相邻的具有显著运动特征的视频片段,对应的运动类型不同,则会将不具有显著运动特征的视频片段从中间帧分为两部分,其中前半部分合并到前一相邻视频片段,后半部分合并到后一相邻视频片段。例如,某视频共有50帧,经过分析,其中第1帧到第20帧组成的视频片段的摄像机运动类型为聚焦,第30帧到第50帧组成的视频片段的摄像机运动类型为平移,第21帧到第29帧组成的视频片段则不具有明显的运动特征,即各种运动类型的条件都不符合。此时,现有技术中,就可以将第21至25帧合并到前一相邻视频片段中,也即将第1帧至第25帧组成一个视频片段,并且认为这个视频片段对应的摄像机运动类型为聚焦;将第26至29帧合并到后一相邻视频片段中,也即将第26帧至第50帧组成一个视频片段,并且认为这个视频片段对应的摄像机运动类型为平移。
但是,这并不一定符合实际情况。例如,对于上述例子,实际情况可能是:一个业余的视频拍摄者在拍摄某视频时,想要首先聚焦到某物体,然后跟踪这个物体的运动,也即需要先执行聚焦操作,然后再进行平移操作。但是,该拍摄者对于调整焦距的操作不是很熟练,无法准确快速地调整到需要的焦距,因此,可能是这样进行的:首先进行相对快速的聚焦,然后感觉已经差不多时,再放慢焦距的调整速度,然后再进行跟踪物体运行的平移。以至于使得拍摄出的视频中对应的那个视频片段(可能是前述例子中的第21至第29帧)中,聚焦的运动特征已经非常不明显,并且也该时间段内也没有进行平移、旋转等其他的运动,因此导致现有的方法只能将其作为不具有明显运动特征的视频片段。但是,显然该视频片段实际上更应该合并到前一视频片段中,也即,如果将第1帧至第29帧组成的视频片段对应的摄像机运动类型识别为聚焦,才更加符合实际的情况以及用户的拍摄意图。但显然,现有技术的方法无法做到这一点。
因此,本发明实施例首先针对这个问题,提供了相应的解决方法。具体的,参见图1,本发明实施例提供的视频中的摄像机运动分析方法包括:
S101:从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;
对于一个视频而言,在对摄像机运动类型进行分析时,通常会进行多个轮次的检测,在每个轮次中检测一种运动类型。具体的,通常采取以下步骤:首先,针对第一种运动类型,判断视频的各帧中是否存在符合该运动类型标准的帧,如果有将这些帧对应的视频片段确定为这个运动类型;然后,针对剩余的帧,即不属于第一种运行类型的帧,再判断是否符合第二种运动类型的判断标准,以此类推。最后,将各种可能的运动类型都检测过之后,会得到以下结果:一些视频片段被打上了对应的运动类型的标签,这些视频片段都被统称为具有显著运动特征的片段。还有一些帧组成的片段,则由于各种运动类型的判断标准都不符合,因此,只能作为不具有显著运动特征的片段。然后,再将不具有显著运动特征的片段合并到具有显著运动特征的片段中。
例如,某视频共有50帧,假设共三种运动类型:变焦、平移、旋转,并按照变焦、旋转、平移的顺序进行检测。则首先针对这全部的50帧,检测其中是否包含变焦运动类型,假设检测出其中的第1到第15帧具有变焦的特征,则将第1到第15帧组成一个视频片段,这个视频片段对应的摄像机运动类型为变焦。
接下来,对剩余的第16至50帧进行检测,检测其中是否包含旋转的运动类型,假设检测出其中的第25至40帧具有旋转的特征,则将第25至40组成一个视频片段,该视频片段对应的摄像机运动类型为旋转。
最后,针对第16至第24帧,以及第41至第50帧,检测其中是否包含平移运动类型,假设检测出其中的第41至第50帧具有平移的特征,第41至第50帧可以组成一个视频片段,该视频片段对应的摄像机运动类型为旋转。
显然,第16至第24帧对于上述三种运动类型都不符合,因此,作为不具有显著运动特征的视频片段。
其中,具体在检测各种运动类型的视频片段时,可以采用以下方法:
首先可以将视频的每一帧划分为很多图像块,并基于局部搜索的方法确定每个图像块的运动向量。然后,可以采用如下的含有6个参数的仿射模型描述运动向量场的全局运动:
其中(x,y)表示图像块的位置,是已知的;(u,v)表示图像块的运动向量。基于同一帧中多个图像块的位置及其对应的运动向量信息,可以采用最小二乘法等方法确定上述模型中的这6个参数。然后,就可以根据摄像机运动参数与上述模型中这6个参数之间的对应关系,计算出摄像机运动参数。
其中,摄像机运动参数与上述模型中参数的对应关系如下:
在上述公式(2)中,pan为摄像机水平移动对应的运动参数,tilt为摄像机垂直移动对应的运动参数,div为摄像机变焦对应的运动参数,rot为摄像机旋转对应的运动参数,static为摄像机静止对应的运动参数。
在判断某帧图像是否具有某运动类型的特征时,可以将计算出的该帧的该运动类型的运动参数(当然,对于一帧图像而言,其运动参数可以由与相邻帧之间运动参数来代表,例如,第1帧与第2帧之间的运动参数代表第1帧的运动参数,第2帧与第3帧之间的运动参数代表第2帧的运动参数,等等,也可以采用其他的方式,由于并不涉及本发明实施例的发明重点,因此不再赘述),与该运动类型设定的标准阈值进行比较,如果满足检测条件,则属于该运动类型,否则不属于该运动类型。
S102:对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;
显然,对于一个不具有显著运动特征的视频片段而言,其前后相邻的视频片段都是具有显著运动特征的。并且,在前后相邻的视频片段具有相同的运动类型的情况下,可以与已有技术相同,直接将该视频片段与前后相邻的两个视频片段合并即可。
而对于前后相邻的两个视频片段具有不同的运动类型的情况,假设前一相邻视频片段具有第一运动类型,后一相邻视频片段具有第二运动类型,则本发明实施例提供了新的合并方法:首先,降低第一运动类型及第二运动类型的检测标准。例如,对于第一运动类型,其原来的标准阈值是A,其检测标准是:只有该运动类型的运动参数大于A时,才会被认为是第一运动类型;同样的,假设第二运动类型原来的标准阈值是B,其检测标准是:只有该运动类型的运动参数大于B时,才会被认为是第二运动类型。则降低检测标准就相当于:将第一运动类型对应的阈值降为a,第二运动类型对应的阈值降为b,这样,对于该不具有显著运动特征的视频片段,只要第一运动类型的运动参数大于a,即被认为符合降低后的第一运动类型的检测标准,只要第二运动类型的运动参数大于b,即被认为符合降低后的第二运动类型的检测标准。
S103:判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;
具体在判断时,相当于是将该不具有显著运动特征的视频片段中的各个帧,判断其第一运动类型的运动参数,是否大于a,如果均大于,或者大部分都大于,则可以认为该不具有显著运动特征的视频片段,符合第一运动类型的降低后的检测标准,否则不符合。类似的,将该不具有显著运动特征的视频片段中的各个帧,判断其第二运动类型的运动参数,是否大于b,如果均大于,或者大部分都大于,则可以认为该不具有显著运动特征的视频片段,符合第二运动类型的降低后的检测标准,否则不符合。
S104:根据所述判断的结果,进行不具有显著运动特征的视频片段与相邻视频片段的合并。
步骤S103中得到的判断结果,就可以作为合并视频片段时的参考。具体的,可以有多种情况,在其中一种情况下,假设不具有显著运动特征的视频片段仅满足其中一个运动类型的降低后的检测标准,则可以将该不具有显著运动特征的视频片段,合并到该运动类型对应的相邻视频片段。例如,如果不具有显著运动特征的视频片段仅满足第一运动类型降低后的检测标准,则可以将该不具有显著运动特征的视频片段合并到前一相邻视频片段中。如果不具有显著运动特征的视频片段仅满足第二运动类型降低后的检测标准,则可以将该不具有显著运动特征的视频片段合并到后一相邻视频片段中。
或者,在另一种情况下,假设不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均满足,则可以根据满足的程度,进行不具有显著运动特征的视频片段与相邻视频片段的合并。也就是说,如果不具有显著运动特征的视频片段既满足第一运动类型降低后的检测标准,又满足第二运动类型降低后的检测标准,则满足的程度可能会有所不同,例如,有95%的帧的第一运动类型运动参数大于第一运动类型降低后的标准阈值,而80%的帧的第二运动类型运动参数大于第二运动类型降低后的标准阈值,则虽然都满足第一运动类型及第二运动类型降低后的检测标准,但是,显然,对于第一运动类型的满足程度要大于第二运动类型,因此,可以将不具有显著运动特征的视频片段与前一相邻视频片段合并。当然,如果对第一运动类型及第二运动类型降低后的检测标准的满足程度相同或相当,则可以采用类似现有技术的方法,也即将不具有显著运动特征的视频片段分成两部分,前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。
再者,还可能存在不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均不满足的情况,此时,也可以采用类似现有技术的方法,即,将不具有显著运动特征的视频片段分为两部分,将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。具体在划分时,可以从视频片段的中间帧进行划分,或者也可以从其他帧划分,例如,可以从三分之一的地方进行划分,前面的三分之一作为前半部分,后面的三分之二作为后半部分,等等。
具体的,例如,在前述例子中,检测出第16至第24帧组成的视频片段是不具有显著运动特征的视频片段,则其前一相邻视频片段是第1至第15帧组成的视频片段,其对应的第一运动类型为变焦,其后一相邻视频片段为第25至第40帧组成的视频片段,其对应的第二运动类型为旋转。因此,在合并该不具有显著运动特征的视频片段时,就可以首先降低变焦及旋转的标准阈值,然后判断该第16至第24帧的变焦运动参数是否大于降低后的变焦标准阈值,如果大于,则符合降低后的变焦检测标准;同时,还可以判断该第16至第24帧的旋转运动参数是否大于降低后的旋转标准阈值,如果大于,则符合降低后的旋转检测标准。
在进行具体的合并时,如果第16至第24帧组成的视频片段仅满足降低后的变焦检测标准,则可以将该第16至第24帧组成的视频片段合并到第1至第15帧组成的视频片段,也即将第1至第24帧作为一个视频片段,合并后的视频片段对应的运动类型是变焦。类似的,如果第16至第24帧组成的视频片段仅满足降低后的旋转检测标准,则可以将该第16至第24帧组成的视频片段合并到第25至第40帧组成的视频片段,也即将第16至第40帧作为一个视频片段,合并后的视频片段对应的运动类型是旋转。
如果第16至第24帧组成的视频片段既满足降低后的变焦检测标准,又满足降低后的旋转检测标准,则可以判断对两个标准的满足程度。例如,全部9帧的变焦运动参数都大于降低后的变焦标准阈值,而仅有7帧的旋转运动参数大于降低后的旋转标准阈值,则证明满足降低后的变焦检测标准的程度更高,因此,就可以将该第16至第24帧组成的视频片段合并到第1至第15帧组成的视频片段,也即将第1至第24帧作为一个视频片段,合并后的视频片段对应的运动类型是变焦。相反的,如果有7帧的变焦运动参数大于降低后的变焦标准阈值,而全部9帧的旋转运动参数都大于降低后的旋转标准阈值,则证明满足降低后的旋转检测标准的程度更高,因此,就可以将该第16至第24帧组成的视频片段合并到第25至第40帧组成的视频片段,也即将第16至第40帧作为一个视频片段,合并后的视频片段对应的运动类型是旋转。
如果第16至第24帧组成的视频片段既不满足降低后的变焦检测标准,又不满足降低后的旋转检测标准,则可以将该视频片段分为两部分,将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。例如,将第16至19帧与第1至第15帧组成的视频片段合并,也即将第1至第19帧作为一个视频片段,合并后的视频片段对应的运动类型是变焦,同时,将第20至24帧与第25至第40帧合并,也即将第20至第40帧作为一个视频片段,合并后的视频片段对应的运动类型是旋转。
当然,具体的合并方法还可以有多种,这里不再一一列举。
总之,通过本发明实施例提供的上述方法,对于不具有显著运动特征的视频片段而言,如果其前后相邻的两个视频片段具有不同的运动类型,则进行合并时,并不是直接将不具有显著运动特征的视频片段从中间帧分为两部分,并分别与前后相邻视频片段合并,而是,首先将前后相邻两个视频片段对应的运动类型的检测标准降低,然后判断该视频片段是否符合降低后的检测标准,并根据判断结果,进行视频片段的合并。这样,可以使得合并后的视频片段更加符合实际的情况,也更加符合用户的拍摄意图。
以上对现有技术中存在的一个方面的问题及相应的解决方案进行了详细地介绍。在解决该问题的同时,本发明人还发现现有技术中存在的另一个方面的问题:
现有技术中的摄像机运动分析方法中,由于分析的对象通常是专业拍摄者拍摄的、经过处理之后的标准视频,因此,其分析的原则是尽可能细地划分出视频片段,并确定出对应的运动类型。但是,该现有技术并没有考虑到以下问题:对于一些业余拍摄者拍摄的视频而言,由于拍摄者水平有限等原因,可能会引入一些非故意的摄像机运动。对于这种情况,如果使用现有技术的方法进行检测,则会将这些非故意的摄像机运动对应的视频片段也单独识别出来,也即,现有技术中无法识别出非故意的摄像机运动。但是,显然,这可能并不能很好地符合用户的拍摄意图。
针对上述问题,本发明实施例也提供了相应的解决方案,具体的,参见图2,本发明实施例提供了另一种视频中的摄像机运动分析方法,包括:
S201:从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
具体在分析视频中包含的视频片段及其对应的摄像机运动类型时,可以采用前文所述的方法,这里不再赘述。需要说明的是,该步骤所述的视频片段,是指已经将不具有显著运动特征的视频片段与具有显著运动特征的视频片段进行了合并之后,得到的视频片段,也即,各个视频片段都已经初步得到了其对应的摄像机运动类型。
S202:从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;
可以预先根据经验等设置一些合并规则,然后针对已经初步确定了各个视频片段及其对应的摄像机运动类型之后,就可以判断是否存在符合合并规则的视频片段。
S203:按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型。
合并规则中可以设置有以下信息:具有何种特征的视频片段可以合并,以及合并后组成的视频片段对应的摄像机运动类型。因此,按照合并规则对视频片段进行合并,并确定合并后的视频片段对应的摄像机运动类型即可。
其中,在设置合并规则时,可以考虑据视频片段的相邻关系、运动类型及持续时间等因素,因此具体在从视频的各个视频片段中查找符合预置的合并规则的视频片段时,就可以根据视频片段的相邻关系、运动类型及持续时间,进行查找。
具体的,可以包括多种情况,下面介绍几种典型的情况。
一种情况下,可以按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段及第三视频片段的运动类型均为变焦,第二视频片段的运动类型为静止或平移,且持续时间短于预置阈值,也即两个变焦片段之间存在一个持续时间很短的静止或平移片段,则证明用户的主要意图应该是变焦,但第一次操作的时间不够,因此停顿了一下后继续操作,或者,用户中途对焦点位置不满意,因此在第一次操作之后通过平移进行调整后继续操作。因此,第一视频片段与第二视频片段之间的静止或平移就应该属于非故意的摄像机运动,因此,可以将第一视频片段、第二视频片段及第三视频片段进行合并,并将合并后的视频片段的运动类型确定为变焦。也即,可以将满足上述条件的三个片段合并为一个变焦片段。
另一种情况下,可以按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为静止,且持续时间长于第二预置阈值,这里,第一预置阈值和第二预置阈值可以相同或不同,也即,在变焦片段和较长的静止片段之间存在一个很短的平移片段,则证明用户的主要意图应该是变焦到某个感兴趣的场景然后静止拍摄,而平移操作仅仅是用户对焦点位置不满意而进行的调整。因此可以将第二视频片段及第三视频片段进行合并,并将合并后的视频片段的运动类型确定为静止。也即将满足上述条件的平移片段和静止片段合并为一个静止片段。
再一种情况下,可以按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为静止,且持续时间短于第一预置阈值,第三视频片段的运动类型为平移,且持续时间长于第二预置阈值,这里,第一预置阈值和第二预置阈值可以相同或不同,也即,在变焦片段和较长的平移片段之间存在一个很短的静止片段,则证明用户的主要意图应该是变焦到某个感兴趣的场景然后平移拍摄,而静态场景片段的出现是由于用户操作不熟练等原因造成的,因此,可以将第二视频片段及第三视频片段进行合并,并将合并后的视频片段的摄像机运动类型确定为平移,也即,将满足上述条件的静止片段与平移片段合并为一个平移片段。
再一种情况下,可以按照以下条件,查找要合并的视频片段:同样对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为向第一方向的平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为向第二方向的平移,且持续时间长于第二预置阈值,这里,第一预置阈值和第二预置阈值可以相同或不同,第一方向与第二方向不同,也即,在变焦片段和较长的平移片段之间存在一个很短的向另一方向平移的片段,则证明用户的主要意图应该是变焦到某个感兴趣的场景然后平移拍摄,而向另一方向的平移是由于用户误操作等原因造成的。因此,可以将第二视频片段及第三视频片段进行合并,并将合并后的视频片段的运动类型确定为向所述第二方向的平移。也即,可以将两个不同方向的平移片段合并为一个平移片段,其方向由持续时间较长的平移运动决定。
当然,除了上述合并规则之外,还可以根据实际的需要设置其他的合并规则,例如,前述各种情况下,如果涉及到变焦片段的地方是旋转片段,则也可能是适合合并的。总之,只要是两个视频片段之间包括一个可能是过渡的动作,就存在能够合并的可能,这里不再一一列举。
需要说明的是,本发明实施例中涉及到的时间阈值,均可以根据经验值获得或根据实际需要进行设置,这里不进行限定。
总之,通过本发明实施例提供的上述第二种视频中的摄像机运动分析方法,对于初步分析得到的视频片段与运动类型之间的对应关系,可以根据一些预先设置的合并规则,对视频片段进行一些合并。这相当于考虑了一些业余拍摄者在拍摄过程中引入的非故意运动的情况,换言之,相当于在检测视频中的摄像机运动类型时,在划分的精细度与用户实际拍摄意图之间进行了均衡,通过这种均衡,使得最终的检测结果能够更加符合实际情况,当然也更符合用户的拍摄意图,提高摄像机运动分析的有效性。
与本发明实施例提供的第一种视频中的摄像机运动分析方法相对应,本发明实施例还提供了一种视频中的摄像机运动分析装置,参见图3,该装置包括:
分析单元301,配置为从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;
标准调整单元302,配置为对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;
判断单元303,配置为判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及
合并单元304,配置为根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
其中,具体在进行合并时,可能有多种情况,例如:
在一种情况下,参见图4,合并单元304可以包括:
第一合并子单元3041,配置为如果所述不具有显著运动特征的视频片段仅满足其中一个运动类型的降低后的检测标准,则将该不具有显著运动特征的视频片段,合并到该运动类型对应的相邻视频片段。
在另一种情况下,参见图5,合并单元304可以包括:
第二合并子单元3042,配置为如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均满足,则根据满足的程度,进行不具有显著运动特征的视频片段与相邻视频片段的合并。
再一种情况下,参见图6,合并单元304可以包括:
划分子单元3043,配置为如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均不满足,则将所述不具有显著运动特征的视频片段分为两部分;
第三合并子单元3044,配置为将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。
通过本发明实施例提供的上述装置,对于不具有显著运动特征的视频片段而言,如果其前后相邻的两个视频片段具有不同的运动类型,则进行合并时,并不是直接将不具有显著运动特征的视频片段从中间帧分为两部分,并分别与前后相邻视频片段合并,而是,首先将前后相邻两个视频片段对应的运动类型的检测标准降低,然后判断该视频片段是否符合降低后的检测标准,并根据判断结果,进行视频片段的合并。这样,可以使得合并后的视频片段更加符合实际的情况,也更符合用户的拍摄意图。
与本发明实施例提供的第二种视频中的摄像机运动分析方法相对应,本发明实施例还提供了另一种视频中的摄像机运动分析装置,参见图7,该装置包括:
分析单元701,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
查找单元702,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
合并单元703,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型。
具体实现时,查找单元702具体可以配置为:根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段。
其中,参见图8,查找单元702可以包括:
第一查找子单元7021,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段及第三视频片段的运动类型均为变焦,第二视频片段的运动类型为静止或平移,且持续时间短于预置阈值,则所述第一视频片段、第二视频片段及第三视频片段符合预置的合并规则;
相应的,合并单元703可以包括:
第一合并子单元7031,配置为将所述第一视频片段、所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为变焦。
或者,参见图9,查找单元702也可以包括:
第二查找子单元7022,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为静止,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
相应的,合并单元703可以包括:
第二合并子单元7032,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为静止。
再者,参见图10,查找单元702也可以包括:
第三查找子单元7023,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为静止,且持续时间短于第一预置阈值,第三视频片段的运动类型为平移,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
相应的,合并单元703可以包括:
第三合并子单元7033,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为平移。
此外,参见图11,查找单元702也可以包括:
第四查找子单元7024,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为向第一方向的平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为向第二方向的平移,且持续时间长于第二预置阈值,所述第一方向与第二方向不同,则所述第二视频片段及第三视频片段符合预置的合并规则;
相应的,合并单元703可以包括:
第四合并子单元7034,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为向所述第二方向的平移。
当然,在实际应用中并不限于以上几种具体的情况,还可以根据实际需要对合并规则进行灵活地设置。
通过本发明实施例提供的上述装置,对于分析得到的视频片段与运动类型之间的对应关系,可以根据一些预先设置的规则,对视频片段进行一些合并。这相当于考虑了一些业余拍摄者在拍摄过程中引入的非故意运动的情况,换言之,相当于在检测视频中的摄像机运动类型时,在划分的精细度与用户实际拍摄意图之间进行了均衡,通过这种均衡,使得最终的检测结果能够更加符合实际情况,当然也更符合用户的拍摄意图。
另外,还应该指出的是,上述系列处理和装置也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机,例如图12所示的通用个人计算机1200安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等等。
在图12中,中央处理单元(CPU)1201根据只读存储器(ROM)1202中存储的程序或从存储部分1208加载到随机存取存储器(RAM)1203的程序执行各种处理。在RAM 1203中,也根据需要存储当CPU 1201执行各种处理等等时所需的数据。
CPU 1201、ROM 1202和RAM 1203经由总线1204彼此连接。输入/输出接口1205也连接到总线1204。
下述部件连接到输入/输出接口1205:输入部分1206,包括键盘、鼠标等等;输出部分1207,包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等等,和扬声器等等;存储部分1208,包括硬盘等等;和通信部分1209,包括网络接口卡比如LAN卡、调制解调器等等。通信部分1209经由网络比如因特网执行通信处理。
根据需要,驱动器1210也连接到输入/输出接口1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1210上,使得从中读出的计算机程序根据需要被安装到存储部分1208中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图12所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
还需要指出的是,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
虽然已经详细说明了本发明及其优点,但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且,本发明实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
关于包括以上实施例的实施方式,还公开下述附记:
附记1.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;
对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;
判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及
根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
附记2.根据附记1所述的方法,其中所述根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并包括:
如果所述不具有显著运动特征的视频片段仅满足其中一个运动类型的降低后的检测标准,则将该不具有显著运动特征的视频片段,合并到该运动类型对应的相邻视频片段。
附记3.根据附记1所述的方法,其中所述根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并包括:
如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均满足,则根据满足的程度,进行不具有显著运动特征的视频片段与相邻视频片段的合并。
附记4.根据附记1所述的方法,其中所述根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并包括:
如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均不满足,则将所述不具有显著运动特征的视频片段分为两部分;
将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。
附记5.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型。
附记6.根据附记5所述的方法,其中所述从所述视频的各个视频片段中查找符合预置的合并规则的视频片段包括:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段。
附记7.根据附记6所述的方法,其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段及第三视频片段的运动类型均为变焦,第二视频片段的运动类型为静止或平移,且持续时间短于预置阈值,则所述第一视频片段、第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第一视频片段、所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为变焦。
附记8.根据附记6所述的方法,其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为静止,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为静止。
附记9.根据附记6所述的方法,其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为静止,且持续时间短于第一预置阈值,第三视频片段的运动类型为平移,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为平移。
附记10.根据附记6所述的方法,其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为向第一方向的平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为向第二方向的平移,且持续时间长于第二预置阈值,所述第一方向与第二方向不同,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为向所述第二方向的平移。
附记11.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;
标准调整单元,配置为对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;
判断单元,配置为判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及
合并单元,配置为根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
附记12.根据附记11所述的装置,其中所述合并单元包括:
第一合并子单元,配置为如果所述不具有显著运动特征的视频片段仅满足其中一个运动类型的降低后的检测标准,则将该不具有显著运动特征的视频片段,合并到该运动类型对应的相邻视频片段。
附记13.根据附记11所述的装置,其中所述合并单元包括:
第二合并子单元,配置为如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均满足,则根据满足的程度,进行不具有显著运动特征的视频片段与相邻视频片段的合并。
附记14.根据附记11所述的装置,其中所述合并单元包括:
划分子单元,配置为如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均不满足,则将所述不具有显著运动特征的视频片段分为两部分;
第三合并子单元,配置为将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。
附记15.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
查找单元,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
合并单元,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型。
附记16.根据附记15所述的装置,其中所述查找单元具体配置为:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段。
附记17.根据附记16所述的装置,其中所述查找单元包括:
第一查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段及第三视频片段的运动类型均为变焦,第二视频片段的运动类型为静止或平移,且持续时间短于预置阈值,则所述第一视频片段、第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第一合并子单元,配置为将所述第一视频片段、所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为变焦。
附记18.根据附记16所述的装置,其中所述查找单元包括:
第二查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为静止,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第二合并子单元,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为静止。
附记19.根据附记16所述的装置,其中所述查找单元包括:
第三查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为静止,且持续时间短于第一预置阈值,第三视频片段的运动类型为平移,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第三合并子单元,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为平移。
附记20.根据附记16所述的装置,其中所述查找单元包括:
第四查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为向第一方向的平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为向第二方向的平移,且持续时间长于第二预置阈值,所述第一方向与第二方向不同,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第四合并子单元,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为向所述第二方向的平移。
Claims (14)
1.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;
对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;
判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及
根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
2.根据权利要求1所述的方法,其中所述根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并包括:
如果所述不具有显著运动特征的视频片段仅满足其中一个运动类型的降低后的检测标准,则将该不具有显著运动特征的视频片段,合并到该运动类型对应的相邻视频片段。
3.根据权利要求1所述的方法,其中所述根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并包括:
如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均不满足,则将所述不具有显著运动特征的视频片段分为两部分;
将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。
4.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述从所述视频的各个视频片段中查找符合预置的合并规则的视频片段包括:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段及第三视频片段的运动类型均为变焦,第二视频片段的运动类型为静止或平移,且持续时间短于预置阈值,则所述第一视频片段、第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第一视频片段、所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为变焦。
5.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述从所述视频的各个视频片段中查找符合预置的合并规则的视频片段包括:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为静止,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为静止。
6.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述从所述视频的各个视频片段中查找符合预置的合并规则的视频片段包括:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为静止,且持续时间短于第一预置阈值,第三视频片段的运动类型为平移,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为平移。
7.一种视频中的摄像机运动分析方法,包括:
从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述从所述视频的各个视频片段中查找符合预置的合并规则的视频片段包括:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段进一步包括:
按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为向第一方向的平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为向第二方向的平移,且持续时间长于第二预置阈值,所述第一方向与第二方向不同,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型包括:
将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为向所述第二方向的平移。
8.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出具有显著运动特征的视频片段及不具有显著运动特征的视频片段;
标准调整单元,配置为对于不具有显著运动特征的视频片段,如果前一相邻视频片段对应的第一运动类型,与后一相邻视频片段对应的第二运动类型不同,则降低第一运动类型及第二运动类型的检测标准;
判断单元,配置为判断所述不具有显著运动特征的视频片段是否满足所述降低后的检测标准;以及
合并单元,配置为根据所述判断的结果,进行所述不具有显著运动特征的视频片段与相邻视频片段的合并。
9.根据权利要求8所述的装置,其中所述合并单元包括:
第一合并子单元,配置为如果所述不具有显著运动特征的视频片段仅满足其中一个运动类型的降低后的检测标准,则将该不具有显著运动特征的视频片段,合并到该运动类型对应的相邻视频片段。
10.根据权利要求8所述的装置,其中所述合并单元包括:
划分子单元,配置为如果所述不具有显著运动特征的视频片段对于第一运动类型及第二运动类型的降低后的检测标准均不满足,则将所述不具有显著运动特征的视频片段分为两部分;
第三合并子单元,配置为将前半部分与前一相邻视频片段合并,后半部分与后一相邻视频片段合并。
11.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
查找单元,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
合并单元,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述查找单元具体配置为:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述查找单元包括:
第一查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段及第三视频片段的运动类型均为变焦,第二视频片段的运动类型为静止或平移,且持续时间短于预置阈值,则所述第一视频片段、第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第一合并子单元,配置为将所述第一视频片段、所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为变焦。
12.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
查找单元,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
合并单元,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述查找单元具体配置为:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述查找单元包括:
第二查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为静止,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第二合并子单元,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为静止。
13.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
查找单元,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
合并单元,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述查找单元具体配置为:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述查找单元包括:
第三查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为静止,且持续时间短于第一预置阈值,第三视频片段的运动类型为平移,且持续时间长于第二预置阈值,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第三合并子单元,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为平移。
14.一种视频中的摄像机运动分析装置,包括:
分析单元,配置为从所述视频中分析出其中所包含的视频片段及其摄像机运动类型;
查找单元,配置为从所述视频的各个视频片段中查找符合预置的合并规则的视频片段;以及
合并单元,配置为按照所述合并规则,将查找到的视频片段合并,并确定合并后的视频片段的运动类型,
其中所述查找单元具体配置为:
根据视频片段的相邻关系、运动类型及持续时间,查找符合预置合并规则的视频片段,
其中所述查找单元包括:
第四查找子单元,配置为按照以下条件,查找要合并的视频片段:对于按时间先后顺序相邻的第一视频片段、第二视频片段及第三视频片段,如果第一视频片段的运动类型为变焦,第二视频片段的运动类型为向第一方向的平移,且持续时间短于第一预置阈值,第三视频片段的运动类型为向第二方向的平移,且持续时间长于第二预置阈值,所述第一方向与第二方向不同,则所述第二视频片段及第三视频片段符合预置的合并规则;
其中所述合并单元包括:
第四合并子单元,配置为将所述第二视频片段及所述第三视频片段进行合并,并将合并后的视频片段的运动类型确定为向所述第二方向的平移。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110085676.1A CN102737383B (zh) | 2011-03-31 | 2011-03-31 | 视频中的摄像机运动分析方法及装置 |
US13/355,990 US8867892B2 (en) | 2011-03-31 | 2012-01-23 | Method and apparatus for camera motion analysis in video |
JP2012065362A JP5942517B2 (ja) | 2011-03-31 | 2012-03-22 | 映像におけるカメラモーション解析のための方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110085676.1A CN102737383B (zh) | 2011-03-31 | 2011-03-31 | 视频中的摄像机运动分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102737383A CN102737383A (zh) | 2012-10-17 |
CN102737383B true CN102737383B (zh) | 2014-12-17 |
Family
ID=46926749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110085676.1A Active CN102737383B (zh) | 2011-03-31 | 2011-03-31 | 视频中的摄像机运动分析方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8867892B2 (zh) |
JP (1) | JP5942517B2 (zh) |
CN (1) | CN102737383B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610659B2 (ja) * | 2015-03-26 | 2019-11-27 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
JP6835065B2 (ja) * | 2016-03-18 | 2021-02-24 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US10097765B2 (en) | 2016-04-20 | 2018-10-09 | Samsung Electronics Co., Ltd. | Methodology and apparatus for generating high fidelity zoom for mobile video |
US10643303B1 (en) * | 2019-02-28 | 2020-05-05 | Gopro, Inc. | Systems and methods for providing punchouts of videos |
US11755643B2 (en) | 2020-07-06 | 2023-09-12 | Microsoft Technology Licensing, Llc | Metadata generation for video indexing |
CN113099313B (zh) * | 2021-03-31 | 2022-07-05 | 杭州海康威视数字技术股份有限公司 | 一种视频切片方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6449392B1 (en) * | 1999-01-14 | 2002-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Methods of scene change detection and fade detection for indexing of video sequences |
CN1461142A (zh) * | 2003-06-30 | 2003-12-10 | 北京大学计算机科学技术研究所 | 一种基于内容的视频片段检索方法 |
CN101127866A (zh) * | 2007-08-10 | 2008-02-20 | 西安交通大学 | 一种检测足球比赛视频精彩片段的方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003503971A (ja) * | 1999-07-06 | 2003-01-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオシーケンスの構造の自動抽出方法 |
US7058130B2 (en) * | 2000-12-11 | 2006-06-06 | Sony Corporation | Scene change detection |
KR100774296B1 (ko) * | 2002-07-16 | 2007-11-08 | 삼성전자주식회사 | 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치 |
CN1233147C (zh) | 2002-12-24 | 2005-12-21 | 中国科学院计算技术研究所 | 在体育比赛视频中检测精彩片断的方法 |
US8107535B2 (en) * | 2003-06-10 | 2012-01-31 | Rensselaer Polytechnic Institute (Rpi) | Method and apparatus for scalable motion vector coding |
GB0406512D0 (en) | 2004-03-23 | 2004-04-28 | British Telecomm | Method and system for semantically segmenting scenes of a video sequence |
CN101478675A (zh) | 2008-01-03 | 2009-07-08 | 中国科学院计算技术研究所 | 一种视频中语义事件检测方法及*** |
US20090268097A1 (en) * | 2008-04-28 | 2009-10-29 | Siou-Shen Lin | Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames |
-
2011
- 2011-03-31 CN CN201110085676.1A patent/CN102737383B/zh active Active
-
2012
- 2012-01-23 US US13/355,990 patent/US8867892B2/en active Active
- 2012-03-22 JP JP2012065362A patent/JP5942517B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6449392B1 (en) * | 1999-01-14 | 2002-09-10 | Mitsubishi Electric Research Laboratories, Inc. | Methods of scene change detection and fade detection for indexing of video sequences |
CN1461142A (zh) * | 2003-06-30 | 2003-12-10 | 北京大学计算机科学技术研究所 | 一种基于内容的视频片段检索方法 |
CN101127866A (zh) * | 2007-08-10 | 2008-02-20 | 西安交通大学 | 一种检测足球比赛视频精彩片段的方法 |
Non-Patent Citations (3)
Title |
---|
Camera Motion-Based Analysis of User Generated Video;Golnaz Abdollahian等;《IEEE TRANSACTIONS ON MULTIMEDIA》;20100131;第12卷(第1期);第28-41页 * |
DETECTING DUPLICATE VIDEO BASED ON CAMERA TRANSITIONAL BEHAVIOR;Ping-Hao Wu等;《16th IEEE International Conference on Image Processing》;20091130;第237-240页 * |
Threshold-Based Camera Motion Characterization of MPEG Video;Jae-Gon Kim等;《ETRI Journal》;20040630;第26卷(第3期);第269-272页 * |
Also Published As
Publication number | Publication date |
---|---|
US20120249812A1 (en) | 2012-10-04 |
CN102737383A (zh) | 2012-10-17 |
US8867892B2 (en) | 2014-10-21 |
JP2012216200A (ja) | 2012-11-08 |
JP5942517B2 (ja) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110234037B (zh) | 视频片段的生成方法及装置、计算机设备及可读介质 | |
CN102737383B (zh) | 视频中的摄像机运动分析方法及装置 | |
CN110852231A (zh) | 违规视频检测方法、装置以及存储介质 | |
US8966372B2 (en) | Systems and methods for performing geotagging during video playback | |
CN110309353A (zh) | 视频索引方法及装置 | |
CN102740106B (zh) | 在视频中检测摄像机运动类型的方法及装置 | |
CN110704684A (zh) | 视频搜索的方法及装置、终端和存储介质 | |
EP3989158A1 (en) | Method, apparatus and device for video similarity detection | |
CN112004117B (zh) | 视频播放方法及装置 | |
CN110851712B (zh) | 书籍信息的推荐方法、设备以及计算机可读介质 | |
CN110837581A (zh) | 视频舆情分析的方法、装置以及存储介质 | |
CN104918060A (zh) | 一种视频广告中插点位置的选择方法和装置 | |
CN112291614A (zh) | 一种视频生成方法及装置 | |
CN111191132B (zh) | 一种信息推荐方法、装置及电子设备 | |
WO2024149183A1 (zh) | 文档显示方法、装置及电子设备 | |
CN110852794A (zh) | 一种小说推荐方法及设备 | |
CN112612949B (zh) | 推荐数据集合的建立方法及装置 | |
CN112860921A (zh) | 信息搜索方法及装置 | |
CN111641868A (zh) | 预览视频生成方法、装置及电子设备 | |
CN114928721B (zh) | 足球拍摄镜头的切换方法、***、计算机设备及存储介质 | |
CN111104550A (zh) | 视频推荐方法、装置、电子设备及计算机可读存储介质 | |
CN113342684A (zh) | 一种网页的测试方法、装置及设备 | |
CN113688260A (zh) | 视频推荐方法和装置 | |
CN110647680A (zh) | 用户浏览行为分析方法及装置 | |
CN106203244A (zh) | 一种镜头类型的确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |