CN104463864B - 多级并行关键帧云提取方法及*** - Google Patents

多级并行关键帧云提取方法及*** Download PDF

Info

Publication number
CN104463864B
CN104463864B CN201410731007.0A CN201410731007A CN104463864B CN 104463864 B CN104463864 B CN 104463864B CN 201410731007 A CN201410731007 A CN 201410731007A CN 104463864 B CN104463864 B CN 104463864B
Authority
CN
China
Prior art keywords
key frame
frame
video
parallel
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410731007.0A
Other languages
English (en)
Other versions
CN104463864A (zh
Inventor
朱定局
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201410731007.0A priority Critical patent/CN104463864B/zh
Publication of CN104463864A publication Critical patent/CN104463864A/zh
Priority to PCT/CN2015/092349 priority patent/WO2016086731A1/zh
Application granted granted Critical
Publication of CN104463864B publication Critical patent/CN104463864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多级并行关键帧云提取方法及***。所述关键帧云提取***包括：视频输入模块，被构造为提取关键帧的视频输入接口；视频镜头分割模块，被构造为对输入的视频进行镜头分割，以便进行关键帧提取并行处理；多级并行关键帧云处理模块，被构造为对视频镜头通过多级并行策略，通过并行提取帧特征向量、并行聚类操作，生成各镜头关键帧组；关键帧输出模块，被构造为对各镜头所生成的关键帧组进行组合，最后输出整个视频的关键帧组。本发明的多级并行关键帧云提取方法及***对处理大规模关键帧提取时具有较高的效率，同时，具有很好的可扩展性及稳定性，能够满足大规模关键帧提取的需求。

Description

多级并行关键帧云提取方法及***
技术领域
本发明涉及关键帧云提取技术，更具体地讲，涉及一种多级并行关键帧云提取方法及多级并行关键帧云提取***。
背景技术
视频关键帧指能代表镜头中的最重要的、有代表性的一幅或多幅图像。关键帧的提取能大大减少视频数据的处理量，受到研究者的广泛关注。
云计算能够无缝扩展到大规模的集群，且能够容忍部分节点的错误码，甚至很大部分节点发生失效也不会影响程序的正确运行，因此云计算具有较好的可扩展性及稳定性。
现有的关键帧提取的主要方法包括：基于镜头边界的方法、基于运动分析提取关键帧、基于图像信息提取关键帧、基于聚类提取关键帧等。大部分研究主要集中在视频关键帧的提取准确度方面，但视频关键帧的提取涉及许多数字运算，具视频帧数量多，串行视频关键帧抽取会耗时长，且单机处理能力有限，故有必要研究一种多级并行关键帧云提取方法和云提取***。
发明内容
为了解决上述现有技术存在的问题，本发明的目的在于提供一种多级并行关键帧云提取***，其中，所述多级并行关键帧云提取***包括：视频输入模块，被构造为提取关键帧的视频输入接口；视频镜头分割模块，被构造为对输入的视频进行镜头分割，以便进行关键帧提取并行处理；多级并行关键帧云处理模块，被构造为对视频镜头通过多级并行策略，通过并行提取帧特征向量、并行聚类操作，生成各镜头关键帧组；关键帧输出模块，被构造为对各镜头所生成的关键帧组进行组合，最后输出整个视频的关键帧组。
本发明的另一目的还在于提供一种多级并行关键帧云提取方法，其中，所述多级并行关键帧云提取方法包括：接受需提取关键帧的视频；对所述视频进行镜头分割；对所述镜头进行多级并行关键帧云提取操作；对所提取的镜头关键帧组进行组合，输出最终视频关键帧组。
进一步地，所述多级并行关键帧云提取操作包含并行提取视频帧特征向量、根据视频帧特征向量并行聚类操作。
进一步地，所述镜头关键帧组组合，包含最终聚类产生视频最终关键帧。
进一步地，所述视频特征向量聚类操作可为k-means聚类、模糊C均值聚类或其他适合并行处理的图像特征聚类算法。
本发明的多级并行关键帧云提取方法及云提取***能大大提高关键帧提取效率，同时具有很好的可扩展性及稳定性。
附图说明
图1是根据本发明的实施例的多级并行关键帧云提取***示意图。
图2是根据本发明的实施例的多级并行关键帧云提取调度方法的流程图。
图3是根据本发明的实施例的多级并行关键帧云提取某实例操作图。
具体实施方式
现在对本发明的实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同部件。下面通过参照附图对实施例进行描述以解释本发明。在附图中，为了清晰起见，可以夸大层和区域的厚度。在下面的描述中，为了避免公知结构和/或功能的不必要的详细描述所导致的本发明构思的混淆，可省略公知结构和/或功能的不必要的详细描述。
图1是根据本发明的实施例的多级并行关键帧云提取***示意图。
参照图1，根据本发明的实施例的多级并行关键帧云提取***包括：视频输入模块10，被构造为提取关键帧的视频输入接口；视频镜头分割模块20，被构造为对输入的视频进行镜头分割，以便进行关键帧提取并行处理；多级并行关键帧云处理模块30，被构造为对视频镜头通过多级并行策略，通过并行提取帧特征向量、并行聚类操作，生成各镜头关键帧组；关键帧输出模块40，被构造为对各镜头所生成的关键帧组进行组合，最后输出整个视频的关键帧组。
此外，多级并行关键帧云提取操作包含并行提取视频帧特征向量、根据视频帧特征向量并行聚类操作。
所述视频特征向量聚类操作可为k-means聚类、模糊C均值聚类或其他适合并行处理的图像特征聚类算法。
相对应地，本发明还提供了一种多级并行关键帧云提取方法，具体请参照图2，其是根据本发明的实施例的多级并行关键帧云提取方法的流程图。
参照图2，根据本发明的实施例的多级并行关键帧云提取方法包括：S1、接受需进行关键帧抽取的视频；S2、对视频进行视频镜头分割；S3、对镜头多级并行提取视频关键帧；S4、对镜头关键帧组进行组合输出。
在本实施例中，视频镜头分割后，可并行提取视频帧特征向量，之后可并行进行视频特征向量聚类操作，聚类可为k-means聚类、模糊C均值聚类或其他适合并行处理的图像特征聚类算法。下面将以并行提取视频帧向量处理及并行进行k-means聚类提取关键帧为例来对本发明进行说明。其中，K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。而，模糊c-均值聚类算法 fuzzy c-means algorithm (FCMA)作为无监督机器学习的主要技术之一，是用模糊理论对重要数据分析和建模的方法，建立了样本类属的不确定性描述，能比较客观地反映现实世界。
具体而言，参照图3，假如经过S1、S2步骤后，视频已分割成k个镜头（k≥1，k∈Z）。S3被构造为如下步骤：
S31：一级镜头map操作，此操作实现将分割的镜头分布到一级云计算平台节点中，此处所述的节点为双重角色，具体为：在第一级云平台中为Datanode及TaskTasker角色，在第二级云计算平台节点中为Namenode及Jobtracker角色。S301操作中，map函数构造输入数据记录的<key,value>为<镜头ID，视频镜头位置>，函数操作为：将镜头拷贝至第一级云计算平台节点中，以便进行第二级的map操作。
S32：对分发到节点上的镜头作第二级map操作预处理。将镜头分割成一组视频帧图像。镜头1包含视频帧数N1、镜头2包含视频帧数N2、镜头K包含视频帧数Nk。N1、N2、… Nk指各镜头N1、N2、…、Nk实际所包含的视频帧数（N1、N2、…Nk≥1, N1、N2、…Nk∈Z）。
S33：对各镜头并行进行第二级map操作。所述第二级map操作，在于将各帧分发到下一级云计算平台Tasktracker节点中，并行提取视频帧特征向量。所述S33操作中，map函数构造输入数据记录的<key,value>为<帧ID，帧图像位置>，函数操作为对视频帧进行特征向量提取，输出结果<key,value>对的形式为<帧ID，帧特征向量>。
S34：对S33操作所得到的结果进行第三级map操作。所述S34操作，在于对S33生成的<帧ID，帧特征向量>记录组并行进行云聚类操作。具体可描述为：完成每个数据帧到初始帧聚类中心的距离计算，并重新标记其属于的新聚类类别，其输入为S33所生成的<帧ID，帧特征向量>所有记录和上一轮迭代（或初始聚类）的聚类中心。每个map函数都读入聚类中心描述文件，map函数对输入的每个记录点计算其最近的类中心，并做新类别的标记。Map函数输入数据记录的<key,value>为<帧ID，帧特征向量>；输出中间结果<key,value>的形式为<帧所属类别，帧特征向量>。
上述镜头1、镜头2、…、镜头k的初始聚类中心个数被描述为m1、m2、…、mk（m1、m2、…、mk≥1，m1、m2、…、mk∈Z）其值根据各镜头数据帧总数及一定的规则确定，在一定程度上，m1、m2、…、mk也代表各镜头将产生的关键帧数。
上述初始聚类中心被构造为：根据m1、m2、…、mk的值，分别从镜头1、镜头2、…、镜头k中随机抽取m1、m2、…、mk个征特征向量作为镜头1、镜头2、…、镜头k的初始聚类中心。
上述数据帧到聚类中心的距离计算，可以描述为欧式距离、马氏距离等。
S34被构造的map函数可以描述为：
void map(Object key, Text value, Context context)
{
计算帧到各聚类中心的距离；
比较上述距离；
将帧归结到距离最近的那个距类中心所属的类；
将<帧所属类别，帧特征向量>写入中间文件；
}
上述map阶段会进行shuffle操作，完成中间计算结果的分组排序。
S35：根据S34的输出，更新聚类中心，供下一轮map-reduce使用。所述S35操作，输入数据<key,value>对的形式为<聚类类别ID，{记录属性向量集}>；所有key相同的记录（即相同聚类中心类别ID的记录）将送给一个reduce任务。S35操作被描述为：累加key相同的点的个数和各记录分量的和，求各分量的均值，得到新的聚类中心。S35操作输出结果<key,value>对的形式为<聚类类别ID，均值向量>。S35操作过程可描述为：
Void reduce(Text key，Iterable<Text> values, Context context)
{
for(对于key相同的所有记录)
{
求每个属性的均值；
}
将<聚类类别ID，均值向量>写入结果文件；
}
S36：迭代过程。S36步骤可描述为：对S34的输出结果，判断该聚类是否已收敛。具体可描述为：比较上一轮map-reduce得到的聚类中心与本轮map-reduce聚类中心的距离。若距离小于给定阀值，则算法结束。否之，则将本轮的聚类中心替换上一轮的聚类中心，并启动新一轮的map-reduce操作。
S4：对镜头关键帧组进行组合输出。对S3步聚的最终各镜头视频关键帧组进行组合输出视频关键帧。
综上所述，根据本发明的实施例的多级并行关键帧云提取方法及云提取***，具有多级并行操作的特点，能大大提高关键帧提取效率。同时，***基于云计算平台，故具有较好的可扩展性和稳定性。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (2)

1.一种多级并行关键帧云提取方法，其特征在于，所述多级并行关键帧云提取方法包括如下步骤：
S1.接受需进行关键帧抽取的视频；
S2.对视频进行视频镜头分割；
S3.对镜头多级并行提取视频关键帧；具体为：
S31：一级镜头map操作，实现将分割的镜头分布到一级云计算平台节点中，此处所述的节点为双重角色；
S32：对分发到节点上的镜头作第二级map操作预处理，将镜头分割成一组视频帧图像；
S33：对各镜头并行进行第二级map操作，所述第二级map操作，在于将各帧分发到下一级云计算平台Tasktracker节点中，并行提取视频帧特征向量；
S34：对S33操作所得到的结果进行第三级map操作，在于对S33生成的<帧ID，帧特征向量>记录组并行进行云聚类操作；
S35：根据S34的输出，更新聚类中心，供下一轮map-reduce使用；
S36：迭代过程，对S34的输出结果，判断该聚类是否已收敛；
S4.对镜头关键帧组进行组合输出。
2.根据权利要求1所述的多级并行关键帧云提取方法，其特征在于，所述视频特征向量聚类操作为k-means聚类或模糊C均值聚类或其他适合并行处理的图像特征聚类算法中的一种或多种。
CN201410731007.0A 2014-12-05 2014-12-05 多级并行关键帧云提取方法及*** Active CN104463864B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410731007.0A CN104463864B (zh) 2014-12-05 2014-12-05 多级并行关键帧云提取方法及***
PCT/CN2015/092349 WO2016086731A1 (zh) 2014-12-05 2015-10-21 多级并行关键帧云提取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410731007.0A CN104463864B (zh) 2014-12-05 2014-12-05 多级并行关键帧云提取方法及***

Publications (2)

Publication Number Publication Date
CN104463864A CN104463864A (zh) 2015-03-25
CN104463864B true CN104463864B (zh) 2018-08-14

Family

ID=52909846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410731007.0A Active CN104463864B (zh) 2014-12-05 2014-12-05 多级并行关键帧云提取方法及***

Country Status (2)

Country Link
CN (1) CN104463864B (zh)
WO (1) WO2016086731A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463864B (zh) * 2014-12-05 2018-08-14 华南师范大学 多级并行关键帧云提取方法及***
CN108921773A (zh) * 2018-07-04 2018-11-30 百度在线网络技术（北京）有限公司 人体跟踪处理方法、装置、设备及***
CN110889857A (zh) * 2019-11-15 2020-03-17 北京邮电大学 一种移动Web实时视频帧分割方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1719909A (zh) * 2005-07-15 2006-01-11 复旦大学 一种测量音视频内容变化的方法
CN103064935A (zh) * 2012-12-24 2013-04-24 深圳先进技术研究院 一种多媒体数据并行处理***及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
CN101296373B (zh) * 2007-04-27 2011-11-23 北京信心晟通科技发展有限公司 一种基于素材交换格式的多媒体数据处理***及方法
US20120027295A1 (en) * 2009-04-14 2012-02-02 Koninklijke Philips Electronics N.V. Key frames extraction for video content analysis
CN102693299B (zh) * 2012-05-17 2015-01-07 西安交通大学 一种并行视频拷贝检测***和方法
CN104463864B (zh) * 2014-12-05 2018-08-14 华南师范大学 多级并行关键帧云提取方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1719909A (zh) * 2005-07-15 2006-01-11 复旦大学 一种测量音视频内容变化的方法
CN103064935A (zh) * 2012-12-24 2013-04-24 深圳先进技术研究院 一种多媒体数据并行处理***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
海量网络视频快速检索关键技术研究;刘守群;《中国博士学位论文全文数据库 信息科技辑》;20101015(第10期);摘要，正文第4-5页第1.3节，第12页第2.2节，第13页第2.2.1节，第14页第2.2.1节，第21页第2.4.1节，第31-32页第2.5.2节第1-2段，第62-63页第5.2节，第64页第5.2.1节，第66页第5.2.2节第4段，第67页第5.2.2节第2段，第74页第六章第1段，第77页第6.1.4节第2-3段，第80-86页第6.2节 *

Also Published As

Publication number Publication date
CN104463864A (zh) 2015-03-25
WO2016086731A1 (zh) 2016-06-09

Similar Documents

Publication Publication Date Title
Zhang et al. Learning two-view correspondences and geometry using order-aware network
CN111476284B (zh) 图像识别模型训练及图像识别方法、装置、电子设备
CN106650789B (zh) 一种基于深度lstm网络的图像描述生成方法
Zaech et al. Learnable online graph representations for 3d multi-object tracking
US11003896B2 (en) Entity recognition from an image
Wen et al. CF-SIS: Semantic-instance segmentation of 3D point clouds by context fusion with self-attention
CN110728294A (zh) 一种基于迁移学习的跨领域图像分类模型构建方法和装置
WO2016066042A1 (zh) 商品图片的分割方法及其装置
Xu et al. Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions
CN113255714A (zh) 图像聚类方法、装置、电子设备及计算机可读存储介质
CN104463864B (zh) 多级并行关键帧云提取方法及***
CN116128056B (zh) 一种面向rpa的多模态交互实体对齐方法
Li et al. Co-saliency detection based on hierarchical consistency
Liu et al. Place-centric visual urban perception with deep multi-instance regression
CN114328988A (zh) 多媒体数据的特征提取方法、多媒体数据检索方法及装置
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
Zheng et al. Clustering matters: Sphere feature for fully unsupervised person re-identification
CN114998592A (zh) 用于实例分割的方法、装置、设备和存储介质
Cao et al. GMN: generative multi-modal network for practical document information extraction
Yan et al. Geometrically based linear iterative clustering for quantitative feature correspondence
CN106844338B (zh) 基于属性间依赖关系的网络表格的实体列的检测方法
CN111709473B (zh) 对象特征的聚类方法及装置
CN114723652A (zh) 细胞密度确定方法、装置、电子设备及存储介质
Liao et al. Depthwise grouped convolution for object detection
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant