CN105744292A - 一种视频数据的处理方法及装置 - Google Patents
一种视频数据的处理方法及装置 Download PDFInfo
- Publication number
- CN105744292A CN105744292A CN201610073546.9A CN201610073546A CN105744292A CN 105744292 A CN105744292 A CN 105744292A CN 201610073546 A CN201610073546 A CN 201610073546A CN 105744292 A CN105744292 A CN 105744292A
- Authority
- CN
- China
- Prior art keywords
- video
- file
- sequence
- information
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 45
- 239000000284 extract Substances 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000001143 conditioned effect Effects 0.000 claims description 8
- 239000012634 fragment Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 39
- 230000011218 segmentation Effects 0.000 description 27
- 238000000605 extraction Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频数据的处理方法及装置,其中该方法包括:获取视频文件;对该视频文件中的视频帧进行人脸识别,生成识别结果;基于该识别结果,确定视频文件相应的关键人物信息;根据关键人物信息,获取视频简介图像集,并根据视频简介图像集,确定该视频文件相应的简介文件。本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
Description
技术领域
本发明属于数字视频技术领域,尤其涉及一种视频数据的处理方法及装置。
背景技术
随着网络带宽的提高以及各种视频资源的增加,用户越来越倾向在网上下载和观看视频,比如电影或者电视剧等。
通常,在下载视频之前,用户往往是通过一些简单的文字介绍去了解所下载的视频内容,为了能够方便用户了解视频内容,一些专业人士为一些视频制作了视频简介片头,能够通过几分钟的片头视频使用户对整个视频内容有一个较为全面的了解。
在对现有技术的研究和实践过程中,本发明的发明人发现,由于现有技术中人工合成视频需要这些专业人士去观看视频并从中提取视频片段,从而导致操作效率较低;并且,由于人为因素较高,因此导致提取的视频片段不一定是片源中的主要信息,准确率不高。
发明内容
本发明的目的在于提供一种视频数据的处理方法及装置,旨在提高视频数据的处理准确率以及召回率。
为解决上述技术问题,本发明实施例提供以下技术方案:
一种视频数据的处理方法,其中包括:
获取视频文件;
对所述视频文件中的视频帧进行人脸识别,生成识别结果;
基于所述识别结果,确定所述视频文件相应的关键人物信息;
根据所述关键人物信息,获取视频简介图像集,并根据所述视频简介图像集,确定所述视频文件相应的简介文件。
为解决上述技术问题,本发明实施例还提供以下技术方案:
一种视频数据的处理装置,其中包括:
第一获取单元,用于获取视频文件;
人脸识别单元,用于对所述视频文件中的视频帧进行人脸识别,生成识别结果;
第一确定单元,用于基于所述识别结果,确定所述视频文件相应的关键人物信息;
第二获取单元,用于根据所述关键人物信息,获取视频简介图像集;
第二确定单元,用于根据所述视频简介图像集,确定所述视频文件相应的简介文件。
相对于现有技术,本发明实施例,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1是本发明第一实施例提供的视频数据的处理方法的流程示意图;
图2为本发明第二实施例提供的视频数据的处理方法的流程示意图;
图3a为本发明第三实施例提供的视频数据的处理装置的结构示意图;
图3b为本发明第三实施例提供的视频数据的处理装置的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存***中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实***置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语「模块」可看做为在该运算***上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算***上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本发明保护范围之内。
第一实施例
在本实施例中,将从视频数据的处理装置的角度进行描述,该视频数据的处理装置具体可以集成在服务器或网关等网络设备中。
一种视频数据的处理方法,包括:获取视频文件;对该视频文件中的视频帧进行人脸识别,生成识别结果;基于该识别结果,确定视频文件相应的关键人物信息;根据关键人物信息,获取视频简介图像集,并根据视频简介图像集,确定该视频文件相应的简介文件。
请参阅图1,图1是本发明第一实施例提供的视频数据的处理方法的流程示意图。所述方法包括:
在步骤S101中,获取视频文件。
在步骤S102中,对该视频文件中的视频帧进行人脸识别,生成识别结果。
在步骤S103中,基于该识别结果,确定该视频文件相应的关键人物信息。
其中,所述步骤S101至步骤S103可具体为:
可以理解的是,本发明实施例中,在简介文件生成之前,首先需要进行关键人物信息的提取,比如,主要人物的提取。
可具体的,可以通过人脸检测技术识别视频帧中是否存在关键人物信息,其中,关键人物信息可以认为是该视频对应的主要人物和/或重要剧情。
比如,基于该识别结果,确定该视频文件相应的关键人物信息,可以具体包括:
步骤1、若根据该识别结果确定视频帧中含有人脸信息,则对该人脸信息进行标记,以得到人脸标记结果。
步骤2、根据该人脸标记结果,确定出满足预设条件的人脸信息。
步骤3、将满足预设条件的人脸信息确定为该视频文件相应的关键人物信息。
也就是说,检测视频帧中是否存在人脸信息,将检测到的人脸提取、标记,比如,不同人脸可以标记为不同类。
进一步的,依次扫描该视频文件中所有的视频帧,对识别到所有人脸进行分类计数,当扫描完所有视频帧,可以将计数靠前的确定为该视频文件的主要人物,即可以确定为该视频文件相应的关键人物信息,比如,计数靠前的两位为视频主角,或者是男、女计数第一的分别为男女主角,等等。
在某些优选的实施方式中,在获取视频文件之后,对该视频文件中的视频帧进行人脸识别,生成识别结果之前,可以先将视频文件按照预设阈值时长划分为N份(N为大于或等于1的证书),例如预设阈值时长可以设置为15分钟,从而可以在在每个视频分段中分别提取各视频分段中的主要人物。
需要说明的是,若视频文件的时长小于该预设阈值时长,则可以不进行分段处理;另外,视频文件进行分段后,关键人物信息(如主要人物)的提取方法与前述提取整个视频文件中的主要人物方法相同,此处不再赘述。
在步骤S104中,根据该关键人物信息,获取视频简介图像集。
在关键人物信息的提取之后,需要对视频简介图像集进行获取。
优选的,在根据该关键人物信息,获取视频简介图像集,可以具体如下:
步骤a、根据该关键人物信息,在视频文件的中确定有效视频帧序列;
步骤b、当该有效视频帧序列的视频帧数超过预设阈值时,将该有效视频帧序列确定为关键视频帧序列;
步骤c、基于该关键视频帧序列,获取视频简介图像集。
其中,比如,在根据该关键人物信息,在视频文件的中确定有效视频帧序列(即步骤a),可以具体包括:
步骤a1、在所述视频文件的所有视频帧序列中,获取连续出现该关键人物信息的视频帧序列;
步骤a2、将连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
可具体的,比如,可以在所有的视频帧序列中,把连续、不间断出现主要人物的视频帧序列确定为有效视频帧序列,当确定出这类有效视频帧序列的视频帧数超过一定阈值,可以将该有效视频帧序列确定为关键视频帧序列,本实施例中,这类关键视频帧序列可认为包含了视频的重要剧情信息。
进一步优选的,为了减少最终生成的视频时长及存储空间,基于该关键视频帧序列,获取视频简介图像集(步骤c),可以具体包括:
步骤c1、在该关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列;
步骤c2、按照时间先后顺序,对待编码视频数据帧序列进行排列,生成视频简介图像集。
比如,在关键视频帧序列中,每隔一帧或多帧抽取一帧数据形成待编码视频数据帧序列,其中,视频文件中的关键视频帧序列与待编码视频帧序列一一对应。其后,将所有的待编码视频帧序列,按照时间先后顺序排列从而形成视频简介图像集。
可以理解的是,在关键人物信息提取时对视频文件进行分段的实施方式中,每个视频分段中的待编码视频数据帧序列提取方法和整体视频的待编码视频数据帧序列抽取方式一致,最后将各个视频分段的待编码视频数据帧序列按时间顺序排列起来,形成视频简介图像集。
在步骤S105中,根据该视频简介图像集,确定该视频文件相应的简介文件。
在一种可能的实施方式中,根据该视频简介图像集,确定该视频文件相应的简介文件可以具体如下:
按照预设图像处理规则,对视频简介图像集进行压缩,生成视频简介文件,将视频简介文件确定为该视频文件相应的简介文件。
比如,该实施方式中,可以将视频简介图像集中的视频帧压缩成低分辨率、低码率、低帧率的数据源,并存储至视频文件的开头或是形成独立的视频简介小视频。
在另一种可能的实施方式中,根据该视频简介图像集,确定该视频文件相应的简介文件可以具体如下:
根据视频简介图像集,生成与待编码视频数据帧序列相应的图片简介文件,将图片简介文件确定为该视频文件相应的简介文件。
比如,该实施方式中,可以按照待编码视频帧序列,生成多个图片格式GIF(GraphicsInterchangeFormat)图片,其中,视频简介图像集中的待编码视频帧序列对生成的GIF图片一一对应,从而可以保证每个GIF图片信息的相对连续性和完整性。
由上述可知,本实施例提供的视频数据的处理方法,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
第二实施例
根据第一实施例所描述的方法,以下将举例作进一步详细说明。
本发明实施例提供的视频数据的处理方法,通过对视频源中的所有视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧压缩成小视频,或者处理为GIF文件,存储于视频的开头作为视频剧情简介。以下将进行详细说明。
请参阅图2,图2为本发明第二实施例提供的视频数据的处理方法的流程示意图。所述方法包括:
在步骤S201中,获取视频。
在步骤S202中,确定该视频是否需要分段。
其中,所述步骤S201与步骤S202可具体为:
比如,可以根据该视频的总时长来确定该视频是否需要分段,若该视频的总时长超过一预设时长,则确定需要对该视频进行分段,执行步骤S203b至步骤S206b;相反,若该视频的总时长未超过一预设时长,则确定不需要对该视频进行分段,执行步骤S203a至步骤S205a。
在步骤S203a中,扫描视频帧确定整个视频的主要人物。
在步骤S204a中,获取关键视频帧序列。
在步骤S205a中,生成整个视频的待编码视频数据帧序列。
其中,所述步骤S203a至步骤S205a可具体为:
比如,通过人脸检测技术识别视频帧中是否存在人脸信息,将检测到的人脸提取、标记,比如,不同人脸可以标记为不同类。
再比如,依次扫描该视频中所有的视频帧,对识别到所有人脸进行分类计数,当扫描完所有视频帧,可以将计数靠前的确定为该视频文件的主要人物,如,计数靠前的两位为视频主角,或者是男、女计数第一的分别为男女主角,等等。
步骤S204a中,可以根据主要人物获取关键视频帧序列,比如:可以在所有的视频帧序列中,把连续、不间断出现主要人物的视频帧序列确定为有效视频帧序列,当确定出这类有效视频帧序列的视频帧数超过一定阈值,可以将该有效视频帧序列确定为关键视频帧序列,本实施例中,这类关键视频帧序列可认为包含了视频的重要剧情信息。
然后,在关键视频帧序列中,每隔一帧或多帧抽取一帧数据形成待编码视频数据帧序列,其中,视频文件中的关键视频帧序列与待编码视频帧序列一一对应。
在步骤S203b中,按照预设阈值时长将该视频进行划分,得到视频分段。
在步骤S204b中,确定每个视频分段的主要人物。
在步骤S205b中,获取每个视频分段的关键视频帧序列。
在步骤S206b中,生成视频分段的待编码视频数据帧序列。
其中,所述步骤S203b至步骤S206b可具体为:
比如,在获取视频文件之后,对该视频文件中的视频帧进行人脸识别之前,可以先将视频文件按照预设阈值时长划分为N份,例如预设阈值时长可以设置为15分钟,从而可以在在每个视频分段中分别提取各视频分段中的主要人物。
可以理解的是,每个视频分段中的待编码视频数据帧序列提取方法和整体视频的待编码视频数据帧序列抽取方式一致,此处不再赘述。
接着,基于步骤S203a至步骤S205a,或者步骤S203b至步骤S206b,执行步骤S207:
在步骤S207中,生成视频简介图像集。
基于步骤S203a至步骤S205a,生成视频简介图像集可以具体为:将所有的待编码视频帧序列,按照时间先后顺序排列从而形成视频简介图像集。
基于步骤S203b至步骤S206b,生成视频简介图像集可以具体为:将各个视频分段的待编码视频数据帧序列按时间顺序排列起来,形成视频简介图像集。
在步骤S208中,判断是否将该视频简介图像集压缩成视频。
也就是说,在形成视频简介图像集之后,可以判断是否将该视频简介图像集压缩成视频,若是,则执行步骤S209a,若否,则执行步骤S209b:
在步骤S209a中,编码生成简介小视频。
即,可以将视频简介图像集中的视频帧压缩成低分辨率、低码率、低帧率的数据源,并存储至视频文件的开头或是形成独立的视频简介小视频。
在步骤S209b中,生成多个简介GIF文件。
即可以按照待编码视频帧序列,生成多个GIF图片,其中,视频简介图像集中的待编码视频帧序列对生成的GIF图片一一对应。
需要说明的是,由于整个视频文件的主要人物并不等同于各个视频分段中主要人物,各视频分段之间的主要人物也不一定相同,因此,把整个视频作为一个整体处理,得到的简介视频剧情集中于主角,而把视频分成多个分段进行处理得到的简介视频,人物剧情内容相对丰富、多彩。
由此可知,本发明实施例分为主要人物提取、简介图像集获取以及视频简介文件生成三个部分,与现有技术不同的是,本发明实施例以人脸识别技术为基础来提取片源中的主要人物和剧情,从而提取的视频关键帧序列更加贴近视频的主要剧情,因此,形成的视频简介内容也更加生动有效、贴近实际剧情。
在实际应用中,通过本方案生成的视频简介内容,可以让用户快速预览大文件视频的有效内容,从而节省用户的时间,给用户带来更优的视觉体验。另外,对于网络视频用户不需要通过长时间观看就可以迅速通过简介视频判定该视频是否想继续观看,从而为用户节省大量的数据流量,避免不需要的通信资费。
由上述可知,本实施例提供的视频数据的处理方法,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
第三实施例
为便于更好的实施本发明实施例提供的视频数据的处理方法,本发明实施例还提供一种基于上述视频数据的处理方法的装置。其中名词的含义与上述视频数据的处理的方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图3a,图3a为本发明实施例提供的视频数据的处理装置的结构示意图,本发明所述视频数据的处理装置可以包括第一获取单元301、人脸识别单元302、第一确定单元303、第二获取单元304以及第二确定单元305。
其中,所述第一获取单元301,用于获取视频文件;人脸识别单元302,用于对所述视频文件中的视频帧进行人脸识别,生成识别结果;第一确定单元303,用于基于所述识别结果,确定所述视频文件相应的关键人物信息。
可以理解的是,本发明实施例中,在简介文件生成之前,首先需要进行关键人物信息的提取,比如,主要人物的提取。
可具体的,可以通过人脸检测技术识别视频帧中是否存在关键人物信息,其中,关键人物信息可以认为是该视频对应的主要人物和/或重要剧情。
比如,可一并参考图3b,为视频数据的处理装置的另一结构示意图,其中,所述第一确定单元303,可以具体包括:
标记子单元3031,用于若根据所述识别结果确定所述视频帧中含有人脸信息,则对所述人脸信息进行标记,以得到人脸标记结果;
第一确定子单元3032,用于根据所述人脸标记结果,确定出满足预设条件的人脸信息;
第二确定子单元3033,用于将所述满足预设条件的人脸信息确定为所述视频文件相应的关键人物信息。
也就是说,检测视频帧中是否存在人脸信息,将检测到的人脸提取、标记,比如,不同人脸可以标记为不同类。
进一步的,依次扫描该视频文件中所有的视频帧,对识别到所有人脸进行分类计数,当扫描完所有视频帧,可以将计数靠前的确定为该视频文件的主要人物,即可以确定为该视频文件相应的关键人物信息,比如,计数靠前的两位为视频主角,或者是男、女计数第一的分别为男女主角,等等。
在某些优选的实施方式中,在获取视频文件之后,对该视频文件中的视频帧进行人脸识别,生成识别结果之前,可以先将视频文件按照预设阈值时长划分为N份(N为大于或等于1的证书),例如预设阈值时长可以设置为15分钟,从而可以在在每个视频分段中分别提取各视频分段中的主要人物。
需要说明的是,若视频文件的时长小于该预设阈值时长,则可以不进行分段处理;另外,视频文件进行分段后,关键人物信息(如主要人物)的提取方法与前述提取整个视频文件中的主要人物方法相同,此处不再赘述。
其后,第二获取单元304,用于根据所述关键人物信息,获取视频简介图像集。
优选的,所述第二获取单元304,可以具体包括:
第三确定子单元3041,用于根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列;
第四确定子单元3042,用于当所述有效视频帧序列的视频帧数超过预设阈值时,将所述有效视频帧序列确定为关键视频帧序列;
获取子单元3043,用于基于所述关键视频帧序列,获取视频简介图像集。
其中,比如,所述第三确定子单元3041,可以具体用于:在所述视频文件的所有视频帧序列中,获取连续出现所述关键人物信息的视频帧序列,将所述连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
可具体的,比如,可以在所有的视频帧序列中,把连续、不间断出现主要人物的视频帧序列确定为有效视频帧序列,当确定出这类有效视频帧序列的视频帧数超过一定阈值,可以将该有效视频帧序列确定为关键视频帧序列,本实施例中,这类关键视频帧序列可认为包含了视频的重要剧情信息。
进一步优选的,为了减少最终生成的视频时长及存储空间,所述获取子单元3043,可以具体用于:
在所述关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列,按照时间先后顺序,对所述待编码视频数据帧序列进行排列,生成视频简介图像集。
比如,在关键视频帧序列中,每隔一帧或多帧抽取一帧数据形成待编码视频数据帧序列,其中,视频文件中的关键视频帧序列与待编码视频帧序列一一对应。其后,将所有的待编码视频帧序列,按照时间先后顺序排列从而形成视频简介图像集。
可以理解的是,在关键人物信息提取时对视频文件进行分段的实施方式中,每个视频分段中的待编码视频数据帧序列提取方法和整体视频的待编码视频数据帧序列抽取方式一致,最后将各个视频分段的待编码视频数据帧序列按时间顺序排列起来,形成视频简介图像集。
最后,第二确定单元305,用于根据所述视频简介图像集,确定所述视频文件相应的简介文件。其中该第二确定单元305,可具体用于:
按照预设图像处理规则,对所述视频简介图像集进行压缩,生成视频简介文件,将所述视频简介文件确定为所述视频文件相应的简介文件;或者,根据所述视频简介图像集,生成与所述待编码视频数据帧序列相应的图片简介文件,将所述图片简介文件确定为所述视频文件相应的简介文件。
也就是说,第二确定单元305可以将视频简介图像集中的视频帧压缩成低分辨率、低码率、低帧率的数据源,并存储至视频文件的开头或是形成独立的视频简介小视频;也可以按照待编码视频帧序列,生成多个图片格式GIF图片,其中,视频简介图像集中的待编码视频帧序列对生成的GIF图片一一对应,从而可以保证每个GIF图片信息的相对连续性和完整性。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
该视频数据的处理装置具体可以集成在服务器或网关等网络设备中。
由上述可知,本实施例提供的视频数据的处理装置,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对视频数据的处理方法的详细描述,此处不再赘述。
本发明实施例提供的所述视频数据的处理装置,譬如为计算机、平板电脑、具有触摸功能的手机等等,所述视频数据的处理装置与上文实施例中的视频数据的处理方法属于同一构思,在所述视频数据的处理装置上可以运行所述视频数据的处理方法实施例中提供的任一方法,其具体实现过程详见所述视频数据的处理方法实施例,此处不再赘述。
需要说明的是,对本发明所述视频数据的处理方法而言,本领域普通测试人员可以理解实现本发明实施例所述视频数据的处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在终端的存储器中,并被该终端内的至少一个处理器执行,在执行过程中可包括如所述视频数据的处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,ReadOnlyMemory)、随机存取记忆体(RAM,RandomAccessMemory)等。
对本发明实施例的所述视频数据的处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本发明实施例所提供的一种视频数据的处理方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种视频数据的处理方法,其特征在于,包括:
获取视频文件;
对所述视频文件中的视频帧进行人脸识别,生成识别结果;
基于所述识别结果,确定所述视频文件相应的关键人物信息;
根据所述关键人物信息,获取视频简介图像集,并根据所述视频简介图像集,确定所述视频文件相应的简介文件。
2.根据权利要求1所述的视频数据的处理方法,其特征在于,所述基于所述识别结果,确定所述视频文件相应的关键人物信息,包括:
若根据所述识别结果确定所述视频帧中含有人脸信息,则对所述人脸信息进行标记,以得到人脸标记结果;
根据所述人脸标记结果,确定出满足预设条件的人脸信息;
将所述满足预设条件的人脸信息确定为所述视频文件相应的关键人物信息。
3.根据权利要求1所述的视频数据的处理方法,其特征在于,所述根据所述关键人物信息,获取视频简介图像集,包括:
根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列;
当所述有效视频帧序列的视频帧数超过预设阈值时,将所述有效视频帧序列确定为关键视频帧序列;
基于所述关键视频帧序列,获取视频简介图像集。
4.根据权利要求3所述的视频数据的处理方法,其特征在于,所述根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列,包括:
在所述视频文件的所有视频帧序列中,获取连续出现所述关键人物信息的视频帧序列;
将所述连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
5.根据权利要求3所述的视频数据的处理方法,其特征在于,所述基于所述关键视频帧序列,获取视频简介图像集,包括:
在所述关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列;
按照时间先后顺序,对所述待编码视频数据帧序列进行排列,生成视频简介图像集。
6.根据权利要求1所述的视频数据的处理方法,其特征在于,所述根据所述视频简介图像集,确定所述视频文件相应的简介文件,包括:
按照预设图像处理规则,对所述视频简介图像集进行压缩,生成视频简介文件,将所述视频简介文件确定为所述视频文件相应的简介文件;或者,
根据所述视频简介图像集,生成与所述待编码视频数据帧序列相应的图片简介文件,将所述图片简介文件确定为所述视频文件相应的简介文件。
7.一种视频数据的处理装置,其特征在于,包括:
第一获取单元,用于获取视频文件;
人脸识别单元,用于对所述视频文件中的视频帧进行人脸识别,生成识别结果;
第一确定单元,用于基于所述识别结果,确定所述视频文件相应的关键人物信息;
第二获取单元,用于根据所述关键人物信息,获取视频简介图像集;
第二确定单元,用于根据所述视频简介图像集,确定所述视频文件相应的简介文件。
8.根据权利要求7所述的视频数据的处理装置,其特征在于,所述第一确定单元,包括:
标记子单元,用于若根据所述识别结果确定所述视频帧中含有人脸信息,则对所述人脸信息进行标记,以得到人脸标记结果;
第一确定子单元,用于根据所述人脸标记结果,确定出满足预设条件的人脸信息;
第二确定子单元,用于将所述满足预设条件的人脸信息确定为所述视频文件相应的关键人物信息。
9.根据权利要求7所述的视频数据的处理装置,其特征在于,所述第二获取单元,包括:
第三确定子单元,用于根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列;
第四确定子单元,用于当所述有效视频帧序列的视频帧数超过预设阈值时,将所述有效视频帧序列确定为关键视频帧序列;
获取子单元,用于基于所述关键视频帧序列,获取视频简介图像集。
10.根据权利要求9所述的视频数据的处理装置,其特征在于,所述第三确定子单元,用于:
在所述视频文件的所有视频帧序列中,获取连续出现所述关键人物信息的视频帧序列,将所述连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
11.根据权利要求9所述的视频数据的处理装置,其特征在于,所述获取子单元,用于:
在所述关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列,按照时间先后顺序,对所述待编码视频数据帧序列进行排列,生成视频简介图像集。
12.根据权利要求7所述的视频数据的处理装置,其特征在于,所述第二确定单元,用于:
按照预设图像处理规则,对所述视频简介图像集进行压缩,生成视频简介文件,将所述视频简介文件确定为所述视频文件相应的简介文件;或者,根据所述视频简介图像集,生成与所述待编码视频数据帧序列相应的图片简介文件,将所述图片简介文件确定为所述视频文件相应的简介文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610073546.9A CN105744292B (zh) | 2016-02-02 | 2016-02-02 | 一种视频数据的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610073546.9A CN105744292B (zh) | 2016-02-02 | 2016-02-02 | 一种视频数据的处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105744292A true CN105744292A (zh) | 2016-07-06 |
CN105744292B CN105744292B (zh) | 2017-10-17 |
Family
ID=56244789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610073546.9A Active CN105744292B (zh) | 2016-02-02 | 2016-02-02 | 一种视频数据的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105744292B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454451A (zh) * | 2016-10-31 | 2017-02-22 | 北京小米移动软件有限公司 | 多媒体播放控制方法及装置 |
CN106557783A (zh) * | 2016-11-21 | 2017-04-05 | 厦门优莱柏网络科技有限公司 | 一种漫画主要角色的自动提取***及方法 |
CN107172482A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 图像互换格式图片的生成方法及装置 |
CN107295352A (zh) * | 2017-06-14 | 2017-10-24 | 北京蜜莱坞网络科技有限公司 | 一种视频压缩方法、装置、设备及存储介质 |
CN108391180A (zh) * | 2018-02-09 | 2018-08-10 | 北京华录新媒信息技术有限公司 | 视频摘要生成装置及视频摘要生成方法 |
CN108924589A (zh) * | 2018-08-02 | 2018-11-30 | 佛山龙眼传媒科技有限公司 | 字幕自动配置方法及装置 |
CN109862388A (zh) * | 2019-04-02 | 2019-06-07 | 网宿科技股份有限公司 | 直播视频集锦的生成方法、装置、服务器及存储介质 |
CN110263704A (zh) * | 2019-06-18 | 2019-09-20 | 浙江宇视科技有限公司 | 人脸数据采集方法、装置、服务器、视频采集器及介质 |
CN110659616A (zh) * | 2019-09-26 | 2020-01-07 | 新华智云科技有限公司 | 一种从视频自动生成gif的方法 |
CN110730379A (zh) * | 2019-08-22 | 2020-01-24 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频信息处理方法、装置和存储介质 |
CN110765955A (zh) * | 2019-10-25 | 2020-02-07 | 北京威晟艾德尔科技有限公司 | 一种视频文件中人物识别方法 |
CN111614899A (zh) * | 2020-05-15 | 2020-09-01 | 高斯贝尔数码科技股份有限公司 | 一种基于人脸识别的定制化视频内容产生方法和*** |
CN111698532A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 弹幕信息的处理方法及装置 |
US11025964B2 (en) | 2019-04-02 | 2021-06-01 | Wangsu Science & Technology Co., Ltd. | Method, apparatus, server, and storage medium for generating live broadcast video of highlight collection |
CN113283327A (zh) * | 2021-05-17 | 2021-08-20 | 多益网络有限公司 | 一种视频文本生成方法、装置、设备及存储介质 |
CN113316016A (zh) * | 2021-05-28 | 2021-08-27 | Tcl通讯(宁波)有限公司 | 视频处理方法、装置、存储介质及移动终端 |
CN113938712A (zh) * | 2021-10-13 | 2022-01-14 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101308501A (zh) * | 2008-06-30 | 2008-11-19 | 腾讯科技(深圳)有限公司 | 生成视频摘要的方法、***及设备 |
US20090196569A1 (en) * | 2004-02-24 | 2009-08-06 | Koninklijke Philips Electronics, N.V. | Video trailer |
CN102906818A (zh) * | 2010-05-25 | 2013-01-30 | 伊斯曼柯达公司 | 将视频摘要存储为元数据 |
CN103442252A (zh) * | 2013-08-21 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 视频处理方法及装置 |
CN104731964A (zh) * | 2015-04-07 | 2015-06-24 | 上海海势信息科技有限公司 | 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 |
-
2016
- 2016-02-02 CN CN201610073546.9A patent/CN105744292B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090196569A1 (en) * | 2004-02-24 | 2009-08-06 | Koninklijke Philips Electronics, N.V. | Video trailer |
CN101308501A (zh) * | 2008-06-30 | 2008-11-19 | 腾讯科技(深圳)有限公司 | 生成视频摘要的方法、***及设备 |
CN102906818A (zh) * | 2010-05-25 | 2013-01-30 | 伊斯曼柯达公司 | 将视频摘要存储为元数据 |
CN103442252A (zh) * | 2013-08-21 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 视频处理方法及装置 |
CN104731964A (zh) * | 2015-04-07 | 2015-06-24 | 上海海势信息科技有限公司 | 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454451B (zh) * | 2016-10-31 | 2019-08-06 | 北京小米移动软件有限公司 | 多媒体播放控制方法及装置 |
CN106454451A (zh) * | 2016-10-31 | 2017-02-22 | 北京小米移动软件有限公司 | 多媒体播放控制方法及装置 |
CN106557783A (zh) * | 2016-11-21 | 2017-04-05 | 厦门优莱柏网络科技有限公司 | 一种漫画主要角色的自动提取***及方法 |
CN106557783B (zh) * | 2016-11-21 | 2019-09-20 | 厦门优莱柏网络科技有限公司 | 一种漫画主要角色的自动提取***及方法 |
CN107172482A (zh) * | 2017-03-31 | 2017-09-15 | 北京奇艺世纪科技有限公司 | 图像互换格式图片的生成方法及装置 |
CN107295352A (zh) * | 2017-06-14 | 2017-10-24 | 北京蜜莱坞网络科技有限公司 | 一种视频压缩方法、装置、设备及存储介质 |
CN108391180A (zh) * | 2018-02-09 | 2018-08-10 | 北京华录新媒信息技术有限公司 | 视频摘要生成装置及视频摘要生成方法 |
CN108391180B (zh) * | 2018-02-09 | 2020-06-26 | 北京华录新媒信息技术有限公司 | 视频摘要生成装置及视频摘要生成方法 |
CN108924589A (zh) * | 2018-08-02 | 2018-11-30 | 佛山龙眼传媒科技有限公司 | 字幕自动配置方法及装置 |
CN111698532A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 弹幕信息的处理方法及装置 |
CN109862388A (zh) * | 2019-04-02 | 2019-06-07 | 网宿科技股份有限公司 | 直播视频集锦的生成方法、装置、服务器及存储介质 |
US11025964B2 (en) | 2019-04-02 | 2021-06-01 | Wangsu Science & Technology Co., Ltd. | Method, apparatus, server, and storage medium for generating live broadcast video of highlight collection |
CN110263704A (zh) * | 2019-06-18 | 2019-09-20 | 浙江宇视科技有限公司 | 人脸数据采集方法、装置、服务器、视频采集器及介质 |
CN110263704B (zh) * | 2019-06-18 | 2021-07-20 | 浙江宇视科技有限公司 | 人脸数据采集方法、装置、服务器、视频采集器及介质 |
CN110730379A (zh) * | 2019-08-22 | 2020-01-24 | 天脉聚源(杭州)传媒科技有限公司 | 一种视频信息处理方法、装置和存储介质 |
CN110730379B (zh) * | 2019-08-22 | 2023-12-15 | 北京拉近众博科技有限公司 | 一种视频信息处理方法、装置和存储介质 |
CN110659616A (zh) * | 2019-09-26 | 2020-01-07 | 新华智云科技有限公司 | 一种从视频自动生成gif的方法 |
CN110765955A (zh) * | 2019-10-25 | 2020-02-07 | 北京威晟艾德尔科技有限公司 | 一种视频文件中人物识别方法 |
CN111614899B (zh) * | 2020-05-15 | 2021-11-23 | 高斯贝尔数码科技股份有限公司 | 一种基于人脸识别的定制化视频内容产生方法和*** |
CN111614899A (zh) * | 2020-05-15 | 2020-09-01 | 高斯贝尔数码科技股份有限公司 | 一种基于人脸识别的定制化视频内容产生方法和*** |
CN113283327A (zh) * | 2021-05-17 | 2021-08-20 | 多益网络有限公司 | 一种视频文本生成方法、装置、设备及存储介质 |
CN113316016A (zh) * | 2021-05-28 | 2021-08-27 | Tcl通讯(宁波)有限公司 | 视频处理方法、装置、存储介质及移动终端 |
CN113938712A (zh) * | 2021-10-13 | 2022-01-14 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、装置及电子设备 |
CN113938712B (zh) * | 2021-10-13 | 2023-10-10 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105744292B (zh) | 2017-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105744292A (zh) | 一种视频数据的处理方法及装置 | |
CN109145784B (zh) | 用于处理视频的方法和装置 | |
CN110309795B (zh) | 视频检测方法、装置、电子设备及存储介质 | |
CN111275784B (zh) | 生成图像的方法和装置 | |
Mendi et al. | Sports video summarization based on motion analysis | |
CN111683274B (zh) | 弹幕广告展示方法、装置、设备及计算机可读存储介质 | |
CN106663196A (zh) | 视频中的计算机显著人物识别 | |
CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
CN109242555B (zh) | 基于语音的广告播放方法及相关产品 | |
CN113572981B (zh) | 视频配乐方法及装置、电子设备、存储介质 | |
CN114238904B (zh) | 身份识别方法、双通道超分模型的训练方法及装置 | |
CN111062854A (zh) | 检测水印的方法、装置、终端及存储介质 | |
CN110516749A (zh) | 模型训练方法、视频处理方法、装置、介质和计算设备 | |
CN112163488A (zh) | 一种视频虚假人脸检测方法及电子装置 | |
CN104966109B (zh) | 医疗化验单图像分类方法及装置 | |
CN114372172A (zh) | 生成视频封面图像的方法、装置、计算机设备及存储介质 | |
CN111488813A (zh) | 视频的情感标注方法、装置、电子设备及存储介质 | |
CN106294765A (zh) | 处理新闻数据的方法及装置 | |
CN110825954A (zh) | 关键词推荐方法、装置和电子设备 | |
CN103093213A (zh) | 视频文件分类方法及终端 | |
CN115731620A (zh) | 检测对抗攻击的方法和训练对抗攻击检测模型的方法 | |
CN111666449B (zh) | 视频检索方法、装置、电子设备和计算机可读介质 | |
CN114500879A (zh) | 视频数据处理方法、装置、设备及存储介质 | |
CN114329050A (zh) | 视觉媒体数据去重处理方法、装置、设备和存储介质 | |
CN113905177A (zh) | 视频生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee before: Guangdong Opel Mobile Communications Co., Ltd. |