CN113271495A - 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务*** - Google Patents

基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务*** Download PDF

Info

Publication number
CN113271495A
CN113271495A CN202110530684.6A CN202110530684A CN113271495A CN 113271495 A CN113271495 A CN 113271495A CN 202110530684 A CN202110530684 A CN 202110530684A CN 113271495 A CN113271495 A CN 113271495A
Authority
CN
China
Prior art keywords
video
competition
event
image
target event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110530684.6A
Other languages
English (en)
Inventor
黄海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fenghuayu Business Co ltd
Original Assignee
Wuhan Fenghuayu Business Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fenghuayu Business Co ltd filed Critical Wuhan Fenghuayu Business Co ltd
Priority to CN202110530684.6A priority Critical patent/CN113271495A/zh
Publication of CN113271495A publication Critical patent/CN113271495A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***，通过对体育赛事视频进行视频分割，得到若干赛事图像，并判断其所属的参赛运动员，由此将相同参赛运动员对应的赛事图像进行汇总，以此对该赛事视频进行剪辑，得到各参赛运动员对应的若干参赛视频段，进而对将各参赛运动员对应的若干参赛视频段进行合并形成各参赛运动员对应的综合参赛视频段，实现了对体育赛事视频的智能剪辑，一方面满足了只偏好看其喜好体育运动员对应比赛片段的体育爱好者的观看需求，另一方面其划分的参赛视频段为体育爱好者提供了多个观看片段选择，提高了视频观看的选择度，进而不仅提高了观看效率，还增强了观看体验感。

Description

基于图像特征提取与分析的视频信息智能剪辑处理方法及云 服务***
技术领域
本发明属于视频剪辑技术领域，具体涉及基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***。
背景技术
随着互联网的快速发展,通过杂志、报纸等传统平面媒体传播体育赛事,已经无法满足大众对体育赛事的画面观看感需求，为了满足大众对体育赛事的画面观看感需求，体育赛事视频得以诞生，人们通过观看体育赛事视频可以直观生动地了解体育赛事的比赛状况，这对体育爱好者来说，增强了人们获知体育赛事信息的观看体验感。
然而目前的体育赛事视频时长都比较长，这对于当前处于快节奏生活的体育爱好者来说很难有时间、有精力将整个体育赛事视频全部看完，同时对于某些体育爱好者来说，其喜好的体育运动员比较单一，在观看体育赛事视频过程中只偏爱看其喜好体育运动员对应的比赛片段，因此对体育赛事视频进行视频剪辑还是非常有必要的。
发明内容
为实现上述目的，本发明提出基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***，通过将体育赛事视频按照各参赛运动员对应在体育赛事视频出现的画面片段进行视频剪辑，得到各参赛运动员对应的综合参赛视频段，解决了背景技术提到的问题。
本发明的目的可以通过以下技术方案来实现：
本发明实施例的第一方面提出基于图像特征提取与分析的视频信息智能剪辑处理方法，包括以下步骤：
S1.体育赛事视频赛事图像分割:对体育赛事视频获取视频时长，并将该赛事视频时长按照设置的视频分割帧数进行视频分割，得到若干赛事图像，同时获取各赛事图像在该赛事视频时长中的时间戳；
S2.赛事图像预处理:对分割的若干赛事图像进行预处理，保留目标赛事图像，并对保留的各目标赛事图像按照其在赛事视频时长中位置点的先后顺序进行编号，依次标记为1,2,...,i,...,n；
S3.目标赛事图像所属参赛运动员判断:对各目标赛事图像中存在的人员数量进行统计，并分别聚焦在人员面部区域，提取人员的面部图像，进而将其分别与该赛事视频对应各参赛运动员的面部图像进行比对，判断各目标赛事图像对应所属的参赛运动员姓名；
S4.参赛运动员对应目标赛事图像集合构建:将各目标赛事图像对应所属的参赛运动员姓名进行对比，从而将相同参赛运动员对应的目标赛事图像进行汇总，得到各参赛运动员对应的目标赛事图像集合；
S5.赛事视频剪辑:根据各参赛运动员对应的目标赛事图像集合和各目标赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，得到各参赛运动员对应的若干参赛视频段；
S6.参赛运动员对应参赛视频段合并:将各参赛运动员对应的若干参赛视频段进行合并形成各参赛运动员对应的综合参赛视频段，并将其构成参赛视频段信息库；
S7.目标参赛运动员参赛视频提取推送：实时获取用户在该赛事视频播放输入平台输入的想要看的参赛运动员姓名，该参赛运动员姓名记为目标参赛运动员姓名，并将获取的目标参赛运动员姓名与参赛视频段信息库中各参赛运动员的姓名进行匹配，进而提取匹配成功的目标参赛运动员对应的综合参赛视频段，将其推送给对应的用户。
根据本发明第一方面的一种可替换的实施方式，所述S2中对分割的若干赛事图像进行预处理，其具体预处理步骤如下：
H1:对各赛事图像分别进行人身体轮廓提取；
H2:若某赛事图像提取不到人身体轮廓，表明该赛事图像中不存在人员，则剔除该赛事图像，若某赛事图像中能够提取到人身体轮廓，则表明该赛事图像中存在人员，则保留该赛事图像。
根据本发明第一方面的一种可替换的实施方式，所述目标赛事图像是指存在人员的赛事图像。
根据本发明第一方面的一种可替换的实施方式，所述S3中根据各目标赛事图像中存在的人员数量判断各目标赛事图像对应所属的参赛运动员姓名，其中若某目标赛事图像中只存在一个人员时，其具体判断方法执行以下步骤：
A1:将该目标赛事图像中该人员的面部图像与该赛事视频对应各参赛运动员的面部图像进行比对，若比对成功，则表明该目标赛事图像属于该比对成功的参赛运动员，此时获取该比对成功的参赛运动员对应的姓名，得到该目标赛事图像对应所属的参赛运动员姓名；
A2:若比对失败，则表明该目标赛事图像不属于任何一个参赛运动员，则剔除该目标赛事图像。
根据本发明第一方面的一种可替换的实施方式，所述S3中根据各目标赛事图像中存在的人员数量判断各目标赛事图像对应所属的参赛运动员姓名，其中若某目标赛事图像中存在多个人员时，其具体判断方法执行以下步骤：
B1:将该目标赛事图像中对应各人员的面部图像与该赛事视频对应各参赛运动员的面部图像进行比对，统计比对成功的人员数量；
B2:若比对成功的人员数量为零，表明该目标赛事图像不属于任何一个参赛运动员，则剔除该目标赛事图像；
B3:若比对成功的人员数量不为零，则将比对成功的人员数量与该目标赛事图像中存在的人员数量进行对比，若比对成功的人员数量只有一个，则表明该目标赛事图像中参赛运动员只有一个，此时获取该参赛运动员对应的姓名，该目标赛事图像对应所属的参赛运动员姓名即为该参赛运动员对应的姓名；
B4:若比对成功的人员数量不只一个，且小于该目标赛事图像中存在的人员数量，则表明该目标赛事图像中既存在参赛运动员，又存在非参赛运动员，此时对该目标赛事图像进行非参赛运动员的模糊化处理，模糊非参赛运动员的身体，只保留参赛运动员的身体，并从保留的各参赛运动员中分析出主体参赛运动员，与此同时获取该主体参赛运动员对应的姓名，该目标赛事图像对应所属的参赛运动员姓名即为该主体参赛运动员对应的姓名；
B5:若比对成功的人员数量与该目标赛事图像中存在的人员数量相同，则表明该目标赛事图像中存在的所有人员均是参赛运动员，此时按照B4的方法从该目标赛事图像中存在的各参赛运动员中分析出主体参赛运动员，与此同时获取该主体参赛运动员对应的姓名，则该目标赛事图像对应所属的参赛运动员姓名即为该主体参赛运动员对应的姓名。
根据本发明第一方面的一种可替换的实施方式，所述B4中从保留的各参赛运动员中分析出主体参赛运动员，其具体的分析过程如下：
C1:对保留的各参赛运动员进行编号，分别标记为1,2,...,j,...,m,并定位各参赛运动员身体区域在该目标赛事图像中所处的位置，同时获取该目标赛事图像中心区域所在位置，由此统计各参赛运动员身体区域在该目标赛事图像中所处的位置与该目标赛事图像中心区域所在位置之间的距离，该距离记为位置距离，进而将其构成参赛运动员位置距离集合l(l1,l2,...,lj,...,lm)，lj表示为第j个参赛运动员对应的位置距离；
C2:在该目标赛事图像中提取各参赛运动员的整个身体轮廓，以此得到各参赛运动员身体轮廓在该目标赛事图像中所占的面积，并将其构成参赛运动员身体轮廓面积集合s(s1,s2,...,sj,...,sm)，sj表示为第j个参赛运动员身体轮廓在该目标赛事图像中所占的面积，同时获取该目标赛事图像的总面积，记为S；
C3:根据各参赛运动员对应的位置距离、各参赛运动员身体轮廓在该目标赛事图像中所占的面积和该目标赛事图像的总面积统计各参赛运动员在该目标赛事图像中对应的主体系数；
C4:根据各参赛运动员在该目标赛事图像中对应的主体系数从中筛选出主体系数最大的参赛运动员作为主体参赛运动员。
根据本发明第一方面的一种可替换的实施方式，所述各参赛运动员在该目标赛事图像中对应的主体系数的计算公式为
Figure BDA0003067631250000051
ηj表示为第j个参赛运动员在该目标赛事图像中对应的主体系数。
根据本发明第一方面的一种可替换的实施方式，所述S5中根据各参赛运动员对应的目标赛事图像集合和各目标赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，其具体剪辑方法包括以下步骤：
F1:将各参赛运动员对应各目标赛事图像的在该赛事视频时长中的时间戳进行对比，分析是否存在时间线连续的目标赛事图像，若存在，则统计连续时间线的数量，并对各连续时间线对应的目标赛事图像进行汇总，其中各连续时间线分别对应一个参赛视频段；
F2:将各连续时间线对应的若干目标赛事图像按照其在赛事视频时长中时间戳的先后顺序进行排序，得到各连续时间线对应目标赛事图像的排序结果，由此从排序结果中提取各连续时间线对应排在第一位的目标赛事图像在该赛事视频时长中的时间戳，将其作为该连续时间线对应参赛视频段在该赛事视频中的剪辑开始位置，并提取排在最后一位的目标赛事图像在该赛事视频时长中的时间戳，将其作为该连续时间线对应参赛视频段在该赛事视频中的剪辑结束位置；
F3:根据各连续时间线对应参赛视频段在该赛事视频中的剪辑开始位置和剪辑结束位置，对该赛事视频进行剪辑。
根据本发明第一方面的一种可替换的实施方式，所述S6中将各参赛运动员对应的若干参赛视频段进行合并过程中还包括对相邻参赛视频段的完整合并，其具体合并方法如下：
D1:将各参赛运动员对应的若干参赛视频段按照其在整个赛事视频时长中所处位置的先后顺序进行编号；
D2:按照各参赛运动员对应若干参赛视频段的编号顺序，分别获取相邻两个参赛视频段之间的间隔时长，并将其与设置的最小间隔时长进行对比，若某相邻两个参赛视频段的间隔时长小于最小间隔时长，则表明该相邻两个参赛视频段之间的间隔过小，可以忽略，此时分别获取该相邻两个参赛视频段中前一个参赛视频段对应的视频结束时间戳和后一个参赛视频段对应的视频开始时间戳，以此作为该相邻两个参赛视频段对应间隔视频在整个赛事视频时长中的剪辑开始位置和剪辑结束位置，进而根据剪辑开始位置和剪辑结束位置对赛事视频进行剪辑，得到该相邻两个参赛视频段之间间隔时长对应的间隔视频，并将其补充在该相邻两个参赛视频段之间，合并成一个完整的参赛视频段。
本发明实施例的第二方面提出一种云服务***，包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线***相连，所述网络接口用于与至少一个视频信息智能剪辑处理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于图像特征提取与分析的视频信息智能剪辑处理方法。
基于上述任一方面，本发明的有益效果如下：
1.本发明通过对体育赛事视频进行视频分割，得到若干赛事图像，并对各赛事图像进行人员面部特征提取分析处理，以判断各赛事图像对应所属的参赛运动员，由此将相同参赛运动员对应的赛事图像进行汇总，同时根据各赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，得到各参赛运动员对应的若干参赛视频段，进而对将各参赛运动员对应的若干参赛视频段进行合并形成各参赛运动员对应的综合参赛视频段，实现了对体育赛事视频的智能剪辑，一方面满足了只目标看其喜好体育运动员对应比赛片段的体育爱好者的观看需求，另一方面其划分的参赛视频段为体育爱好者提供了多个观看片段选择，提高了视频观看的选择度，进而不仅提高了观看效率，还增强了观看体验感。
2.本发明在对各赛事图像进行人员面部特征提取分析处理前，对各赛事图像首先进行预处理，剔除无人员的赛事图像，保留有人员的目标赛事图像，为后面对各目标赛事图像进行人员面部特征提取分析处理提供了针对性分析目标，避免对某些无人员的赛事图像进行人员面部特征提取分析造成的做无用功现象，影响分析处理效率。
3.本实施例在判断各目标赛事图像对应所属参赛运动员姓名过程中，综合考虑了目标赛事图像中存在人员的各种情况，对各种情况都给给予了针对性地判断依据，使得判断的结果更加贴近实际，更加可靠。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的方法实施步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明实施例的第一方面提出基于图像特征提取与分析的视频信息智能剪辑处理方法，包括以下步骤：
S1.体育赛事视频赛事图像分割:对体育赛事视频获取视频时长，并将该赛事视频时长按照设置的视频分割帧数进行视频分割，得到若干赛事图像，同时获取各赛事图像在该赛事视频时长中的时间戳；
S2.赛事图像预处理:对分割的若干赛事图像进行预处理，其具体预处理步骤如下：
H1:对各赛事图像分别进行人身体轮廓提取；
H2:若某赛事图像提取不到人身体轮廓，表明该赛事图像中不存在人员，则剔除该赛事图像，若某赛事图像中能够提取到人身体轮廓，则表明该赛事图像中存在人员，则保留该赛事图像；
保留目标赛事图像，其中目标赛事图像是指存在人员的赛事图像，并对保留的各目标赛事图像按照其在赛事视频时长中位置点的先后顺序进行编号，依次标记为1,2,...,i,...,n；
本实施例通过对分割的各赛事图像进行预处理，剔除无人员的赛事图像，保留有人员的目标赛事图像，为后面对各目标赛事图像进行人员面部特征提取分析处理提供了针对性分析目标，避免对某些无人员的赛事图像进行人员面部特征提取分析造成的做无用功现象，影响分析处理效率；
S3.目标赛事图像所属参赛运动员判断:对各目标赛事图像中存在的人员数量进行统计，并分别聚焦在人员面部区域，提取人员的面部图像，进而将其分别与该赛事视频对应各参赛运动员的面部图像进行比对，判断各目标赛事图像对应所属的参赛运动员姓名，其中若某目标赛事图像中只存在一个人员时，其具体判断方法执行以下步骤：
A1:将该目标赛事图像中该人员的面部图像与该赛事视频对应各参赛运动员的面部图像进行比对，若比对成功，则表明该目标赛事图像属于该比对成功的参赛运动员，此时获取该比对成功的参赛运动员对应的姓名，得到该目标赛事图像对应所属的参赛运动员姓名；
A2:若比对失败，则表明该目标赛事图像不属于任何一个参赛运动员，则剔除该目标赛事图像；
若某目标赛事图像中存在多个人员时，其具体判断方法执行以下步骤：
B1:将该目标赛事图像中对应各人员的面部图像与该赛事视频对应各参赛运动员的面部图像进行比对，统计比对成功的人员数量；
B2:若比对成功的人员数量为零，表明该目标赛事图像不属于任何一个参赛运动员，则剔除该目标赛事图像；
B3:若比对成功的人员数量不为零，则将比对成功的人员数量与该目标赛事图像中存在的人员数量进行对比，若比对成功的人员数量只有一个，则表明该目标赛事图像中参赛运动员只有一个，此时获取该参赛运动员对应的姓名，该目标赛事图像对应所属的参赛运动员姓名即为该参赛运动员对应的姓名；
B4:若比对成功的人员数量不只一个，且小于该目标赛事图像中存在的人员数量，则表明该目标赛事图像中既存在参赛运动员，又存在非参赛运动员，此时对该目标赛事图像进行非参赛运动员的模糊化处理，模糊非参赛运动员的身体，只保留参赛运动员的身体，并从保留的各参赛运动员中分析出主体参赛运动员，其具体的分析过程如下：
C1:对保留的各参赛运动员进行编号，分别标记为1,2,...,j,...,m,并定位各参赛运动员身体区域在该目标赛事图像中所处的位置，同时获取该目标赛事图像中心区域所在位置，由此统计各参赛运动员身体区域在该目标赛事图像中所处的位置与该目标赛事图像中心区域所在位置之间的距离，该距离记为位置距离，进而将其构成参赛运动员位置距离集合l(l1,l2,...,lj,...,lm)，lj表示为第j个参赛运动员对应的位置距离；
C2:在该目标赛事图像中提取各参赛运动员的整个身体轮廓，以此得到各参赛运动员身体轮廓在该目标赛事图像中所占的面积，并将其构成参赛运动员身体轮廓面积集合s(s1,s2,...,sj,...,sm)，sj表示为第j个参赛运动员身体轮廓在该目标赛事图像中所占的面积，同时获取该目标赛事图像的总面积，记为S；
C3:根据各参赛运动员对应的位置距离、各参赛运动员身体轮廓在该目标赛事图像中所占的面积和该目标赛事图像的总面积统计各参赛运动员在该目标赛事图像中对应的主体系数
Figure BDA0003067631250000101
ηj表示为第j个参赛运动员在该目标赛事图像中对应的主体系数；
C4:根据各参赛运动员在该目标赛事图像中对应的主体系数从中筛选出主体系数最大的参赛运动员作为主体参赛运动员，与此同时获取该主体参赛运动员对应的姓名，该目标赛事图像对应所属的参赛运动员姓名即为该主体参赛运动员对应的姓名；
B5:若比对成功的人员数量与该目标赛事图像中存在的人员数量相同，则表明该目标赛事图像中存在的所有人员均是参赛运动员，此时按照B4的方法从该目标赛事图像中存在的各参赛运动员中分析出主体参赛运动员，与此同时获取该主体参赛运动员对应的姓名，则该目标赛事图像对应所属的参赛运动员姓名即为该主体参赛运动员对应的姓名；
本实施例在判断各目标赛事图像对应所属参赛运动员姓名过程中，综合考虑了目标赛事图像中存在人员的各种情况，对各种情况都给给予了针对性地判断依据，使得判断的结果更加贴近实际，更加可靠；
S4.参赛运动员对应目标赛事图像集合构建:将各目标赛事图像对应所属的参赛运动员姓名进行对比，从而将相同参赛运动员对应的目标赛事图像进行汇总，得到各参赛运动员对应的目标赛事图像集合；
S5.赛事视频剪辑:根据各参赛运动员对应的目标赛事图像集合和各目标赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，其具体剪辑方法包括以下步骤：
F1:将各参赛运动员对应各目标赛事图像的在该赛事视频时长中的时间戳进行对比，分析是否存在时间线连续的目标赛事图像，若存在，则统计连续时间线的数量，并对各连续时间线对应的目标赛事图像进行汇总，其中各连续时间线分别对应一个参赛视频段；
F2:将各连续时间线对应的若干目标赛事图像按照其在赛事视频时长中时间戳的先后顺序进行排序，得到各连续时间线对应目标赛事图像的排序结果，由此从排序结果中提取各连续时间线对应排在第一位的目标赛事图像在该赛事视频时长中的时间戳，将其作为该连续时间线对应参赛视频段在该赛事视频中的剪辑开始位置，并提取排在最后一位的目标赛事图像在该赛事视频时长中的时间戳，将其作为该连续时间线对应参赛视频段在该赛事视频中的剪辑结束位置；
F3:根据各连续时间线对应参赛视频段在该赛事视频中的剪辑开始位置和剪辑结束位置，对该赛事视频进行剪辑，得到各参赛运动员对应的若干参赛视频段；
S6.参赛运动员对应参赛视频段合并:将各参赛运动员对应的若干参赛视频段进行合并形成各参赛运动员对应的综合参赛视频段，并将其构成参赛视频段信息库，这里在合并过程中还包括对相邻参赛视频段的完整合并，其具体合并方法如下：
D1:将各参赛运动员对应的若干参赛视频段按照其在整个赛事视频时长中所处位置的先后顺序进行编号；
D2:按照各参赛运动员对应若干参赛视频段的编号顺序，分别获取相邻两个参赛视频段之间的间隔时长，并将其与设置的最小间隔时长进行对比，若某相邻两个参赛视频段的间隔时长小于最小间隔时长，则表明该相邻两个参赛视频段之间的间隔过小，可以忽略，此时分别获取该相邻两个参赛视频段中前一个参赛视频段对应的视频结束时间戳和后一个参赛视频段对应的视频开始时间戳，以此作为该相邻两个参赛视频段对应间隔视频在整个赛事视频时长中的剪辑开始位置和剪辑结束位置，进而根据剪辑开始位置和剪辑结束位置对赛事视频进行剪辑，得到该相邻两个参赛视频段之间间隔时长对应的间隔视频，并将其补充在该相邻两个参赛视频段之间，合并成一个完整的参赛视频段；
本实施例通过将各参赛运动员对应的若干参赛视频段进行合并过程中，通过将某些间隔时长过小的相邻参赛视频段进行完整合并，既保障了视频段的完整度，又不影响该参赛视频段中对应该参赛运动员的主体地位，增强了用户观看视频的流畅度；
本实施例在得到各参赛运动员对应的综合参赛视频段之后，还将各参赛运动员对应的综合参赛视频段按照参赛运动员对应的参赛动作不同进行深度剪辑，得到各参赛运动员对应各参赛动作的参赛动作视频片段，其深度剪辑能够更加细化参赛视频段，为后面用户对应想看的参赛视频段提供更加多样的选择方式；
S7.目标参赛运动员参赛视频提取推送：实时获取用户在该赛事视频播放输入平台输入的想要看的参赛运动员姓名及想要看的参赛动作，该参赛运动员姓名记为目标参赛运动员姓名，该参赛动作记为目标参赛动作，并将获取的目标参赛运动员姓名与参赛视频段信息库中各参赛运动员的姓名进行匹配，进而提取匹配成功的目标参赛运动员对应各参赛动作的参赛动作视频片段，与此同时将目标参赛动作与该目标参赛运动员对应的各参赛动作的参赛动作视频片段进行匹配，得到目标参赛运动员对应目标参赛动作的参赛动作视频片段，将其推送给对应的用户。
本实施例通过实时获取用户在该赛事视频播放输入平台输入的想要看的参赛运动员姓名，将其想看参赛运动员姓名对应的参赛视频段进行智能推送，更加方便了用户的观看，体现了智能化程度高和实用性强的特点。
本发明实施例的第二方面提出一种云服务***，包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线***相连，所述网络接口用于与至少一个视频信息智能剪辑处理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于图像特征提取与分析的视频信息智能剪辑处理方法。
本发明通过对体育赛事视频进行视频分割，得到若干赛事图像，并对各赛事图像进行人员面部特征提取分析处理，以判断各赛事图像对应所属的参赛运动员，由此将相同参赛运动员对应的赛事图像进行汇总，同时根据各赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，得到各参赛运动员对应的若干参赛视频段，进而对将各参赛运动员对应的若干参赛视频段进行合并形成各参赛运动员对应的综合参赛视频段，实现了对体育赛事视频的智能剪辑，一方面满足了只目标看其喜好体育运动员对应比赛片段的体育爱好者的观看需求，另一方面其划分的参赛视频段为体育爱好者提供了多个观看片段选择，提高了视频观看的选择度，进而不仅提高了观看效率，还增强了观看体验感。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (10)

1.基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：包括以下步骤；
S1.体育赛事视频赛事图像分割:对体育赛事视频获取视频时长，并将该赛事视频时长按照设置的视频分割帧数进行视频分割，得到若干赛事图像，同时获取各赛事图像在该赛事视频时长中的时间戳；
S2.赛事图像预处理:对分割的若干赛事图像进行预处理，保留目标赛事图像，并对保留的各目标赛事图像按照其在赛事视频时长中位置点的先后顺序进行编号，依次标记为1,2,...,i,...,n；
S3.目标赛事图像所属参赛运动员判断:对各目标赛事图像中存在的人员数量进行统计，并分别聚焦在人员面部区域，提取人员的面部图像，进而将其分别与该赛事视频对应各参赛运动员的面部图像进行比对，判断各目标赛事图像对应所属的参赛运动员姓名；
S4.参赛运动员对应目标赛事图像集合构建:将各目标赛事图像对应所属的参赛运动员姓名进行对比，从而将相同参赛运动员对应的目标赛事图像进行汇总，得到各参赛运动员对应的目标赛事图像集合；
S5.赛事视频剪辑:根据各参赛运动员对应的目标赛事图像集合和各目标赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，得到各参赛运动员对应的若干参赛视频段；
S6.参赛运动员对应参赛视频段合并:将各参赛运动员对应的若干参赛视频段进行合并形成各参赛运动员对应的综合参赛视频段，并将其构成参赛视频段信息库；
S7.目标参赛运动员参赛视频提取推送：实时获取用户在该赛事视频播放输入平台输入的想要看的参赛运动员姓名，该参赛运动员姓名记为目标参赛运动员姓名，并将获取的目标参赛运动员姓名与参赛视频段信息库中各参赛运动员的姓名进行匹配，进而提取匹配成功的目标参赛运动员对应的综合参赛视频段，将其推送给对应的用户。
2.根据权利要求1所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述S2中对分割的若干赛事图像进行预处理，其具体预处理步骤如下：
H1:对各赛事图像分别进行人身体轮廓提取；
H2:若某赛事图像提取不到人身体轮廓，表明该赛事图像中不存在人员，则剔除该赛事图像，若某赛事图像中能够提取到人身体轮廓，则表明该赛事图像中存在人员，则保留该赛事图像。
3.根据权利要求1所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述目标赛事图像是指存在人员的赛事图像。
4.根据权利要求1所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述S3中根据各目标赛事图像中存在的人员数量判断各目标赛事图像对应所属的参赛运动员姓名，其中若某目标赛事图像中只存在一个人员时，其具体判断方法执行以下步骤：
A1:将该目标赛事图像中该人员的面部图像与该赛事视频对应各参赛运动员的面部图像进行比对，若比对成功，则表明该目标赛事图像属于该比对成功的参赛运动员，此时获取该比对成功的参赛运动员对应的姓名，得到该目标赛事图像对应所属的参赛运动员姓名；
A2:若比对失败，则表明该目标赛事图像不属于任何一个参赛运动员，则剔除该目标赛事图像。
5.根据权利要求1所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述S3中根据各目标赛事图像中存在的人员数量判断各目标赛事图像对应所属的参赛运动员姓名，其中若某目标赛事图像中存在多个人员时，其具体判断方法执行以下步骤：
B1:将该目标赛事图像中对应各人员的面部图像与该赛事视频对应各参赛运动员的面部图像进行比对，统计比对成功的人员数量；
B2:若比对成功的人员数量为零，表明该目标赛事图像不属于任何一个参赛运动员，则剔除该目标赛事图像；
B3:若比对成功的人员数量不为零，则将比对成功的人员数量与该目标赛事图像中存在的人员数量进行对比，若比对成功的人员数量只有一个，则表明该目标赛事图像中参赛运动员只有一个，此时获取该参赛运动员对应的姓名，该目标赛事图像对应所属的参赛运动员姓名即为该参赛运动员对应的姓名；
B4:若比对成功的人员数量不只一个，且小于该目标赛事图像中存在的人员数量，则表明该目标赛事图像中既存在参赛运动员，又存在非参赛运动员，此时对该目标赛事图像进行非参赛运动员的模糊化处理，模糊非参赛运动员的身体，只保留参赛运动员的身体，并从保留的各参赛运动员中分析出主体参赛运动员，与此同时获取该主体参赛运动员对应的姓名，该目标赛事图像对应所属的参赛运动员姓名即为该主体参赛运动员对应的姓名；
B5:若比对成功的人员数量与该目标赛事图像中存在的人员数量相同，则表明该目标赛事图像中存在的所有人员均是参赛运动员，此时按照B4的方法从该目标赛事图像中存在的各参赛运动员中分析出主体参赛运动员，与此同时获取该主体参赛运动员对应的姓名，则该目标赛事图像对应所属的参赛运动员姓名即为该主体参赛运动员对应的姓名。
6.根据权利要求5所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述B4中从保留的各参赛运动员中分析出主体参赛运动员，其具体的分析过程如下：
C1:对保留的各参赛运动员进行编号，分别标记为1,2,...,j,...,m,并定位各参赛运动员身体区域在该目标赛事图像中所处的位置，同时获取该目标赛事图像中心区域所在位置，由此统计各参赛运动员身体区域在该目标赛事图像中所处的位置与该目标赛事图像中心区域所在位置之间的距离，该距离记为位置距离，进而将其构成参赛运动员位置距离集合l(l1,l2,...,lj,...,lm)，lj表示为第j个参赛运动员对应的位置距离；
C2:在该目标赛事图像中提取各参赛运动员的整个身体轮廓，以此得到各参赛运动员身体轮廓在该目标赛事图像中所占的面积，并将其构成参赛运动员身体轮廓面积集合s(s1,s2,...,sj,...,sm)，sj表示为第j个参赛运动员身体轮廓在该目标赛事图像中所占的面积，同时获取该目标赛事图像的总面积，记为S；
C3:根据各参赛运动员对应的位置距离、各参赛运动员身体轮廓在该目标赛事图像中所占的面积和该目标赛事图像的总面积统计各参赛运动员在该目标赛事图像中对应的主体系数；
C4:根据各参赛运动员在该目标赛事图像中对应的主体系数从中筛选出主体系数最大的参赛运动员作为主体参赛运动员。
7.根据权利要求6所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述各参赛运动员在该目标赛事图像中对应的主体系数的计算公式为
Figure FDA0003067631240000051
ηj表示为第j个参赛运动员在该目标赛事图像中对应的主体系数。
8.根据权利要求1所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述S5中根据各参赛运动员对应的目标赛事图像集合和各目标赛事图像在该赛事视频时长中的时间戳，对该赛事视频进行剪辑，其具体剪辑方法包括以下步骤：
F1:将各参赛运动员对应各目标赛事图像的在该赛事视频时长中的时间戳进行对比，分析是否存在时间线连续的目标赛事图像，若存在，则统计连续时间线的数量，并对各连续时间线对应的目标赛事图像进行汇总，其中各连续时间线分别对应一个参赛视频段；
F2:将各连续时间线对应的若干目标赛事图像按照其在赛事视频时长中时间戳的先后顺序进行排序，得到各连续时间线对应目标赛事图像的排序结果，由此从排序结果中提取各连续时间线对应排在第一位的目标赛事图像在该赛事视频时长中的时间戳，将其作为该连续时间线对应参赛视频段在该赛事视频中的剪辑开始位置，并提取排在最后一位的目标赛事图像在该赛事视频时长中的时间戳，将其作为该连续时间线对应参赛视频段在该赛事视频中的剪辑结束位置；
F3:根据各连续时间线对应参赛视频段在该赛事视频中的剪辑开始位置和剪辑结束位置，对该赛事视频进行剪辑。
9.根据权利要求1所述的基于图像特征提取与分析的视频信息智能剪辑处理方法，其特征在于：所述S6中将各参赛运动员对应的若干参赛视频段进行合并过程中还包括对相邻参赛视频段的完整合并，其具体合并方法如下：
D1:将各参赛运动员对应的若干参赛视频段按照其在整个赛事视频时长中所处位置的先后顺序进行编号；
D2:按照各参赛运动员对应若干参赛视频段的编号顺序，分别获取相邻两个参赛视频段之间的间隔时长，并将其与设置的最小间隔时长进行对比，若某相邻两个参赛视频段的间隔时长小于最小间隔时长，则表明该相邻两个参赛视频段之间的间隔过小，可以忽略，此时分别获取该相邻两个参赛视频段中前一个参赛视频段对应的视频结束时间戳和后一个参赛视频段对应的视频开始时间戳，以此作为该相邻两个参赛视频段对应间隔视频在整个赛事视频时长中的剪辑开始位置和剪辑结束位置，进而根据剪辑开始位置和剪辑结束位置对赛事视频进行剪辑，得到该相邻两个参赛视频段之间间隔时长对应的间隔视频，并将其补充在该相邻两个参赛视频段之间，合并成一个完整的参赛视频段。
10.一种云服务***，其特征在于：包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线***相连，所述网络接口用于与至少一个视频信息智能剪辑处理设备通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行权利要求1-9中任意一项所述的基于图像特征提取与分析的视频信息智能剪辑处理方法。
CN202110530684.6A 2021-05-15 2021-05-15 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务*** Withdrawn CN113271495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110530684.6A CN113271495A (zh) 2021-05-15 2021-05-15 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110530684.6A CN113271495A (zh) 2021-05-15 2021-05-15 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***

Publications (1)

Publication Number Publication Date
CN113271495A true CN113271495A (zh) 2021-08-17

Family

ID=77230922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110530684.6A Withdrawn CN113271495A (zh) 2021-05-15 2021-05-15 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***

Country Status (1)

Country Link
CN (1) CN113271495A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848337A (zh) * 2009-03-25 2010-09-29 索尼公司 图像处理设备、图像处理方法和程序
US20120027379A1 (en) * 2010-01-29 2012-02-02 Raymond Thompson Video processing methods and systems
CN105144741A (zh) * 2013-03-05 2015-12-09 英国电讯有限公司 视频数据提供
CN105631418A (zh) * 2015-12-24 2016-06-01 浙江宇视科技有限公司 一种人数统计的方法和装置
US20200066090A1 (en) * 2018-08-21 2020-02-27 Highlight Games Limited Dynamic virtual scratch card gaming system
CN111435494A (zh) * 2019-01-13 2020-07-21 杨杰 社区监控大数据上报方法
CN112257628A (zh) * 2020-10-29 2021-01-22 厦门理工学院 一种户外比赛运动员的身份识别方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848337A (zh) * 2009-03-25 2010-09-29 索尼公司 图像处理设备、图像处理方法和程序
US20120027379A1 (en) * 2010-01-29 2012-02-02 Raymond Thompson Video processing methods and systems
CN105144741A (zh) * 2013-03-05 2015-12-09 英国电讯有限公司 视频数据提供
CN105631418A (zh) * 2015-12-24 2016-06-01 浙江宇视科技有限公司 一种人数统计的方法和装置
US20200066090A1 (en) * 2018-08-21 2020-02-27 Highlight Games Limited Dynamic virtual scratch card gaming system
CN111435494A (zh) * 2019-01-13 2020-07-21 杨杰 社区监控大数据上报方法
CN112257628A (zh) * 2020-10-29 2021-01-22 厦门理工学院 一种户外比赛运动员的身份识别方法、装置及设备

Similar Documents

Publication Publication Date Title
CN106162223B (zh) 一种新闻视频切分方法和装置
CN108833936B (zh) 直播间信息推送方法、装置、服务器和介质
CN108718417B (zh) 直播间预览图标的生成方法、装置、服务器及存储介质
CN106210902B (zh) 一种基于弹幕评论数据的影视片段剪辑方法
CN109194978A (zh) 直播视频剪辑方法、装置和电子设备
CN107241645B (zh) 一种通过对视频的字幕识别自动提取进球精彩瞬间的方法
CN109922373A (zh) 视频处理方法、装置及存储介质
CN111757170B (zh) 一种视频分段和标记的方法及装置
CN110012348A (zh) 一种赛事节目自动集锦***及方法
Bettadapura et al. Leveraging contextual cues for generating basketball highlights
CN110381366A (zh) 赛事自动化报道方法、***、服务器及存储介质
CN107137886B (zh) 一种基于大数据的足球技术白板模型及其构建方法和应用
CN109145784A (zh) 用于处理视频的方法和装置
CN113240466B (zh) 基于大数据深度分析的移动传媒视频数据处理方法、设备及存储介质
CN109672899A (zh) 面向游戏直播场景的精彩时刻实时识别与预录制方法
CN111291617B (zh) 基于机器学习的羽毛球赛事视频精彩片段提取方法
Merler et al. Automatic curation of golf highlights using multimodal excitement features
CN110691271A (zh) 一种新闻视频生成方法、***、装置和存储介质
CN110841287A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN112995756A (zh) 短视频的生成方法及装置、短视频生成***
CN111046209B (zh) 图像聚类检索***
CN114863321B (zh) 自动视频生成方法、装置及电子设备和芯片***
CN109918525B (zh) 基于微信小程序的食物图片美学分析标签数据收集***
CN111770359A (zh) 一种赛事视频剪辑方法、***及计算机可读存储介质
CN113271495A (zh) 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210817