CN114222165A - 视频播放方法、装置、设备以及计算机存储介质 - Google Patents

视频播放方法、装置、设备以及计算机存储介质 Download PDF

Info

Publication number
CN114222165A
CN114222165A CN202111677497.7A CN202111677497A CN114222165A CN 114222165 A CN114222165 A CN 114222165A CN 202111677497 A CN202111677497 A CN 202111677497A CN 114222165 A CN114222165 A CN 114222165A
Authority
CN
China
Prior art keywords
video
action
processed
playback
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111677497.7A
Other languages
English (en)
Other versions
CN114222165B (zh
Inventor
李荣生
李晓耕
陶嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111677497.7A priority Critical patent/CN114222165B/zh
Publication of CN114222165A publication Critical patent/CN114222165A/zh
Application granted granted Critical
Publication of CN114222165B publication Critical patent/CN114222165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及多媒体播放技术领域，公开了一种方法，该方法包括：获取待处理视频；待处理视频中包括多个动作；对待处理视频进行识别，得到各个动作的动作类型；根据所述动作类型分别确定各个所述动作的回放时长；根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；播放处理后视频。通过上述方式，本发明实施例提升了用户的视频观看体验。

Description

视频播放方法、装置、设备以及计算机存储介质
技术领域
本发明实施例涉及多媒体播放技术领域，具体涉及一种视频播放方法、装置、设备以及计算机存储介质。
背景技术
在视频播放中，特别是针对画面变化速度较快的视频，用户经常存在慢动作回放的需求。为了实现视频的慢动作回放，可以对视频进行插帧处理。
本申请的发明人在实施本申请实施例的过程中发现，目前的视频插帧方法存在用户的视频观看体验不佳的问题。
发明内容
鉴于上述问题，本发明实施例提供了一种视频播放方法、装置、设备以及计算机存储介质，用于解决现有技术中存在的用户的视频观看体验不佳的问题。
根据本发明实施例的一个方面，提供了一种视频播放方法，所述方法包括：
获取待处理视频；所述待处理视频中包括多个动作；
对所述待处理视频进行识别，得到各个动作的动作类型；
根据所述动作类型分别确定各个所述动作的回放时长；
根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放所述处理后视频。
在一种可选的方式中，所述待处理视频中包括多个视频帧；一个所述动作对应至少一个所述视频帧；所述方法还包括：
对所述待处理视频进行特征提取，得到各个所述视频帧对应的图像特征；
根据所述图像特征对所述视频帧进行聚类，得到聚类结果；
根据所述聚类结果确定各个所述动作以及所述动作对应的所述动作类型。
在一种可选的方式中，所述方法还包括：
确定各个所述动作类型的类型特征信息；
根据所有所述类型特征信息确定各个所述动作类型对应的信息熵；
根据所述信息熵确定确定所述回放时长。
在一种可选的方式中，所述类型特征信息包括所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项；所述方法还包括：
根据所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项分别确定各个所述动作类型对应的播放权重值；
根据所述播放权重值分别确定各个所述动作类型对应的信息熵。
在一种可选的方式中，所述方法还包括：
根据所述信息熵确定各个所述动作类型的回放比例；
确定所述待处理视频对应的总回放时长；
根据所述回放比例以及所述总回放时长确定所述回放时长。
在一种可选的方式中，所述方法还包括：
确定各个所述动作的时间戳信息和当前播放参数；
根据所述回放时长、所述时间戳信息以及所述当前播放参数确定各个所述动作对应的插帧信息；
根据所述插帧信息对各个所述动作进行插帧处理，得到所述处理后视频。。
在一种可选的方式中，所述方法还包括：
在所述待处理视频中对插帧处理后的动作所在帧区间进行标记，得到标记片段；
当检测到针对所述标记片段的操作时，对所述标记片段进行播放。
根据本发明实施例的另一方面，提供了一种视频播放装置，包括：
获取模块，用于获取待处理视频；所述待处理视频中包括多个动作；
识别模块，用于对所述待处理视频进行识别，得到各个动作的动作类型；
确定模块，用于根据所述动作类型分别确定各个所述动作的回放时长；
处理模块，用于根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放模块，用于播放所述处理后视频。
根据本发明实施例的另一方面，提供了一种视频播放设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如所述的视频播放方法的操作。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使视频播放设备执行所述的视频播放方法的操作。
本发明实施例通过获取待处理视频；待处理视频中包括多个动作；对待处理视频进行识别，得到各个动作的动作类型；根据所述动作类型分别确定各个所述动作的回放时长；根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；最后播放处理后视频，区别于现有技术中采取全局回放，导致回放时的播放效果不佳的问题，本发明实施例能够根据待处理视频中包括的动作的动作类型确定回放时长，从而实现根据不同的动作的特点适应性进行不同时长地的回放，使得用户能够获取到数量与动作类型匹配的动作细节信息，由此能够提升用户的视频观看体验。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的视频播放方法的流程示意图；
图2示出了本发明实施例提供的待处理帧区间的标记示意图；
图3示出了本发明实施例提供的处理后视频的播放示意图；
图4示出了本发明实施例提供的视频播放装置的结构示意图；
图5示出了本发明实施例提供的视频播放设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图1示出了本发明实施例提供的视频播放方法的流程图，该方法由计算机处理设备执行。计算机处理设备可以包括手机、笔记本电脑等。如图1所示，该方法包括以下步骤：
步骤10：获取待处理视频；所述待处理视频中包括多个动作。
在本发明的一个实施例中，待处理视频可以包括一或多个运动对象，多个动作可以对应同一个运动对象或者不同的运动对象。可选地，运动对象在待处理视频中存在高速运动，如竞速体育中的运动员或者球类比赛中的球等。
在本发明的再一个实施例中，待处理视频还可以是经过预先筛选得到的精彩视频片段，如根据动作的精彩度或者关联程度预先从视频流中筛选和剪辑出的视频片段。其中，动作精彩度可以根据动作的连续性、动作难度以及动作的完成度等确定，关联程度可以是视频片段与当前播放场景信息的关联程度，当前播放场景信息包括当前播放的视频信息、当前播放的播放时间、地理位置以及用户特征信息等信息。
步骤20：对所述待处理视频进行识别，得到各个动作的动作类型。
在本发明的一个实施例中，将待处理视频分割为多个连续的视频帧，对各个视频帧进行图像特征识别，根据识别结果进行聚类分析，得到各个视频帧对应的动作类型。其中，动作类型可以是针对待处理视频的视频类型所预先标记的可选类型中的一个，视频类型可以是视频中包括的运动类型或者运动目标的类型。如视频的运动类型为滑雪比赛时，可选类型可以包括助滑、起跳、空中飞行以及着陆。针对运动目标为乒乓球的视频类型，可选类型包括落地、落在桌上、落在球拍上、擦网以及空中运动等。
在本发明的一个实施例中，所述待处理视频中包括多个视频帧；一个所述动作对应至少一个所述视频帧；步骤20还包括：
步骤201：对所述待处理视频进行识别，得到各个所述视频帧对应的图像特征。
在本发明的一个实施例中，对待处理视频中的各个视频帧进行图像特征提取，提取方式可以通过卷积神经网络，卷积神经网络中包括卷积层、池化层以及连接层。图像特征可以包括视频帧的RGB特征以及灰度特征等。
步骤202：根据所述图像特征对所述视频帧进行聚类，得到聚类结果。
在本发明的一个实施例中，可以根据K-means算法进行聚类，预先给定c组，对应于c种动作类型，通过将视频帧聚类到对应的组下，得到各个视频帧对应的动作类型作为聚类结果。
步骤203：根据所述聚类结果确定各个所述动作以及所述动作对应的所述动作类型。
在本发明的一个实施例中，可以将动作类型相同且连续出现的视频帧确定为一个动作对应的帧区间，由此得到各个动作，再根据该帧区间中的视频帧的动作类型确定各个动作分别对应的动作类型。
在本发明的再一个实施例中，还可以按照预设的动作检测算法对待处理视频进行检测，得到各个动作及对应的视频帧，然后根据所对应的视频帧的动作类型的比例，将占比最大的视频帧的动作类型确定为该动作的动作类型。
步骤30：根据所述动作类型分别确定各个所述动作的回放时长。
在本发明的一个实施例中，回放时长用于表征该动作被慢动作化的程度，回放时长越长，则用户有更多时间对该动作进行欣赏，由此能够获取到动作的更多细节信息。考虑到用户对于不同类型的动作的观看兴趣度是不同的，针对动作比较复杂、动作难度更大或者动作更精彩的动作，用户往往更想看到更多细节和更长时间观看，因此，可以根据动作类型的类型特征信息确定各个动作类型的播放权重值，该播放权重值用于表征该类型的动作对应的回放时长在总的回放时长的比例。
其中，在根据类型特征信息确定播放权重值时，可以根据类型特征信息确定该动作类型对应的信息熵，再根据信息熵确定播放权重值，其中，信息熵用于表征该动作类型所能提供的信息，具体地，若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值(E)，可称为信息熵。信息熵越大，则提供的信息越多，所能消除的不确定性越大，因此该动作类型对于用户的观看权重越大。
因此，在本发明的再一个实施例中，步骤30还包括：步骤301：确定各个所述动作类型的类型特征信息。
在本发明的一个实施例中，可以将动作类型对应的多个评价维度作为对应的特征维度，得到类型特征信息，所述类型特征信息包括所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项。评价维度可以包括动作复杂度、动作吸引度以及动作难度。
其中，动作复杂度用于表征完成该动作需要的帧数，动作所需要的帧数越多，表示该类动作的步骤越多，包含的细节越多，更需要分配足够多的帧数进行慢放。动作吸引度表征用户对该动作的感兴趣程度，感兴趣程度越高表示用户越希望看到该动作的更多细节和回放。动作难度表示该类动作的实现的难易程度，难度越大的动作的可看性越大，应该分配足够多的帧数进行慢放。
在本发明的再一个实施例中，还可以对多个评价维度下的维度值进行加权求和得到各个动作类型对应的播放权重值。
步骤302：根据所有所述类型特征信息确定各个所述动作类型对应的信息熵。
在本发明的一个实施例中，根据信息熵的如下定义，若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值(E)，可称为信息熵。
具体地，可以根据所有动作类型在各个类型特征维度下的维度值和各个动作类型下的动作的数量确定各个所述动作类型的信息熵。其中，根据动作的数量占所有动作的总数量的比例确定各个动作类型的概率。
在本发明的再一个实施例中，步骤302还包括：
步骤3021：根据所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项分别确定各个所述动作类型对应的播放权重值。
在本发明的一个实施例中，根据所有的动作类型进行动作复杂度、受欢迎度以及动作难度中至少一项特征维度的求和，然后根据各个动作类型在至少一项的特征维度下维度值占维度值之和的比例确定播放权重值。
步骤3022：根据所述播放权重值分别确定各个所述动作类型对应的信息熵。
在本发明的一个实施例中，根据前述信息熵的定义，将一种动作类型确定为一个信源符号的取值，将播放权重值作为该动作类型对应的信源符号的对应概率，计算得到各个动作类型对应的信息熵。
步骤303：根据所述信息熵确定确定所述回放时长。
在本发明的一个实施例中，根据信息熵确定回放比例，根据回放比例和待处理视频对应的总的回放时长确定各个动作对应的回放时长。其中，根据信息熵确定回放比例可以是根据信息熵在基础的回放比例的基准值上进行调节。根据各个动作类型对应的回放比例与总回放时长的乘积确定各个动作分别对应的回放时长。
因此，在本发明的再一个实施例中，步骤303还包括：
步骤3031：根据所述信息熵确定各个所述动作类型的回放比例。
在本发明的一个实施例中，可以设定一个回放比例的基准值，根据各个动作类型的信息熵的比值在该基准值上进行调整，得到各个动作类型的回放比例。
步骤3032：确定所述待处理视频对应的总回放时长。
在本发明的一个实施例中，总回放时长可以根据待处理视频的长度适应性确定。
步骤3033：根据所述回放比例以及所述总回放时长确定所述回放时长。
在本发明的一个实施例中，可以如下公式确定回放时长：
将信息熵H(U)对应于不同的回放时间tn，计算出对应不同类动作的回放时间。令可分类的动作类型为N，针对不同动作类型对应不同的信息熵H(U)，计算出针对每个动作值的信息熵H(U)n，所有类别动作对应的信息熵为H(U)all，
Figure BDA0003452552840000081
令所有动作类型的总回放时间为T，则对应不同动作的回放时间tn为
Figure BDA0003452552840000082
在本发明的再一个实施例中，回放时长与插帧信息之间的关系可以按下式确定:
tn＝Sn*(fen-fsn)/FPS；
其中，tn为动作n的回放时长，Sn为动作n的回放比例，fsn为动作n的起始帧序号，fen为动作n的结束帧序号，FPS为当前帧率。
步骤40：根据所述回放时长分别对各个所述动作进行处理，得到处理后视频。
在本发明的一个实施例中，可以对各个动作进行插帧处理，将其播放时长调节为回放时长，其中，在进行插帧处理时，根据回放时长以及各个动作的当前播放参数和时间戳信息确定对应的该动作对应的插帧信息。
具体地，插帧信息指的是对待处理视频进行插帧处理的参数，可以包括如待处理帧区间、总***帧数以及各个动作对应的***帧数等。其中，目标帧率用于调节动作中包含的视频帧数，目标帧率越大，则用户在单位时间所能接收到的画面帧越多，能够欣赏动作的更多细节。
因此，在本发明的再一个实施例中，步骤40还包括：步骤401：确定各个所述动作的时间戳信息和当前播放参数。
在本发明的一个实施例中，动作的时间戳信息包括该动作在待处理视频中对应的起始帧的序号和结束帧的序号。具体地，时间戳信息可以根据各动作对应的所有的帧序号中的最大值和最小值确定。当前播放参数包括各个所述动作的当前帧率。其中，当前帧率可以是待处理视频的当前播放帧率。
步骤402：根据所述回放时长、所述时间戳信息以及所述当前播放参数确定各个所述动作对应的插帧信息。
在本发明的一个实施例中，插帧信息包括各个动作对应的插帧数量，按照如下公式确定：
hn＝tn*Pn-(fen-fsn)；
其中，hn为动作n对应的插帧数量，Pn为动作n的目标帧率，fsn为动作n的起始帧序号，fen为动作n的结束帧序号。
举例说明，存在M1、M2以及M3三个动作，所在的帧序号区间分别为(2000,2050)，(2051，2075)，(2076，2100)，对应的动作类型分别为C1、C2以及C3，对应的回放比例分别为S1＝3,S2＝2.5,S3＝2，目标帧率分别为P1＝50,P2＝30,P3＝30，对应的当前帧率为FPS＝25，根据前述步骤可以得到，M1、M2以及M3对应的回放时长分别为6s、2.5s、2s，对应的插帧数量分别为250、50、35。
步骤403：根据所述插帧信息对各个所述动作进行插帧处理，得到所述处理后视频。
在本发明的一个实施例中，根据插帧数量对待处理视频进行插帧处理，使得各个动作对应的视频片段在插帧之后的时长为对应的回放时长。
考虑到现有技术中采取对于待处理视频全局慢放处理的方式，会导致视频慢放时播放卡顿，影响用户的观看体验，因此，在本发明的再一个实施例中，还可以首先对待处理视频进行精彩帧筛选，对筛选出的进行慢放处理，所述插帧信息还包括待处理帧区间；所述动作位于所述待处理帧区间中。在步骤403之前还包括：
步骤4031：对所述待处理视频进行精彩动作识别，得到所述待处理帧区间。
在本发明的一个实施例中，对待处理视频进行图像特征提取，根据提取到的图像特征进行运动目标识别，根据运动目标的动作特征信息确定动作精彩度，根据各个动作的动作精彩度从待处理视频中确定待处理帧区间。其中，图像特征可以包括各个视频帧的RGB特征、灰度特征以及像素点的位移特征等，运动特征信息可以包括运动类型、运动高度、运动速度以及旋转圈数等信息。
步骤50：播放所述处理后视频。
在本发明的一个实施例中，为了提醒用户待处理视频中包括了经过插帧处理可以慢放的动作，可以对用于表征精彩动作出现的待处理帧区间的位置进行标记，并生成对应的控件，使得用户在对控件进行操作时，展示对应动作的慢放视频。
因此，在本发明的再一个实施例中，步骤50还包括：
步骤501：在所述待处理视频中对插帧处理后的动作所在帧区间进行标记，得到标记片段。
在本发明的一个实施例中，标记方式可以是在时间轴上标记出插帧处理后的动作所在帧区间，也可以是生成对应的控件在插帧处理后的动作所在帧区间上进行展示，以提示用户点击，触发动作的回放。其中，生成的控件可以参考图2所示。控件可以是在检测到用户端上开始播放待处理视频时开始展示。
步骤502：当检测到针对所述标记片段的操作时，对所述标记片段进行播放。
在本发明的一个实施例中，所检测到的针对标记片段的操作可以是用户点击了标记片段的时间轴，或者点击了标记片段上所展示的控件中对应于回放功能的功能键。其中，标记片段的播放方式可以是以图3所示出的小窗口的形式。
本发明实施例提供的视频播放方法通过获取待处理视频；待处理视频中包括多个动作；对待处理视频进行识别，得到各个动作的动作类型；根据所述动作类型分别确定各个所述动作的回放时长；根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；最后播放处理后视频，区别于现有技术中采取全局回放，导致回放时的播放效果不佳的问题，本发明实施例提供的视频播放方法能够根据待处理视频中包括的动作的动作类型确定回放时长，从而实现根据不同的动作的特点适应性进行不同时长地的回放，使得用户能够获取到与动作类型匹配的动作细节信息，由此能够提升用户的视频观看体验。
图4示出了本发明实施例提供的视频播放装置的结构示意图。如图4所示，该装置600包括：获取模块601、识别模块602、确定模块603、处理模块604及播放模块605。
其中，获取模块601，用于获取待处理视频；所述待处理视频中包括多个动作；
识别模块602，用于对所述待处理视频进行识别，得到各个动作的动作类型；
确定模块603，用于根据所述动作类型分别确定各个所述动作的回放时长；
处理模块604，用于根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放模块605，用于播放所述处理后视频。
在一种可选的方式中，所述待处理视频中包括多个视频帧；一个所述动作对应至少一个所述视频帧；识别模块602还用于：
对所述待处理视频进行识别，得到各个所述视频帧对应的图像特征；
根据所述图像特征对所述视频帧进行聚类，得到聚类结果；
根据所述聚类结果确定各个所述动作以及所述动作对应的所述动作类型；
根据各个所述动作对应的视频帧的帧序号确定各个所述动作的时间戳信息。
在一种可选的方式中，确定模块603还用于：
确定各个所述动作类型的类型特征信息；
根据所有所述类型特征信息确定各个所述动作类型对应的信息熵；
根据所述信息熵确定确定所述回放时长。
在一种可选的方式中，所述类型特征信息包括所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项；确定模块603还用于：
根据所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项分别确定各个所述动作类型对应的播放权重值；
根据所述播放权重值分别确定各个所述动作类型对应的信息熵。
在一种可选的方式中，确定模块603还用于：
根据所述信息熵确定各个所述动作类型的回放比例；
确定所述待处理视频对应的总回放时长；
根据所述回放比例以及所述总回放时长确定所述回放时长。
在一种可选的方式中，识别模块602还用于：
确定各个所述动作的时间戳信息和当前播放参数；
根据所述回放时长、所述时间戳信息以及所述当前播放参数确定各个所述动作对应的插帧信息；
根据所述插帧信息对各个所述动作进行插帧处理，得到所述处理后视频。
在一种可选的方式中，播放模块605还用于：
在所述待处理视频中对插帧处理后的动作所在帧区间进行标记，得到标记片段；
当检测到针对所述标记片段的操作时，对所述标记片段进行播放。
本发明实施例提供的视频播放装置通过获取待处理视频；待处理视频中包括多个动作；对待处理视频进行识别，得到各个动作的动作类型；根据所述动作类型分别确定各个所述动作的回放时长；根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；最后播放处理后视频，区别于现有技术中采取全局回放，导致回放时的播放效果不佳的问题，本发明实施例提高的视频播放装置能够根据待处理视频中包括的动作的动作类型确定回放时长，从而实现根据不同的动作的特点适应性进行不同时长地的回放，使得用户能够获取到与动作类型匹配的动作细节信息，由此能够提升用户的视频观看体验。
图5示出了本发明实施例提供的视频播放设备的结构示意图，本发明具体实施例并不对视频播放设备的具体实现做限定。
如图5所示，该视频播放设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。处理器702，用于执行程序710，具体可以执行上述用于视频播放方法实施例中的相关步骤。
具体地，程序710可以包括程序代码，该程序代码包括计算机可执行指令。
处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。视频播放设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序710具体可以被处理器702调用使视频播放设备执行以下操作：
获取待处理视频；所述待处理视频中包括多个动作；
对所述待处理视频进行识别，得到各个动作的动作类型；
根据所述动作类型分别确定各个所述动作的回放时长；
根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放所述处理后视频。
在一种可选的方式中，所述待处理视频中包括多个视频帧；一个所述动作对应至少一个所述视频帧；所述程序710被处理器702调用使视频播放设备执行以下操作：
对所述待处理视频进行特征提取，得到各个所述视频帧对应的图像特征；
根据所述图像特征对所述视频帧进行聚类，得到聚类结果；
根据所述聚类结果确定各个所述动作以及所述动作对应的所述动作类型。在一种可选的方式中，所述程序710被处理器702调用使视频播放设备执行以下操作：
确定各个所述动作类型的类型特征信息；
根据所有所述类型特征信息确定各个所述动作类型对应的信息熵；
根据所述信息熵确定确定所述回放时长。
在一种可选的方式中，所述类型特征信息包括所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项；所述程序710被处理器702调用使视频播放设备执行以下操作：
根据所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项分别确定各个所述动作类型对应的播放权重值；
根据所述播放权重值分别确定各个所述动作类型对应的信息熵。
在一种可选的方式中，所述程序710被处理器702调用使视频播放设备执行以下操作：
根据所述信息熵确定各个所述动作类型的回放比例；
确定所述待处理视频对应的总回放时长；
根据所述回放比例以及所述总回放时长确定所述回放时长。
在一种可选的方式中，所述程序710被处理器702调用使视频播放设备执行以下操作：
确定各个所述动作的时间戳信息和当前播放参数；
根据所述回放时长、所述时间戳信息以及所述当前播放参数确定各个所述动作对应的插帧信息；
根据所述插帧信息对各个所述动作进行插帧处理，得到所述处理后视频。在一种可选的方式中，所述程序710被处理器702调用使视频播放设备执行以下操作：
在所述待处理视频中对插帧处理后的动作所在帧区间进行标记，得到标记片段；
当检测到针对所述标记片段的操作时，对所述标记片段进行播放。
本发明实施例提供的视频播放设备通过获取待处理视频；待处理视频中包括多个动作；对待处理视频进行识别，得到各个动作的动作类型；根据所述动作类型分别确定各个所述动作的回放时长；根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；最后播放处理后视频，区别于现有技术中采取全局回放，导致回放时的播放效果不佳的问题，本发明实施例提高的视频播放设备能够根据待处理视频中包括的动作的动作类型确定回放时长，从而实现根据不同的动作的特点适应性进行不同时长地的回放，使得用户能够获取到与动作类型匹配的动作细节信息，由此能够提升用户的视频观看体验。
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在视频播放设备上运行时，使得所述视频播放设备执行上述任意方法实施例中的视频播放方法。
可执行指令具体可以用于使得视频播放设备执行以下操作：
获取待处理视频；所述待处理视频中包括多个动作；
对所述待处理视频进行识别，得到各个动作的动作类型；
根据所述动作类型分别确定各个所述动作的回放时长；
根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放所述处理后视频。
在一种可选的方式中，所述待处理视频中包括多个视频帧；一个所述动作对应至少一个所述视频帧；所述可执行指令使所述视频播放设备执行以下操作：
对所述待处理视频进行特征提取，得到各个所述视频帧对应的图像特征；
根据所述图像特征对所述视频帧进行聚类，得到聚类结果；
根据所述聚类结果确定各个所述动作以及所述动作对应的所述动作类型。
在一种可选的方式中，所述可执行指令使所述视频播放设备执行以下操作：
确定各个所述动作类型的类型特征信息；
根据所有所述类型特征信息确定各个所述动作类型对应的信息熵；
根据所述信息熵确定确定所述回放时长。
在一种可选的方式中，所述类型特征信息包括所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项；所述可执行指令使所述视频播放设备执行以下操作：
根据所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项分别确定各个所述动作类型对应的播放权重值；
根据所述播放权重值分别确定各个所述动作类型对应的信息熵。
在一种可选的方式中，所述可执行指令使所述视频播放设备执行以下操作：
根据所述信息熵确定各个所述动作类型的回放比例；
确定所述待处理视频对应的总回放时长；
根据所述回放比例以及所述总回放时长确定所述回放时长。
在一种可选的方式中，所述可执行指令使所述视频播放设备执行以下操作：
确定各个所述动作的时间戳信息和当前播放参数；
根据所述回放时长、所述时间戳信息以及所述当前播放参数确定各个所述动作对应的插帧信息；
根据所述插帧信息对各个所述动作进行插帧处理，得到所述处理后视频。
在一种可选的方式中，所述可执行指令使所述视频播放设备执行以下操作：
在所述待处理视频中对插帧处理后的动作所在帧区间进行标记，得到标记片段；
当检测到针对所述标记片段的操作时，对所述标记片段进行播放。
本发明实施例提供的计算机存储介质通过获取待处理视频；待处理视频中包括多个动作；对待处理视频进行识别，得到各个动作的动作类型；根据所述动作类型分别确定各个所述动作的回放时长；根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；最后播放处理后视频，区别于现有技术中采取全局回放，导致回放时的播放效果不佳的问题，本发明实施例提供的计算机存储介质能够根据待处理视频中包括的动作的动作类型确定回放时长，从而实现根据不同的动作的特点适应性进行不同时长地的回放，使得用户能够获取到与动作类型匹配的动作细节信息，由此能够提升用户的视频观看体验。
本发明实施例提供一种视频播放装置，用于执行上述视频播放方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使视频播放设备执行上述任意方法实施例中的视频播放方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的视频播放方法。
在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种视频播放方法，其特征在于，所述方法包括：
获取待处理视频；所述待处理视频中包括多个动作；
对所述待处理视频进行识别，得到各个所述动作的动作类型；
根据所述动作类型分别确定各个所述动作的回放时长；
根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放所述处理后视频。
2.根据权利要求1所述的方法，其特征在于，所述待处理视频中包括多个视频帧；一个所述动作对应至少一个所述视频帧；所述对所述待处理视频进行识别，得到各个所述动作的动作类型，包括：
对所述待处理视频进行特征提取，得到各个所述视频帧对应的图像特征；
根据所述图像特征对所述视频帧进行聚类，得到聚类结果；
根据所述聚类结果确定各个所述动作以及所述动作对应的所述动作类型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述动作类型确定所述动作的回放时长，包括：
确定各个所述动作类型的类型特征信息；
根据所有所述类型特征信息确定各个所述动作类型对应的信息熵；
根据所述信息熵确定确定所述回放时长。
4.根据权利要求3所述的方法，其特征在于，所述类型特征信息包括所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项；所述根据所有所述类型特征信息确定各个所述动作类型对应的信息熵，包括：
根据所述动作类型的动作复杂度、受欢迎度以及动作难度中的至少一项分别确定各个所述动作类型对应的播放权重值；
根据所述播放权重值分别确定各个所述动作类型对应的信息熵。
5.根据权利要求3所述的方法，其特征在于，所述根据所述信息熵确定确定所述回放时长，包括：
根据所述信息熵确定各个所述动作类型的回放比例；
确定所述待处理视频对应的总回放时长；
根据所述回放比例以及所述总回放时长确定所述回放时长。
6.根据权利要求3所述的方法，其特征在于，所述根据所述回放时长对所述待处理视频进行处理，得到处理后视频，包括：
确定各个所述动作的时间戳信息和当前播放参数；
根据所述回放时长、所述时间戳信息以及所述当前播放参数确定各个所述动作对应的插帧信息；
根据所述插帧信息对各个所述动作进行插帧处理，得到所述处理后视频。
7.根据权利要求1所述的方法，其特征在于，所述播放所述处理后视频，包括：
在所述待处理视频中对插帧处理后的动作所在帧区间进行标记，得到标记片段；
当检测到针对所述标记片段的操作时，对所述标记片段进行播放。
8.一种视频播放装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频；所述待处理视频中包括多个动作；
识别模块，用于对所述待处理视频进行识别，得到各个所述动作的动作类型；
确定模块，用于根据所述动作类型分别确定各个所述动作的回放时长；
处理模块，用于根据所述回放时长分别对各个所述动作进行处理，得到处理后视频；
播放模块，用于播放所述处理后视频。
9.一种视频播放设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7任意一项所述的视频播放方法的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在视频播放设备上运行时，使得视频播放设备执行如权利要求1-7任意一项所述的视频播放方法的操作。
CN202111677497.7A 2021-12-31 2021-12-31 视频播放方法、装置、设备以及计算机存储介质 Active CN114222165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111677497.7A CN114222165B (zh) 2021-12-31 2021-12-31 视频播放方法、装置、设备以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111677497.7A CN114222165B (zh) 2021-12-31 2021-12-31 视频播放方法、装置、设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN114222165A true CN114222165A (zh) 2022-03-22
CN114222165B CN114222165B (zh) 2023-11-10

Family

ID=80707494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111677497.7A Active CN114222165B (zh) 2021-12-31 2021-12-31 视频播放方法、装置、设备以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114222165B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004091195A1 (en) * 2003-04-11 2004-10-21 Id (Event Marketing) Monaco Sam Method of and apparatus for providing a visual presentation
US20160293209A1 (en) * 2015-03-31 2016-10-06 Xiaomi Inc. Method and device for controlling playback
US9661384B1 (en) * 2016-04-05 2017-05-23 Arris Enterprises Llc Trick play user activity reconstruction
CN109964275A (zh) * 2016-10-14 2019-07-02 乐威指南公司 用于在检测到事件时与正常速度视频流同时提供慢动作视频流的***和方法
CN111147955A (zh) * 2019-12-31 2020-05-12 咪咕视讯科技有限公司 视频播放方法、服务器和计算机可读存储介质
CN112153462A (zh) * 2019-06-26 2020-12-29 腾讯科技（深圳）有限公司 视频处理方法、装置、终端及存储介质
CN112422863A (zh) * 2019-08-22 2021-02-26 华为技术有限公司 一种智能录像方法和装置
CN113014995A (zh) * 2021-02-26 2021-06-22 北京蜂巢世纪科技有限公司 视频回放方法、介质、眼镜及程序产品
CN113515997A (zh) * 2020-12-28 2021-10-19 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置以及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004091195A1 (en) * 2003-04-11 2004-10-21 Id (Event Marketing) Monaco Sam Method of and apparatus for providing a visual presentation
US20160293209A1 (en) * 2015-03-31 2016-10-06 Xiaomi Inc. Method and device for controlling playback
US9661384B1 (en) * 2016-04-05 2017-05-23 Arris Enterprises Llc Trick play user activity reconstruction
CN109964275A (zh) * 2016-10-14 2019-07-02 乐威指南公司 用于在检测到事件时与正常速度视频流同时提供慢动作视频流的***和方法
CN112153462A (zh) * 2019-06-26 2020-12-29 腾讯科技（深圳）有限公司 视频处理方法、装置、终端及存储介质
CN112422863A (zh) * 2019-08-22 2021-02-26 华为技术有限公司 一种智能录像方法和装置
CN111147955A (zh) * 2019-12-31 2020-05-12 咪咕视讯科技有限公司 视频播放方法、服务器和计算机可读存储介质
CN113515997A (zh) * 2020-12-28 2021-10-19 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置以及可读存储介质
CN113014995A (zh) * 2021-02-26 2021-06-22 北京蜂巢世纪科技有限公司 视频回放方法、介质、眼镜及程序产品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H. PAN等: ""Detection of slow-motion replay segments in sports video for highlights generation"", 《2001 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS》 *
周国昌: "MOOC在线学习行为建模与分析", 《中国硕士学位论文全文库》 *
董乐乐: ""基于关键帧提取的视频智能快进技术"", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN114222165B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN109145840B (zh) 视频场景分类方法、装置、设备及存储介质
US9600717B1 (en) Real-time single-view action recognition based on key pose analysis for sports videos
EP2800057B1 (en) Mobile determination of properties of a trajectory of a ball
CN111988638B (zh) 一种拼接视频的获取方法、装置、电子设备和存储介质
CN110602554A (zh) 封面图像确定方法、装置及设备
CN110505519A (zh) 一种视频剪辑方法、电子设备及存储介质
CN110225402B (zh) 智能保持全景视频中兴趣目标时刻显示的方法及装置
JP4886707B2 (ja) オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム
CN112183588A (zh) 视频处理方法及装置、电子设备及存储介质
US11917264B2 (en) Systems and methods for providing video enhancement for sporting events
CN114584680A (zh) 一种运动数据展示方法、装置、计算机设备及存储介质
CN112837350A (zh) 目标运动对象识别方法、装置、电子设备及存储介质
CN110287934B (zh) 一种对象检测方法、装置、客户端及服务器
CN113992976B (zh) 视频播放方法、装置、设备以及计算机存储介质
CN112150464A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN114222165B (zh) 视频播放方法、装置、设备以及计算机存储介质
US11749309B2 (en) Information processor, information processing method, and program
CN111726649B (zh) 视频流处理方法、装置、计算机设备和介质
CN111476056A (zh) 目标物体的识别方法、装置、终端设备及计算机存储介质
CN110490064B (zh) 体育视频数据的处理方法、装置、计算机设备及计算机存储介质
US20230377335A1 (en) Key person recognition in immersive video
CN113971693A (zh) 直播画面生成方法、***、装置及电子设备
CN108121963B (zh) 视频数据的处理方法、装置及计算设备
CN113992975B (zh) 视频播放方法、装置、设备以及计算机存储介质
CN108632639B (zh) 一种视频类型判断方法及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant