CN115103222A - 一种视频音轨处理方法及相关设备 - Google Patents

一种视频音轨处理方法及相关设备 Download PDF

Info

Publication number
CN115103222A
CN115103222A CN202210722194.0A CN202210722194A CN115103222A CN 115103222 A CN115103222 A CN 115103222A CN 202210722194 A CN202210722194 A CN 202210722194A CN 115103222 A CN115103222 A CN 115103222A
Authority
CN
China
Prior art keywords
video
player
track
highlight
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210722194.0A
Other languages
English (en)
Inventor
郝成
刘广宾
赵文娴
李尧彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Original Assignee
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan MgtvCom Interactive Entertainment Media Co Ltd filed Critical Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority to CN202210722194.0A priority Critical patent/CN115103222A/zh
Publication of CN115103222A publication Critical patent/CN115103222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本公开提供的一种视频音轨处理方法及相关设备,可以响应于用户在客户端上播放第一视频的触发操作,获得第一视频的视频标识,客户端配置有第一播放器和第二播放器;检测与视频标识对应的第一精彩片段信息,第一精彩片段信息包括与第一视频中第一精彩片段对应的第一片段标识和第一片段位置;检测是否存在与第一片段标识对应的第一音轨标识,如果存在,则获得与第一音轨标识对应的第一解说音轨;利用第一片段位置,控制第一播放器跳转播放第一视频的第一精彩片段,并控制第二播放器播放第一解说音轨。本公开通过两个播放器分别对视频的精彩片段与解说音轨进行同时播放,无需修改视频文件,在提升视听氛围的同时,减轻内容分发网络的存储压力。

Description

一种视频音轨处理方法及相关设备
技术领域
本公开涉及计算机技术领域,尤其涉及一种视频音轨处理方法及相关设备。
背景技术
随着多媒体技术的发展以及智能设备的普及,用户可以在智能设备上使用相应多媒体服务的客户端,享受到优质的视听体验。
当前,若要在播放视频的精彩片段时实现解说音轨的播放,需要将解说音轨与该视频进行合并,并将合并解说音轨后的视频文件进行转码,将转码后的视频文件部署至内容分发网络(Content Delivery Network,CDN),以使智能设备在播放该视频的精彩片段时,由用户选择或者默认选择播放解说音轨。
然而,将解说音轨与视频进行合并,相当于对视频文件进行修改,在此过程中容易破坏视频文件的完整性。同时,内容分发网络需要对合并前后的视频均进行存储,增加了内容分发网络的存储压力。
因此,如何在不修改视频媒体文件的前提下,实现在播放视频的精彩片段的情况下播放解说音轨,成为本领域技术人员急需解决的技术问题。
发明内容
鉴于上述问题,本公开提供一种克服上述问题或者至少部分地解决上述问题的一种视频音轨处理方法及相关设备,技术方案如下:
一种视频音轨处理方法,包括:
响应于用户在客户端上播放第一视频的触发操作,获得所述第一视频的视频标识,其中,所述客户端配置有第一播放器和第二播放器;
检测与所述视频标识对应的第一精彩片段信息,其中,所述第一精彩片段信息包括与所述第一视频中第一精彩片段对应的第一片段标识和第一片段位置;
检测是否存在与所述第一片段标识对应的第一音轨标识,如果存在,则获得与所述第一音轨标识对应的第一解说音轨;
利用所述第一片段位置,控制所述第一播放器跳转播放所述第一视频的所述第一精彩片段,并控制所述第二播放器播放所述第一解说音轨。
可选的,所述方法还包括:
在所述第二播放器播放所述第一解说音轨的情况下,控制所述第一播放器停止播放与所述第一视频对应的原始视频音轨。
可选的,在所述响应于用户在客户端上播放第一视频的触发操作之前,所述方法还包括:
确定所述第一视频中的所述第一精彩片段,并生成与所述第一精彩片段对应的所述第一精彩片段信息;
构建所述第一精彩片段信息与所述第一视频的所述视频标识的对应关系;
获得与所述第一精彩片段对应的第一解说文本;
利用预设音色将所述第一解说文本转换为所述第一解说音轨;
构建所述第一解说音轨的所述第一音轨标识与所述第一片段标识的对应关系。
可选的,所述方法还包括:
在所述第二播放器播放所述第一解说音轨结束之后,控制所述第一播放器继续播放所述第一视频以及所述原始视频音轨。
可选的,所述方法还包括:
在所述第二播放器播放所述第一解说音轨结束后,检测与所述视频标识对应的第二精彩片段信息,其中,所述第二精彩片段信息包括与所述第一视频中第二精彩片段对应的第二片段标识和第二片段位置,其中,所述第二片段位置在所述第一片段位置之后;
检测是否存在与所述第二片段标识对应的第二音轨标识,如果存在,则获得与所述第二音轨标识对应的第二解说音轨;
利用所述第二片段位置,控制所述第一播放器跳转播放所述第一视频的所述第二精彩片段,并控制所述第二播放器播放所述第二解说音轨。
可选的,所述方法还包括:
对所述第一播放器和所述第二播放器进行网络缓冲监听;
在所述第一播放器对所述第一精彩片段缓存的第一可播放数据小于第一预设阈值的情况下,控制所述第一播放器停止播放所述第一精彩片段,并控制所述第二播放器停止播放所述第一解说音轨;在所述第一可播放数据不小于所述第一预设阈值的情况下,控制所述第一播放器继续播放所述第一精彩视频,并控制所述第二播放器继续播放所述第一解说音轨;
和/或,在所述第二播放器对所述第一解说音轨缓存的第二可播放数据小于第二预设阈值的情况下,控制所述第二播放器停止播放所述第一解说音轨,并控制所述第一播放器停止播放所述第一精彩片段;在所述第二可播放数据不小于所述第二预设阈值的情况下,控制所述第二播放器继续播放所述第一解说音轨,并控制所述第二播放器继续播放所述第一精彩视频。
可选的,所述在所述第二播放器播放所述第一解说音轨的情况下,控制所述第一播放器停止播放与所述第一视频对应的原始视频音轨,包括:
在所述第二播放器播放所述第一解说音轨的情况下,控制所述第一播放器在解码出与所述第一视频对应的原始视频音轨的音频数据之后,不将所述音频数据输出至所述第一播放器的音频播放组件,以停止播放所述原始视频音轨。
一种视频音轨处理装置,包括:第一获得单元、第一检测单元、第二检测单元、第二获得单元以及第一播放单元,
所述第一获得单元,用于响应于用户在客户端上播放第一视频的触发操作,获得所述第一视频的视频标识,其中,所述客户端配置有第一播放器和第二播放器;
所述第一检测单元,用于检测与所述视频标识对应的第一精彩片段信息,其中,所述第一精彩片段信息包括与所述第一视频中第一精彩片段对应的第一片段标识和第一片段位置;
所述第二检测单元,用于检测是否存在与所述第一片段标识对应的第一音轨标识,如果存在,则触发所述第二获得单元;
所述第二获得单元,用于获得与所述第一音轨标识对应的第一解说音轨;
所述第一播放单元,用于利用所述第一片段位置,控制所述第一播放器跳转播放所述第一视频的所述第一精彩片段,并控制所述第二播放器播放所述第一解说音轨。
一种计算机可读存储介质,其上存储有程序,所述程序被处理器执行时实现上述任一项所述的视频音轨处理方法。
一种电子设备,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行上述任一项所述的视频音轨处理方法。
借由上述技术方案,本公开提供的一种视频音轨处理方法及相关设备,可以响应于用户在客户端上播放第一视频的触发操作,获得第一视频的视频标识,客户端配置有第一播放器和第二播放器;检测与视频标识对应的第一精彩片段信息,第一精彩片段信息包括与第一视频中第一精彩片段对应的第一片段标识和第一片段位置;检测是否存在与第一片段标识对应的第一音轨标识,如果存在,则获得与第一音轨标识对应的第一解说音轨;利用第一片段位置,控制第一播放器跳转播放第一视频的第一精彩片段,并控制第二播放器播放第一解说音轨。本公开通过两个播放器分别对视频的精彩片段与解说音轨进行同时播放,无需修改视频文件,在用户观看视频的精彩片段时提升视听氛围,并减轻了内容分发网络的存储压力。
上述说明仅是本公开技术方案的概述,为了能够更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂,以下特举本公开的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本公开的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本公开实施例提供的视频音轨处理方法的一种实施方式的流程示意图;
图2示出了本公开实施例提供的视频音轨处理方法的另一种实施方式的流程示意图;
图3示出了本公开实施例提供的视频音轨处理方法的整体过程的说明示意图;
图4示出了本公开实施例提供的视频音轨处理方法的播放过程的说明示意图;
图5示出了本公开实施例提供的视频音轨处理装置的一种结构示意图;
图6示出了本公开实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,本公开实施例提供的视频音轨处理方法的一种实施方式的流程示意图,该视频音轨处理方法可以包括:
S100、响应于用户在客户端上播放第一视频的触发操作,获得第一视频的视频标识,其中,客户端配置有第一播放器和第二播放器。
其中,客户端可以是为用户提供多媒体服务的应用程序。可选的,触发操作可以为点击操作。用户可以在客户端上点击第一视频的播放按钮,输出第一视频的播放指令。本公开实施例在接收到该播放指令之后,获得第一视频的视频标识。
可选的,视频标识可以是第一视频的唯一媒资编号。可选的,视频标识可以为32位字符串。
其中,第一播放器用于播放第一视频。第二播放器用于播放解说音轨。
S200、检测与视频标识对应的第一精彩片段信息,其中,第一精彩片段信息包括与第一视频中第一精彩片段对应的第一片段标识和第一片段位置。
其中,第一精彩片段可以是由人工或预设精彩片段确定模型预先在第一视频中确定出的视频片段。可以理解的是,本公开实施例可以预先为第一精彩片段生成相应的第一精彩片段信息。
可选的,第一片段标识可以是第一精彩片段的唯一视频片段编号。可选的,第一片段标识可以为32位字符串。
其中,第一片段位置用于指示第一精彩片段在第一视频中的位置。可选的,第一片段位置可以为第一精彩片段在第一视频中的播放起始时间。
可选的,本公开实施例可以预先构建视频标识与第一精彩片段信息的对应关系,通过检测视频标识,可以查询出与该视频标识对应的第一精彩片段信息。
可选的,本公开实施例可以在检测不到与视频标识对应的第一精彩片段信息的情况下,对第一视频进行常规播放。
可选的,基于图1所示方法,如图2所示,本公开实施例提供的视频音轨处理方法的另一种实施方式的流程示意图,在步骤S100之前,该视频音轨处理方法还可以包括:
A100、确定第一视频中的第一精彩片段,并生成与第一精彩片段对应的第一精彩片段信息。
可选的,任一精彩片段信息可以如表1所示,精彩片段信息可以包括片段标识、片段标题、解说文本以及片段位置。
表1
片段标识 片段标题 解说文本 片段位置(单位:秒)
32位字符串 快乐搞笑 *** 361
例如:精彩片段信息可以为:
“video_wonderful_info{
media_uuid:adbxxxxxxx,
wonderful_text:精彩视频解说音轨的文本内容
seek_point:2800
}”。
A200、构建第一精彩片段信息与第一视频的视频标识的对应关系。
具体的,本公开实施例可以通过第一精彩片段信息中的片段标识与第一视频的视频标识构建对应关系。可选的,片段标识与视频标识的对应关系可以如表2所示。本公开实施例通过检测第一视频标识,可以检测出与第一视频标识对应的第一片段标识,从而获得与第一片段标识对应的第一精彩片段信息。
表2
视频标识 文件名称 片段标识
32位字符串 《快乐大本营》 32位字符串
A300、获得与第一精彩片段对应的第一解说文本。
可选的,解说文本可以是技术人员对精彩片段预先编辑好解说文字内容,也可以是采集识别出的与精彩片段对应的用户评论文字内容。
本公开实施例可以通过第一精彩片段对应的第一精彩片段信息中获得字段“解说文本”下的精彩视频解说音轨的文本内容。
A400、利用预设音色将第一解说文本转换为第一解说音轨。
可选的,本公开实施例可以通过在线成熟的AI音频平台,使用预先选择好的音色将解说文本转换为解说音轨,并保存该解说音轨。
A500、构建第一解说音轨的第一音轨标识与第一片段标识的对应关系。
可选的,第一音轨标识可以是第一解说音轨的唯一音轨编号。可选的,第一音轨标识可以为32位字符串。
可选的,音轨标识与片段标识的对应关系可以如表3所示。本公开实施例通过检测第一片段标识,可以检测出与第一片段标识对应的第一音轨标识,从而获得与第一音轨标识对应的第一解说音轨。
表3
音轨标识 时间长度(单位:秒) 片段标识
32位字符串 90 32位字符串
本公开实施例通过构建视频标识、片段标识以及音轨标识之间的对应关系,可以基于精彩片段信息自定义生成样式丰富的解说音轨,并将解说音轨与精彩片段进行匹配,提升用户的视听体验。
S300、检测是否存在与第一片段标识对应的第一音轨标识,如果存在,则执行步骤S400。
可选的,本公开实施例可以在检测到不存在与第一片段标识对应的第一音轨标识的情况下,则直接控制第一播放器播放第一精彩片段,不对第二播放器进行任何控制。
S400、获得与第一音轨标识对应的第一解说音轨。
S500、利用第一片段位置,控制第一播放器跳转播放第一视频的第一精彩片段,并控制第二播放器播放第一解说音轨。
具体的,控制客户端启动两个多媒体播放对象(Media Player):第一播放器和第二播放器,由第一播放器定位第一视频的第一片段位置,直接跳转至该第一片段位置,对第一精彩片段进行播放。在检测到存在与第一精彩片段对应的第一解说音轨的情况下,协同控制第二播放器对第一解说音轨进行播放。
可选的,本公开实施例可以控制第二播放器按照预设音量播放第一解说音轨。
可选的,本公开实施例可以在第二播放器播放第一解说音轨的情况下,控制第一播放器停止播放与第一视频对应的原始视频音轨。
具体的,本公开实施例可以在第二播放器播放第一解说音轨的情况下,控制第一播放器在解码出与第一视频对应的原始视频音轨的音频数据之后,不将音频数据输出至第一播放器的音频播放组件(audiosink),以停止播放原始视频音轨。
可选的,第一播放器具有丢弃音频数据的功能。本公开实施例可以在第二播放器播放第一解说音轨时,控制第一播放器对第一视频对应的原始视频音轨的解码音频进行音视频同步操作(AVSYNC)之后,丢弃该解码音频缓冲的音频数据,不将该音频数据输出至第一播放器的音频播放组件。
可选的,本公开实施例可以在第二播放器播放第一解说音轨结束之后,控制第一播放器继续播放第一视频以及原始视频音轨。
本公开实施例可以在第二播放器结束播放第一解说音轨之后,同步更新状态,以使第一播放器将对第一视频对应的原始视频音轨的解码音频缓冲的音频数据输出至音频播放组件,以使第一播放器恢复对第一视频的常规播放。
可选的,解说音轨和视频可以分开存储在不同的内容分发网络(ContentDelivery Network,CDN)。
为了便于理解本公开实施例提供的视频音轨处理方法的整体过程,此处结合图3进行说明:如图3所示,可以由人工根据视频的媒体资源编辑出精彩片段信息,并由该精彩片段信息智能生成解说音轨。在用户选择播放视频时,检测该视频的视频标识获得相应的精彩片段信息,快进至相应的精彩片段,并根据该精彩片段的片段标识,判断是否有相应的解说音轨,如果有,则从解说音轨CDN拉取该解说音轨至第二播放器,并向第一播放器发送静音通知,以使第一播放器从视频CDN获得视频后,从精彩片段开始播放该视频,在播放精彩片段结束后,继续对该视频进行常规播放。本公开实施例无需对视频重新转码添加解说音轨,避免转码对视频文件造成的损坏,节约CDN的存储资源。
为了便于理解本公开实施例提供的视频音轨处理方法的播放过程,此处结合图4进行说明:如图4所示,本公开实施例在客户端提供一个播放状态管理组件,用于管理第一播放器和第二播放器的播放状态。首先分别创建第一播放器和第二播放器。第一播放器对视频的音频流和视频流进行分离,得到视频的音频数据和视频数据。第一播放器在对该音频数据进行解码后,判断是否有解说音轨,如果有,则丢弃该音频数据,如果没有,则输出该音频数据。第一播放器在对视频数据进行解码后,输出该视频数据。第一播放器可以通过播放状态管理组件查询第二播放器的播放状态。第二播放器在拉取到解说音轨的音频数据后,对该音频数据进行解码,根据预设音量播放该音频数据,直至该解说音轨播放完成。第二播放器可以向播放管理组件更新自身的播放状态。
可选的,本公开实施例还可以在第二播放器播放第一解说音轨结束后,检测与视频标识对应的第二精彩片段信息,其中,第二精彩片段信息包括与第一视频中第二精彩片段对应的第二片段标识和第二片段位置,其中,第二片段位置在第一片段位置之后;检测是否存在与第二片段标识对应的第二音轨标识,如果存在,则获得与第二音轨标识对应的第二解说音轨;利用第二片段位置,控制第一播放器跳转播放第一视频的第二精彩片段,并控制第二播放器播放第二解说音轨。
可以理解的是,视频中可以存在多个精彩片段。本公开实施例可以在对一个精彩片段对应的解说音轨播放结束后,检测视频中另一个精彩片段,并对该精彩片段和该精彩片段对应的解说音轨进行播放。本公开实施例通过连续播放视频的精彩片段以及相应的解说音轨,可以为用户提供丰富的视听体验。
可选的,本公开实施例还可以对第一播放器和第二播放器进行网络缓冲监听。具体的,本公开实施例在客户端的播放状态管理组件向第一播放器和第二播放器设置监听(buffercallback),当任一播放器出现网络抖动时,回调(callback)到播放状态管理组件,由播放状态管理组件协同另一播放器的播放状态,在该播放器缓冲恢复时再通知该另一播放器改变播放状态。由于在实际中解说音轨无需与精彩片段中的视频画面嘴型保持一致,因此无需进行PTS(Presentation Time Stamp,显示时间戳)的音画同步处理。
可选的,在第一播放器对第一精彩片段缓存的第一可播放数据小于第一预设阈值的情况下,控制第一播放器停止播放第一精彩片段,并控制第二播放器停止播放第一解说音轨;在第一可播放数据不小于第一预设阈值的情况下,控制第一播放器继续播放第一精彩视频,并控制第二播放器继续播放第一解说音轨。
可选的,在第二播放器对第一解说音轨缓存的第二可播放数据小于第二预设阈值的情况下,控制第二播放器停止播放第一解说音轨,并控制第一播放器停止播放第一精彩片段;在第二可播放数据不小于第二预设阈值的情况下,控制第二播放器继续播放第一解说音轨,并控制第二播放器继续播放第一精彩视频。
本公开实施例通过播放状态管理组件,可以控制两个播放器的播放和结束以及同步缓冲状态,实现对两个播放器的协同控制。
本公开提供的一种视频音轨处理方法,可以响应于用户在客户端上播放第一视频的触发操作,获得第一视频的视频标识,客户端配置有第一播放器和第二播放器;检测与视频标识对应的第一精彩片段信息,第一精彩片段信息包括与第一视频中第一精彩片段对应的第一片段标识和第一片段位置;检测是否存在与第一片段标识对应的第一音轨标识,如果存在,则获得与第一音轨标识对应的第一解说音轨;利用第一片段位置,控制第一播放器跳转播放第一视频的第一精彩片段,并控制第二播放器播放第一解说音轨。本公开通过两个播放器分别对视频的精彩片段与解说音轨进行同时播放,无需修改视频文件,在用户观看视频的精彩片段时提升视听氛围,并减轻了内容分发网络的存储压力。
虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
与上述方法实施例相对应,本公开实施例还提供一种视频音轨处理装置,其结构如图5所示,可以包括:第一获得单元100、第一检测单元200、第二检测单元300、第二获得单元400以及第一播放单元500。
第一获得单元100,用于响应于用户在客户端上播放第一视频的触发操作,获得第一视频的视频标识,其中,客户端配置有第一播放器和第二播放器。
第一检测单元200,用于检测与视频标识对应的第一精彩片段信息,其中,第一精彩片段信息包括与第一视频中第一精彩片段对应的第一片段标识和第一片段位置。
第二检测单元300,用于检测是否存在与第一片段标识对应的第一音轨标识,如果存在,则触发第二获得单元400。
第二获得单元400,用于获得与第一音轨标识对应的第一解说音轨。
第一播放单元500,用于利用第一片段位置,控制第一播放器跳转播放第一视频的第一精彩片段,并控制第二播放器播放第一解说音轨。
可选的,该视频音轨处理装置还可以包括:第一停止单元。
第一停止单元,用于在第二播放器播放第一解说音轨的情况下,控制第一播放器停止播放与第一视频对应的原始视频音轨。
可选的,该视频音轨处理装置还可以包括:第一确定单元、第一构建单元、第三获得单元、第一转换单元以及第二构建单元。
第一确定单元,用于在第一获得单元100响应于用户在客户端上播放第一视频的触发操作之前,确定第一视频中的第一精彩片段,并生成与第一精彩片段对应的第一精彩片段信息。
第一构建单元,用于构建第一精彩片段信息与第一视频的视频标识的对应关系。
第三获得单元,用于获得与第一精彩片段对应的第一解说文本。
第一转换单元,用于利用预设音色将第一解说文本转换为第一解说音轨。
第二构建单元,用于构建第一解说音轨的第一音轨标识与第一片段标识的对应关系。
可选的,该视频音轨处理装置还可以包括:第二播放单元。
第二播放单元,用于在第二播放器播放第一解说音轨结束之后,控制第一播放器继续播放第一视频以及原始视频音轨。
可选的,该视频音轨处理装置还可以包括:第三检测单元、第四检测单元、第四获得单元以及第三播放单元。
第三检测单元,用于在第二播放器播放第一解说音轨结束后,检测与视频标识对应的第二精彩片段信息,其中,第二精彩片段信息包括与第一视频中第二精彩片段对应的第二片段标识和第二片段位置,其中,第二片段位置在第一片段位置之后。
第四检测单元,用于检测是否存在与第二片段标识对应的第二音轨标识,如果存在,则触发第四获得单元。
第四获得单元,用于获得与第二音轨标识对应的第二解说音轨。
第三播放单元,用于利用第二片段位置,控制第一播放器跳转播放第一视频的第二精彩片段,并控制第二播放器播放第二解说音轨。
可选的,该视频音轨处理装置还可以包括:第一监听单元、第一控制单元和/或第二控制单元。
第一监听单元,用于对第一播放器和第二播放器进行网络缓冲监听;
第一控制单元,用于在第一播放器对第一精彩片段缓存的第一可播放数据小于第一预设阈值的情况下,控制第一播放器停止播放第一精彩片段,并控制第二播放器停止播放第一解说音轨;在第一可播放数据不小于第一预设阈值的情况下,控制第一播放器继续播放第一精彩视频,并控制第二播放器继续播放第一解说音轨。
第二控制单元,用于在第二播放器对第一解说音轨缓存的第二可播放数据小于第二预设阈值的情况下,控制第二播放器停止播放第一解说音轨,并控制第一播放器停止播放第一精彩片段;在第二可播放数据不小于第二预设阈值的情况下,控制第二播放器继续播放第一解说音轨,并控制第二播放器继续播放第一精彩视频。
可选的,第一停止单元,具体用于在第二播放器播放第一解说音轨的情况下,控制第一播放器在解码出与第一视频对应的原始视频音轨的音频数据之后,不将音频数据输出至第一播放器的音频播放组件,以停止播放原始视频音轨。
本公开提供的一种视频音轨处理装置,可以响应于用户在客户端上播放第一视频的触发操作,获得第一视频的视频标识,客户端配置有第一播放器和第二播放器;检测与视频标识对应的第一精彩片段信息,第一精彩片段信息包括与第一视频中第一精彩片段对应的第一片段标识和第一片段位置;检测是否存在与第一片段标识对应的第一音轨标识,如果存在,则获得与第一音轨标识对应的第一解说音轨;利用第一片段位置,控制第一播放器跳转播放第一视频的第一精彩片段,并控制第二播放器播放第一解说音轨。本公开通过两个播放器分别对视频的精彩片段与解说音轨进行同时播放,无需修改视频文件,在用户观看视频的精彩片段时提升视听氛围,并减轻了内容分发网络的存储压力。
关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
所述视频音轨处理装置包括处理器和存储器,上述第一获得单元100、第一检测单元200、第二检测单元300、第二获得单元400以及第一播放单元500等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来通过两个播放器分别对视频的精彩片段与解说音轨进行同时播放,无需修改视频文件,在提升视听氛围的同时,减轻内容分发网络的存储压力。
本公开实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述视频音轨处理方法。
本公开实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述视频音轨处理方法。
如图6所示,本公开实施例提供了一种电子设备1000,电子设备1000包括至少一个处理器1001、以及与处理器1001连接的至少一个存储器1002、总线1003;其中,处理器1001、存储器1002通过总线1003完成相互间的通信;处理器1001用于调用存储器1002中的程序指令,以执行上述的视频音轨处理方法。本文中的电子设备可以是服务器、PC、PAD、手机等。
本公开还提供了一种计算机程序产品,当在电子设备上执行时,适于执行初始化有视频音轨处理方法步骤的程序。
本公开是参照根据本公开实施例的方法、装置、电子设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器,使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,电子设备包括一个或多个处理器(CPU)、存储器和总线。电子设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
在本公开的描述中,需要理解的是,如若涉及术语“上”、“下”、“前”、“后”、“左”和“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的位置或元件必须具有特定方位、以特定的方位构成和操作,因此不能理解为本公开的限制。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本公开的实施例可提供为方法、***或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本公开的实施例而已,并不用于限制本公开。对于本领域技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本公开的权利要求范围之内。

Claims (10)

1.一种视频音轨处理方法,其特征在于,包括:
响应于用户在客户端上播放第一视频的触发操作,获得所述第一视频的视频标识,其中,所述客户端配置有第一播放器和第二播放器;
检测与所述视频标识对应的第一精彩片段信息,其中,所述第一精彩片段信息包括与所述第一视频中第一精彩片段对应的第一片段标识和第一片段位置;
检测是否存在与所述第一片段标识对应的第一音轨标识,如果存在,则获得与所述第一音轨标识对应的第一解说音轨;
利用所述第一片段位置,控制所述第一播放器跳转播放所述第一视频的所述第一精彩片段,并控制所述第二播放器播放所述第一解说音轨。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述第二播放器播放所述第一解说音轨的情况下,控制所述第一播放器停止播放与所述第一视频对应的原始视频音轨。
3.根据权利要求1所述的方法,其特征在于,在所述响应于用户在客户端上播放第一视频的触发操作之前,所述方法还包括:
确定所述第一视频中的所述第一精彩片段,并生成与所述第一精彩片段对应的所述第一精彩片段信息;
构建所述第一精彩片段信息与所述第一视频的所述视频标识的对应关系;
获得与所述第一精彩片段对应的第一解说文本;
利用预设音色将所述第一解说文本转换为所述第一解说音轨;
构建所述第一解说音轨的所述第一音轨标识与所述第一片段标识的对应关系。
4.根据权利要求2所述的方法,其特征在于,还包括:
在所述第二播放器播放所述第一解说音轨结束之后,控制所述第一播放器继续播放所述第一视频以及所述原始视频音轨。
5.根据权利要求1所述的方法,其特征在于,还包括:
在所述第二播放器播放所述第一解说音轨结束后,检测与所述视频标识对应的第二精彩片段信息,其中,所述第二精彩片段信息包括与所述第一视频中第二精彩片段对应的第二片段标识和第二片段位置,其中,所述第二片段位置在所述第一片段位置之后;
检测是否存在与所述第二片段标识对应的第二音轨标识,如果存在,则获得与所述第二音轨标识对应的第二解说音轨;
利用所述第二片段位置,控制所述第一播放器跳转播放所述第一视频的所述第二精彩片段,并控制所述第二播放器播放所述第二解说音轨。
6.根据权利要求1所述的方法,其特征在于,还包括:
对所述第一播放器和所述第二播放器进行网络缓冲监听;
在所述第一播放器对所述第一精彩片段缓存的第一可播放数据小于第一预设阈值的情况下,控制所述第一播放器停止播放所述第一精彩片段,并控制所述第二播放器停止播放所述第一解说音轨;在所述第一可播放数据不小于所述第一预设阈值的情况下,控制所述第一播放器继续播放所述第一精彩视频,并控制所述第二播放器继续播放所述第一解说音轨;
和/或,在所述第二播放器对所述第一解说音轨缓存的第二可播放数据小于第二预设阈值的情况下,控制所述第二播放器停止播放所述第一解说音轨,并控制所述第一播放器停止播放所述第一精彩片段;在所述第二可播放数据不小于所述第二预设阈值的情况下,控制所述第二播放器继续播放所述第一解说音轨,并控制所述第二播放器继续播放所述第一精彩视频。
7.根据权利要求2所述的方法,其特征在于,所述在所述第二播放器播放所述第一解说音轨的情况下,控制所述第一播放器停止播放与所述第一视频对应的原始视频音轨,包括:
在所述第二播放器播放所述第一解说音轨的情况下,控制所述第一播放器在解码出与所述第一视频对应的原始视频音轨的音频数据之后,不将所述音频数据输出至所述第一播放器的音频播放组件,以停止播放所述原始视频音轨。
8.一种视频音轨处理装置,其特征在于,包括:第一获得单元、第一检测单元、第二检测单元、第二获得单元以及第一播放单元,
所述第一获得单元,用于响应于用户在客户端上播放第一视频的触发操作,获得所述第一视频的视频标识,其中,所述客户端配置有第一播放器和第二播放器;
所述第一检测单元,用于检测与所述视频标识对应的第一精彩片段信息,其中,所述第一精彩片段信息包括与所述第一视频中第一精彩片段对应的第一片段标识和第一片段位置;
所述第二检测单元,用于检测是否存在与所述第一片段标识对应的第一音轨标识,如果存在,则触发所述第二获得单元;
所述第二获得单元,用于获得与所述第一音轨标识对应的第一解说音轨;
所述第一播放单元,用于利用所述第一片段位置,控制所述第一播放器跳转播放所述第一视频的所述第一精彩片段,并控制所述第二播放器播放所述第一解说音轨。
9.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的视频音轨处理方法。
10.一种电子设备,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1至7中任一项所述的视频音轨处理方法。
CN202210722194.0A 2022-06-24 2022-06-24 一种视频音轨处理方法及相关设备 Pending CN115103222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210722194.0A CN115103222A (zh) 2022-06-24 2022-06-24 一种视频音轨处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210722194.0A CN115103222A (zh) 2022-06-24 2022-06-24 一种视频音轨处理方法及相关设备

Publications (1)

Publication Number Publication Date
CN115103222A true CN115103222A (zh) 2022-09-23

Family

ID=83293872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210722194.0A Pending CN115103222A (zh) 2022-06-24 2022-06-24 一种视频音轨处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN115103222A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002315964A (ja) * 2001-04-20 2002-10-29 Square Co Ltd ビデオゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲームのプログラム及びビデオゲーム処理方法及びビデオゲーム処理装置
CN1759909A (zh) * 2004-09-15 2006-04-19 微软公司 在线游戏观众***
CN1781305A (zh) * 2003-04-30 2006-05-31 皇家飞利浦电子股份有限公司 基于用户简档的视频语言过滤
CN101124561A (zh) * 2003-12-08 2008-02-13 Divx公司 多媒体分发***
US20080134260A1 (en) * 2006-12-04 2008-06-05 Qualcomm Incorporated Systems, methods and apparatus for providing sequences of media segments and corresponding interactive data on a channel in a media distribution system
CN107148781A (zh) * 2014-10-09 2017-09-08 图兹公司 产生描绘一或多个事件的定制高光序列
CN107707931A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN108140056A (zh) * 2016-01-25 2018-06-08 谷歌有限责任公司 媒体节目时刻指南
CN109618184A (zh) * 2018-12-29 2019-04-12 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN110933459A (zh) * 2019-11-18 2020-03-27 咪咕视讯科技有限公司 赛事视频的剪辑方法、装置、服务器以及可读存储介质
CN111246283A (zh) * 2020-01-17 2020-06-05 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备及存储介质
CN111953910A (zh) * 2020-08-11 2020-11-17 腾讯科技(深圳)有限公司 基于人工智能的视频处理方法、装置及电子设备
WO2020231528A1 (en) * 2019-05-14 2020-11-19 Microsoft Technology Licensing, Llc Dynamic video highlight
CN112165648A (zh) * 2020-10-19 2021-01-01 腾讯科技(深圳)有限公司 一种音频播放的方法、相关装置、设备及存储介质
CN112203116A (zh) * 2019-07-08 2021-01-08 腾讯科技(深圳)有限公司 一种视频生成方法、播放方法及相关设备
CN112328834A (zh) * 2020-11-10 2021-02-05 北京小米移动软件有限公司 视频关联方法、装置、电子设备及存储介质
CN112599144A (zh) * 2020-12-03 2021-04-02 Oppo(重庆)智能科技有限公司 音频数据处理方法、音频数据处理装置、介质与电子设备
CN113329235A (zh) * 2021-05-31 2021-08-31 太仓韬信信息科技有限公司 一种音频处理方法、装置及云服务器
CN113630630A (zh) * 2021-08-09 2021-11-09 咪咕数字传媒有限公司 一种视频解说配音信息的处理方法、装置及设备
CN113796090A (zh) * 2019-05-10 2021-12-14 电影音频私人有限公司 用于将移动设备上的音频内容同步到分离的视觉显示***的***和方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002315964A (ja) * 2001-04-20 2002-10-29 Square Co Ltd ビデオゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲームのプログラム及びビデオゲーム処理方法及びビデオゲーム処理装置
CN1781305A (zh) * 2003-04-30 2006-05-31 皇家飞利浦电子股份有限公司 基于用户简档的视频语言过滤
CN101124561A (zh) * 2003-12-08 2008-02-13 Divx公司 多媒体分发***
CN1759909A (zh) * 2004-09-15 2006-04-19 微软公司 在线游戏观众***
US20080134260A1 (en) * 2006-12-04 2008-06-05 Qualcomm Incorporated Systems, methods and apparatus for providing sequences of media segments and corresponding interactive data on a channel in a media distribution system
CN107148781A (zh) * 2014-10-09 2017-09-08 图兹公司 产生描绘一或多个事件的定制高光序列
CN108140056A (zh) * 2016-01-25 2018-06-08 谷歌有限责任公司 媒体节目时刻指南
CN107707931A (zh) * 2016-08-08 2018-02-16 阿里巴巴集团控股有限公司 根据视频数据生成解释数据、数据合成方法及装置、电子设备
CN109618184A (zh) * 2018-12-29 2019-04-12 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN113796090A (zh) * 2019-05-10 2021-12-14 电影音频私人有限公司 用于将移动设备上的音频内容同步到分离的视觉显示***的***和方法
WO2020231528A1 (en) * 2019-05-14 2020-11-19 Microsoft Technology Licensing, Llc Dynamic video highlight
CN112203116A (zh) * 2019-07-08 2021-01-08 腾讯科技(深圳)有限公司 一种视频生成方法、播放方法及相关设备
CN110933459A (zh) * 2019-11-18 2020-03-27 咪咕视讯科技有限公司 赛事视频的剪辑方法、装置、服务器以及可读存储介质
CN111246283A (zh) * 2020-01-17 2020-06-05 北京达佳互联信息技术有限公司 视频播放方法、装置、电子设备及存储介质
CN111953910A (zh) * 2020-08-11 2020-11-17 腾讯科技(深圳)有限公司 基于人工智能的视频处理方法、装置及电子设备
CN112165648A (zh) * 2020-10-19 2021-01-01 腾讯科技(深圳)有限公司 一种音频播放的方法、相关装置、设备及存储介质
CN112328834A (zh) * 2020-11-10 2021-02-05 北京小米移动软件有限公司 视频关联方法、装置、电子设备及存储介质
CN112599144A (zh) * 2020-12-03 2021-04-02 Oppo(重庆)智能科技有限公司 音频数据处理方法、音频数据处理装置、介质与电子设备
CN113329235A (zh) * 2021-05-31 2021-08-31 太仓韬信信息科技有限公司 一种音频处理方法、装置及云服务器
CN113630630A (zh) * 2021-08-09 2021-11-09 咪咕数字传媒有限公司 一种视频解说配音信息的处理方法、装置及设备

Similar Documents

Publication Publication Date Title
KR101246976B1 (ko) 미디어 콘텐츠 렌더링의 특징
KR101122860B1 (ko) 미디어 기반 미디어 프로세서
US7861150B2 (en) Timing aspects of media content rendering
JP4551668B2 (ja) 議事録ファイル生成方法、議事録ファイル管理方法、会議サーバおよびネットワーク会議システム
US20060236219A1 (en) Media timeline processing infrastructure
CN104869467A (zh) 媒体播放中的信息输出方法、装置和***
CN106155470B (zh) 一种音频文件生成方法及装置
KR101518294B1 (ko) 멀티 트랙 미디어 파일이 기록된 기록 매체, 멀티 트랙 미디어 파일 편집 방법, 및 멀티 트랙 미디어 파일 편집 장치
US9251256B2 (en) System and method for maintaining cue point data structure independent of recorded time-varying content
CN100484227C (zh) 视频再现设备及其智能跳转方法
JP2016072858A (ja) メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
WO2012092901A2 (zh) 媒体存储***及方法
CN115103222A (zh) 一种视频音轨处理方法及相关设备
US9685190B1 (en) Content sharing
CN114025229A (zh) 处理音视频文件的方法、装置、计算设备及存储介质
KR100991264B1 (ko) 전자 단말기의 음원 재생 배포 방법 및 그 시스템
WO2006030995A9 (en) Index-based authoring and editing system for video contents
US20220394323A1 (en) Supplmental audio generation system in an audio-only mode
JP2021067845A (ja) 音声再生システムおよびプログラム
US20160364253A1 (en) Method for dynamic multimedia playback processing
CN116723356A (zh) 终端多媒体数据处理方法、装置、计算机设备、存储介质
JP2009026236A (ja) 情報処理装置及びプログラム
KR20080104406A (ko) 동영상 서비스 제공방법 및 그 시스템
Poole Harnessing the Power of Quick Time
JP2004310330A (ja) プログラム、その方法およびその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination