CN106060655A - 一种视频处理方法、服务器及终端 - Google Patents

一种视频处理方法、服务器及终端 Download PDF

Info

Publication number
CN106060655A
CN106060655A CN201610639190.0A CN201610639190A CN106060655A CN 106060655 A CN106060655 A CN 106060655A CN 201610639190 A CN201610639190 A CN 201610639190A CN 106060655 A CN106060655 A CN 106060655A
Authority
CN
China
Prior art keywords
subdata
data
video data
good effect
specially good
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610639190.0A
Other languages
English (en)
Other versions
CN106060655B (zh
Inventor
王颖琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610639190.0A priority Critical patent/CN106060655B/zh
Publication of CN106060655A publication Critical patent/CN106060655A/zh
Priority to PCT/CN2017/095338 priority patent/WO2018024179A1/zh
Application granted granted Critical
Publication of CN106060655B publication Critical patent/CN106060655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频处理方法及终端，包括：接收终端发送的第一数据；对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。

Description

一种视频处理方法、服务器及终端
技术领域
本发明涉及视频处理技术，尤其涉及一种视频处理方法、服务器及终端。
背景技术
通过互联网进行社交分享时，可以分享图片、文字、短视频等。其中，短视频因具有操作简单、广泛的娱乐性，受到人们的热烈追捧。短视频最重要的应用就是它的特效功能，这让普通乏味的视频变得更具有魔术性和戏剧性。例如：在短视频中添加魔术特效。
为了满足不同人群的娱乐性和多样性，需要创作丰富多样的特效效果以及模板素材。但由于终端(如手机)存储容量和处理芯片的限制，通过终端存取模板素材以及在本地渲染特效导致处理速度非常慢，从而无法快速创造出丰富多样的特效效果来满足用户的需求。
发明内容
为解决上述技术问题，本发明实施例提供了一种视频处理方法、服务器及终端。
本发明实施例提供的视频处理方法，应用于服务器，包括：
接收终端发送的第一数据；
对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；
依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；
向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。
本发明实施例中，所述依据所述第一子数据和所述第二子数据，渲染生成目标视频数据，包括：
查找与所述特效渲染参数相对应的特效模板文件，以及将所述原始视频数据分割为多个原始视频子数据；
对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；
将所述多个目标视频子数据合并为目标视频数据。
本发明实施例中，所述对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，包括：
对所述第一数据进行解析，得到所述第一数据的包头部分和包体部分；
在所述包头部分中提取出第一子数据，在所述包体部分中提取出第二子数据。
本发明另一实施例提供的视频处理方法，应用于终端，包括：
采集原始视频数据，以及获取输入的特效渲染参数；
将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中；
向服务器发送所述第一数据；
接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据；
对所述目标视频数据进行显示。
本发明实施例中，所述采集原始视频数据，包括：
对视频文件中的视频数据和音频数据进行分离，得到原始视频数据以及原始音频数据。
本发明实施例中，所述方法还包括：
对所述目标视频数据进行显示时，对所述原始音频数据进行播放。
本发明实施例提供的服务器，包括：
接收单元，用于接收终端发送的第一数据；
解析单元，用于对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；
渲染单元，依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；
发送单元，用于向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。
本发明实施例中，所述服务器还包括：
存储单元，用于存储特效模板文件；
所述渲染单元包括：
查找子单元，用于查找与所述特效渲染参数相对应的特效模板文件；
分割子单元，用于将所述原始视频数据分割为多个原始视频子数据；
并行渲染子单元，用于对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；
合并子单元，用于将所述多个目标视频子数据合并为目标视频数据。
本发明实施例中，所述解析单元包括：
获取子单元，用于对所述第一数据进行解析，得到所述第一数据的包头部分和包体部分；
提取子单元，用于在所述包头部分中提取出第一子数据，在所述包体部分中提取出第二子数据。
本发明实施例提供的终端，包括：
采集单元，用于采集原始视频数据；
获取单元，用于获取输入的特效渲染参数；
封装单元，用于将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中；
发送单元，用于向服务器发送所述第一数据；
接收单元，用于接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据；
显示单元，用于对所述目标视频数据进行显示。
本发明实施例中，所述采集单元，还用于对视频文件中的视频数据和音频数据进行分离，得到原始视频数据以及原始音频数据。
本发明实施例中，所述终端还包括：
音频播放单元，用于当所述显示单元对所述目标视频数据进行显示时，对所述原始音频数据进行播放。
本发明实施例的技术方案中，终端采集原始视频数据，以及获取输入的特效渲染参数；将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中发送给服务器。服务器接收终端发送的第一数据；对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。如此，终端将处理复杂度较高的渲染过程交由服务器来处理，渲染处理速度得到大大提升，进而能够创造出丰富多样的特效效果来满足用户的需求。
附图说明
图1为本发明实施例中进行信息交互的各方硬件实体的示意图；
图2为本发明实施例的视频处理方法的流程示意图一；
图3为本发明实施例的视频处理方法的流程示意图二；
图4为本发明实施例的特效结构组合示意图；
图5为本发明实施例的CPU和GPU组合渲染示意图；
图6为本发明实施例的终端服务器网络交互架构图；
图7为本发明实施例的视频处理方法的流程示意图三；
图8为本发明实施例的服务器的结构组成示意图；
图9为本发明实施例的终端的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
在互联网视频网站中或者视频应用(APP)中展示有丰富多样的视频资源，其中，短视频因其具有较高的即时性、分享性、娱乐性等受到了较高的关注。短视频最大的特点是在实际拍摄或制作的视频画面中融入了特效。例如，在短视频中融入某个电影的背景，使得视频中的人物成为电影中的主角。再例如，在短视频中融入魔术的效果，使得视频中的人物具有超能力。在短视频中添加特效时，需要重新对视频画面进行渲染，如果在终端本地对视频画面进行渲染，则会因终端处理能力的限制导致渲染的速度较慢，为了克服终端硬件资源的不足，本发明实施例提供了一种基于服务器渲染短视频的方案。
图1为本发明实施例中进行信息交互的各方硬件实体的示意图，图1中包括：终端11、服务器12。其中，终端11通过有线网络或者无线网络与服务器12进行信息交互。终端11所指的终端设备包括手机、台式机、PC机、一体机等类型。一个示例中，终端11将待渲染或者待加特效的视频数据发送给服务器12，由服务器12对视频数据进行渲染或者加特效，然后，服务器将渲染或者加特效后的视频数据发送给终端11进行显示。
上述图1的例子只是实现本发明实施例的一个***架构实例，本发明实施例并不限于上述图1所述的***结构，基于该***架构，提出本发明各个实施例。
图2为本发明实施例的视频处理方法的流程示意图一，本示例中的视频处理方法应用于服务器侧，如图2所示，所述视频处理方法包括以下步骤：
步骤201：接收终端发送的第一数据。
本发明实施例中，终端可以是手机、平板电脑、笔记本电脑等设备。
在一实施方式中，终端安装有短视频类APP，利用短视频类APP能够采集时间较短的视频，这里，将时间较短的视频称为短视频，例如10秒的视频，60秒的视频等等。用户可以在这个短视频中添加特效，为此，终端需要首先将视频数据与用于添加特效的特效渲染参数发送给服务器。
在另一实施方式中，终端具有视频编辑类APP，利用视频编辑类APP能够从视频文件中截取出其中一小段视频，这里，将这一小段视频称为短视频。用户可以在这个短视频中添加特效，为此，终端需要首先将视频数据与用于添加特效的特效渲染参数发送给服务器。
本发明实施例中，服务器接收终端发送的渲染请求后，确定需要对终端中的原始视频数据进行特效渲染，服务器接受该渲染请求后，继续接收终端发送的第一数据。这里，第一数据携有如下信息：特效渲染参数、原始视频数据。
本发明实施例中，服务器与终端之间的通信是基于超文本传输协议(HTTP，HyperText Transfer Protocol)。基于此，第一数据的格式为HTTP数据包。
步骤202：对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据。
本发明实施例中，第一数据的格式为HTTP数据包，对所述第一数据进行解析，得到所述第一数据的包头部分和包体部分；其中，包头部分为HTTP包头(Header)，包体部分为HTTP包体(Body)。在所述包头部分中提取出第一子数据，在所述包体部分中提取出第二子数据。
本发明实施例中，第一子数据用于表征特效渲染参数，这里，特效渲染参数是指特效标识，通过特效标识能够唯一确定需要添加的特效。每个特效都对应一个特效标识，当用户在终端中选择需要添加的特效时，即将该特效对应的特效标识封装在第一数据中发送给服务器。
本发明实施例中，所述第二子数据用于表征原始视频数据。这里，原始视频数据是指未加特效之前的视频数据，该视频数据由终端采集获得后，封装至第一数据中发送给服务器。在一实施方式中，原始视频数据的格式为mp4格式。
步骤203：依据所述第一子数据和所述第二子数据，渲染生成目标视频数据。
本发明实施例中，服务器对第一子数据进行解析，得到特效渲染参数。然后，服务器查找与所述特效渲染参数相对应的特效模板文件。这里，特效模板文件存储在服务器侧，由于服务器侧具有大量的存储资源，因此，在服务器侧可以存储丰富多样的特效模板，每个特效模板均通过一个特效模板文件来实现，在特效模板文件中，包括了展示该特效需要用到的一系列特效命令和特效参数。参照图4所示，特效的渲染包括两大类，第一类为视频渲染，第二类为文字渲染，对于视频渲染，包括：仿射变换、镜像翻转、alpha渐变等。对于文字渲染，包括：平移变换、绽放变换、模糊变换、旋转变换等。不同的文字可以对应不同的文字渲染。
本发明实施例中，服务器对第二子数据进行解析，得到原始视频数据。然后，服务器将所述原始视频数据分割为多个原始视频子数据，参照图5所示，假设原始视频数据包括的视频帧数量为12帧，分别为01帧、02帧、03帧、04帧、05帧、06帧、07帧、08帧、09帧、10帧、11帧和12帧。这12帧数据是按照时间顺序排列，将这12帧视频数据分割为4个原始视频子数据，每个原始视频子数据包括3个帧。第一个原始视频子数据包括01帧、02帧、03帧；第二个原始视频子数据包括04帧、05帧、06帧；第三个原始视频子数据包括07帧、08帧、09帧。第四个原始视频子数据包括10帧、11帧、12帧。由于服务器中的中央处理器(CPU)和图形处理器(GPU)具有多核，因此，通过多核的CPU和多核的GPU能够对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；然后，将所述多个目标视频子数据合并为目标视频数据。参照图5，将这四个原始视频子数据分发给4个核(分别为CPU1、CPU2、CPU3和CPU4)进行并行处理。对于CPU的每个核，又可以对应一组GPU，例如CPU1对应GPU01-GPU12，通过GPU01-GPU12按像素对视频数据进行并行渲染。四组GPU最终渲染出4个目标视频子数据，然后对这4个目标视频子数据进行合并，得到目标视频数据。本发明实施例中，处理器并行计算的能力能够使得特效渲染的速度大大提高，给用户带来超实时渲染、预览和分享的体验。
步骤204：向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。
本发明实施例中，服务器通过HTTP的方式向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。在一实施方式中，目标视频数据被服务器编码成mp4格式的文件，将mp4格式的目标视频数据发送给终端进行显示。
本发明实施例的技术方案解决了由于硬件资源的限制造成的特效渲染较慢的问题，实现了短视频文件的超实时渲染、预览和分享。不必下载大量的特效模板到本地存储空间，节省了存储资源。此外，还减少了本地芯片的使用，使复杂的渲染提交到服务器进行处理，使得用户视频编辑体验更流畅、更方便,分享也更快捷。
图3为本发明实施例的视频处理方法的流程示意图二，本示例中的视频处理方法应用于终端，如图3所示，所述视频处理方法包括以下步骤：
步骤301：采集原始视频数据，以及获取输入的特效渲染参数。
本发明实施例中，终端可以是手机、平板电脑、笔记本电脑等设备。
在一实施方式中，终端安装有短视频类APP，利用短视频类APP能够采集时间较短的视频，这里，将时间较短的视频称为短视频，例如10秒的视频，60秒的视频等等。用户可以在这个短视频中添加特效，为此，终端需要首先将视频数据与用于添加特效的特效渲染参数发送给服务器。
在另一实施方式中，终端具有视频编辑类APP，利用视频编辑类APP能够从视频文件中截取出其中一小段视频，这里，将这一小段视频称为短视频。用户可以在这个短视频中添加特效，为此，终端需要首先将视频数据与用于添加特效的特效渲染参数发送给服务器。
本发明实施例中，终端获取到的视频文件一般包含有视频数据和音频数据。这里，对视频文件中的视频数据和音频数据进行分离，得到原始视频数据以及原始音频数据。
本发明实施例中，需要将分离后得到的原始视频数据转换为mp4格式，这里，mp4格式是后续进行渲染处理的标准格式。
本发明实施例中，特效渲染参数是指特效标识，通过特效标识能够唯一确定需要添加的特效。每个特效都对应一个特效标识，当用户在终端中选择需要添加的特效时，即将该特效对应的特效标识封装在第一数据中发送给服务器。
步骤302：将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中。
本发明实施例中，服务器与终端之间的通信是基于HTTP。基于此，第一数据的格式为HTTP数据包。
本发明实施例中，将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中，包括：将用于表征所述特效渲染参数的第一子数据封装在第一数据的包头部分，将用于表征所述原始视频数据的第二子数据封装在第一数据的包体部分。其中，包头部分为HTTP包头(Header)，包体部分为HTTP包体(Body)。
步骤303：向服务器发送所述第一数据。
本发明实施例中，终端通过HTTP POST将第一数据发给服务器，而服务器通过HTTPGET接收终端发送的第一数据。
之后，服务器依据所述第一数据渲染生成目标视频数据，具体地，服务器对第一子数据进行解析，得到特效渲染参数。然后，服务器查找与所述特效渲染参数相对应的特效模板文件。这里，特效模板文件存储在服务器侧，由于服务器侧具有大量的存储资源，因此，在服务器侧可以存储丰富多样的特效模板，每个特效模板均通过一个特效模板文件来实现，在特效模板文件中，包括了展示该特效需要用到的一系列特效命令和特效参数。服务器对第二子数据进行解析，得到原始视频数据。然后，服务器将所述原始视频数据分割为多个原始视频子数据，通过多核的CPU和多核的GPU能够对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；然后，将所述多个目标视频子数据合并为目标视频数据。
步骤304：接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据；对所述目标视频数据进行显示。
本发明实施例中，终端基于HTTP接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据，这里，目标视频数据为mp4格式，因此，可以直接对该目标视频数据进行显示，显示出来的视频即为加入特效后的视频。
本发明实施例中，对所述目标视频数据进行显示时，对所述原始音频数据进行播放。
本发明实施例的技术方案还可以采用本地(指终端)与服务器相结合的模式，如果计算复杂度高择则采用服务器模式，如果计算复杂度低则采用本地模式。这样可以满足用户更多的需求，提供更多新奇的特效。此外，本地可以采用一键加特效的操作模式，使得普通用户操作非常方便，而所有的渲染处理都由服务器来操作。对用户屏蔽了所有处理细节，使得用户感觉在本地处理一样。服务器超快的秒级渲染时间以及更小秒级传输延迟，让用户体验流畅自如。参照图6所示，服务器按就近分配的原则与各个终端进行连接，使得短视频在传输速度上更快，采用长连接的HTTP通信机制可以提高用户更换不同的特效模式预览效果的速度。
图7为本发明实施例的视频处理方法的流程示意图三，如图7所示，所述视频处理方法包括以下步骤：
步骤701：终端采集原始视频数据；将原始视频数据转换为mp4文件。
步骤702：终端获取用户输入的特效渲染参数；将特效渲染参数转换为json文件。
步骤703：终端将mp4文件和json文件封装至HTTP数据包中。
步骤704：终端向服务器发送渲染请求，并将HTTP数据包发送给服务器。
步骤705：服务器接收终端发送的渲染请求以及HTTP数据包。
步骤706：服务器将HTTP数据包读取至内存。
步骤707：服务器解析内存中的HTTP数据包，分离出mp4文件和json文件。对所述mp4文件进行分片，得到多个分片文件。
步骤708：服务器解析json文件中的特效渲染参数；根据特效渲染参数从特效模板库中读取对应的特效模板。
步骤709：服务器解析特效模板中的特效命令和参数。
步骤710：服务器通过CPU和GPU并行依次渲染json文件中的特效。
这里，特效的种类有很多，以特效包括字幕特效和视频特效为例，对于字幕特效而言，解析json文件中的字幕特效编号，通过字幕特效编号读取字幕相关的json文件；通过GPU和CPU并行渲染字幕特效，将渲染的字幕文件存储到缓存(buffer)中；对于视频特效而言，解析json文件中的视频特效编号，通过视频特效编号读取视频相关的json文件；通过GPU和CPU并行渲染视频特效，将渲染的视频文件存储到缓存(buffer)中。最后，将两个buffer中的字幕和视频一并缓存至其他buffer中，得到最终的特效文件。
步骤711：服务器将buffer中的特效数据编码至264流。
步骤712：服务器将264流存储至各个分片文件中。
步骤713：服务器将所有的分片文件合并为mp4文件。
步骤714：终端接收服务器发送的加特效的mp4文件。
步骤715：终端从mp4文件中读取视频数据。
这里，终端还可以从mp4文件中读取到音频数据。
步骤716：将视频数据解析至buffer中。
步骤717：终端通过显示接口将视频数据显示给用户。
本发明实施例的技术方案中，特效模板不用下载到本地，节省了存储资源，并且服务器直接获取特效模板可以加快渲染进度；由于渲染的过程是服务器侧执行的，因此可以跨多种终端设备，通用性较强，维护也更方便；在服务器端操作还可以备份用户的数据文件，方便用户以后操作和丢失找回；对终端的硬件配置要求较低，普通智能手机便可进行操作。
图8为本发明实施例的服务器的结构组成示意图，如图8所示，所述服务器包括：
接收单元81，用于接收终端发送的第一数据；
解析单元82，用于对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；
渲染单元83，依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；
发送单元84，用于向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。
所述服务器还包括：
存储单元85，用于存储特效模板文件；
所述渲染单元83包括：
查找子单元831，用于查找与所述特效渲染参数相对应的特效模板文件；
分割子单元832，用于将所述原始视频数据分割为多个原始视频子数据；
并行渲染子单元833，用于对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；
合并子单元834，用于将所述多个目标视频子数据合并为目标视频数据。
所述解析单元82包括：
获取子单元821，用于对所述第一数据进行解析，得到所述第一数据的包头部分和包体部分；
提取子单元822，用于在所述包头部分中提取出第一子数据，在所述包体部分中提取出第二子数据。
本领域技术人员应当理解，图8所示的服务器中的各单元的实现功能可参照前述视频处理方法的相关描述而理解。
图9为本发明实施例的终端的结构组成示意图，如图9所示，所述终端包括：
采集单元91，用于采集原始视频数据；
获取单元92，用于获取输入的特效渲染参数；
封装单元93，用于将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中；
发送单元94，用于向服务器发送所述第一数据；
接收单元95，用于接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据；
显示单元96，用于对所述目标视频数据进行显示。
所述采集单元91，还用于对视频文件中的视频数据和音频数据进行分离，得到原始视频数据以及原始音频数据。
所述终端还包括：
音频播放单元97，用于当所述显示单元对所述目标视频数据进行显示时，对所述原始音频数据进行播放。
本领域技术人员应当理解，图9所示的终端中的各单元的实现功能可参照前述视频处理方法的相关描述而理解。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种视频处理方法，其特征在于，所述方法包括：
接收终端发送的第一数据；
对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；
依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；
向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。
2.根据权利要求1所述的视频处理方法，其特征在于，所述依据所述第一子数据和所述第二子数据，渲染生成目标视频数据，包括：
查找与所述特效渲染参数相对应的特效模板文件，以及将所述原始视频数据分割为多个原始视频子数据；
对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；
将所述多个目标视频子数据合并为目标视频数据。
3.根据权利要求1或2所述的视频处理方法，其特征在于，所述对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，包括：
对所述第一数据进行解析，得到所述第一数据的包头部分和包体部分；
在所述包头部分中提取出第一子数据，在所述包体部分中提取出第二子数据。
4.一种视频处理方法，其特征在于，所述方法包括：
采集原始视频数据，以及获取输入的特效渲染参数；
将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中；
向服务器发送所述第一数据；
接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据；
对所述目标视频数据进行显示。
5.根据权利要求4所述的视频处理方法，其特征在于，所述采集原始视频数据，包括：
对视频文件中的视频数据和音频数据进行分离，得到原始视频数据以及原始音频数据。
6.根据权利要求5所述的视频处理方法，其特征在于，所述方法还包括：
对所述目标视频数据进行显示时，对所述原始音频数据进行播放。
7.一种服务器，其特征在于，所述服务器包括：
接收单元，用于接收终端发送的第一数据；
解析单元，用于对所述第一数据进行解析，从所述第一数据中提取出第一子数据和第二子数据，所述第一子数据用于表征特效渲染参数，所述第二子数据用于表征原始视频数据；
渲染单元，依据所述第一子数据和所述第二子数据，渲染生成目标视频数据；
发送单元，用于向所述终端发送所述目标视频数据，以供所述终端对所述目标视频数据进行显示。
8.根据权利要求7所述的服务器，其特征在于，所述服务器还包括：
存储单元，用于存储特效模板文件；
所述渲染单元包括：
查找子单元，用于查找与所述特效渲染参数相对应的特效模板文件；
分割子单元，用于将所述原始视频数据分割为多个原始视频子数据；
并行渲染子单元，用于对所述特效模板文件和所述多个原始视频子数据进行并行渲染，生成多个目标视频子数据；
合并子单元，用于将所述多个目标视频子数据合并为目标视频数据。
9.根据权利要求7或8所述的服务器，其特征在于，所述解析单元包括：
获取子单元，用于对所述第一数据进行解析，得到所述第一数据的包头部分和包体部分；
提取子单元，用于在所述包头部分中提取出第一子数据，在所述包体部分中提取出第二子数据。
10.一种终端，其特征在于，所述终端包括：
采集单元，用于采集原始视频数据；
获取单元，用于获取输入的特效渲染参数；
封装单元，用于将用于表征所述特效渲染参数的第一子数据，以及用于表征所述原始视频数据的第二子数据封装在第一数据中；
发送单元，用于向服务器发送所述第一数据；
接收单元，用于接收所述服务器发送的依据所述第一数据渲染生成的目标视频数据；
显示单元，用于对所述目标视频数据进行显示。
11.根据权利要求10所述的终端，其特征在于，所述采集单元，还用于对视频文件中的视频数据和音频数据进行分离，得到原始视频数据以及原始音频数据。
12.根据权利要求11所述的终端，其特征在于，所述终端还包括：
音频播放单元，用于当所述显示单元对所述目标视频数据进行显示时，对所述原始音频数据进行播放。
CN201610639190.0A 2016-08-04 2016-08-04 一种视频处理方法、服务器及终端 Active CN106060655B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610639190.0A CN106060655B (zh) 2016-08-04 2016-08-04 一种视频处理方法、服务器及终端
PCT/CN2017/095338 WO2018024179A1 (zh) 2016-08-04 2017-07-31 一种视频处理方法、服务器及终端、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610639190.0A CN106060655B (zh) 2016-08-04 2016-08-04 一种视频处理方法、服务器及终端

Publications (2)

Publication Number Publication Date
CN106060655A true CN106060655A (zh) 2016-10-26
CN106060655B CN106060655B (zh) 2021-04-06

Family

ID=57480392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610639190.0A Active CN106060655B (zh) 2016-08-04 2016-08-04 一种视频处理方法、服务器及终端

Country Status (2)

Country Link
CN (1) CN106060655B (zh)
WO (1) WO2018024179A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107369165A (zh) * 2017-07-10 2017-11-21 Tcl移动通信科技（宁波）有限公司 一种视频选择画面优化方法及存储介质、智能终端
WO2018024179A1 (zh) * 2016-08-04 2018-02-08 腾讯科技（深圳）有限公司 一种视频处理方法、服务器及终端、计算机存储介质
WO2018119602A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 一种渲染方法及装置
CN108536790A (zh) * 2018-03-30 2018-09-14 北京市商汤科技开发有限公司 声音特效程序文件包的生成及声音特效生成方法与装置
CN108986227A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 粒子特效程序文件包的生成及粒子特效生成方法与装置
CN109275007A (zh) * 2018-09-30 2019-01-25 联想(北京)有限公司 一种处理方法和电子设备
WO2019047818A1 (zh) * 2017-09-08 2019-03-14 腾讯科技（深圳）有限公司 视频信息处理方法、计算机设备及存储介质
CN109600629A (zh) * 2018-12-28 2019-04-09 北京区块云科技有限公司 一种视频渲染方法、***及相关装置
CN109731337A (zh) * 2018-12-28 2019-05-10 北京金山安全软件有限公司 Unity中粒子特效创建方法、装置、电子设备及存储介质
CN110062163A (zh) * 2019-04-22 2019-07-26 珠海格力电器股份有限公司 多媒体数据的处理方法以及装置
CN110245258A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 视频文件建立索引的方法、视频文件解析方法及相关***
WO2020211385A1 (zh) * 2019-04-17 2020-10-22 广州华多网络科技有限公司 图像特效处理方法、装置及视频直播终端
CN111957039A (zh) * 2020-09-04 2020-11-20 Oppo（重庆）智能科技有限公司 一种游戏特效实现方法、装置及计算机可读存储介质
CN112116690A (zh) * 2019-06-19 2020-12-22 腾讯科技（深圳）有限公司 视频特效生成方法、装置及终端
CN112291590A (zh) * 2020-10-30 2021-01-29 北京字节跳动网络技术有限公司 视频处理方法及设备
CN112532896A (zh) * 2020-10-28 2021-03-19 北京达佳互联信息技术有限公司 视频的制作方法、装置、电子设备以及存储介质
CN113572948A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 视频处理方法和视频处理装置
CN115243108A (zh) * 2022-07-25 2022-10-25 深圳市腾客科技有限公司 一种可编程的多媒体文件***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199519B (zh) * 2018-11-16 2023-08-22 北京微播视界科技有限公司 特效包的生成方法和装置
CN111355978B (zh) * 2018-12-21 2022-09-06 北京字节跳动网络技术有限公司 视频文件的处理方法、装置、移动终端及存储介质
CN112190933A (zh) * 2020-09-30 2021-01-08 珠海天燕科技有限公司 一种游戏场景中的特效处理方法和装置
CN113192152B (zh) * 2021-05-24 2024-07-19 腾讯音乐娱乐科技（深圳）有限公司 基于音频的图像生成方法、电子设备及存储介质
CN115049775B (zh) * 2022-08-15 2023-01-31 广州中平智能科技有限公司 一种用于双碳能源工业的元宇宙渲染动态分配方法和***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1415280A1 (en) * 2001-05-14 2004-05-06 Thomson Licensing S.A. Device, server, system and method to generate mutual photometric effects
US20040226047A1 (en) * 2003-05-05 2004-11-11 Jyh-Bor Lin Live broadcasting method and its system for SNG webcasting studio
CN102868923A (zh) * 2012-09-13 2013-01-09 北京富年科技有限公司 应用于移动终端视频的特效云处理方法、设备及***
CN103297660A (zh) * 2012-02-23 2013-09-11 上海魔睿信息科技有限公司 一种实时交互的特效摄像摄影方法
CN104461788A (zh) * 2014-12-30 2015-03-25 成都品果科技有限公司 一种基于远程特效渲染的移动端照片备份方法及***
CN104732568A (zh) * 2015-04-16 2015-06-24 成都品果科技有限公司 一种在线对图片添加歌词字幕的方法及装置
CN104796767A (zh) * 2015-03-31 2015-07-22 北京奇艺世纪科技有限公司 一种云视频编辑方法和***
CN105323252A (zh) * 2015-11-16 2016-02-10 上海璟世数字科技有限公司 基于增强现实技术实现互动的方法、***和终端
CN105338370A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391414B (zh) * 2013-07-24 2017-06-06 杭州趣维科技有限公司 一种应用于手机平台的视频处理装置及处理方法
CN104811829A (zh) * 2014-01-23 2015-07-29 苏州乐聚一堂电子科技有限公司 卡拉ok互动多功能特效***
CN106060655B (zh) * 2016-08-04 2021-04-06 腾讯科技（深圳）有限公司 一种视频处理方法、服务器及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1415280A1 (en) * 2001-05-14 2004-05-06 Thomson Licensing S.A. Device, server, system and method to generate mutual photometric effects
US20040226047A1 (en) * 2003-05-05 2004-11-11 Jyh-Bor Lin Live broadcasting method and its system for SNG webcasting studio
CN103297660A (zh) * 2012-02-23 2013-09-11 上海魔睿信息科技有限公司 一种实时交互的特效摄像摄影方法
CN102868923A (zh) * 2012-09-13 2013-01-09 北京富年科技有限公司 应用于移动终端视频的特效云处理方法、设备及***
CN104461788A (zh) * 2014-12-30 2015-03-25 成都品果科技有限公司 一种基于远程特效渲染的移动端照片备份方法及***
CN104796767A (zh) * 2015-03-31 2015-07-22 北京奇艺世纪科技有限公司 一种云视频编辑方法和***
CN104732568A (zh) * 2015-04-16 2015-06-24 成都品果科技有限公司 一种在线对图片添加歌词字幕的方法及装置
CN105338370A (zh) * 2015-10-28 2016-02-17 北京七维视觉科技有限公司 一种在视频中实时合成动画的方法和装置
CN105323252A (zh) * 2015-11-16 2016-02-10 上海璟世数字科技有限公司 基于增强现实技术实现互动的方法、***和终端

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018024179A1 (zh) * 2016-08-04 2018-02-08 腾讯科技（深圳）有限公司 一种视频处理方法、服务器及终端、计算机存储介质
WO2018119602A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 一种渲染方法及装置
CN107369165A (zh) * 2017-07-10 2017-11-21 Tcl移动通信科技（宁波）有限公司 一种视频选择画面优化方法及存储介质、智能终端
KR20200031170A (ko) * 2017-09-08 2020-03-23 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 비디오 정보 처리 방법, 컴퓨터 디바이스, 및 저장 매체
WO2019047818A1 (zh) * 2017-09-08 2019-03-14 腾讯科技（深圳）有限公司 视频信息处理方法、计算机设备及存储介质
CN109474844A (zh) * 2017-09-08 2019-03-15 腾讯科技（深圳）有限公司 视频信息处理方法及装置、计算机设备
KR102280076B1 (ko) * 2017-09-08 2021-07-22 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 비디오 정보 처리 방법, 컴퓨터 디바이스, 및 저장 매체
US11589091B2 (en) 2017-09-08 2023-02-21 Tencent Technology (Shenzhen) Company Limited Video information processing method, computer equipment and storage medium
CN108536790A (zh) * 2018-03-30 2018-09-14 北京市商汤科技开发有限公司 声音特效程序文件包的生成及声音特效生成方法与装置
CN108986227A (zh) * 2018-06-28 2018-12-11 北京市商汤科技开发有限公司 粒子特效程序文件包的生成及粒子特效生成方法与装置
CN109275007A (zh) * 2018-09-30 2019-01-25 联想(北京)有限公司 一种处理方法和电子设备
CN110245258B (zh) * 2018-12-10 2023-03-17 浙江大华技术股份有限公司 视频文件建立索引的方法、视频文件解析方法及相关***
CN110245258A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 视频文件建立索引的方法、视频文件解析方法及相关***
CN109731337B (zh) * 2018-12-28 2023-02-21 超级魔方(北京)科技有限公司 Unity中粒子特效创建方法、装置、电子设备及存储介质
CN109731337A (zh) * 2018-12-28 2019-05-10 北京金山安全软件有限公司 Unity中粒子特效创建方法、装置、电子设备及存储介质
CN109600629A (zh) * 2018-12-28 2019-04-09 北京区块云科技有限公司 一种视频渲染方法、***及相关装置
WO2020211385A1 (zh) * 2019-04-17 2020-10-22 广州华多网络科技有限公司 图像特效处理方法、装置及视频直播终端
US11800217B2 (en) 2019-04-22 2023-10-24 Gree Electric Appliances, Inc. Of Zhuhai Multimedia data processing method and apparatus
CN110062163A (zh) * 2019-04-22 2019-07-26 珠海格力电器股份有限公司 多媒体数据的处理方法以及装置
CN112116690A (zh) * 2019-06-19 2020-12-22 腾讯科技（深圳）有限公司 视频特效生成方法、装置及终端
CN113572948A (zh) * 2020-04-29 2021-10-29 华为技术有限公司 视频处理方法和视频处理装置
CN113572948B (zh) * 2020-04-29 2022-11-11 华为技术有限公司 视频处理方法和视频处理装置
CN111957039A (zh) * 2020-09-04 2020-11-20 Oppo（重庆）智能科技有限公司 一种游戏特效实现方法、装置及计算机可读存储介质
CN112532896A (zh) * 2020-10-28 2021-03-19 北京达佳互联信息技术有限公司 视频的制作方法、装置、电子设备以及存储介质
WO2022089178A1 (zh) * 2020-10-30 2022-05-05 北京字节跳动网络技术有限公司 视频处理方法及设备
CN112291590A (zh) * 2020-10-30 2021-01-29 北京字节跳动网络技术有限公司 视频处理方法及设备
CN115243108A (zh) * 2022-07-25 2022-10-25 深圳市腾客科技有限公司 一种可编程的多媒体文件***

Also Published As

Publication number Publication date
CN106060655B (zh) 2021-04-06
WO2018024179A1 (zh) 2018-02-08

Similar Documents

Publication Publication Date Title
CN106060655A (zh) 一种视频处理方法、服务器及终端
US20190272313A1 (en) Dynamic generation of mobile web experience
CN105740029B (zh) 一种内容呈现的方法、用户设备及***
JP5930497B2 (ja) テンプレートファイルの処理方法及び装置
US11878236B2 (en) Streaming video game statistics
WO2007118424A1 (en) Web search on mobile devices
CN109981711A (zh) 文档动态播放方法、装置、***及计算机可读存储介质
US8994748B2 (en) Anchors for displaying image sprites, sub-regions and 3D images
DE102016015381A1 (de) Verwendung von Bloom-Filtern zur Vereinfachung der Erweiterung und Unterteilung eines dynamischen Fonts
JP2014524623A5 (zh)
CN102737067A (zh) 输出网页的方法和***
DE202021004011U1 (de) Erzeugen und Anzeigen von kontextuellem audiovisuellem Inhalt
CN114650434A (zh) 一种基于云服务的渲染方法及其相关设备
CN104837065B (zh) 电视终端与移动终端间的二维码信息共享方法及***
Cao Development and design case function comparison of panoramic roaming system of virtual museum based on Pano2VR
CN106951405B (zh) 基于排版引擎的数据处理方法及装置
CN109905753A (zh) 角标的显示方法和装置、存储介质、电子装置
CN108134906A (zh) 图像处理方法及其***
CN106383705B (zh) 在应用瘦客户端中设置鼠标显示状态的方法及装置
CN112183122A (zh) 文字识别方法和装置、存储介质及电子设备
CN106844763A (zh) 一种对互联网媒体文件进行修改式展现的方法及其装置
JP7184669B2 (ja) 情報処理装置、及びプログラム
CN110569460A (zh) 推送信息展示方法、装置及存储介质
JP3887880B2 (ja) データ変換装置、データ伝送方法及びデータ変換機能を格納した情報記憶媒体
CN103957466B (zh) 基于机顶盒进行网页展示的方法、服务器及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant