CN106385591B - 视频处理方法及视频处理装置 - Google Patents

视频处理方法及视频处理装置 Download PDF

Info

Publication number
CN106385591B
CN106385591B CN201610903697.2A CN201610903697A CN106385591B CN 106385591 B CN106385591 B CN 106385591B CN 201610903697 A CN201610903697 A CN 201610903697A CN 106385591 B CN106385591 B CN 106385591B
Authority
CN
China
Prior art keywords
video
image frame
target image
special effect
drawing interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610903697.2A
Other languages
English (en)
Other versions
CN106385591A (zh
Inventor
汪倩怡
高雨
王志斌
李恩
李榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610903697.2A priority Critical patent/CN106385591B/zh
Publication of CN106385591A publication Critical patent/CN106385591A/zh
Priority to PCT/CN2017/106102 priority patent/WO2018072652A1/zh
Priority to US16/231,873 priority patent/US11012740B2/en
Application granted granted Critical
Publication of CN106385591B publication Critical patent/CN106385591B/zh
Priority to US17/234,741 priority patent/US11412292B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频处理方法及视频处理装置；方法包括：确定待添加的动态特效在视频中对应的目标图像帧；确定所述动态特效在各所述目标图像帧中对应的特效元素的属性、以及所述特效元素的坐标；基于所述特效元素的属性、以及所述特效元素的坐标在绘图界面中渲染形成所述特效元素；将所述目标图像帧作为所述绘图界面的背景的方式填充到所述绘图界面中，形成具有动态特效的绘图界面帧；输出针对各所述目标图像帧对应形成的绘图界面帧。实施本发明，能够以简洁高效的方式为视频中的片段或者被拍摄对象添加动态特效以增强显著程度。

Description

视频处理方法及视频处理装置
技术领域
本发明涉及视频技术，尤其涉及一种视频处理方法及视频处理装置。
背景技术
随着互联网行业特别是移动互联网的发展，通过互联网进行视频分享成为信息传播的新形态而得到普遍应用。
例如，在一个典型的应用场景中，用户可以通过手机等移动终端拍摄视频，将视频在所登录的社交平台进行分享(或者也可以分享预先拍摄的视频)，社交平台的登录用户或者访问用户可以观看用户分享的视频，并使用社交平台的互动功能进行评论、交流和再次分享等，进一步增强视频分享的效果。
在上述视频分享的场景中，存在难以突出视频中的某一片段或者视频中某一对象的显著程度以引起观看者注意的问题，导致无法达到视频分享的预期效果。
例如，在用户录制视频或者需要在互联网中分享视频时，为了强调或者表现视频中的某一片段或者拍摄的某一个对象，往往需要针对视频中的相应片段或者相应对象添加特效，以达到引起观看者的注意的效果。但是，相关技术仅仅支持用户在视频的各帧图像上绘制简单的图层，以实现在视频中“涂鸦”的效果，相关技术在视频的一帧图像上绘制文字涂鸦的一个显示效果示意图如图1所示，在视频的一帧或者连续的多帧图像中可以实现使用文字“啦啦”进行涂鸦的效果。
不难看出，对于在视频的多帧图像中绘制图层的方式，如果用户没有从头开始观看视频，例如在出现文字“啦啦”涂鸦时才观看视频，则无从得知视频拍摄者期望突出的是视频中的哪个片段抑或是视频中的哪个对象。
发明内容
本发明实施例提供一种视频处理方法及视频处理装置，能够以简洁高效的方式为视频中的片段或者被拍摄对象添加动态特效以增强显著程度。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种视频处理方法，包括：
确定待添加的动态特效在视频中对应的目标图像帧；
确定所述动态特效在各所述目标图像帧中对应的特效元素的属性、以及所述特效元素的坐标；
基于所述特效元素的属性、以及所述特效元素的坐标在绘图界面中渲染形成所述特效元素；
将所述目标图像帧作为所述绘图界面的背景的方式填充到所述绘图界面中，形成具有动态特效的绘图界面帧；
输出针对各所述目标图像帧对应形成的绘图界面帧。
第二方面，本发明实施例提供一种视频处理装置，包括：
第一确定单元，用于确定待添加的动态特效在视频中对应的目标图像帧；
第二确定单元，用于确定所述动态特效在各所述目标图像帧中对应的特效元素的属性、以及所述特效元素的坐标；
渲染单元，用于基于所述特效元素的属性、以及所述特效元素的坐标在绘图界面中渲染形成所述特效元素；
合成单元，将所述目标图像帧作为所述绘图界面的背景的方式填充到所述绘图界面中，形成具有动态特效的绘图界面帧；
输出单元，用于输出针对各所述目标图像帧对应形成的绘图界面帧。
第三方面，本发明实施例提供一种视频处理装置，包括：存储器和处理器，存储器中存储有可执行指令，用于引起处理器执行以下的操作：
确定待添加的动态特效在视频中对应的目标图像帧；
确定所述动态特效在各所述目标图像帧中对应的特效元素的属性、以及所述特效元素的坐标；
基于所述特效元素的属性、以及所述特效元素的坐标在绘图界面中渲染形成所述特效元素；
将所述目标图像帧作为所述绘图界面的背景的方式填充到所述绘图界面中，形成具有动态特效的绘图界面帧；
输出针对各所述目标图像帧对应形成的绘图界面帧。
第四方面，本发明实施例提供一种存储介质，存储有可执行指令，用于执行本发明实施例提供的视频处理方法。
本发明实施例具有以下有益效果：
提供通过在视频中确定需要形成动态特效的目标视频帧的方式，可以轻易地在视频中确定与视频中的一个片段或与某个特定对象对应的视频帧设定为目标视频帧；实现了在视频中根据需求定制化动态特效的技术效果；
对于视频的受众来说，不论是从视频的哪个时间点开始观看，由于动态特效的醒目程度远高于在视频中绘制图层所形成的静态效果，因而能够快速了解视频的发布者在视频中所需要突出的片段或者对象，保证视频分享的预期效果。
附图说明
图1是相关技术在视频中形成特效的一个可选的实现示意图；
图2是本发明实施例中视频处理方法一个可选的流程示意图；
图3是本发明实施例中在用户侧和网络侧协同实施视频处理方法一个可选的流程示意图；
图4是本发明实施例中视频处理装置的可选的软硬件结构示意图；
图5-1是本发明实施例中视频处理方法一个可选的流程示意图；
图5-2是本发明实施例中动态特效的不同阶段映射到视频的图像帧的示意图；
图5-3是本发明实施例中针对目标图像帧与所映射的相应阶段的动态特效绘制特效元素的示意图；
图5-4是本发明实施例中将目标图像帧与绘制有特效元素的绘制界面进行合成的示意图；
图6是本发明实施例中视频处理方法一个可选的流程示意图；
图7是本发明实施例中视频处理方法一个可选的流程示意图；
图8-1至图8-8是本发明实施例光绘特效的显示示意图；
图8-9是本发明实施例中基于粒子***绘制特效元素的一个可选的处理示意图；
图8-10是本发明实施例中在输入的视频中形成光绘特效的一个可选的流程示意图；
图9是本发明实施例中视频处理装置的一个可选的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在本领域技术人员不付出创造性劳动的前提下，对以下实施例的技术方案进行重组所得的实施例、以及基于对发明所实施的其他实施例均属于本发明的保护范围。
需要说明的是，在本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元)。
例如，本发明实施例提供的视频处理方法包含了一系列的步骤，但是本发明实施例提供的视频处理方法不限于所记载的步骤，同样地，本发明实施例提供的视频处理装置包括了一系列单元，但是本发明实施例提供的视频处理装置不限于包括所明确记载的单元，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的单元。
对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)动态特效，是指在视频中添加的动态的视觉效果，下文中，动态特效可以为光绘特效，即在视频中以光源移动的方式绘制形成的动态的、具有特定属性的视觉效果，如光源移动的轨迹或者光源形成的各种图案。
2)特效元素，构成动态特效的基本视觉单位。以光绘特效为例，在采用粒子***如MAYA粒子***或3D MAX粒子***来形成光绘特效时，构成光绘特效的基本单位也称为粒子。
3)属性，用于描述特效元素构造形成动态特效的方式，例如，从尺寸、颜色和数量等方面描述动态特效；又例如，从速度、加速度和生命周期等方面描述动态特效。
4)图像帧，构成视频的基本单位，一个图像帧是静态的图像，连续采集的图像帧在渲染时形成动态的效果。
5)视觉效果，动态特效添加到视频中时，由视频中一系列的图像帧(也称为目标图像帧)承载，动态特效可以针对目标图像帧而分解为一系列的静态的视觉效果，一系列连续的静态的视觉效果构成特效的动态变化的效果。视觉效果与目标图像帧对应，目标图像帧具有的视觉效果可以继续分解为特效元素在系相应目标图像帧的位置以及属性。
6)绘图界面，也称为画布，用于呈现和动态显示特效元素以及图像帧中的图形元素，一般地，图形元素的在绘图界面的呈现和显示的操作使用脚本语言(通常是JavaScript)完成。
参见图2示出的本发明实施例提供的视频处理方法的一个可选的架构示意图，包括：步骤101，确定待添加的动态特效在视频中对应的目标图像帧；步骤102，确定所述动态特效在各所述目标图像帧中对应的特效元素的属性、以及所述特效元素的坐标；步骤103，基于所述特效元素的属性、以及所述特效元素的坐标在绘图界面中渲染形成所述特效元素；步骤104，将所述目标图像帧作为所述绘图界面的背景的方式填充到所述绘图界面中，形成具有动态特效的绘图界面帧；步骤105，输出针对各所述目标图像帧对应形成的绘图界面帧。
本发明实施例还提供用于执行上述视频处理方法的视频处理装置，视频处理装置可以采用多种方式实施，以下示例性地说明。
例如，视频处理装置可以基于用户侧的终端(例如，智能手机、平板电脑等)以及网络侧的服务器中的硬件资源共同实现，参见图3示出的视频处理方法的的可选的流程示意图，在图3中，视频处理装置分布实施在用户侧的终端和网络侧的服务器中，用户侧的终端与网络侧的服务器可以通过各种方式通信，示例性地，如基于码分多址(CDMA，CodeDivision Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division MultipleAccess)等通信制式及其演进制式的蜂窝通信，又例如，基于无线相容性认证(WiFi)的通信。
在图3中，用户侧的终端和网络侧的服务器通过建立的通信进行数据交互，以协同完成图1示例性示出的步骤101至步骤105，本发明实施例中对终端和服务器具体执行的步骤不做限定，实际应用中可以根据需求灵活调整。另外，一般地，用户侧的终端进行视频采集。
再例如，视频处理装置可以基于用户侧的终端的硬件资源实现，也即是视频处理装置实施在用户侧的终端中，用户侧的终端执行图1示例性示出的步骤101至步骤105。
又例如，视频处理装置可以基于网络侧的服务器的硬件资源实现，也即是视频处理装置实施在网络侧的服务器中，网络侧的服务器执行图1示例性示出的步骤101至步骤105。
在硬件层面上，与前述视频处理装置的实现方式对应，实现视频处理装置的硬件资源包括如处理器和内存的计算资源、如网络接口的通信资源实现；在软件层面上，视频处理装置可以实施为存储于存储介质中的可执行指令(包括诸如程序、模块之类的计算机可执行指令)。
如上，以视频处理装置基于用户侧终端的硬件资源实现时，参见图4示出的视频处理装置10的一个可选的软硬件结构示意图，视频处理装置10包括硬件层、中间层、操作***层和软件层。然而，本领域的技术人员应当理解，图4示出的视频处理装置10的结构仅为示例，并不构成对视频处理装置10结构的限定。例如，视频处理装置10可以根据实施需要设置较图4更多的组件，或者根据实施需要省略设置部分组件。
视频处理装置10的硬件层包括处理器11、输入/输出接口13，存储介质14以及网络接口12，组件可以经***总线连接通信。
处理器11可以采用中央处理器(CPU)、微处理器(MCU，Microcontroller Unit)、专用集成电路(ASIC，Application Specific Integrated Circuit)或逻辑可编程门阵列(FPGA，Field－Programmable Gate Array)实现。
输入/输出接口13可以采用如显示屏、触摸屏、扬声器等输入/输出器件实现。
存储介质14可以采用闪存、硬盘、光盘等非易失性存储介质实现，也可以采用双倍率(DDR，Double Data Rate)动态缓存等易失性存储介质实现，其中存储有用以执行上述视频处理方法的可执行指令。
示例性地，存储介质14可以与视频处理装置10的其他组件集中设置，也可以相对于视频处理装置10中的其他组件分布设置。网络接口12向处理器11提供外部数据如异地设置的存储介质14的访问能力，示例性地，网络接口12可以基于近场通信(NFC，Near FieldCommunication)技术、蓝牙(Bluetooth)技术、紫蜂(ZigBee)技术进行的近距离通信，另外，还可以实现如CDMA、WCDMA等通信制式及其演进制式的通信。
驱动层包括用于供操作***16识别硬件层并与硬件层各组件通信的中间件15，例如可以为针对硬件层的各组件的驱动程序的集合。
操作***16用于提供面向用户的图形界面，示例性地，包括插件图标、桌面背景和应用图标，操作***16支持用户经由图形界面对设备的控制本发明实施例对上述设备的软件环境如操作***类型、版本不做限定，例如可以是Linux操作***、UNIX操作***或其他操作***。
应用层包括用户侧终端运行的应用，如前所述，当需要实现对拍摄的视频在社交平台分享的功能时，应用层中运行有社交应用17。
下面，以视频处理装置实施在用户侧终端为例，对图2示例性示出的视频处理方法应用于如下的场景进行说明：用户在视频中设定形成动态特效的时间段(例如视频的从第5分钟播放至第第6分钟时显示动态特效)、以及在视频的画面(图像帧)中设定形成动态特效的位置(例如，设置在视频画面的中心位置呈现动态特效)。
参见图5-1示出的视频处理方法的一个可选的流程示意图，本发明实施例提供的视频处理方法可以用于对终端实时采集的视频进行处理，相应地，参见步骤201a：
步骤201a，用户侧终端进行视频采集，并在图形界面顺序呈现采集到的图像帧。
例如，可以适用于用户拍摄环境的场景，用户侧终端运行社交平台的客户端时，触发拍摄并分享的功能，在图形界面中选择使用终端的后置摄像头拍摄环境，在终端屏幕的图形界面中顺序呈现采集到的图像帧。
又例如，可以适用于用户自拍的场景，用户侧终端运行社交平台的客户端时，触发自拍并分享的功能，在图形界面中选择使用终端的前置摄像头拍摄用户以及用户所处环境，在终端屏幕的图形界面中顺序呈现采集到的图像帧。
本发明实施例提供的视频处理方法还可以用于对终端本地预先存储的视频(文件)添加动态特效，例如，对终端预先采集的视频、从网络侧或从其他终端接收的视频进行处理，相应地，参见步骤202b：
步骤201b，用户侧终端解码视频，在图形界面顺序呈现视频中的图像帧。
可以理解地，步骤201a和步骤201b是根据视频的类型(是实时采集的视频还是预先存储的视频)而对应执行的步骤。
步骤202a，确定用户设定的期望在视频中添加的动态特效(也称为待添加特效)。
在一个实施例中，用户侧的终端在图形界面呈现视频中的视频帧的过程中，可以呈现在当前视频中能够添加的候选动态特效的虚拟标识，例如在图形界面中呈现候选的动态特效的序号、名称或者缩略图等，根据用户触发的虚拟标识，确定需要添加的动态特效。
在另一个实施例中，用户侧的终端在图形界面呈现视频中的视频帧的过程中，可以呈现在当前视频中能够形成的动态特效的虚拟开关，例如在图形界面中呈现动态特效的名称或者缩略图等。当用户触发的虚拟标识时，确定预先设定的默认的动态特效需要添加的动态特效。
步骤202b，确定以及用户在视频中设定的待添加的动态特效的位置。
在一个实施例中，识别出用户在当前呈现的图像帧(画面)中设定的位置，将识别出的位置作为在需要添加的动态特效的位置。
例如，预设以在帧图像中以特定触控手势(如三点触控、双击等)作为呈现动态特效的触发操作，当在图形界面呈现的帧图像中检测到用户实施的该操作时，即将检测到相应操作的位置作为需要添加的动态特效的位置。例如，当动态特效的面积较大时可以作为动态特效的中心位置，又例如作为动态特效的开始出现时最初出现的位置，或者作为动态特效消失时最后出现的位置。
再例如，在图形界面显示最新采集的图像帧时，或者显示从视频中最新解码出的图像帧时，识别出用户拖动图形界面中动态特效的虚拟标识并在图像帧中释放的位置，将识别出的位置作为需要在视频中添加的动态特效的位置。例如，作为形成动态特效的中心位置，又例如作为形成的动态特效的开始位置或结束位置。
在另一个实施例中，跟踪识别用户在视频中操作的轨迹，并确定用户操作的轨迹在各图像帧经过的位置为在相应图像帧添加动态特效的位置。
例如，在图形界面显示采集的图像帧时，或者显示从视频中解码出的图像帧时，检测出用户指尖与图形界面的触点，并识别出触点的移动轨迹，假设在图像帧1中触点位于位置1，在图像帧2中触点位于位置2，以此类推，在图像帧n中触点位于位置n，则位置1至位置n形成连续的移动轨迹，并且，图像帧i(1≤i≤n)的位置i为用于添加动态特效的位置。
步骤202c，确定用户设定的在视频中待添加动态特效的时间段。
动态特效的时间段是指动态特效被添加到视频中时，动态特效的生命周期在视频时间轴上所对应的时间段。
在一个实施例中，用户设定的动态特效可以具有预定的生命周期(如10秒，即动态特效在呈现10秒后消失)，相应地，检测到用户触发形成动态特效的操作时即开始计时，将直至生命周期到达的时间段作为需要在视频中添加动态特效的时间段。
例如，检测到前述的特定触控手势、或拖动动态特效的虚拟标识并在图像帧的某一位置释放的操作时，即对动态特效的生命周期开始计时，直至生命周期到达的时间段内，在该时段内的图像帧的同一位置(也即步骤202c中确定的待添加的动态特效的位置)添加用户所设定的动态特效。
在另一个实施例中，跟踪识别用户在视频中操作的轨迹，并围绕用户操作的轨迹形成动态特效，相应地，添加动态特效的时间段为在视频的播放过程中从检测到用户操作开始至用户操作释放的时间段。
例如，在图形界面显示采集的图像帧时，或者显示从视频中解码出的图像帧时，检测出用户指尖与图形界面的触点，并确定开始识别出触点(假设此时视频播放至第5分钟)以及识别出触点释放时对应的时刻(假设此时视频播放至第6分钟)，则视频中第5-6分钟的播放时段为需要添加动态特效的时间段。
需要指出的是，动态特效的时间段确定时，即可基于视频的时间轴确定位于时间段的图像帧为用于承载动态特效的目标图像帧，例如，接续前述示例，视频中第5-6分钟对应的图像帧用于承载动态特效。
可以理解地，步骤202a至步骤202c所记载的确定待添加的动态特效、以及对应的位置和时间段的处理不分先后，上述步骤的记载顺序不应视为对步骤202a至步骤202c的执行顺序的限定。
步骤203，确定当在视频中添加用户所设定的动态特效时，各目标图像帧中需要形成的特效元素的属性、以及需要形成的特效元素的坐标。
在一个实施例中，根据视频中待添加的动态特效，确定由目标图像帧承载时各目标图像帧需要具有的视觉效果，视觉效果是对构成动态特效的属性(诸如特效元素的数量、初始速度、重力加速度、向心力、离心力、切向加速度、自转速度、自转加速度、初始大小、结束大小、初始颜色、结束颜色、颜色混合方法、生命周期和特效元素数量等)在不同阶段的“快照”，然后基于视觉效果进行分析，继续确定在各所述目标图像帧形成相应的视觉效果时，在相应的目标图像帧中需要渲染形成的特效元素的静态的属性(如特效元素的数量、大小、颜色)以及特效元素在目标图像帧中的位置。
例如，如图5-2所示，通过将动态特效的不同阶段(包括阶段1至阶段n)的视觉效果属性映射到各目标图像帧(目标图像帧1至目标图像帧n)的方式，计算各目标图像帧中形成个相应的视觉效果时需要渲染形成的特效元素的属性以及位置。
步骤204，基于特效元素的属性、以及特效元素的坐标在绘图界面中渲染形成特效元素。
在一个实施例中，对于各目标图像帧，基于针对相应目标图像帧计算出的特效元素的位置以及相应的属性，在黑色背景的空绘图界面(其中绘图界面的尺寸与图像帧的尺寸一致)中需要具有特效元素的坐标的位置，根据计算得到的该位置的特效元素具有的属性渲染形成具有相应属性的特效元素。
例如，如图5-3所示，动态特效的阶段1映射到目标图像帧1，根据阶段1计算出的在目标图像帧1中需要形成的特效元素的属性以及位置，在空绘图界面对应特效元素的位置，根据计算得到的各位置的特效元素具有的属性在相应位置渲染形成具有相应属性的特效元素，从而得到可用于与目标图像帧1合并的绘图界面。
可以理解地，由于需要针对各目标图像帧在空绘图界面中渲染相应目标图像帧中应当具有的特效元素，因此，在空绘图界面中渲染一目标图像帧对应的特效元素之后，如还需渲染另一图像帧对应的特效元素，需要首先对绘图界面进行清空。
例如，仍如图5-3所示，当在绘图界面中渲染形成对应目标图像帧1的特效元素之后，如果还需要渲染形成对应目标图像帧2的特效元素，则需要对绘图界面进行清空，然后在空绘图界面对应目标图像帧2的特效元素的位置，根据计算得到的各位置的特效元素具有的属性在相应位置渲染形成具有相应属性的特效元素，从而得到可用于与目标图像帧2合并的绘图界面。
在另一个实施例中，当目标图像帧与绘图界面的大小不一致时，需要基于目标图像帧的尺寸对特效元素的坐标进行归一化处理形成归一化坐标，在黑色背景的空绘图界面中对应特效元素的归一化坐标的位置，渲染形成具有相应属性的特效元素，从而避免渲染形成的特效元素的位置与用户在视频中设定的形成动态特效的位置不一致的问题，确保在视频中形成的动态特效的位置的精确度。
步骤205，将目标图像帧作为绘图界面的背景的方式填充到绘图界面中，形成具有动态特效的绘图界面帧。
步骤206，输出针对各目标图像帧对应形成的绘图界面帧。
在一个实施例中，如图5-4所示，将目标图像帧1作为背景，填充到针对目标图像帧1渲染形成的绘图界面(包括有针对目标图像帧1渲染形成的特效元素)中形成绘图界面帧，利用同样的方式可以形成绘图界面帧2至绘图界面帧n。
在一个典型的应用场景中，用户侧终端实时输出绘图界面帧，从而用户可以及时查看在视频(例如，预先存储的视频，或者，用户侧终端当前正在采集环境所实时形成的视频)中设定的动态特效。
在一个实施例中，还可以执行以下步骤：
步骤207，按照时间先后顺序将视频中的非目标图像帧、以及输出的各绘图界面帧进行视频编码形成具有动态特效的视频文件。
仍然以图5-4为例，将目标图像帧1、绘图界面帧1至绘图界面帧2、以及非目标图像帧2依次进行视频编码，形成具有用户设定的视频文件，供用户侧终端本地解码播放，或者，分享到社交平台供其他用户访问，由于动态特效已经承载有绘图界面帧1至绘图界面帧n，因此播放视频文件时可以观看到用户在特定的视频片段的特定位置设定的动态特效，从而可以迅速了解到该视频片段(以及视频中呈现动态特效的位置)是视频发布者着重强调的部分，实现用户分享视频时希望观看者关注特定视频片段或视频中特定位置的效果。
下面，以视频处理装置实施在用户侧终端为例，对图2示例性示出的视频处理方法应用于如下的场景进行说明：用户在视频中实施特定动作，跟踪该特定动作的轨迹自动在视频中添加对应轨迹的动态特效。
参见图6示出的视频处理方法的一个可选的流程示意图，本发明实施例提供的视频处理方法可以用于对终端实时采集的视频进行处理，相应地，参见步骤301a：
步骤301a，用户侧终端进行视频采集，并在图形界面顺序呈现采集到的图像帧。
例如，可以适用于用户拍摄环境的场景，又例如，可以适用于用户自拍的场景。
本发明实施例提供的视频处理方法还可以用于对终端本地预先存储的视频(文件)进行处理，例如，对终端预先采集的视频、从网络侧或从其他终端接收的视频进行处理，相应地，参见步骤302b：
步骤301b，用户侧终端解码视频，在图形界面顺序呈现视频中的图像帧。
可以理解地，步骤301a和步骤301b是根据视频的类型(是实时采集的视频还是预先存储的视频)而对应执行的步骤。
步骤302，对视频的各图像帧中进行特征识别，将识别出的具有特定动作的特征的图像帧确定为目标图像帧。
在一个实施例中，在图形界面播放采集的图像帧，或者在图形界面播放解码视频得到的图像帧时，从在图形界面呈现的图像帧中进行特征提取，将所提取的特征与预设的动作特征(如面部运动、手指运动)比对，确定具有预设动作特征的图像帧作为需要添加动态特效的目标图像帧。
步骤303，确定在视频中添加跟随特定动作的轨迹的动态特效时，各目标图像帧对应的特效元素的属性，以及，基于特定动作在各目标图像帧中的位置确定在绘图界面中绘制特效元素的坐标。
步骤304，基于特效元素的属性、以及特效元素的坐标在绘图界面中渲染形成特效元素。
步骤305，将目标图像帧作为绘图界面的背景的方式填充到绘图界面中，形成具有动态特效的绘图界面帧。
步骤306，输出针对各目标图像帧对应形成的绘图界面帧。
步骤303至步骤306的实施细节可以参照前述步骤204至步骤206的记载，这里不再另文说明。
在一个实施例中，还可以执行以下步骤：
步骤307，按照时间先后顺序将视频中的非目标图像帧、以及输出的各绘图界面帧进行视频编码形成具有动态特效的视频文件。
仍然以图5-4为例，将目标图像帧1、绘图界面帧1至绘图界面帧2、以及非目标图像帧2依次进行视频编码，形成具有用户设定的视频文件，供用户侧终端本地解码播放，或者，分享到社交平台供其他用户访问。
由于动态特效已经承载于绘图界面帧1至绘图界面帧n，因此播放视频文件时可以观看到针对特定动作的轨迹对应的动态特效，从而可以迅速了解到该视频中的特定动作是视频发布者着重强调的部分，实现用户分享视频时希望观看者关注特定动作的效果。
下面，以视频处理装置实施在用户侧终端为例，对图2示例性示出的视频处理方法应用于如下的场景进行说明：在视频中添加跟踪特定对象的轮廓的动态特效。
参见图7示出的视频处理方法的一个可选的流程示意图，本发明实施例提供的视频处理方法可以用于对终端实时采集的视频进行处理，相应地，参见步骤401a：
步骤401a，用户侧终端进行视频采集，并在图形界面呈现采集到的图像帧。
例如，可以适用于用户拍摄环境的场景，又例如，可以适用于用户自拍的场景。
本发明实施例提供的视频处理方法还可以用于对终端本地预先存储的视频(文件)进行处理，例如，对终端预先采集的视频、从网络侧或从其他终端接收的视频进行处理，相应地，参见步骤402b：
步骤401b，用户侧终端解码视频，在图形界面呈现视频中的图像帧。
可以理解地，步骤401a和步骤401b是根据视频的类型(是实时采集的视频还是预先存储的视频)而对应执行的步骤。
步骤402，对视频的各图像帧中进行对象识别，将识别出的具有特定对象的图像帧确定为目标图像帧。
步骤403，确定在视频中添加跟随视频中特定对象的轮廓的动态特效时，各目标图像帧对应的特效元素的属性，以及，基于特定对象在各目标图像帧中的位置确定在绘图界面中绘制特效元素的坐标。
步骤404，基于特效元素的属性、以及特效元素的坐标在绘图界面中渲染形成特效元素。
步骤405，将目标图像帧作为绘图界面的背景的方式填充到绘图界面中，形成具有动态特效的绘图界面帧。
步骤406，输出针对各目标图像帧对应形成的绘图界面帧。
在一个典型的应用场景中，用户侧终端实时输出绘图界面帧，从而用户可以及时查看在视频(例如，预先存储的视频，或者，用户侧终端当前正在采集环境所实时形成的视频)中设定的动态特效。
在一个实施例中，还可以执行以下步骤：
步骤407，按照时间先后顺序将视频中的非目标图像帧、以及输出的各绘图界面帧进行视频编码形成具有动态特效的视频文件。
仍然以图5-4为例，将目标图像帧1、绘图界面帧1至绘图界面帧2、以及非目标图像帧2依次进行视频编码，形成具有用户设定的视频文件，供用户侧终端本地解码播放，或者，分享到社交平台供其他用户访问。
由于动态特效已经承载于绘图界面帧1至绘图界面帧n，因此播放视频文件时可以观看到跟踪特定对象的外部轮廓的动态特效，从而可以迅速了解到该视频具有动态特效的对象及其运动的画面是视频发布者着重强调的部分，实现用户分享视频时希望观看者关注特定对象的效果。
下面，结合采用粒子***工具构建光绘特效的具体示例进行说明，粒子***工具构建光绘特效的基本单位也称为粒子。
场景1)如图8-1和图8-2所示，用户可以在视频中的某个时间点对应的图像帧中的某个位置设定绘制的光绘特效的轨迹，即用户绘制的光绘特效的轨迹与视频中的特定位置绑定，也和视频的时间点对应的图像帧绑定。
场景2)用户可以选择光绘特效不同的轨迹的效果，示例性地，效果包括：
A)如图8-4所示，光绘特效的轨迹的视觉外观不同。
B)光绘特效轨迹的消失时间长度不同。
C)光绘特效的粒子消失动画不同，示例性地，如：
I)逐渐消失；
Ii)变成圈消失；
Iii)化作水蒸气消失。
Iv)如图8-3和图8-5所示，光绘特效的轨迹自身的延展。
D)如图8-6所示，多粒子间的动画，如：单个粒子上升，单个粒子***后消失，以实现手滑动的效果。
场景3)光绘特效和视频中特定动作的识别结合。
i)可以自动识别用户手部在视频的各个图像帧中运动的位置，并在各图像帧中手部的位置形成表征手部运动轨迹的光绘特效。
Ii)如图8-7所示，如用户准备在空中用手画圈，则自动识别出各图像帧中用户手部的位置，并根据各图像帧中用户手臂的位置以及用户手部的起点位置，形成对应手部的运动轨迹的光绘特效。
4)光绘特效与对特定对象的追踪识别结合。
I)用户添加的光绘特效的轨迹和视频的当前视频帧中的对象结合，之后若对象在视频的后续图像帧中移动，光绘特效的轨迹也根据对象在视中对应移动。
Ii)如图8-8所示，如用户在视频的当前图像帧中选定了一只小狗，之后采集的视频中，如果小狗移动，则后续的图像帧中光绘特效的轨迹会跟随小狗一起移动。
对前述光绘特效的实现进行说明，光绘特效的实心主要包含模版协议解析、输入处理、粒子效果渲染和视频合成4部分，下面结合图8-9分别进行说明。
一、模版协议解析
光绘特效本质上是由单个粒子元素大量重复贴图构成。
每个粒子元素以不同的大小、颜色、旋转方向绘制在屏幕的不同位置，构成整体的光绘特效。
单个粒子元素支持的属性如下：发射角度；初始速度(x、y轴方向)；重力加速度(x、y轴方向)；向心力/离心力；切向加速度；自转速度；自转加速度；初始大小；结束大小；初始颜色；结束颜色；颜色混合方法；生命周期；最大粒子数量。
如图8-9所示，对于视频中需要形成光绘特效的图像帧，会计算每个图像帧中形成光绘特效时，需要在空画布中绘制的用于构成光绘特效的粒子(元素)的属性如大小、颜色、旋转方向，并计算坐标，并计算出粒子的位置。各个图像帧对应的粒子被连续在相应的图像帧呈现时，实现粒子运动的效果。
二、输入处理
光绘特效在视频中实现的原理是：通过粒子***提供的粒子发射器(粒子***提供的用户绘制粒子的工具)跟随输入坐标的移动而移动，随着粒子发射器自身坐标的跟随移动形成光绘特效的轨迹。
如前所述，这里的输入可能来自几种不同的输入源：
1)用户在视频中设定的位置，例如手指在呈现视频的显示界面上的滑动而检测到坐标。
2)输入视频中某个人物的特定动作识别，例如，识别视频的各图像帧中手部动作而得到坐标。
3)输入视频中某个对象的位置跟踪，例如对视频中小动物的追踪而得到的坐标。
无论输入源是哪种，最终都会转换为输入坐标(x,y)，根据输入坐标(x,y)和输入图像的大小(w,h)对坐标进行归一化处理：
x＝x/w；
y＝y/h；
再将归一化的坐标放入画布***转换为画布坐标：
x＝x*canvasWidth；；y＝y*canvasHeight。
最终根据画布坐标调整粒子发射器在画布中的位置，通过粒子发射器画布中绘制出粒子。
三、粒子效果渲染
渲染主要使用粒子***提供的OpenGL图像操作接口，例如，假设将每秒划分成30帧，每帧处理会经过如下步骤：清空画布传入粒子元素纹理，传入计算好的粒子元素顶点坐标、颜色等相关属性；设置模版指定的颜色混合模式；调用绘制接口在画布中绘制粒子。
四、视频合成
对于视频中需要形成光绘特效的图像帧，将相应的图像帧作为画布背景填充到已经针对相应图像帧绘制有粒子的画布中，实现光绘特效的粒子与相应的图像帧合成的效果，对于合成的画布帧进行编码并保存为视频文件。
后续可以在用户侧本地的终端播放，或者，上传到社交平台分享给其他用户播放。
再对前述视频处理装置的功能结构进行说明，参见图9示出的视频处理装置20的一个可选的功能结构示意图，包括：
第一确定单元21，用于确定待添加的动态特效在视频中对应的目标图像帧；
第二确定单元22，用于确定所述动态特效在各所述目标图像帧中对应的特效元素的属性、以及所述特效元素的坐标；
渲染单元23，用于基于所述特效元素的属性、以及所述特效元素的坐标在绘图界面中渲染形成所述特效元素；
合成单元24，将所述目标图像帧作为所述绘图界面的背景的方式填充到所述绘图界面中，形成具有动态特效的绘图界面帧；
输出单元25，用于输出针对各所述目标图像帧对应形成的绘图界面帧。
在一个实施例中，所述第一确定单元21，还用于基于用户操作在所述视频的时间轴上对应的时间段，确定所述视频中对应所述时间段的图像帧为所述目标图像帧。
在一个实施例中，所述第一确定单元21，还用于对所述视频的各图像帧中进行特征识别，将识别出的具有特定动作的特征的图像帧确定为所述目标图像帧。
在一个实施例中，所述第一确定单元21，还用于对所述视频的各图像帧中进行对象识别，将识别出的具有特定对象的图像帧确定为所述目标图像帧。
在一个实施例中，所述第二确定单元22，还用于确定在所述视频中添加跟随所述用户触控操作轨迹的动态特效时，确定各所述目标图像帧对应的特效元素的属性，以及，基于所述用户在所述视频中触控操作的位置确定在所述绘图界面中绘制所述特效元素的坐标。
在一个实施例中，所述第二确定单元，还用于确定在所述视频中添加跟随所述特定动作的轨迹的动态特效时，确定各所述目标图像帧对应的特效元素的属性，以及，基于所述特定动作在各所述目标图像帧中的位置确定在所述绘图界面中绘制所述特效元素的坐标。
在一个实施例中，所述第二确定单元22，还用于确定在所述视频中添加跟随所述特定对象的轮廓的动态特效时，确定各所述目标图像帧对应的特效元素的属性，以及，基于所述特定对象在各所述目标图像帧中的位置确定在所述绘图界面中绘制所述特效元素的坐标。
在一个实施例中，所述第二确定单元22，还用于基于所述动态特效确定在各所述目标图像帧对应形成的视觉效果，确定当在各所述目标图像帧形成相应的视觉效果时，在相应的目标图像帧中需要渲染形成的特效元素、以及相应的属性。
在一个实施例中，所述渲染单元23，还用于基于所述目标图像帧的尺寸对所述特效元素的坐标进行归一化处理形成归一化坐标，在黑色背景的空绘图界面中对应所述特效元素的归一化坐标的位置，渲染形成具有相应属性的所述特效元素。
在一个实施例中，所述合成单元24，还用于按照时间先后顺序将所述视频中的非目标图像帧、以及输出的各所述绘图界面帧进行视频编码形成具有所述动态特效的视频文件。
综上所述，本发明实施例实现以下有益效果：
1)实现视频中的时间、位置和动态特效如光绘特效结合的效果，在视频播放至特定片段时在视频片段的各图像帧的特定位置实现动态特效，使视频的观看者能够关注视频的特定片段以及视频片段中的特定位置。
2)实现了动作识别和动态特效如光绘特效结合的效果，跟随特定动作的轨迹形成动态特效，使视频的观看者能够关注视频中的特定动作。
3)实现对象(如物体)追踪和动态特效如光绘特效结合的效果，跟随特定对象的运动形成与特定对象的外部轮廓对应的动态特效，使视频的观看者能关注视频中的特定对象。
本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储装置、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种视频处理方法，其特征在于，包括：
识别用户在视频中操作的轨迹；
将从检测到用户操作开始至用户操作释放的时间段，确定为需要在所述视频中添加光绘特效的时间段；将所述视频中对应所述时间段的各视频帧，确定为待添加的所述光绘特效在所述视频中对应的各目标图像帧；
基于所述光绘特效不同阶段的视觉效果，确定各目标图像帧对应形成的视觉效果；
针对每个目标图像帧，执行如下处理：
基于该目标图像帧对应的视觉效果进行分析，确定在该目标图像帧中需要渲染形成的粒子、以及相应的属性；
将用户操作的轨迹在该目标图像帧经过的位置，确定为在该目标图像帧中所述粒子的坐标；
在绘图界面中对应所述粒子的坐标的位置，根据所述粒子的属性，渲染形成所述粒子；
将该目标图像帧作为所述绘图界面的背景的方式，填充到所述绘图界面中，形成具有所述光绘特效的绘图界面帧；
输出针对各目标图像帧对应形成的绘图界面帧。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述视频的各图像帧中进行特征识别，将识别出的具有特定动作的特征的图像帧确定为目标图像帧。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述视频的各图像帧中进行对象识别，将识别出的具有特定对象的图像帧确定为目标图像帧。
4.如权利要求2所述的方法，其特征在于，还包括：
基于所述特定动作在各目标图像帧中的位置，确定在所述绘图界面中绘制所述粒子的坐标。
5.如权利要求3所述的方法，其特征在于，还包括：
基于所述特定对象在各目标图像帧中的位置，确定在所述绘图界面中绘制所述粒子的坐标。
6.如权利要求1所述的方法，其特征在于，所述在绘图界面中对应所述粒子的坐标的位置，根据所述粒子具有的属性，渲染形成所述粒子，包括：
基于该目标图像帧的尺寸对所述粒子的坐标进行归一化处理，形成归一化坐标，在黑色背景的空绘图界面中对应所述粒子的归一化坐标的位置，渲染形成具有相应属性的所述粒子。
7.如权利要求1所述的方法，其特征在于，还包括：
按照时间先后顺序将所述视频中的非目标图像帧、以及输出的各绘图界面帧进行视频编码，形成具有所述光绘特效的视频文件。
8.一种视频处理装置，其特征在于，包括：
第一确定单元，用于识别用户在视频中操作的轨迹；将从检测到用户操作开始至用户操作释放的时间段，确定为需要在所述视频中添加光绘特效的时间段；将所述视频中对应所述时间段的各视频帧，确定为待添加的所述光绘特效在所述视频中对应的各目标图像帧；
针对每个目标图像帧，执行如下处理：
第二确定单元，用于基于该目标图像帧对应的视觉效果进行分析，确定在该目标图像帧中需要渲染形成的粒子、以及相应的属性；将用户操作的轨迹在该目标图像帧经过的位置，确定为在该目标图像帧中所述粒子的坐标；
渲染单元，用于在绘图界面中对应所述粒子的坐标的位置，根据所述粒子的属性，渲染形成所述粒子；
合成单元，用于将该目标图像帧作为所述绘图界面的背景的方式，填充到所述绘图界面中，形成具有所述光绘特效的绘图界面帧；
输出单元，用于输出针对各目标图像帧对应形成的绘图界面帧。
9.如权利要求8所述的视频处理装置，其特征在于，
所述第一确定单元，还用于对所述视频的各图像帧中进行特征识别，将识别出的具有特定动作的特征的图像帧确定为目标图像帧。
10.如权利要求8所述的视频处理装置，其特征在于，
所述第一确定单元，还用于对所述视频的各图像帧中进行对象识别，将识别出的具有特定对象的图像帧确定为目标图像帧。
11.如权利要求9所述的视频处理装置，其特征在于，
所述第二确定单元，还用于基于所述特定动作在各目标图像帧中的位置，确定在所述绘图界面中绘制所述粒子的坐标。
12.如权利要求10所述的视频处理装置，其特征在于，
所述第二确定单元，还用于基于所述特定对象在各目标图像帧中的位置，确定在所述绘图界面中绘制所述粒子的坐标。
13.如权利要求8所述的视频处理装置，其特征在于，
所述渲染单元，还用于基于该目标图像帧的尺寸对所述粒子的坐标进行归一化处理，形成归一化坐标，在黑色背景的空绘图界面中对应所述粒子的归一化坐标的位置，渲染形成具有相应属性的所述粒子。
14.如权利要求8所述的视频处理装置，其特征在于，
所述合成单元，还用于按照时间先后顺序将所述视频中的非目标图像帧、以及输出的各绘图界面帧进行视频编码，形成具有所述光绘特效的视频文件。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有可执行指令，所述可执行指令执行时实现权利要求1至7任一项所述的视频处理方法中的步骤。
CN201610903697.2A 2016-10-17 2016-10-17 视频处理方法及视频处理装置 Active CN106385591B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610903697.2A CN106385591B (zh) 2016-10-17 2016-10-17 视频处理方法及视频处理装置
PCT/CN2017/106102 WO2018072652A1 (zh) 2016-10-17 2017-10-13 视频处理方法、视频处理装置及存储介质
US16/231,873 US11012740B2 (en) 2016-10-17 2018-12-24 Method, device, and storage medium for displaying a dynamic special effect
US17/234,741 US11412292B2 (en) 2016-10-17 2021-04-19 Video processing method, video processing device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610903697.2A CN106385591B (zh) 2016-10-17 2016-10-17 视频处理方法及视频处理装置

Publications (2)

Publication Number Publication Date
CN106385591A CN106385591A (zh) 2017-02-08
CN106385591B true CN106385591B (zh) 2020-05-15

Family

ID=57957966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610903697.2A Active CN106385591B (zh) 2016-10-17 2016-10-17 视频处理方法及视频处理装置

Country Status (3)

Country Link
US (2) US11012740B2 (zh)
CN (1) CN106385591B (zh)
WO (1) WO2018072652A1 (zh)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385591B (zh) 2016-10-17 2020-05-15 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
CN108076373A (zh) * 2017-02-14 2018-05-25 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
CN108737903B (zh) * 2017-04-25 2020-12-25 腾讯科技（深圳）有限公司 一种多媒体处理***及多媒体处理方法
CN107124658B (zh) * 2017-05-02 2019-10-11 北京小米移动软件有限公司 视频直播方法及装置
CN107197341B (zh) * 2017-06-02 2020-12-25 福建星网视易信息***有限公司 一种基于gpu的炫屏显示方法、装置及一种存储设备
CN108012090A (zh) * 2017-10-25 2018-05-08 北京川上科技有限公司 一种视频处理方法、装置、移动终端及存储介质
CN107888845B (zh) * 2017-11-14 2022-10-21 腾讯数码（天津）有限公司 一种视频图像处理方法、装置及终端
CN108024071B (zh) * 2017-11-24 2022-03-08 腾讯数码（天津）有限公司 视频内容生成方法、视频内容生成装置及存储介质
CN108076375A (zh) * 2017-11-28 2018-05-25 北京川上科技有限公司 一种视频的手指移动轨迹特效实现方法和装置
CN108022279B (zh) * 2017-11-30 2021-07-06 广州市百果园信息技术有限公司 视频特效添加方法、装置及智能移动终端
CN107948667B (zh) * 2017-12-05 2020-06-30 广州酷狗计算机科技有限公司 在直播视频中添加显示特效的方法和装置
CN107911614B (zh) * 2017-12-25 2019-09-27 腾讯数码（天津）有限公司 一种基于手势的图像拍摄方法、装置和存储介质
CN108079579B (zh) * 2017-12-28 2021-09-28 珠海豹好玩科技有限公司 一种图像处理方法、装置以及终端
CN108234825A (zh) * 2018-01-12 2018-06-29 广州市百果园信息技术有限公司 视频处理方法及计算机存储介质、终端
CN108307127A (zh) * 2018-01-12 2018-07-20 广州市百果园信息技术有限公司 视频处理方法及计算机存储介质、终端
CN110062269A (zh) 2018-01-18 2019-07-26 腾讯科技（深圳）有限公司 附加对象显示方法、装置及计算机设备
CN108234903B (zh) * 2018-01-30 2020-05-19 广州市百果园信息技术有限公司 互动特效视频的处理方法、介质和终端设备
CN108495058A (zh) * 2018-01-30 2018-09-04 光锐恒宇（北京）科技有限公司 图像处理方法、装置和计算机可读存储介质
CN108521578A (zh) * 2018-05-15 2018-09-11 北京奇虎科技有限公司 一种检测视频中可贴图区域、实现在视频中贴图的方法
CN108540824B (zh) * 2018-05-15 2021-01-19 北京奇虎科技有限公司 一种视频渲染方法和装置
CN108632660A (zh) * 2018-05-28 2018-10-09 深圳Tcl新技术有限公司 电视机的图像显示方法、电视机及存储介质
CN108933895A (zh) * 2018-07-27 2018-12-04 北京微播视界科技有限公司 三维粒子特效生成方法、装置和电子设备
CN110795177B (zh) 2018-08-03 2021-08-31 浙江宇视科技有限公司 图形绘制方法及装置
CN110072046B (zh) * 2018-08-24 2020-07-31 北京微播视界科技有限公司 图像合成方法和装置
CN109120980B (zh) * 2018-08-27 2021-04-06 深圳市青木文化传播有限公司 推介视频的特效添加方法及相关产品
CN109242814A (zh) * 2018-09-18 2019-01-18 北京奇虎科技有限公司 商品图像处理方法、装置及电子设备
CN109492577B (zh) * 2018-11-08 2020-09-18 北京奇艺世纪科技有限公司 一种手势识别方法、装置及电子设备
CN109756672A (zh) * 2018-11-13 2019-05-14 深圳艺达文化传媒有限公司 短视频动物模型叠加方法及相关产品
CN109451248B (zh) * 2018-11-23 2020-12-22 广州酷狗计算机科技有限公司 视频数据的处理方法、装置、终端及存储介质
CN109462776B (zh) * 2018-11-29 2021-08-20 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109660784A (zh) * 2018-11-30 2019-04-19 深圳市灼华互娱科技有限公司 特效数据处理方法和装置
CN111258413A (zh) * 2018-11-30 2020-06-09 北京字节跳动网络技术有限公司 虚拟对象的控制方法和装置
CN109618211A (zh) * 2018-12-04 2019-04-12 深圳市子瑜杰恩科技有限公司 短视频道具编辑方法及相关产品
CN109698914B (zh) * 2018-12-04 2022-03-01 广州方硅信息技术有限公司 一种闪电特效渲染方法、装置、设备及存储介质
CN109885231B (zh) * 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
CN109889893A (zh) * 2019-04-16 2019-06-14 北京字节跳动网络技术有限公司 视频处理方法、装置及设备
CN110111279B (zh) * 2019-05-05 2021-04-30 腾讯科技（深圳）有限公司 一种图像处理方法、装置及终端设备
CN110415326A (zh) * 2019-07-18 2019-11-05 成都品果科技有限公司 一种粒子效果的实现方法及装置
CN110414596B (zh) * 2019-07-25 2023-09-26 腾讯科技（深圳）有限公司 视频处理、模型训练方法和装置、存储介质及电子装置
US11295504B1 (en) * 2019-08-01 2022-04-05 Meta Platforms, Inc. Systems and methods for dynamic digital animation
CN112347301A (zh) * 2019-08-09 2021-02-09 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN111796818B (zh) * 2019-10-16 2022-11-29 厦门雅基软件有限公司 多媒体文件的制作方法、装置、电子设备及可读存储介质
US11158028B1 (en) * 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
CN110868634B (zh) * 2019-11-27 2023-08-22 维沃移动通信有限公司 一种视频处理方法及电子设备
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
CN110930487A (zh) * 2019-11-29 2020-03-27 珠海豹趣科技有限公司 一种动画实现方法及装置
CN111111177A (zh) * 2019-12-23 2020-05-08 北京像素软件科技股份有限公司 游戏特效扰动背景的方法、装置和电子设备
CN111080751A (zh) * 2019-12-30 2020-04-28 北京金山安全软件有限公司 碰撞渲染方法和装置
CN113535282B (zh) * 2020-04-14 2024-04-30 北京字节跳动网络技术有限公司 特效数据处理方法及装置
CN111491205B (zh) * 2020-04-17 2023-04-25 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN111654755B (zh) * 2020-05-21 2023-04-18 维沃移动通信有限公司 一种视频编辑方法及电子设备
CN113709389A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 一种视频渲染方法、装置、电子设备及存储介质
CN113810783B (zh) * 2020-06-15 2023-08-25 腾讯科技（深圳）有限公司 一种富媒体文件处理方法、装置、计算机设备及存储介质
CN111899192B (zh) 2020-07-23 2022-02-01 北京字节跳动网络技术有限公司 交互方法、装置、电子设备及计算机可读存储介质
CN111866587A (zh) * 2020-07-30 2020-10-30 口碑(上海)信息技术有限公司 短视频的生成方法及装置
CN112118397B (zh) * 2020-09-23 2021-06-22 腾讯科技（深圳）有限公司 一种视频合成的方法、相关装置、设备以及存储介质
CN112235516B (zh) * 2020-09-24 2022-10-04 北京达佳互联信息技术有限公司 视频生成方法、装置、服务器及存储介质
CN116437034A (zh) * 2020-09-25 2023-07-14 荣耀终端有限公司 视频特效添加方法、装置及终端设备
CN112188260A (zh) * 2020-10-26 2021-01-05 咪咕文化科技有限公司 视频的分享方法、电子设备及可读存储介质
CN112637517B (zh) * 2020-11-16 2022-10-28 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN112738624B (zh) * 2020-12-23 2022-10-25 北京达佳互联信息技术有限公司 用于视频的特效渲染的方法和装置
CN114758037A (zh) * 2020-12-28 2022-07-15 北京小米移动软件有限公司 影像生成方法、装置、终端设备及存储介质
CN112700518B (zh) * 2020-12-28 2023-04-07 北京字跳网络技术有限公司 拖尾视觉效果的生成方法、视频的生成方法、电子设备
CN113068072A (zh) * 2021-03-30 2021-07-02 北京达佳互联信息技术有限公司 视频的播放方法、装置及设备
CN114501041B (zh) * 2021-04-06 2023-07-14 抖音视界有限公司 特效显示方法、装置、设备及存储介质
CN113207038B (zh) * 2021-04-21 2023-04-28 维沃移动通信（杭州）有限公司 视频处理方法、视频处理装置和电子设备
CN113254677A (zh) * 2021-07-06 2021-08-13 北京达佳互联信息技术有限公司 多媒体信息处理方法、装置、电子设备及存储介质
CN113542855B (zh) * 2021-07-21 2023-08-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和可读存储介质
CN113518256B (zh) * 2021-07-23 2023-08-08 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113556481B (zh) * 2021-07-30 2023-05-23 北京达佳互联信息技术有限公司 视频特效的生成方法、装置、电子设备及存储介质
CN113824990A (zh) * 2021-08-18 2021-12-21 北京达佳互联信息技术有限公司 视频生成方法、装置及存储介质
CN113596564B (zh) * 2021-09-29 2021-12-28 卡莱特云科技股份有限公司 一种画面播放方法及装置
CN114143398B (zh) * 2021-11-17 2023-08-25 西安维沃软件技术有限公司 视频播放方法、装置
CN114007121B (zh) * 2021-12-29 2022-04-15 卡莱特云科技股份有限公司 一种视频播放特效变换方法、装置及***
CN114567805B (zh) * 2022-02-24 2024-06-14 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质
CN114782579A (zh) * 2022-04-26 2022-07-22 北京沃东天骏信息技术有限公司 一种图像渲染方法及装置、存储介质
CN116095412B (zh) * 2022-05-30 2023-11-14 荣耀终端有限公司 视频处理方法及电子设备
CN116580131B (zh) * 2023-04-28 2024-02-13 杭州慧跃网络科技有限公司 一种静态图像渲染方法、装置、***及存储介质
CN116450057B (zh) * 2023-06-19 2023-08-15 成都赛力斯科技有限公司 基于客户端的车辆功能图片生成方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394324A (zh) * 2014-12-09 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN104618797A (zh) * 2015-02-06 2015-05-13 腾讯科技（北京）有限公司 信息处理方法、装置及客户端
CN104780458A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备
CN106028052A (zh) * 2016-05-30 2016-10-12 徐文波 即时视频中连续发送特效的方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001351116A (ja) * 2000-06-07 2001-12-21 Sony Corp 電子アニメコミック提供システム、電子情報作成装置、情報処理装置、記録媒体及び電子アニメコミック提供方法
CN101212640A (zh) * 2006-12-29 2008-07-02 英华达股份有限公司 视频通话方法
JP5771329B2 (ja) * 2011-07-20 2015-08-26 ゼットティーイー コーポレイション 動的壁紙の生成方法及び生成装置
JP2014068274A (ja) * 2012-09-26 2014-04-17 Olympus Imaging Corp 画像編集装置、画像編集方法、およびプログラム
CN103220490A (zh) * 2013-03-15 2013-07-24 广东欧珀移动通信有限公司 一种在视频通信中实现特效的方法及视频用户端
KR102109054B1 (ko) * 2013-04-26 2020-05-28 삼성전자주식회사 애니메이션 효과를 제공하는 사용자 단말 장치 및 그 디스플레이 방법
CN103455968A (zh) * 2013-08-07 2013-12-18 厦门美图网科技有限公司 一种具有粒子元素的实时影像渲染方法
JPWO2015049899A1 (ja) * 2013-10-01 2017-03-09 オリンパス株式会社 画像表示装置および画像表示方法
KR101528312B1 (ko) * 2014-02-14 2015-06-11 주식회사 케이티 영상 편집 방법 및 이를 위한 장치
CN103853562B (zh) * 2014-03-26 2017-02-15 北京奇艺世纪科技有限公司 一种视频帧渲染方法及装置
CN104394313A (zh) * 2014-10-27 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN104967865B (zh) * 2015-03-24 2019-10-11 腾讯科技（北京）有限公司 视频预览方法和装置
US10074014B2 (en) * 2015-04-22 2018-09-11 Battelle Memorial Institute Feature identification or classification using task-specific metadata
CN106303491A (zh) * 2015-05-27 2017-01-04 深圳超多维光电子有限公司 图像处理方法及装置
US10474877B2 (en) * 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
CN105635806B (zh) * 2015-12-28 2018-12-28 北京像素软件科技股份有限公司 群体运动场景的渲染方法
CN105812866A (zh) * 2016-03-15 2016-07-27 深圳创维－Rgb电子有限公司 智能终端的控制方法及装置
CN105975273B (zh) * 2016-05-04 2019-04-02 腾讯科技（深圳）有限公司 粒子动画的实现及优化工具的净化过程展示方法和***
CN106385591B (zh) * 2016-10-17 2020-05-15 腾讯科技（上海）有限公司 视频处理方法及视频处理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394324A (zh) * 2014-12-09 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN104618797A (zh) * 2015-02-06 2015-05-13 腾讯科技（北京）有限公司 信息处理方法、装置及客户端
CN104780458A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备
CN106028052A (zh) * 2016-05-30 2016-10-12 徐文波 即时视频中连续发送特效的方法和装置

Also Published As

Publication number Publication date
US20210243493A1 (en) 2021-08-05
CN106385591A (zh) 2017-02-08
US20190132642A1 (en) 2019-05-02
US11412292B2 (en) 2022-08-09
US11012740B2 (en) 2021-05-18
WO2018072652A1 (zh) 2018-04-26

Similar Documents

Publication Publication Date Title
CN106385591B (zh) 视频处理方法及视频处理装置
CN112738408B (zh) 图像修改器的选择性识别和排序
CN109688451B (zh) 摄像机效应的提供方法及***
WO2023045207A1 (zh) 任务处理方法及装置、电子设备、存储介质和计算机程序
WO2016122973A1 (en) Real time texture mapping
CN112148189A (zh) 一种ar场景下的交互方法、装置、电子设备及存储介质
KR20230113370A (ko) 얼굴 애니메이션 합성
WO2019114328A1 (zh) 一种基于增强现实的视频处理方法及其装置
TW202304212A (zh) 直播方法、系統、電腦設備及電腦可讀儲存媒體
CN112905074B (zh) 交互界面展示方法、交互界面生成方法、装置及电子设备
US20210387099A1 (en) Game result overlay system
CN116261850A (zh) 用于实时虚拟效果的骨骼跟踪
CN112148125A (zh) 一种ar交互状态控制的方法、装置、设备及存储介质
CN111627115A (zh) 互动合影方法及装置、互动装置以及计算机存储介质
KR20170120299A (ko) 립모션을 이용한 실감형 콘텐츠 서비스 시스템
KR20160012909A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
WO2022151687A1 (zh) 合影图像生成方法、装置、设备、存储介质、计算机程序及产品
CN114266305A (zh) 对象识别方法及装置、电子设备和存储介质
KR20230081715A (ko) 실시간 비디오 편집
CN115619902A (zh) 一种图像处理方法、装置、设备及介质
US11995780B2 (en) Shooting interaction using augmented reality content in a messaging system
US11948266B1 (en) Virtual object manipulation with gestures in a messaging system
US11894989B2 (en) Augmented reality experience event metrics system
US20240087242A1 (en) 3d cursor functionality for augmented reality content in messaging systems
US20240087244A1 (en) Cursor functionality for augmented reality content in messaging systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant