CN110062269A - 附加对象显示方法、装置及计算机设备 - Google Patents

附加对象显示方法、装置及计算机设备 Download PDF

Info

Publication number
CN110062269A
CN110062269A CN201810050497.6A CN201810050497A CN110062269A CN 110062269 A CN110062269 A CN 110062269A CN 201810050497 A CN201810050497 A CN 201810050497A CN 110062269 A CN110062269 A CN 110062269A
Authority
CN
China
Prior art keywords
display
video
extra objects
image frame
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810050497.6A
Other languages
English (en)
Inventor
肖仙敏
张中宝
蒋辉
王文涛
肖鹏
黎雄志
张元昊
林锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810050497.6A priority Critical patent/CN110062269A/zh
Priority to EP19740905.5A priority patent/EP3742743A4/en
Priority to JP2020539223A priority patent/JP7109553B2/ja
Priority to PCT/CN2019/070616 priority patent/WO2019141100A1/zh
Publication of CN110062269A publication Critical patent/CN110062269A/zh
Priority to US15/930,124 priority patent/US11640235B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本申请是关于一种附加对象显示方法、装置及计算机设备，涉及计算机应用技术领域。该方法包括：在视频播放界面中显示触发控件；响应于对触发控件的激活操作，暂停播放视频，并显示参考画面帧；响应于对触发控件的拖动操作，获取参考画面帧中的目标对象；在播放视频时，在视频的画面帧中对应目标对象显示触发控件对应的附加对象，从而达到在视频播放过程中保持附加对象与视频播放画面相匹配的效果。

Description

附加对象显示方法、装置及计算机设备
技术领域
本发明涉及计算机应用技术领域，特别涉及一种附加对象显示方法、装置及计算机设备。
背景技术
随着视频处理技术的不断发展，很多应用程序提供在视频中添加显示附加对象的功能，以提高视频的播放效果。
在相关技术中，用户需要在视频中添加显示附加对象时，可以在视频播放界面中指定目标位置以及待添加的附加对象，终端后续播放视频时，将该附加对象持续显示在该目标位置。然而，通过相关技术所示的方案，用户在指定目标位置后，附加对象在视频中的显示位置就固定不变，导致后续视频播放过程中附加对象与视频播放画面不匹配。
发明内容
本发明实施例提供了一种附加对象显示方法、装置及计算机设备，可以用于解决相关技术中附加对象与视频播放画面不匹配的问题，技术方案如下：
一方面，提供了一种附加对象显示方法，所述方法包括：
在视频播放界面中显示触发控件，所述视频播放界面用于播放视频；
响应于对所述触发控件的激活操作，暂停播放所述视频，并在所述视频播放界面中显示参考画面帧，所述参考画面帧是所述视频中对应在暂停时间点处的画面帧；
响应于对所述触发控件的拖动操作，获取目标对象；所述目标对象是所述参考画面帧中对应在所述拖动操作的结束位置的显示对象；
在播放所述视频时，在所述视频的画面帧中对应所述目标对象显示所述触发控件对应的附加对象。
一方面，提供了一种附加对象显示装置，所述装置包括：
控件显示模块，用于在视频播放界面中显示触发控件，所述视频播放界面用于播放视频；
暂停模块，用于响应于对所述触发控件的激活操作，暂停播放所述视频，并在所述视频播放界面中显示参考画面帧，所述参考画面帧是所述视频中对应在暂停时间点处的画面帧；
对象获取模块，用于响应于对所述触发控件的拖动操作，获取目标对象；所述目标对象是所述参考画面帧中对应在所述拖动操作的结束位置的显示对象；
对象显示模块，用于在播放所述视频时，在所述视频的画面帧中对应所述目标对象显示所述触发控件对应的附加对象。
一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述附加对象显示方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述附加对象显示方法。
本发明提供的技术方案可以包括以下有益效果：
预先在视频播放界面中显示一个触发控件，检测到用户对该触发控件的激活操作时，即可以暂停视频播放，后续再接收到对触发控件的拖动操作时，将拖动操作结束位置对应的显示对象确定为目标对象，后续播放过程中对应各个画面帧中同样的目标对象显示附加对象，从而达到在视频播放过程中保持附加对象与视频播放画面相匹配的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请一个示例性实施例提供的附加对象显示的基本流程图；
图2是图1所示实施例涉及的一种触发控件展示界面图；
图3是本申请一个示例性的实施例提供的附加对象显示方法的流程图；
图4是图3所示实施例涉及的触发控件及附加对象预览图的展示界面图；
图5是图3所示实施例涉及的一种附加对象切换示意图；
图6是图3所示实施例涉及的一种附加对象缩放示意图；
图7是图3所示实施例涉及的触发控件及附加对象预览图的展示界面图；
图8是图3所示实施例涉及的CMT算法的初始化流程；
图9是图3所示实施例涉及的CMT算法的每个画面帧的处理流程图；
图10是图3所示实施例涉及的一种对象追踪流程图；
图11是本申请一示例性实施例提供的一种贴身跟随模式的操作示意图；
图12是本申请一示例性实施例提供的另一种贴身跟随模式的操作示意图；
图13是本申请一示例性实施例提供的一种风筝模式的操作示意图；
图14是本申请一示例性实施例提供的另一种贴身跟随模式的操作示意图；
图15是本申请一个示例性实施例提供的附加对象显示装置的结构方框图；
图16是本申请一示例性实施例提供的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本申请提供的方案可以应用于具有一定的计算能力，且具备视频播放功能的终端中。比如，该终端可以是智能手机、平板电脑或者电子书阅读器等移动终端，或者，该终端也可以是台式电脑或者笔记本电脑等个人计算机设备。
为了便于理解本申请所提供的方案，下面对本申请涉及到几个名词进行解释。
1、附加对象
在本申请实施例中，附加对象也称为贴纸或视频贴纸，是后期附加在已有的视频上层进行显示的文字或者图像元素。
附加对象按照类型可以分为动态对象(也称动态贴纸)和静态对象(也称静态贴纸)。其中，动态对象是指本身带有动画效果的对象，类似动画表情。而静态对象是指不带动画效果的对象，类似静态图片。
附加对象可以是透明、半透明或者非透明的显示对象。
2、画面帧
本申请中的画面帧是指视频播放过程中，根据时间戳进行播放的图像数据。
3、对象追踪
本申请中的对象追踪，是指在视频的画面帧序列中，对于一帧画面帧中包含的指定显示对象，在视频的画面帧序列中除了该画面帧之外的其它画面帧中找到该指定显示对象，并得到该指定显示对象在其它各个画面帧中的位置、尺寸以及姿态(通常可以是旋转角度)等信息。
4、可变形物体跟踪的静态自适应对应聚类算法
可变形物体跟踪的静态自适应对应聚类(Clustering of Static-AdaptiveCorrespondences for Deformable Object Tracking，CMT)算法是一种对象跟踪算法，可以应用于跟踪视频场景中的显示对象(比如人或物体)。CMT算法是一种基于特征的跟踪方法，其使用了经典的光流法作为算法的一部分。
5、字典
本申请中涉及到的字典是一种用于保存具有映射关系的数据的集合，可以视为用于存储键值(key-value)对的容易，其中，一个键值对可以认为是一个条目(entry)。字典通过key来存取元素，且key不能重复，value必须是对象，键值对在字典中可以有序存储，也可以无序存储。
请参考图1，其示出了本申请一个示例性实施例提供的附加对象显示的基本流程图，该流程可以由终端来实现。如图1所示，该流程可以包括如下几个步骤：
步骤11，在视频播放界面中显示触发控件，该视频播放界面用于播放视频。
在本申请实施例中，终端在播放视频时，可以在视频播放界面中显示一个触发控件，该触发控件悬浮在视频播放界面的上层，且可以接受光标操作或者触控操作。
比如，请参考图2，其示出了本申请实施例涉及的一种触发控件展示界面图。如图2所示，终端在视频播放界面20中播放视频画面21，该视频画面21中包含一触发控件22，其中，该触发控件22并不是视频画面21中原来包含的显示对象，而是终端额外添加在视频画面21的上层悬浮显示的对象。
步骤12，在播放视频时，响应于对该触发控件的激活操作，暂停播放该视频，并在该视频播放界面中显示参考画面帧，该参考画面帧是视频中对应在暂停时间点处的画面帧。
当视频播放至包含有目标对象的画面时，用户可以对触发控件执行激活操作(比如点击触控操作)，此时，终端可以暂停视频播放，以便用户选择需要添加附加对象的目标对象。
如图2所示，触发控件22可以接受用户的点击触控操作，当检测到用户对触发控件22的点击触控操作时，终端暂停播放视频，同时触发控件22进入激活状态，此时，暂停的视频画面帧即为上述参考画面帧。
步骤13，响应于对该触发控件的拖动操作，获取目标对象，该目标对象是该参考画面帧中对应在该拖动操作的结束位置的显示对象。
在本申请实施例中，响应用户对触发控件的激活操作之后，该触发控件即可以接受用户的拖动操作，当拖动操作结束时，终端可以根据拖动操作的结束位置获取参考画面帧中的目标对象。
如图2所示，参考画面帧中包含若干个显示对象，比如人物对象23、房屋24以及山丘25等等。触发控件22进入激活状态之后，用户可以通过触摸滑动操作来拖动触发控件22，并将拖动操作结束时，触发控件22所在位置出的显示对象(即图2中的人物对象23)确定为目标对象。
从参考画面帧中获取目标对象之后，终端可以在该视频中的各个画面帧中追踪该目标对象，获得第一显示信息，该第一显示信息用于指示该目标对象分别在该各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；终端根据该第一显示信息生成第二显示信息，该第二显示信息用于指示该附加对象分别在该各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种。
步骤14，在播放该视频时，在该视频的画面帧中对应该目标对象显示该触发控件对应的附加对象。
本申请实施例中，终端确定目标对象之后，后续播放该视频时，可以在视频播放界面中对应该目标对象显示该触发控件对应的附加对象。其中，对应该目标对象显示该触发控件对应的附加对象可以是指在目标对象上层覆盖显示附加对象，或者，可以是在目标对象周围显示附加对象，或者，也可以是在对应该目标对象的某一相对位置处显示该附加对象。
比如，在对应该目标对象显示该触发控件对应的附加对象时，在确定目标对象之后，终端在播放该视频时，可以根据上述第二显示信息，分别在各个画面帧中显示该附加对象。
如图2所示，终端确定人物对象23为目标对象之后，在后续播放该视频的过程中，当播放的画面帧中包含该人物对象23时，对应该人物对象23显示附加对象24。
通过图1所示的流程，终端预先在视频播放界面中显示一个触发控件，检测到用户对该触发控件的激活操作时，即可以暂停视频播放，后续再接收到对触发控件的拖动操作时，将拖动操作结束位置对应的显示对象确定为目标对象，后续播放过程中对应各个画面帧中同样的目标对象显示附加对象，从而达到在视频播放过程中保持附加对象与视频播放画面相匹配的效果。
在本申请上述图1所示实施例提供的方案中，在视频中显示触发控件对应的附加对象时，终端可以按照预先设置好的，附加对象与目标对象之间的位置关系显示附加对象；或者，终端也可以按照用户在选择目标对象时设置的附加对象与目标对象之间的位置关系显示附加对象。
请参考图3，其示出了本申请一个示例性的实施例提供的附加对象显示方法的流程图，该方法可以包括如下几个步骤：
步骤301，在视频播放界面中显示触发控件。
步骤302，在播放视频时，响应于对该触发控件的激活操作，暂停播放该视频，并在该视频播放界面中显示参考画面帧，该参考画面帧是视频中对应在暂停时间点处的画面帧。
步骤303，响应于对该触发控件的拖动操作，获取目标对象，该目标对象是该参考画面帧中对应在该拖动操作的结束位置的显示对象。
上述步骤301至步骤303所示的方案可以参考上述图1中的步骤11至步骤13，此处不再赘述。
可选的，终端还在视频播放界面中显示附加对象的预览图。
在本申请实施例中，当触发控件被激活(即接受到对该触发控件的激活操作)后，该附加对象的预览图可以随着触发控件一起在视频播放界面中移动。
比如，请参考图4，其示出了本申请实施例涉及的一种触发控件及附加对象预览图的展示界面图。如图4所示，终端在视频播放界面40中播放视频画面41，该视频画面41中包含触发控件42以及附加对象的预览图43，当接受到用户对触发控件42的拖动操作时，触发控件42以及附加对象的预览图43一起移动至视频画面41中的新的位置。
可选的，上述对触发控件的拖动操作的操作点处于触发控件或者附加对象的预览图对应的区域。也就是说，在本申请实施例中，用户在触发控件或者附加对象的预览图上执行的拖动操作，都可以视为对触发控件的拖动操作。
比如，在图4中，用户在触发控件42或者附加对象的预览图43所在的位置处开始拖动时，都能够移动触发控件42以及附加对象的预览图43在视频画面41中的位置。
可选的，终端在视频播放界面中，对应该触发控件显示切换控件，响应于对该切换控件的激活操作，显示附加对象选择界面，该附加对象选择界面中包含至少两个备选对象，响应于在该附加对象选择界面中的选择操作，将该选择操作对应的备选对象获取为该触发控件对应的新的附加对象。
在本申请实施例中，用户还可以自由的切换触发控件对应的附加对象。比如，请参考图5，其示出了本申请实施例涉及的一种附加对象切换示意图。如图5所示，在终端在视频播放界面50中播放视频画面51，该视频画面51中包含触发控件52、附加对象的预览图53以及切换控件54，接受到用户对切换控件54的点击操作(即上述对切换控件的激活操作)时，终端显示附加对象选择界面55，该附加对象选择界面55中包含备选对象55a以及备选对象55b，其中，备选对象55a对应当前的附加对象。进一步的，接受到用户对备选对象55b的点击操作(即上述选择操作)时，终端将附加对象的预览图53中显示的内容切换为备选对象55b的预览图。
可选的，当终端在视频播放界面中显示附加对象的预览图时，还对应该附加对象的预览图显示缩放控件，响应于对该缩放控件的缩放操作，对该附加对象的预览图进行缩放，同时将缩放后的附加对象的预览图的尺寸获取该附加对象的新的显示尺寸。
在本申请实施例中，终端可以将附加对象的预览图在视频播放界面中的尺寸记录为该附加对象的显示尺寸，并且，用户可以自由缩放该附加对象的显示尺寸。
比如，请参考图6，其示出了本申请实施例涉及的一种附加对象缩放示意图。如图6所示，在终端在视频播放界面60中播放视频画面61，该视频画面61中包含触发控件62、附加对象的预览图63以及缩放控件66，当接受到用户对缩放控件66的拖动操作(即上述对缩放控件的缩放操作)时，终端调整附加对象的预览图63的尺寸，并将调整后的附加对象的预览图63的尺寸获取为该附加对象的新的显示尺寸。
可选的，终端获取该预览图在该参考画面帧中的显示位置，根据该预览图在该参考画面帧中的显示位置，以及该参考画面帧中对应在该拖动操作的结束位置，获取该附加对象与该目标点之间的相对位置信息。
在本申请实施例中，用户在拖动触发控件的过程中，附加对象的预览图可以不随着触发控件一起移动，在接收到对触发控件的拖动操作之后，终端可以根据该预览图在参考画面帧中的位置，以及拖动操作的结束位置，获取附加对象与目标点之间的相对位置信息。
比如，在初始时刻，触发控件处于预览图的左下角，在用户对触发控件进行拖动之后，触发控件处于预览图左下角的下方偏左30度，且距离为200个像素，则终端可以获取附加对象与目标点之间的相对位置信息为：目标点处于预览图左下角的下方偏左30度，距离200像素。
可选的，终端响应于对该附加对象的预览图的拖动操作，移动该附加对象的预览图在该视频播放界面中的位置。
在本申请实施例中，用户可以分别对触发控件以及附加对象的预览图进行位置移动。比如，请参考图7，其示出了本申请实施例涉及的一种触发控件及附加对象预览图的展示界面图。如图7所示，终端在视频播放界面70中播放视频画面71，该视频画面71中包含触发控件72以及附加对象的预览图73，当接受到用户对触发控件72的拖动操作时，触发控件72移动至新的位置，此过程中附加对象的预览图73位置不变，相应的，接受到用户对预览图73的拖动操作时，预览图73移动至新的位置，此时触发控件72位置不变。
步骤304，在该视频中的各个画面帧中追踪该目标对象，获得第一显示信息，该第一显示信息用于指示该目标对象分别在该各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种。
其中，上述各个画面帧可以是视频中的全部画面帧，或者，上述各个画面帧也可以是视频中的部分画面帧。比如，当上述各个画面帧是视频中的部分画面帧时，上述各个画面帧可以是视频中处于参考画面帧之后的全部画面帧，或者，上述各个画面帧也可以是视频中处于参考画面帧之前的全部画面帧，或者，上述各个画面帧也可以是视频中处于参考画面帧之前或者之后的一段时间内的画面帧。
可选的，终端通过CMT算法在视频中的各个画面帧中追踪目标对象，获得该第一显示信息。
在本申请实施例中，针对不同的终端的操作***，追踪算法都可以采用CMT算法，即本申请所示的方案可以支持多平台。其中，在通过CMT算法追踪各个画面帧中的目标对象时，终端首先要处理初始化算法、需要追踪的图像以及跟踪区域，然后对后续的每一帧画面帧进行匹配处理。请参考图8和图9，其中，图8示出了本申请实施例涉及的CMT算法的初始化流程，图9示出了本申请实施例涉及的CMT算法的每个画面帧的处理流程(找到画面帧中匹配的区域)图。
图8所示的CMT算法初始化具体描述如下：
1、创建初始化的变量，包括跟踪的区域、初始帧的灰度图、物体的中心位置及结果的包含的位置，初始化图片的特征检测算法可以是加速段测试特征(Features fromAccelerated Segment Test，FAST)算法，特征点描述算法可以为二进制鲁棒不变可扩展关键点(Binary Robust Invariant Scalable Keypoints，BRISK)算法。
2、检测第一帧图像的特征点，包括前景点(目标选取框中的点)，背景特征点(目标选取框之外的点)，构造一个包含前景点和背景点的潜在数据库(database_potential)的数据集合。
3、初始化特征点匹配器matcher，用于匹配两张图像的特征点。初始化一致器，用于评估目标的旋转角度和尺度因子；保存目标区域的(前景点)特征点及序号。
如图9所示，CMT算法处理各个画面帧的过程描述如下：
1、用特征点检测(FAST)和描述(BRISK)算法对当前图像特征点进行特征检测和描述。
2、将之前保存的首帧目标特征点与当前的特征点进行全局匹配，得到匹配到的点。
3、用光流法根据上次匹配得到的目标特征点预测当前帧中目标的特征点。
4、融合全局匹配到的点和用光流法追踪到的点(即做并集)。
5、对目标做缩放和旋转的估计，接着用局部匹配的点和一致器计算得到的点做并集融合得到目标特征点。
其中，一致器计算的目的是根据旋转和缩放估计目标区域的点。而局部匹配是指比较当前帧中检测得到的每一个关键点与第一帧中经过旋转和尺度变换之后的所有前景关键点之间的欧氏距离，若该欧氏距离小于阈值(比如阈值可以预先设置为20)，说明该前景关键点是有可能匹配上的，则将这些可能的前景关键点构造成一个特征描述库database_potential；再将当前帧中检测得到的每一个关键点的特征描述与database_potential进行knnMatch匹配，每个特征描述子在database_potential寻找最佳的多个(比如2个)匹配结果，排除不稳定的关键点的策略与全局匹配类似。
通过上述CMT算法，终端可以追踪视频的各个画面帧中包含的上述目标对象的位置、尺寸以及姿态等信息(即上述第一显示信息)。
步骤305，根据该第一显示信息生成第二显示信息，该第二显示信息用于指示该附加对象分别在该各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种。
可选的，上述第一显示信息包括该目标对象中的目标点分别在该各个画面帧中的像素坐标，终端根据该目标对象中的目标点分别在该各个画面帧中的像素坐标，以及该附加对象与该目标点之间的相对位置信息，获取该附加对象分别在该各个画面帧中的像素坐标；并生成包含该附加对象分别在该各个画面帧中的像素坐标的该第二显示信息。
在本申请实施例中，第一显示信息所指示的位置信息可以是目标对象中的目标点分别在该各个画面帧中的像素坐标，其中目标点可以是用户对上述触发控件的拖动操作的结束位置对应在目标对象中的位置点，比如，当用户在参考画面帧中将触发控件拖动到人物A的鼻尖位置时，各个包含该人物A的画面帧中的目标点就是对应画面帧中的人物A的鼻尖所在的位置点，相应的，生成的第一显示信息中也包含各个画面帧中的人物A的鼻尖所在的位置点的像素坐标。终端后续根据各个画面帧中的人物A的鼻尖所在的位置点的像素坐标，以及附加对象与目标点之间的相对位置信息获取附加对象分别在各个画面帧中的像素坐标。
可选的，终端获取预览图在参考画面帧中的显示位置，并根据该预览图在该参考画面帧中的显示位置，以及该参考画面帧中对应在该拖动操作的结束位置，获取该附加对象与该目标点之间的相对位置信息。
比如，在图5中，附加对象的预览图在参考画面帧中的显示位置的左下角与目标点(即拖动后的触发控件所在的位置点)重合，则附加对象与该目标点之间的相对位置信息可以为：目标点与附加对象的左下角重合。
可选的，第一显示信息包括该目标对象分别在该各个画面帧中的显示尺寸，在根据该第一显示信息生成第二显示信息时，终端根据该目标对象分别在该各个画面帧中的显示尺寸，以及该目标对象的原始尺寸，计算该附加对象分别在该各个画面帧中的缩放倍率；该目标对象的原始尺寸是该目标对象在该参考画面帧中的显示尺寸；根据该附加对象的原始尺寸和该缩放倍率获取该附加对象在该各个画面帧中的显示尺寸；生成包含该各个画面帧中的显示尺寸的该第二显示信息。
在本申请实施例中，目标对象在不同的画面帧中的显示尺寸可能不同，相应的，在生成第二显示信息时，终端可以根据目标对象在各个画面帧中的显示尺寸与目标对象的原始尺寸之间的倍数关系(即上述缩放倍率)，结合附加对象的原始尺寸，确定附加对象在各个不同的画面帧中的显示尺寸，以实现附加对象随着目标对象进行缩放。
可选的，该第一显示信息包括该目标对象分别在该各个画面帧中的显示位置和显示姿态，在根据该第一显示信息生成第二显示信息时，终端根据该目标对象分别在该各个画面帧中的显示位置和显示姿态，以及该附加对象与该目标点之间的相对位置信息，获取该附加对象分别在该各个画面帧中的显示位置和显示姿态；生成包含该附加对象分别在该各个画面帧中的显示位置和显示姿态的该第二显示信息。
在本申请实施例中，目标对象在不同的画面帧中的位置和姿态也可能不同，相应的，在生成第二显示信息时，终端可以根据目标对象在各个画面帧中的位置和姿态，确定附加对象在各个不同的画面帧中的位置和姿态，以实现附加对象随着目标对象进行姿态改变(比如偏转)。
可选的，在该视频中的各个画面帧中追踪该目标对象，获得第一显示信息时，终端从该参考画面帧开始，分别按照播放时间顺序和/或播放时间逆序，在该各个画面帧中逐帧追踪该目标显示对象，获得上述第一显示信息。
在本申请实施例中，终端可以只按照播放时间顺序，从参考画面帧开始，在参考画面帧之后的画面帧中追踪目标对象；或者，终端也可以只按照播放时间逆序，从参考画面帧开始，在参考画面帧之前的画面帧中追踪目标对象；或者，终端也可以按照照播放时间顺序和播放时间逆序，从参考画面帧开始，分别在在参考画面帧之前和之后的画面帧中追踪目标对象。
可选的，在视频中的各个画面帧中追踪目标对象时，也可以从参考画面帧开始，只追踪参考画面帧之前和/或之后一小段时间内的目标对象。比如，以追踪参考画面帧之后的一小段时间内的目标对象为例，在一种可能的实现方式中个，终端可以按照预设的追踪时长(比如5s)，确定在参考画面帧对应的播放时间点之后的预设的追踪时长内进行播放的画面帧，并只在确定的画面帧中追踪目标对象；或者，在另一种可能的实现方式中，终端也可以从参考画面帧开始，按照播放时间顺序逐帧追踪目标对象，若追踪到目标对象，则继续在下一画面帧中追踪该目标对象，若在某一画面帧中未追踪到该目标对象，则终端停止对该目标对象的追踪。
步骤306，在播放该视频时，根据该第二显示信息，分别在该各个画面帧中显示该附加对象。
其中，对象追踪(即生成第一显示信息和第二显示信息的过程)和在该各个画面帧中显示该附加对象可以是两个并行的流程。其中，请参考图10，其示出了本申请实施例涉及的一种对象追踪流程图，如图10所示，以附加对象是贴纸为例，该对象追踪流程的步骤可以描述如下：
步骤101，获取贴纸对应的目标对象后，检测到开始追踪的操作(比如用户点击视频播放界面中除了贴纸之外的其他区域)之后开始追踪，获取视频静止时的视频帧图像A，追踪贴纸的所在区域B，根据图像A和区域B初始化追踪对象(包括两个追踪对象，以便正向同时能追踪)，同时获取当前视频的时间戳C以及视频时长D。
步骤102，开两个线程，在时间戳C同时正反向解码视频，一个线程从时间戳C解码到0时刻，一个线程从时间戳C解码到视频时长D。
步骤103，两个线程解码视频，会得到一帧帧图像以及对应的时间戳，终端将每一帧图像都交给追踪对象进行追踪处理。
步骤104，、追踪处理会得到两种结果，如果在图像中追踪到目标对象，则会得到中心点以及缩放值，加上帧对象对应的时间戳，标记为贴纸可显示，保存到字典中。
步骤105，如果没有追踪到，则同样加时间戳，标记为贴纸不可显示，并保存到字典中。
追踪完成后，终端将会得到一个以时间戳为key，追踪数据为value的字典，追踪数据包括是否有追踪到，用于控制贴纸在对应时间戳上是否显示，还包括了中心点以及缩放值，用于控制贴纸的位置以及大小的改变。视频预览界面将继续播放，播放过程中，渲染的每一帧都有个时间戳，根据时间戳，查找字典中是否存在追踪信息，如果有，根据这些信息改变贴纸的属性，同时动态贴纸也会根据时间戳改变显示的图像。
预览的时候，贴纸和视频是分开的两个view，这样就可以不断对贴纸进行处理，生成并显示视频时对视频画面和贴纸进行合成，合成时视频中每一帧都有个时间戳，终端根据这个时间戳去获取贴纸的信息(位置，大小以及贴纸图像)，生成改变后的贴纸，然后跟视频帧做融合。
综上所述，本申请实施例所示的方案，终端预先在视频播放界面中显示一个触发控件，检测到用户对该触发控件的激活操作时，即可以暂停视频播放，后续再接收到对触发控件的拖动操作时，将拖动操作结束位置对应的显示对象确定为目标对象，后续播放过程中对应各个画面帧中同样的目标对象显示附加对象，从而达到在视频播放过程中保持附加对象与视频播放画面相匹配的效果。
此外，本申请实施例所示的方案，由于触发控件已经预先显示在视频播放界面中，用户在当前界面中通过激活和拖动操作即可以添加附加对象，从而提高添加显示附加对象的效率。
本技术方案，主要是针对贴纸(也就是附加显示对象)跟随的功能及交互上进行设计，同时在跟踪物体的准确度上保持较好的水平。在功能上，本方案支持静态贴纸和动态贴纸的跟踪，并且可以对整个视频中的目标进行追踪；在交互上，用户可以点击钉子(即附加显示对象对应的触控组件)停止画面，这时候拖动贴纸进行标定目标位置，点击任意区域后开始处理追踪，处理完成之后继续播放，在播放的时候根据追踪数据改变贴纸的属性。
其中，动态贴纸的资源可以采用便携式网格图形(Animated Portable NetworkGraphics，APNG)的格式文件，添加动态贴纸后，对APNG文件进行解码，然后根据时间戳渲染到画面上，包括根据视频渲染时的时间戳找到APNG对应的图像。其中，APNG是PNG的位图动画扩展，可以实现PNG格式的动态图片效果。
上述图3所示的实施例提供的方案，可以应用于拍摄完短视频后添加贴纸玩法的场景。即在拍摄后可以添加静态或动态贴纸，并根据需求选中追踪目标，然后进行贴身跟随模式的追踪。
其中，上述贴身跟随模式，是指贴纸附加对象在各个画面帧中紧贴着目标对象进行显示的模式。
以附加对象是贴纸为例，请参考图11，其示出了本申请一示例性实施例提供的一种贴身跟随模式的操作示意图。如图11所示，贴纸的贴身跟随模式的使用方式主要步骤如下：
1、获取到视频(比如拍摄视频)后自动进入视频编辑界面，在编辑栏中添加一个贴纸(静态或动态)。
2、点击要编辑的贴纸进入编辑状态，出现编辑框。
3、视频播放过程中，如果有要选中的追踪目标，则用户可以点击编辑框左下方的钉子按钮(即触发控件)，视频预览界面会停止播放，同时会在贴纸下方出现透明灰色蒙层，以便更直观的显示在追踪操作过程中。
4、用户拖动贴纸做精准的定位，然后点击贴纸之外的其他区域。
5、预览界面会出现loading状态，做追踪处理，处理完视频恢复播放，选中的贴纸也会根据追踪数据进行位置以及大小的改变。
贴纸的贴身跟随模式在实际使用过程中可以选中人脸，达到挡住人脸的作用，并用动态贴纸做出娱乐化的视频画面，除了人脸遮挡之外，也可以使用在其它的场景，比如遮挡物体等等。
请参考图12，其示出了本申请一示例性实施例提供的另一种贴身跟随模式的操作示意图，如图12所示，在视频播放过程中，画面上层显示一个钉子的图标(即触发控件)以及贴纸。当用户点击钉子时，视频暂停播放，此时画面静止。在画面静止后，用户可以在静止的画面上拖动贴纸，以选择贴纸跟随的目标(即图12中人物的头部)。用户点击静止的画面中除了贴纸以及钉子之外的其它区域后，视频恢复播放，并且，贴纸开始跟随选择的目标(人物的头部)运动。
上述图3所示的实施例提供的方案，也可以应用于拍摄完短视频后添加贴纸玩法的场景。即在拍摄后可以添加静态或动态贴纸，并根据需求选中追踪目标，然后进行风筝模式的追踪。
其中，风筝模式是指贴纸跟随目标对象一起移动改变，但并不会挡住目标对象的模式，其中，贴身跟随模式严格意义上可以归纳为风筝模式下的一个特殊场景，只是定位追踪目标区域为贴纸本身所在的区域，而风筝模式选中的区域可以随意拖动，贴纸只是根据和选中的区域相对位置信息做适当的位置以及大小的改变，请参考图13，其示出了本申请一示例性实施例提供的一种风筝模式的操作示意图。如图13所示，风筝模式如下：
1、获取到视频(比如拍摄视频)后自动进入视频编辑界面，在编辑栏中添加一个贴纸(静态或动态)。
2、点击要编辑的贴纸进入编辑状态，出现编辑框。
3、视频播放过程中，如果有要选中的追踪目标，则用户可以点击编辑框左下方的钉子按钮(即触发控件)，视频预览界面会停止播放，同时会在贴纸下方出现透明灰色蒙层，以便更直观的显示在追踪操作过程中。
4、用户拖动钉子，钉子在选中状态下可以独立贴纸而被拖出来，拖到要追踪目标上方，同时拖动贴纸做精准的定位，终端处理好与钉子的相对位置，然后用户点击贴纸之外的其他区域。
5、预览界面会出现loading状态，做追踪处理，处理完视频恢复播放，选中的贴纸也会根据追踪数据进行位置以及大小的改变。
贴纸的风筝模式在使用场景上，可以选择让一个动态贴纸根据追踪目标，比如，可以是追踪建筑物目标，此时贴纸作为地理位置的标识进行显示，以用来标记建筑物等。
请参考图14，其示出了本申请一示例性实施例提供的另一种风筝模式的操作示意图，如图14所示，在视频播放过程中，画面上层显示一个钉子的图标(即触发控件)以及贴纸。与图12不同的是，在图14所示的模式中，当画面静止时，若用户按住钉子，该钉子可以脱离贴纸被用户拖动，用户拖动钉子以选择贴纸对应的目标时，钉子与贴纸之间会显示有一根连线，以指示钉子和贴纸之间的相对位置关系。用户拖动完毕并松开手指后，钉子会以闪烁的动画形式进行显示，用户点击静止的画面中除了贴纸以及钉子之外的其它区域后，视频恢复播放，并且，贴纸开始跟随选择的目标以类似风筝的形式运动。
本申请提出的方案旨在解决视频编辑阶段添加显示附加对象的效率较低的问题，可以给用户提供两种跟踪模式(贴身跟随模式以及风筝模式)，提供友好的操作可以精确的选中追踪目标，不管在短视频哪个时间戳选中了追踪目标，都会对整个短视频进行追踪。在保证支持动态贴纸追踪能力，增加娱乐性，同时也要保证追踪的准确性。
图15是根据一示例性实施例示出的一种附加对象显示装置的结构方框图。该虚拟对象控制装置可以用于终端中，以执行图1或图3任一实施例所示的方法的全部或者部分步骤。该附加对象显示装置可以包括：
控件显示模块1501，用于在视频播放界面中显示触发控件，所述视频播放界面用于播放视频；
暂停模块1502，用于响应于对所述触发控件的激活操作，暂停播放所述视频，以在所述视频播放界面中显示参考画面帧，所述参考画面帧是所述视频中对应在暂停时间点处的画面帧；
对象获取模块1503，用于响应于对所述触发控件的拖动操作，获取目标对象；所述目标对象是所述参考画面帧中对应在所述拖动操作的结束位置的显示对象；
对象显示模块1504，用于播放所述视频时，在所述视频的画面帧中对应所述目标对象显示所述触发控件对应的附加对象。
可选的，所述装置还包括：
追踪模块，用于在所述对象显示模块1504在所述视频中对应所述目标对象显示所述触发控件对应的附加对象之前，在所述视频中的各个画面帧中追踪所述目标对象，获得第一显示信息，所述第一显示信息用于指示所述目标对象分别在所述各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；
信息生成模块，用于根据所述第一显示信息生成第二显示信息，所述第二显示信息用于指示所述附加对象分别在所述各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；
所述对象显示模块1504，具体用于在播放所述视频时，根据所述第二显示信息，分别在所述各个画面帧中显示所述附加对象。
可选的，所述第一显示信息包括所述目标对象中的目标点分别在所述各个画面帧中的像素坐标，所述目标点是所述目标对象中对应所述拖动操作的结束位置的位置点，所述信息生成模块，具体用于，
根据所述目标对象中的目标点分别在所述各个画面帧中的像素坐标，以及所述附加对象与所述目标点之间的相对位置信息，获取所述附加对象分别在所述各个画面帧中的像素坐标；
生成包含所述附加对象分别在所述各个画面帧中的像素坐标的所述第二显示信息。
可选的，所述装置还包括：
预览图显示模块，用于在所述视频播放界面中显示所述附加对象的预览图；
显示位置获取模块，用于获取所述预览图在所述参考画面帧中的显示位置；
相对位置获取模块，用于根据所述预览图在所述参考画面帧中的显示位置，以及所述参考画面帧中对应在所述拖动操作的结束位置，获取所述附加对象与所述目标点之间的相对位置信息。
可选的，所述装置还包括：
移动模块，用于响应于对所述附加对象的预览图的拖动操作，移动所述附加对象的预览图在所述视频播放界面中的位置。
可选的，所述第一显示信息包括所述目标对象分别在所述各个画面帧中的显示尺寸，所述信息生成模块，具体用于，
根据所述目标对象分别在所述各个画面帧中的显示尺寸，以及所述目标对象的原始尺寸，计算所述附加对象分别在所述各个画面帧中的缩放倍率；所述目标对象的原始尺寸是所述目标对象在所述参考画面帧中的显示尺寸；
根据所述附加对象的原始尺寸和所述缩放倍率获取所述附加对象在所述各个画面帧中的显示尺寸；
生成包含所述各个画面帧中的显示尺寸的所述第二显示信息。
可选的，所述第一显示信息包括所述目标对象分别在所述各个画面帧中的显示位置和显示姿态，所述信息生成模块，具体用于，
根据所述目标对象分别在所述各个画面帧中的显示位置和显示姿态，以及所述附加对象与所述目标点之间的相对位置信息，获取所述附加对象分别在所述各个画面帧中的显示位置和显示姿态；
生成包含所述附加对象分别在所述各个画面帧中的显示位置和显示姿态的所述第二显示信息。
可选的，所述追踪模块，具体用于，从所述参考画面帧开始，分别按照播放时间顺序和/或播放时间逆序，在所述各个画面帧中逐帧追踪所述目标显示对象，获得所述第一显示信息。
可选的，所述追踪模块，具体用于，通过可变形物体跟踪的静态自适应对应聚类CMT算法在所述视频中的各个画面帧中追踪所述目标对象，获得所述第一显示信息。
可选的，所述装置还包括：
切换控件显示模块，用于在视频播放界面中，对应所述触发控件显示切换控件；
选择界面显示模块，用于响应于对所述切换控件的激活操作，显示附加对象选择界面，所述附加对象选择界面中包含至少两个备选对象；
附加对象获取模块，用于响应于在所述附加对象选择界面中的选择操作，将所述选择操作对应的备选对象获取为所述触发控件对应的新的附加对象。
可选的，所述附加对象为静态显示对象，或者，所述附加对象为动态显示对象。
综上所述，通过本申请实施例提供的装置，预先在视频播放界面中显示一个触发控件，检测到用户对该触发控件的激活操作时，即可以暂停视频播放，后续再接收到对触发控件的拖动操作时，将拖动操作结束位置对应的显示对象确定为目标对象，后续播放过程中对应各个画面帧中同样的目标对象显示附加对象从而达到在视频播放过程中保持附加对象与视频播放画面相匹配的效果。
此外，由于触发控件已经预先显示在视频播放界面中，用户在当前界面中通过激活和拖动操作即可以添加附加对象，从而提高添加显示附加对象的效率。
图16示出了本发明一个示例性实施例提供的终端1600的结构框图。该终端1600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的附加对象显示方法。
在一些实施例中，终端1600还可选包括有：***设备接口1603和至少一个***设备。处理器1601、存储器1602和***设备接口1603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1603相连。具体地，***设备包括：射频电路1604、触摸显示屏1605、摄像头1606、音频电路1607、定位组件1608和电源1609中的至少一种。
***设备接口1603可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1601和存储器1602。在一些实施例中，处理器1601、存储器1602和***设备接口1603被集成在同一芯片或电路板上；在一些其他实施例中，处理器1601、存储器1602和***设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1604包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时，显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时，显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1605可以为一个，设置终端1600的前面板；在另一些实施例中，显示屏1605可以为至少两个，分别设置在终端1600的不同表面或呈折叠设计；在再一些实施例中，显示屏1605可以是柔性显示屏，设置在终端1600的弯曲表面上或折叠面上。甚至，显示屏1605还可以设置成非矩形的不规则图形，也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地，摄像头组件1606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1607还可以包括耳机插孔。
定位组件1608用于定位终端1600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1608可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于：加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号，控制触摸显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612可以检测终端1600的机体方向及转动角度，陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端1600的侧边框和/或触摸显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时，可以检测用户对终端1600的握持信号，由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在触摸显示屏1605的下层时，由处理器1601根据用户对触摸显示屏1605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹，由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份，或者，由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商Logo时，指纹传感器1614可以与物理按键或厂商Logo集成在一起。
光学传感器1615用于采集环境光强度。在一个实施例中，处理器1601可以根据光学传感器1615采集的环境光强度，控制触摸显示屏1605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1605的显示亮度；当环境光强度较低时，调低触摸显示屏1605的显示亮度。在另一个实施例中，处理器1601还可以根据光学传感器1615采集的环境光强度，动态调整摄像头组件1606的拍摄参数。
接近传感器1616，也称距离传感器，通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中，当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时，由处理器1601控制触摸显示屏1605从亮屏状态切换为息屏状态；当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时，由处理器1601控制触摸显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在一示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括至少一条指令、至少一段程序、代码集或指令集的存储器，上述至少一条指令、至少一段程序、代码集或指令集可由处理器执行以完成上述图1或图3任一实施例所示的方法的全部或者部分步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (15)

1.一种附加对象显示方法，其特征在于，所述方法包括：
在视频播放界面中显示触发控件，所述视频播放界面用于播放视频；
响应于对所述触发控件的激活操作，暂停播放所述视频，并在所述视频播放界面中显示参考画面帧，所述参考画面帧是所述视频中对应在暂停时间点处的画面帧；
响应于对所述触发控件的拖动操作，获取目标对象；所述目标对象是所述参考画面帧中对应在所述拖动操作的结束位置的显示对象；
在播放所述视频时，在所述视频的画面帧中对应所述目标对象显示所述触发控件对应的附加对象。
2.根据权利要求1所述的方法，其特征在于，在所述视频中对应所述目标对象显示所述触发控件对应的附加对象之前，还包括：
在所述视频中的各个画面帧中追踪所述目标对象，获得第一显示信息，所述第一显示信息用于指示所述目标对象分别在所述各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；
根据所述第一显示信息生成第二显示信息，所述第二显示信息用于指示所述附加对象分别在所述各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；
所述在播放所述视频时，在所述视频的画面帧中对应所述目标对象显示所述触发控件对应的附加对象，包括：
在播放所述视频时，根据所述第二显示信息分别在所述各个画面帧中显示所述附加对象。
3.根据权利要求2所述的方法，其特征在于，所述第一显示信息包括所述目标对象中的目标点分别在所述各个画面帧中的像素坐标，所述目标点是所述目标对象中对应所述拖动操作的结束位置的位置点，所述根据所述第一显示信息生成第二显示信息，包括：
根据所述目标对象中的目标点分别在所述各个画面帧中的像素坐标，以及所述附加对象与所述目标点之间的相对位置信息，获取所述附加对象分别在所述各个画面帧中的像素坐标；
生成包含所述附加对象分别在所述各个画面帧中的像素坐标的所述第二显示信息。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在所述视频播放界面中显示所述附加对象的预览图；
获取所述预览图在所述参考画面帧中的显示位置；
根据所述预览图在所述参考画面帧中的显示位置，以及所述参考画面帧中对应在所述拖动操作的结束位置，获取所述附加对象与所述目标点之间的相对位置信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
响应于对所述附加对象的预览图的拖动操作，移动所述附加对象的预览图在所述视频播放界面中的位置。
6.根据权利要求2所述的方法，其特征在于，所述第一显示信息包括所述目标对象分别在所述各个画面帧中的显示尺寸，所述根据所述第一显示信息生成第二显示信息，包括：
根据所述目标对象分别在所述各个画面帧中的显示尺寸，以及所述目标对象的原始尺寸，计算所述附加对象分别在所述各个画面帧中的缩放倍率；所述目标对象的原始尺寸是所述目标对象在所述参考画面帧中的显示尺寸；
根据所述附加对象的原始尺寸和所述缩放倍率获取所述附加对象在所述各个画面帧中的显示尺寸；
生成包含所述各个画面帧中的显示尺寸的所述第二显示信息。
7.根据权利要求2所述的方法，其特征在于，所述第一显示信息包括所述目标对象分别在所述各个画面帧中的显示位置和显示姿态，所述根据所述第一显示信息生成第二显示信息，包括：
根据所述目标对象分别在所述各个画面帧中的显示位置和显示姿态，以及所述附加对象与所述目标点之间的相对位置信息，获取所述附加对象分别在所述各个画面帧中的显示位置和显示姿态；
生成包含所述附加对象分别在所述各个画面帧中的显示位置和显示姿态的所述第二显示信息。
8.根据权利要求2所述的方法，其特征在于，所述在所述视频中的各个画面帧中追踪所述目标对象，获得第一显示信息，包括：
从所述参考画面帧开始，分别按照播放时间顺序和/或播放时间逆序，在所述各个画面帧中逐帧追踪所述目标显示对象，获得所述第一显示信息。
9.根据权利要求2所述的方法，其特征在于，所述在所述视频中的各个画面帧中追踪所述目标对象，获得第一显示信息，包括：
通过可变形物体跟踪的静态自适应对应聚类CMT算法在所述视频中的各个画面帧中追踪所述目标对象，获得所述第一显示信息。
10.根据权利要求1至9任一所述的方法，其特征在于，所述方法还包括：
在所述视频播放界面中，对应所述触发控件显示切换控件；
响应于对所述切换控件的激活操作，显示附加对象选择界面，所述附加对象选择界面中包含至少两个备选对象；
响应于在所述附加对象选择界面中的选择操作，将所述选择操作对应的备选对象获取为所述触发控件对应的新的附加对象。
11.根据权利要求1至9任一所述的方法，其特征在于，所述附加对象为静态显示对象，或者，所述附加对象为动态显示对象。
12.一种附加对象显示装置，其特征在于，所述装置包括：
控件显示模块，用于在视频播放界面中显示触发控件，所述视频播放界面用于播放视频；
暂停模块，用于响应于对所述触发控件的激活操作，暂停播放所述视频，并在所述视频播放界面中显示参考画面帧，所述参考画面帧是所述视频中对应在暂停时间点处的画面帧；
对象获取模块，用于响应于对所述触发控件的拖动操作，获取目标对象；所述目标对象是所述参考画面帧中对应在所述拖动操作的结束位置的显示对象；
对象显示模块，用于在播放所述视频时，在所述视频的画面帧中对应所述目标对象显示所述触发控件对应的附加对象。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
追踪模块，用于在所述对象显示模块在所述视频中对应所述目标对象显示所述触发控件对应的附加对象之前，在所述视频中的各个画面帧中追踪所述目标对象，获得第一显示信息，所述第一显示信息用于指示所述目标对象分别在所述各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；
信息生成模块，用于根据所述第一显示信息生成第二显示信息，所述第二显示信息用于指示所述附加对象分别在所述各个画面帧中的显示位置、显示尺寸以及显示姿态中的至少一种；
所述对象显示模块，具体用于在播放所述视频时，根据所述第二显示信息，分别在所述各个画面帧中显示所述附加对象。
14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的附加对象显示方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的附加对象显示方法。
CN201810050497.6A 2018-01-18 2018-01-18 附加对象显示方法、装置及计算机设备 Pending CN110062269A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810050497.6A CN110062269A (zh) 2018-01-18 2018-01-18 附加对象显示方法、装置及计算机设备
EP19740905.5A EP3742743A4 (en) 2018-01-18 2019-01-07 METHOD AND DEVICE FOR DISPLAYING AN ADDITIONAL OBJECT, COMPUTER DEVICE AND STORAGE MEDIA
JP2020539223A JP7109553B2 (ja) 2018-01-18 2019-01-07 追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体
PCT/CN2019/070616 WO2019141100A1 (zh) 2018-01-18 2019-01-07 附加对象显示方法、装置、计算机设备及存储介质
US15/930,124 US11640235B2 (en) 2018-01-18 2020-05-12 Additional object display method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810050497.6A CN110062269A (zh) 2018-01-18 2018-01-18 附加对象显示方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
CN110062269A true CN110062269A (zh) 2019-07-26

Family

ID=67302011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810050497.6A Pending CN110062269A (zh) 2018-01-18 2018-01-18 附加对象显示方法、装置及计算机设备

Country Status (5)

Country Link
US (1) US11640235B2 (zh)
EP (1) EP3742743A4 (zh)
JP (1) JP7109553B2 (zh)
CN (1) CN110062269A (zh)
WO (1) WO2019141100A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726701A (zh) * 2020-06-30 2020-09-29 腾讯科技（深圳）有限公司 信息植入方法、视频播放方法、装置和计算机设备
CN111954075A (zh) * 2020-08-20 2020-11-17 腾讯科技（深圳）有限公司 视频处理模型状态调整方法、装置、电子设备及存储介质
CN112181556A (zh) * 2020-09-21 2021-01-05 北京字跳网络技术有限公司 终端控件的处理方法、装置、电子设备及存储介质
CN113676765A (zh) * 2021-08-20 2021-11-19 上海哔哩哔哩科技有限公司 交互动画展示方法及装置
CN113873294A (zh) * 2021-10-19 2021-12-31 深圳追一科技有限公司 视频处理方法、装置、计算机存储介质及电子设备
CN114584824A (zh) * 2020-12-01 2022-06-03 阿里巴巴集团控股有限公司 数据处理方法、***、电子设备、服务端及客户端设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073921A1 (en) * 2019-09-11 2021-03-11 Oracle International Corporation Expense report reviewing interface
US11605137B2 (en) 2019-09-11 2023-03-14 Oracle International Corporation Expense report submission interface
CN110765015B (zh) * 2019-10-24 2023-06-16 北京云聚智慧科技有限公司 一种对被测应用进行测试的方法和电子设备
CN110782510B (zh) * 2019-10-25 2024-06-11 北京达佳互联信息技术有限公司 一种贴纸生成方法及装置
CN113132795A (zh) * 2019-12-30 2021-07-16 北京字节跳动网络技术有限公司 图像处理方法及装置
CN111901662A (zh) * 2020-08-05 2020-11-06 腾讯科技（深圳）有限公司 视频的扩展信息处理方法、设备和存储介质
CN112100437A (zh) * 2020-09-10 2020-12-18 北京三快在线科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112153475B (zh) * 2020-09-25 2022-08-05 北京字跳网络技术有限公司 用于生成文字模式的视频的方法、装置、设备和介质
CN112181572B (zh) * 2020-09-28 2024-06-07 北京达佳互联信息技术有限公司 互动特效展示方法、装置、终端及存储介质
CN112218136B (zh) * 2020-10-10 2021-08-10 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备及存储介质
CN114546228B (zh) * 2020-11-12 2023-08-25 腾讯科技（深圳）有限公司 表情图像发送方法、装置、设备及介质
CN112822544B (zh) * 2020-12-31 2023-10-20 广州酷狗计算机科技有限公司 视频素材文件生成方法、视频合成方法、设备及介质
CN113709545A (zh) * 2021-04-13 2021-11-26 腾讯科技（深圳）有限公司 视频的处理方法、装置、计算机设备和存储介质
CN113158621B (zh) * 2021-05-18 2022-03-11 掌阅科技股份有限公司 书架页面的显示方法、计算设备及计算机存储介质
CN113613067B (zh) * 2021-08-03 2023-08-22 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN115878844A (zh) * 2021-09-27 2023-03-31 北京有竹居网络技术有限公司 基于视频的信息展示方法及装置、电子设备和存储介质
CN114125555B (zh) * 2021-11-12 2024-02-09 深圳麦风科技有限公司 编辑数据的预览方法、终端和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777916A (zh) * 2003-04-21 2006-05-24 日本电气株式会社 识别视频图像对象的设备和方法、应用视频图像注释的设备和方法及识别视频图像对象的程序
CN104394313A (zh) * 2014-10-27 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN104469179A (zh) * 2014-12-22 2015-03-25 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
CN105068748A (zh) * 2015-08-12 2015-11-18 上海影随网络科技有限公司 触屏智能设备的摄像头实时画面中用户界面交互方法
WO2016121329A1 (ja) * 2015-01-29 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、スタイラス、および画像処理方法
CN106034256A (zh) * 2015-03-10 2016-10-19 腾讯科技（北京）有限公司 视频社交方法及装置
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
CN106611412A (zh) * 2015-10-20 2017-05-03 成都理想境界科技有限公司 贴图视频生成方法及装置
WO2017077751A1 (ja) * 2015-11-04 2017-05-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106683120A (zh) * 2016-12-28 2017-05-17 杭州趣维科技有限公司 追踪并覆盖动态贴纸的图像处理方法
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144972A (en) * 1996-01-31 2000-11-07 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
JP3438580B2 (ja) * 1998-04-21 2003-08-18 松下電器産業株式会社 画像認識方法及び画像認識装置
US10003781B2 (en) * 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
US8640030B2 (en) * 2007-10-07 2014-01-28 Fall Front Wireless Ny, Llc User interface for creating tags synchronized with a video playback
US9390169B2 (en) * 2008-06-28 2016-07-12 Apple Inc. Annotation of movies
US8522144B2 (en) * 2009-04-30 2013-08-27 Apple Inc. Media editing application with candidate clip management
US20110261258A1 (en) * 2009-09-14 2011-10-27 Kumar Ramachandran Systems and methods for updating video content with linked tagging information
US9323438B2 (en) * 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
US20120272171A1 (en) 2011-04-21 2012-10-25 Panasonic Corporation Apparatus, Method and Computer-Implemented Program for Editable Categorization
JP2013115692A (ja) 2011-11-30 2013-06-10 Jvc Kenwood Corp 撮像装置及び撮像装置に用いる制御プログラム
JP2013115691A (ja) 2011-11-30 2013-06-10 Jvc Kenwood Corp 撮像装置及び撮像装置に用いる制御プログラム
JP5838791B2 (ja) * 2011-12-22 2016-01-06 富士通株式会社 プログラム、画像処理装置及び画像処理方法
CN103797783B (zh) * 2012-07-17 2017-09-29 松下知识产权经营株式会社 评论信息生成装置及评论信息生成方法
JP6179889B2 (ja) * 2013-05-16 2017-08-16 パナソニックＩｐマネジメント株式会社 コメント情報生成装置およびコメント表示装置
CN104346095B (zh) * 2013-08-09 2018-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
JP5671671B1 (ja) 2013-12-09 2015-02-18 株式会社Ｐｕｍｏ 視聴者用インタフェース装置及びコンピュータプログラム
US20160196584A1 (en) * 2015-01-06 2016-07-07 Facebook, Inc. Techniques for context sensitive overlays
US10095396B2 (en) * 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US20170018289A1 (en) 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
US20190096439A1 (en) * 2016-05-23 2019-03-28 Robert Brouwer Video tagging and annotation
EP3529995A1 (en) * 2016-10-18 2019-08-28 Robert Brouwer Messaging and commenting for videos
JP2017169222A (ja) 2017-05-10 2017-09-21 合同会社ＩＰ Ｂｒｉｄｇｅ１号 リンク先指定用インタフェース装置、視聴者用インタフェース装置、及びコンピュータプログラム
US10613725B2 (en) * 2017-10-13 2020-04-07 Adobe Inc. Fixing spaced relationships between graphic objects
US10592091B2 (en) * 2017-10-17 2020-03-17 Microsoft Technology Licensing, Llc Drag and drop of objects to create new composites

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777916A (zh) * 2003-04-21 2006-05-24 日本电气株式会社 识别视频图像对象的设备和方法、应用视频图像注释的设备和方法及识别视频图像对象的程序
US20150277686A1 (en) * 2014-03-25 2015-10-01 ScStan, LLC Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
CN104394313A (zh) * 2014-10-27 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN104469179A (zh) * 2014-12-22 2015-03-25 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
WO2016121329A1 (ja) * 2015-01-29 2016-08-04 パナソニックＩｐマネジメント株式会社 画像処理装置、スタイラス、および画像処理方法
CN106034256A (zh) * 2015-03-10 2016-10-19 腾讯科技（北京）有限公司 视频社交方法及装置
CN105068748A (zh) * 2015-08-12 2015-11-18 上海影随网络科技有限公司 触屏智能设备的摄像头实时画面中用户界面交互方法
CN106611412A (zh) * 2015-10-20 2017-05-03 成都理想境界科技有限公司 贴图视频生成方法及装置
WO2017077751A1 (ja) * 2015-11-04 2017-05-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
CN106683120A (zh) * 2016-12-28 2017-05-17 杭州趣维科技有限公司 追踪并覆盖动态贴纸的图像处理方法
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘学文: "Snapchat", 《网址:HTTPS://WWW.IFANR.COM/644753》 *
匿名: "Snapchat开始支持在视频中贴emoji表情", 《网址:HTTPS://3G.163.COM/MOBILE/ARTICLE/BKJTHESB0011665S.HTML》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726701A (zh) * 2020-06-30 2020-09-29 腾讯科技（深圳）有限公司 信息植入方法、视频播放方法、装置和计算机设备
CN111954075A (zh) * 2020-08-20 2020-11-17 腾讯科技（深圳）有限公司 视频处理模型状态调整方法、装置、电子设备及存储介质
CN111954075B (zh) * 2020-08-20 2021-07-09 腾讯科技（深圳）有限公司 视频处理模型状态调整方法、装置、电子设备及存储介质
CN112181556A (zh) * 2020-09-21 2021-01-05 北京字跳网络技术有限公司 终端控件的处理方法、装置、电子设备及存储介质
CN112181556B (zh) * 2020-09-21 2024-04-19 北京字跳网络技术有限公司 终端控件的处理方法、装置、电子设备及存储介质
CN114584824A (zh) * 2020-12-01 2022-06-03 阿里巴巴集团控股有限公司 数据处理方法、***、电子设备、服务端及客户端设备
CN113676765A (zh) * 2021-08-20 2021-11-19 上海哔哩哔哩科技有限公司 交互动画展示方法及装置
CN113676765B (zh) * 2021-08-20 2024-03-01 上海哔哩哔哩科技有限公司 交互动画展示方法及装置
CN113873294A (zh) * 2021-10-19 2021-12-31 深圳追一科技有限公司 视频处理方法、装置、计算机存储介质及电子设备

Also Published As

Publication number Publication date
US20200272309A1 (en) 2020-08-27
JP2021511728A (ja) 2021-05-06
WO2019141100A1 (zh) 2019-07-25
US11640235B2 (en) 2023-05-02
EP3742743A4 (en) 2021-07-28
JP7109553B2 (ja) 2022-07-29
EP3742743A1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
CN110062269A (zh) 附加对象显示方法、装置及计算机设备
CN109302538B (zh) 音乐播放方法、装置、终端及存储介质
CN110213638B (zh) 动画显示方法、装置、终端及存储介质
CN109379643B (zh) 视频合成方法、装置、终端及存储介质
CN108268187A (zh) 智能终端的显示方法及装置
CN109756784B (zh) 音乐播放方法、装置、终端及存储介质
CN110602552B (zh) 视频合成的方法、装置、终端及计算机可读存储介质
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
CN108965922B (zh) 视频封面生成方法、装置和存储介质
CN108391171A (zh) 视频播放的控制方法及装置、终端
CN109640125B (zh) 视频内容处理方法、装置、服务器及存储介质
WO2019127899A1 (zh) 歌词添加方法及装置
CN109346111B (zh) 数据处理方法、装置、终端及存储介质
CN111625682B (zh) 视频的生成方法、装置、计算机设备及存储介质
CN111711838B (zh) 视频切换方法、装置、终端、服务器及存储介质
CN109547843B (zh) 对音视频进行处理的方法和装置
CN112445395A (zh) 音乐片段的选取方法、装置、设备及存储介质
CN110225390A (zh) 视频预览的方法、装置、终端及计算机可读存储介质
CN108776822A (zh) 目标区域检测方法、装置、终端及存储介质
CN110290426A (zh) 展示资源的方法、装置、设备及存储介质
CN111312207B (zh) 文本转音频方法、装置、计算机设备及存储介质
CN111031394B (zh) 视频制作的方法、装置、设备及存储介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN109771950B (zh) 节点地图的设置方法、设备及存储介质
CN109032492A (zh) 一种切歌的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication