CN112544070A - 视频的处理方法和装置 - Google Patents
视频的处理方法和装置 Download PDFInfo
- Publication number
- CN112544070A CN112544070A CN202080004468.1A CN202080004468A CN112544070A CN 112544070 A CN112544070 A CN 112544070A CN 202080004468 A CN202080004468 A CN 202080004468A CN 112544070 A CN112544070 A CN 112544070A
- Authority
- CN
- China
- Prior art keywords
- special effect
- target object
- image
- pixel
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种视频的处理方法和装置，所述方法包括获取视频流；获取视频流；对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效；其中，所述特效的立体程度为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。本申请根据目标对象在图像中的位置信息和轮廓信息、或者拍摄装置采集当前叠加特效的图像时的姿态，对图像中真实的目标对象进行特效叠加，有利于特效与目标对象之间进行互动，带来了更好的特效展示，丰富了对视频流的理解，从而增加了视频流呈现的观赏性和理解性，且这种虚实结合方式能够简单化观众对视频流的理解，提高观众的视觉感受。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种视频的处理方法和装置。
背景技术
对抗性的比赛时间短、比赛规则复杂、比赛过程紧张刺激同时伴随有很多状态信息的更新，若采用数据信息展示的方式将这些状态信息呈现给观众，观众无法在短时间内适应和处理如此多的信息，观众观看比赛视频特别是比赛直播视频的过程容易疲乏，也容易忽略重要信息。随着网络游戏和***的高速发展，不同年龄层的人群对游戏都具备一些入门级别特效的理解，例如，每个目标对象的血条特效表示的是该目标对象当前生命值信息，如果出现掉血或者增加经验可在目标对象上方显示扣血值或者金币加成值。因此，将状态信息转化为视觉特效的呈现方式，可以提高观众对赛况的理解和观赏体验。
一般的直播画面内容切换频繁，拍摄位置变化较大，如果对直播画面进行AR特效渲染都会选择一个固定的角度或者区域，无法对全场进行高兼容性的实时AR特效渲染；并且，渲染的特效种类也比较简单，只能在较为空旷的位置进行特效渲染，但虚拟的特效无法与场景上的真实的目标对象进行互动。
发明内容
本申请提供一种视频的处理方法和装置。
具体地，本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供一种视频的处理方法，所述方法包括：
获取视频流；
对所述视频流包括目标对象的每一帧图像进行处理，获得所述目标对象在所述图像中的位置信息和轮廓信息；
根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加。
第二方面，本申请实施例提供一种视频的处理装置，所述装置包括：
存储装置，用于存储程序指令；以及
一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：
获取视频流；
对所述视频流包括目标对象的每一帧图像进行处理，获得所述目标对象在所述图像中的位置信息和轮廓信息；
根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加。
第三方面，本申请实施例提供一种视频的处理方法，所述方法包括：
获取视频流；
对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效；
其中，所述特效的立体程度为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。
第四方面，本申请实施例提供一种视频的处理装置，所述装置包括：
存储装置，用于存储程序指令；以及
一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：
获取视频流；
对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效；
其中，所述特效的立体程度为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。
根据本申请实施例提供的技术方案，本申请根据目标对象在图像中的位置信息和轮廓信息、或者拍摄装置采集当前叠加特效的图像时的姿态，对图像中真实的目标对象进行特效叠加，有利于特效与目标对象之间进行互动，带来了更好的特效展示，丰富了对视频流的理解，从而增加了视频流呈现的观赏性和理解性，且这种虚实结合方式能够简单化观众对视频流的理解，提高观众的视觉感受。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中的视频的处理方法的应用场景示意图；
图2是本申请一实施例中的视频的处理方法的方法流程示意图；
图3是本申请一实施例中的根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加的一种实现方式的流程示意图；
图4是本申请一实施例中的在前景图中的目标对像上叠加立体特效的过程示意图；
图5是本申请另一实施例中的视频的处理方法的方法流程示意图；
图6是本申请一实施例中的视频的处理装置的结构框图。
具体实施方式
现有的AR直播技术大多数还是基于屏幕级别的，即在屏幕上出现各种简单的特效内容，这种特效不需要对场景内容理解，只需要设定好特效在屏幕的呈现位置和特效播放的动画就可以。人像级别的AR特效依赖于AR识别跟踪算法，例如人脸特征识别，叠加虚拟道具且稳定跟踪。此外，还有类似手势识别触发AR特效、五官动作识别触发AR特效等。但该类特效方法适用于以人物为主且多数为小视频和拍摄所用，对人脸检测的精度要求不高，如果第一次没拍准确可以重新再拍过，使用者对其的容错率也比较高。一些电视节目使用场景级的AR特效，拍摄电视节目的拍摄装置通常为固定的角度，AR模型特效等融合效果不易穿帮，且模型和特效的位置都可以预先进行配准和测试。而AR直播主要是针对背景场景的渲染设计，目前没有对独立的目标对象的渲染。
一般的直播画面内容切换频繁，拍摄位置变化较大，如果对直播画面进行AR特效渲染都会选择一个固定的角度或者区域，无法对全场进行高兼容性的实时AR特效渲染；并且，渲染的特效种类也比较简单，只能在较为空旷的位置进行特效渲染，但虚拟的特效无法与场景上的真实的目标对象进行互动。
本申请根据目标对象在图像中的位置信息和轮廓信息、或者拍摄装置采集当前叠加特效的图像时的姿态，对图像中真实的目标对象进行特效叠加，有利于特效与目标对象之间进行互动，带来了更好的特效展示，丰富了对视频流的理解，从而增加了视频流呈现的观赏性和理解性，且这种虚实结合方式能够简单化观众对视频流的理解，提高观众的视觉感受。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本申请实施例的视频的处理方法可以应用于现实场景中的比赛，如具有真实的竞技对象、真实的竞技选手(可控制竞技对象)的比赛，或者无竞技对象，但包括真实的竞技选手的比赛(如拳击)。竞技比赛还可为虚拟竞技比赛(如MOBA)，竞技对象为虚拟的竞技对象，竞技选手为真实的竞技选手。目标对象可以包括比赛场地上各种移动物体，如竞技对象(如机器人、无人机、移动小车等)和/或竞技选手；目标对象还可以包括比赛场地上的静止物体，如比赛场地上的道具装置(如基地)。应当理解的是，本申请实施例的视频的处理方法还可以应用于其他类型的比赛。另外，本申请实施例的视频的处理方法还可以应用在非比赛状态下的实时视频录制、节目等。
以视频的处理方法应用于现实场景中的机器人比赛为例进行说明，请参见图1，机器人比赛***可以包括机器人、比赛服务器和拍摄装置。其中，机器人可以包括多个，各机器人与比赛服务器通信，比赛服务器能够获取各机器人的实时状态信息(如血量、攻击力、防御力、技能或其他)以及各机器人上的传感器的数据。拍摄装置可以包括一个或多个，本实施例的拍摄装置包括多个，分别与比赛服务器通信连接，拍摄装置可以从不同的角度进行拍摄，以获得不同角度的比赛画面。比赛服务器可以包括一个或多个，示例性地，比赛服务器的数量为两个，比赛服务器包括赛事服务器和AR(增强现实，Augmented Reality)服务器，其中，赛事服务器用于与比赛场地上的机器人通信，用于获取机器人的实时状态信息、机器人上的传感器的数据信息等比赛信息；AR服务器与拍摄装置通信，用于控制拍摄装置、获取拍摄装置的数据信息，如拍摄装置采集的视频流，并基于比赛信息对视频流进行处理等。示例性地，比赛服务器的数量为一个，比赛服务器包括AR服务器，赛事服务器独立于AR服务器，并与AR服务器通信连接，即AR服务器通过赛事服务器获取比赛信息，并通过拍摄装置获取视频流，而后根据比赛信息对视频流进行处理并输出。
可选地，机器人比赛***还可以包括裁判***，裁判***与赛事服务器、各机器人分别通信连接，裁判***获取各机器人的实时状态信息以及各机器人上的传感器的数据等比赛信息，并传输给赛事服务器。
本申请实施例的视频的处理方法可以应用于视频的在线处理，也可以应用于视频的离线处理。
图2是本申请一实施例中的视频的处理方法的方法流程示意图；本申请实施例的视频的处理方法的执行主体可以为比赛服务器，也可以为其他能够进行数据处理的设备，如个人终端。请参见图2，本发明实施例的视频的处理方法可以包括S201～S203。
其中，在S201中，获取视频流。
本申请实施例中，视频流可以为直播视频流，也可以为非直播视频流；视频流可以为竞技比赛的视频流，也可以为非竞技比赛的视频流。
本申请实施例的视频流可以由拍摄装置采集获得，该拍摄装置可以搭载在云台上，也可以搭载在可移动平台如无人机上。
在S202中，对视频流包括目标对象的每一帧图像进行处理，获得目标对象在图像中的位置信息和轮廓信息。
在某些实施例中，视频流为竞技比赛的视频流，目标对象包括移动物体和静止物体中的一个或多个。可选地，目标对象为移动物体，如机器人、无人机、移动小车等；可选地，目标对象为静止物体，如比赛场地上的道具装置；可选地，目标对象包括移动物体和静止物体。
在某些实施例中，S202的实现过程可以包括：基于实例分割算法对视频流进行处理，获得目标对象在视频流的每一幅图像中的位置信息和轮廓信息。示例性地，使用基于深度学习的实例分割算法对视频流包括目标对象的每一帧图像进行处理，获得目标对象在视频流的每一幅图像中的位置信息和区域掩码图(即mask图)，即利用区域掩码图来表征目标对象在视频流的每一幅图像中的轮廓信息。在经过实例分割算法处理后，对图像上每一个目标对象进行像素级别的分类，所有目标对象之间有清楚的分割边界，并且，mask图可以有效解决多目标对象之间的遮挡问题。可以通过矩形框将图像中的目标对象进行分割，在矩形框内的哪些像素点是属于该目标对象的，多目标对象之间重叠区域的像素点属于哪个目标对象也会有清晰的划分，实例分割算法的结果能很好的确定目标对象在图像上的位置信息和边缘信息，尤其对于存在遮挡和重叠关系的目标对象之间有很好的区分性。
应当理解的是，还可以使用传统视觉的分割算法，或者使用模型匹配和边缘提取等算法结合对视频流进行处理，获得目标对象在视频流的每一幅图像中的位置信息和轮廓信息。
在S203中，根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加。
基于目标对象在图像中的位置信息和轮廓信息，为特效提供准确的遮挡关系和像素位置，有利于体现特效与目标对象之间的遮挡关系，同时，可以让特效在真实的目标对象上的显示更加包裹，且特效的定位更加准确。另外，利用实例分割算法结果得到的目标对象的mask图，可对图像中的目标对象叠加上带遮挡关系的特效，有利于对目标对象进行更丰富贴切的特效设计。
本申请实施例的特效可以为立体特效，如三维特效，立体特效的立体效果在于遮挡效果，特效在运动过程中会被图像中的特定像素所遮挡，形成立体效果；当然，特效也可以为二维特效。对于存在遮挡和重叠的多个目标对象，使用二维特效可能会将某一目标对象的特效展示在其他目标对象的区域范围，而使用立体特效可以更精确各目标对象的位置，区分不同遮挡程度的目标对象，从而使得各目标对象的特效仅展示在各自的区域范围，有效防止特效叠加在其他目标对象上而带来观赏上的误解。此外，特效还可以为帧动画特效，帧动画特效通过在图像中的特定位置顺序播放一组图片，而显示出的特效效果。
本申请实施例进行特效叠加的虚拟引擎可以为Unity渲染引擎，也可以为Unreal(一种渲染软件)、Blender(一种开源的3D创作套件)或3ds Max(用于设计可视化、游戏和动画的三维建模和渲染软件)等渲染引擎。
另外，可以对图像中的每个目标对象进行一个或多个特效的叠加，以展示给观众不同的内容。
图3是本申请一实施例中的根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加的一种实现方式的流程示意图；请参见图3，根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加的实现方式可以包括步骤S301～S303。
其中，在S301中，根据位置信息和轮廓信息，将图像中的目标对象与背景进行分割，获得前景图；
S301中的位置信息和轮廓信息分别指目标对象在图像中的位置信息、目标对象在图像中的轮廓信息。
本实施例的前景图仅包含目标对象，其余像素透明。另外，根据位置信息和轮廓信息，将图像中的目标对象与背景进行分割，还可以获得背景图。
在S302中，根据位置信息和轮廓信息，在前景图中对目标对象进行特效叠加。
S302中的位置信息和轮廓信息分别指目标对象在前景图中的位置信息、目标对象在前景图中的轮廓信息。本申请实施例中，前景图的尺寸大小与图像的尺寸大小相等，目标对象在前景图中的位置与该目标对象在图像中的位置相同，目标对象在前景图中的轮廓信息与该目标对象在图像中的轮廓信息也相同。
一种根据位置信息和轮廓信息，在前景图中对目标对象进行特效叠加的实现过程可以包括：
步骤1、根据位置信息，确定特效叠加在前景图中的位置；
特效叠加在前景图中的位置与叠加该特效的目标对象在前景图中的位置之间的关系可以根据需要设置，为使得特效与叠加该特效的目标对象之间的包裹更贴合，特效定位的更加准确，可选地，特效叠加在前景图中的位置与叠加该特效的目标对象在前景图中的位置相同；可选地，特效叠加在前景图中的位置与叠加该特效的目标对象在前景图中的位置之间的偏差小于预设偏差阈值，预设偏差阈值的大小可以根据需要设置，如预设偏差阈值可以设置为1毫米或其他。
步骤2、根据轮廓信息，确定特效叠加在前景图中的尺寸大小；
在实现步骤2时，可选地，根据目标对象在前景图中的轮廓信息，确定目标对象在前景图的尺寸大小；根据目标对象在前景图中的尺寸大小，确定特效叠加在前景图中的尺寸大小。
特效叠加在前景图中的尺寸大小与叠加该特效的目标对象在前景图中的尺寸大小之间的关系也可以根据需要设置，为使得特效与叠加该特效的目标对象之间的包裹更贴合，可选地，特效叠加在前景图中的尺寸大小与叠加该特效的目标对象在前景图中的尺寸大小相等；可选地，特效叠加在前景图中的尺寸大小大于叠加该特效的目标对象在前景图中的尺寸大小，且特效叠加在前景图中的尺寸大小与叠加该特效的目标对象在前景图中的尺寸大小之间的比值(即特效叠加在前景图中的尺寸大小/叠加该特效的目标对象在前景图中的尺寸大小)小于预设比值阈值，预设比值阈值的大小可以根据需要设置，如预设比值阈值可以设置为1.2或其他。
需要说明的是，本申请实施例对步骤1和步骤2的执行时序不作具体限定，例如，在一些实施例中，步骤1和步骤2可以按照先后顺序执行，可以先执行步骤1，再执行步骤2；或者，先执行步骤2，再执行步骤1。在另外一些实施例中，步骤1和步骤2可以同步执行。
步骤3、根据特效叠加在前景图中的位置和特效叠加在前景图中的尺寸大小，将特效叠加在前景图中的目标对象上。
当前景图中的目标对象包括多个时，可对前景图中的多个目标对象同步进行特效叠加；当然，对前景图中的多个目标对象进行特效叠加也可以是非同步的。
一种根据特效叠加在前景图中的位置和特效叠加在前景图中的尺寸大小，将特效叠加在前景图中的目标对象上的实现过程可以包括但不限于如下步骤：
(1)、根据特效叠加在前景图中的位置、特效叠加在前景图中的尺寸大小以及目标对象的尺寸大小，确定特效与目标对象之间的像素遮挡关系，其中，目标对象的尺寸大小为根据目标对象的轮廓信息确定。
该步骤(1)中，目标对象的尺寸大小即为目标对象在前景图中的尺寸大小，目标对象的轮廓信息即为目标对象在前景图中的轮廓信息。由于本申请实施例的前景图的尺寸大小与图像的尺寸大小相等，因此，目标对象在前景图中的轮廓信息与目标对象在图像中的轮廓信息相同，也即，目标对象在前景图中的尺寸大小与目标对象在图像中的尺寸大小相等。
在某些实施例中，根据特效叠加在前景图中的位置、特效叠加在前景图中的尺寸大小以及目标对象的尺寸大小，确定特效与目标对象之间的像素遮挡关系的实现过程可以包括：根据特效叠加在前景图中的位置、特效叠加在前景图中的尺寸大小以及目标对象的尺寸大小，确定特效叠加至前景图时，特效的各像素相对目标对象的前后位置关系；根据前后位置关系，确定特效与目标对象之间的像素遮挡关系。图4(1)为立体特效10的示意图；图4(1)为在将立体特效10叠加在前景图中的目标对像20上时，立体特效10与目标对像20之间的前后位置关系示意图。请参见图4(1)-(2)，在前景图中的目标对像20上叠加立体特效10时，立体特效10的区域11(图4(2)中加粗部分)位于目标对象20的后方；立体特效10的区域12位于目标对象20的前方。
可选地，根据前后位置关系，确定特效与目标对象之间的像素遮挡关系的实现过程可以包括：在前景图中，若特效的像素位于目标对象的后方，则确定目标对象对应位置的像素遮挡特效的像素。可选地，根据前后位置关系，确定特效与目标对象之间的像素遮挡关系的实现过程包括：在前景图中，若特效的像素位于目标对象的前方，则确定特效的像素遮挡目标对象对应位置的像素。请参见图4(2)，在将立体特效10叠加在前景图中的目标对像20上时，由于区域11位于目标对象20的后方，故区域11的像素被目标对象20对应位置(目标对象20上与区域11重叠部分的位置)的像素遮挡；另外，由于区域12位于目标对象20的前方，故区域12的像素会遮挡目标对象对应位置(目标对象20上与区域12重叠部分的位置)的像素。
(2)、根据像素遮挡关系，将特效叠加在前景图中的目标对象上；
图4(3)为在前景图中的目标对像上叠加立体特效获得的立体特效前景图。请参见图4(2)-(3)，在将立体特效10叠加在前景图中的目标对像20上时，区域11的像素被目标对象20对应位置的像素遮挡，故图4(3)不会显示区域11；区域12的像素会遮挡目标对象对应位置的像素，故图4(3)中，区域12包裹展示在目标对象20的周围。
需要说明的是，根据位置信息和轮廓信息，在前景图中对目标对象进行特效叠加的实现方式也可以采用其他方式，不限于步骤1-步骤3。
在S303中，将特效叠加后的前景图与图像进行叠加。
示例性地，将前景图放置在虚拟拍摄装置的视野之中，保证虚拟拍摄装置的视野刚好包含整个前景图，由于前景图仅包含目标对象，其余像素透明，即alpha通道(阿尔法通道，用记录透明度信息的特殊图层)为0，因此，立体特效和前景图的遮挡关系与目标对象和立体特效的遮挡关系一致。通过虚拟拍摄装置带深度的渲染方式得到带有遮挡的立体特效前景图，将立体特效前景图叠加于真实拍摄装置所拍摄的图像上，即可获得带遮挡效果的立体特效叠加的图像。
本申请实施例中，在将特效叠加后的前景图与图像进行叠加后，特效的像素遮挡图像的背景的对应位置的像素，背景的对应位置为特效与背景重叠部分的位置。请沿用图4所示实施例，区域12的像素遮挡图像的背景的对应位置(区域12与背景重叠部分的位置)的像素。
需要说明的是，根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加的实现方式也可以采用其他方式，不限于S301-S303。
特效的显示内容可以根据需要设置，例如，在某些实施例中，特效的显示内容为根据目标对象的状态信息确定。示例性地，视频流为竞技比赛的视频流，目标对象的状态信息包括血量、攻击力、防御力和技能(例如，额外延长比赛时长、加速移动技能)中的一个或多个；应当理解的，目标对象的状态信息并不限于上述列举的目标对象的状态信息，也可以为其他。
可选地，不同类型的状态信息对应的特效的显示内容不相同。例如，目标对象的血量对应的特效可以采用血条表征，血条用于指示目标对象的实时血量大小，当目标对象的血量降到0时，可以通过特效方式模拟血条破碎的情形，再例如，在目标对象的血量减少时，当满足回血条件后，显示回血效果，回血效果可参考一般网游中环绕人物四周的效果，在本实施例中可以在目标对象的周围显示环绕目标对象的回血效果，从而展示立体回血特效；再例如，当前目标对象被其他目标对象攻击掉血时，在当前目标对象的周围显示着火的特效，同时血条特效上会弹出对应的掉血值。又如，在目标对象的攻击力增加时，可以在目标对象的周围显示环绕目标对象的旋风特效，如图4(3)所示。又如，在目标对象的防御力增加时，可以目标对象的周围显示环绕目标对象的护盾特效。又如，在目标对象增加加速移动技能时，可以在目标对象的底部周围显示环绕目标对象的加速移动特效。又如，目标对象在无敌的时，在目标对象的周围显示立体的保护罩。
可选地，特效的显示内容包括特效的图案和颜色中的至少一种，可以通过图案来区分不同的特效，如血量降到0时，对应的特效的图案为血条破碎；回血时，对应的特效的图案为环绕目标对象四周的回血效果；也可以通过颜色来区分不同的特效，或者通过图案和颜色来区分不同的特效。当然，特效的显示内容还可以为其他，不限于图案和颜色。
可以理解的是，除目标对象的状态信息之外，也可以将目标对象的一些其他信息通过特效模拟显示在对应目标对象的周围，如目标对象的身份信息等。
可选地，特效的姿态为根据拍摄装置采集当前叠加特效的图像时的姿态确定，通过结合拍摄装置的姿态，能够丰富特效的呈现效果。其中，特效的姿态用于表征特效的立体程度，即特效叠加在图像中后，特效所展示出来立体效果。
本申请实施例的特效的姿态随拍摄装置的姿态变化而变化，从而随着图像的拍摄角度的切换，图像中的目标对象呈现的角度会产生变化，特效呈现对应的角度变化，使得特效与目标对象更加贴合，在视觉效果上犹如目标对象周围具有真实的特效产生一样。
可选地，拍摄装置的姿态包括拍摄装置相对于目标对象所在场景的姿态，基于拍摄装置相对于目标对象所在场景的姿态，可以确定出立体特效在图像中的呈现效果。
其中，拍摄装置相对于目标对象所在场景的姿态即为拍摄装置的坐标系相对于场景坐标系(场景坐标系可以为世界坐标系)的平移和旋转关系，可选地，拍摄装置相对于目标对象所在场景的姿态包括拍摄装置相对于目标对象所在场景的俯仰姿态。当拍摄装置相对于目标对象所在场景的俯仰姿态产生变化时，特效也产生俯仰方向的姿态变化，例如，当拍摄装置竖直向上转动时，目标对象在图像中向下移动，特效在图像中也对应向下移动，且特效向下移动的距离与目标对象向下移动的距离大小相等；当拍摄装置竖直向下转动时，目标对象在图像中向上移动，特效在图像中也对应向上移动，且特效移动的距离与目标对象向上移动的距离大小相等。
在某些实施例中，拍摄装置搭载在云台上，拍摄装置的姿态为通过云台获取。示例性地，拍摄装置上设有姿态传感器(如视觉里程计)，云台获取姿态传感器的数据，并根据姿态传感器的数据确定拍摄装置的姿态；当然，云台获取拍摄装置的姿态的方式不限于此。另外，在本申请实施例中，云台相对于目标对象所在场景固定安装在预设位置处，拍摄装置姿态的获取更加简单。其中，预设位置可以根据需要选择。
在某些实施例中，拍摄装置搭载在无人机上，拍摄装置的姿态为通过无人机获取。示例性地，拍摄装置上设有姿态传感器，无人机获取姿态传感器的数据，并根据姿态传感器的数据确定拍摄装置的姿态；当然，无人机获取拍摄装置的姿态的方式不限于此。
图5是本申请另一实施例中的视频的处理方法的方法流程示意图；本申请实施例的视频的处理方法的执行主体可以为比赛服务器，也可以为其他能够进行数据处理的设备，如个人终端。请参见图5，本发明实施例的视频的处理方法可以包括S501～S502。
其中，在S501中，获取视频流。
在S502中，对视频流中包括目标对象的每一帧图像进行特效处理，以使得目标对象环绕有特效；其中，特效的立体程度为根据拍摄装置采集当前叠加特效的图像时的姿态确定。
可选地，特效的姿态随拍摄装置的姿态变化而变化，特效的姿态用于表征特效的立体程度。
可选地，拍摄装置的姿态包括拍摄装置相对于目标对象所在场景的姿态。
可选地，拍摄装置相对于目标对象所在场景的姿态包括拍摄装置相对于目标对象所在场景的俯仰姿态。
可选地，拍摄装置搭载在云台上，拍摄装置的姿态为通过云台获取。
可选地，云台相对于目标对象所在场景固定安装在预设位置处。
可选地，拍摄装置搭载在无人机上，拍摄装置的姿态为通过无人机获取。
可选地，对视频流中包括目标对象的每一帧图像进行特效处理，以使得目标对象环绕有特效，包括：对视频流中包括目标对象的每一帧图像进行处理，获得目标对象在图像中的位置信息和轮廓信息；根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加，以使得目标对象环绕有特效。
可选地，根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加，以使得目标对象环绕有特效，包括：根据位置信息和轮廓信息，将图像中的目标对象与背景进行分割，获得前景图；根据位置信息和轮廓信息，在前景图中对目标对象进行特效叠加，以使得目标对象环绕有特效；将特效叠加后的前景图与图像进行叠加。
可选地，根据位置信息和轮廓信息，在前景图中对目标对象进行特效叠加，包括：根据位置信息，确定特效叠加在前景图中的位置；根据轮廓信息，确定特效叠加在前景图中的尺寸大小；根据特效叠加在前景图中的位置和特效叠加在前景图中的尺寸大小，将特效叠加在前景图中的目标对象上。
可选地，根据特效叠加在前景图中的位置和特效叠加在前景图中的尺寸大小，将特效叠加在前景图中的目标对象上，包括：根据特效叠加在前景图中的位置、特效叠加在前景图中的尺寸大小以及目标对象的尺寸大小，确定特效与目标对象之间的像素遮挡关系；根据像素遮挡关系，将特效叠加在前景图中的目标对象上；其中，目标对象的尺寸大小为根据目标对象的轮廓信息确定。
可选地，根据特效叠加在前景图中的位置、特效叠加在前景图中的尺寸大小以及目标对象的尺寸大小，确定特效与目标对象之间的像素遮挡关系，包括：根据特效叠加在前景图中的位置、特效叠加在前景图中的尺寸大小以及目标对象的尺寸大小，确定特效叠加至前景图时，特效的各像素相对目标对象的前后位置关系；根据前后位置关系，确定特效与目标对象之间的像素遮挡关系。
可选地，根据前后位置关系，确定特效与目标对象之间的像素遮挡关系，包括：在前景图中，若特效的像素位于目标对象的后方，则确定目标对象对应位置的像素遮挡特效的像素。
可选地，根据前后位置关系，确定特效与目标对象之间的像素遮挡关系，包括：在前景图中，若特效的像素位于目标对象的前方，则确定特效的像素遮挡目标对象对应位置的像素。
可选地，特效的像素遮挡图像的背景的对应位置的像素，背景的对应位置为特效与背景重叠部分的位置。
可选地，特效的显示内容为根据目标对象的状态信息确定。
可选地，视频流为竞技比赛的视频流，目标对象的状态信息包括血量、攻击力、防御力和技能中的一个或多个。
可选地，不同类型的状态信息对应的特效的显示内容不相同。
可选地，特效的显示内容包括特效的图案和颜色中的至少一种。
可选地，对视频流进行处理，获得目标对象在视频流的每一幅图像中的位置信息和轮廓信息，包括：基于实例分割算法对视频流进行处理，获得目标对象在视频流的每一幅图像中的位置信息和轮廓信息。
可选地，视频流为竞技比赛的视频流，目标对象包括移动物体和静止物体中的一个或多个。
图5所示实施例的视频的处理方法的实现过程可以参见图2所示实施例的视频的处理方法的实现过程相应部分的描述。
对应于上述实施例的视频的处理方法，本申请实施例还提供一种视频的处理装置。图6是本申请一实施例中的视频的处理装置的结构框图；请参见图6，该视频的处理装置可以包括存储装置和一个或多个处理器。
其中，存储装置，用于存储程序指令；一个或多个处理器，调用存储装置中存储的程序指令。
在某些实施例中，当程序指令被执行时，一个或多个处理器单独地或共同地被配置成用于实施如下操作：获取视频流；对视频流包括目标对象的每一帧图像进行处理，获得目标对象在图像中的位置信息和轮廓信息；根据位置信息和轮廓信息，在图像中对目标对象进行特效叠加。本实施例的处理器可以实现如本发明图2、图3所示实施例的交互方法，可参见上述实施例的交互方法对本实施例的可移动平台进行说明。
在某些实施例中，当程序指令被执行时，一个或多个处理器单独地或共同地被配置成用于实施如下操作：获取视频流；对视频流中包括目标对象的每一帧图像进行特效处理，以使得目标对象环绕有特效；其中，特效的立体程度为根据拍摄装置采集当前叠加特效的图像时的姿态确定。本实施例的处理器可以实现如本发明图5所示实施例的交互方法，可参见上述实施例的交互方法对本实施例的可移动平台进行说明。
上述实施例中，存储装置可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储装置还可以包括上述种类的存储器的组合。
处理器可以是中央处理器(central processing unit，CPU)。所述处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。
此外，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例一或实施例二的视频的处理方法的步骤。
所述计算机可读存储介质可以是前述任一实施例所述的视频的处理装置的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是视频的处理装置的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括视频的处理装置的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述视频的处理装置所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请部分实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (86)
1.一种视频的处理方法，其特征在于，所述方法包括：
获取视频流；
对所述视频流包括目标对象的每一帧图像进行处理，获得所述目标对象在所述图像中的位置信息和轮廓信息；
根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加。
2.根据权利要求1所述的方法，其特征在于，所述特效为立体特效。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加，包括：
根据所述位置信息和所述轮廓信息，将所述图像中的所述目标对象与背景进行分割，获得前景图；
根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加；
将特效叠加后的前景图与所述图像进行叠加。
4.根据权利要求3所述的方法，其特征在于，所述根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加，包括：
根据所述位置信息，确定所述特效叠加在所述前景图中的位置；
根据所述轮廓信息，确定所述特效叠加在所述前景图中的尺寸大小；
根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上。
5.根据权利要求4所述的方法，其特征在于，所述根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上，包括：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系；
根据所述像素遮挡关系，将所述特效叠加在所述前景图中的所述目标对象上；
其中，所述目标对象的尺寸大小为根据所述目标对象的轮廓信息确定。
6.根据权利要求5所述的方法，其特征在于，所述根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系，包括：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效叠加至所述前景图时，所述特效的各像素相对所述目标对象的前后位置关系；
根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系。
7.根据权利要求6所述的方法，其特征在于，所述根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系，包括：
在所述前景图中，若所述特效的像素位于所述目标对象的后方，则确定所述目标对象对应位置的像素遮挡所述特效的像素。
8.根据权利要求6所述的方法，其特征在于，所述根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系，包括：
在所述前景图中，若所述特效的像素位于所述目标对象的前方，则确定所述特效的像素遮挡所述目标对象对应位置的像素。
9.根据权利要求3所述的方法，其特征在于，所述特效的像素遮挡所述图像的背景的对应位置的像素，所述背景的对应位置为所述特效与所述背景重叠部分的位置。
10.根据权利要求1或2所述的方法，其特征在于，所述特效的显示内容为根据所述目标对象的状态信息确定。
11.根据权利要求10所述的方法，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象的状态信息包括血量、攻击力、防御力和技能中的一个或多个。
12.根据权利要求10所述的方法，其特征在于，不同类型的所述状态信息对应的特效的显示内容不相同。
13.根据权利要求10所述的方法，其特征在于，所述特效的显示内容包括所述特效的图案和颜色中的至少一种。
14.根据权利要求1或2所述的方法，其特征在于，所述特效的姿态为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。
15.根据权利要求14所述的方法，其特征在于，所述特效的姿态随所述拍摄装置的姿态变化而变化。
16.根据权利要求15所述的方法，其特征在于，所述拍摄装置的姿态包括拍摄装置相对于所述目标对象所在场景的姿态。
17.根据权利要求16所述的方法，其特征在于，所述拍摄装置相对于所述目标对象所在场景的姿态包括拍摄装置相对于所述目标对象所在场景的俯仰姿态。
18.根据权利要求15至17中任一项所述的方法，其特征在于，所述拍摄装置搭载在云台上，所述拍摄装置的姿态为通过所述云台获取。
19.根据权利要求18所述的方法，其特征在于，所述云台相对于所述目标对象所在场景固定安装在预设位置处。
20.根据权利要求15至17中任一项所述的方法，其特征在于，所述拍摄装置搭载在无人机上，所述拍摄装置的姿态为通过所述无人机获取。
21.根据权利要求1或2所述的方法，其特征在于，所述对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息，包括：
基于实例分割算法对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息。
22.根据权利要求1或2所述的方法，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象包括移动物体和静止物体中的一个或多个。
23.一种视频的处理装置，其特征在于，所述装置包括：
存储装置，用于存储程序指令；以及
一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：
获取视频流；
对所述视频流包括目标对象的每一帧图像进行处理，获得所述目标对象在所述图像中的位置信息和轮廓信息；
根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加。
24.根据权利要求23所述的装置，其特征在于，所述特效为立体特效。
25.根据权利要求23或24所述的装置，其特征在于，所述一个或多个处理器在根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述位置信息和所述轮廓信息，将所述图像中的所述目标对象与背景进行分割，获得前景图；
根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加；
将特效叠加后的前景图与所述图像进行叠加。
26.根据权利要求25所述的装置，其特征在于，所述一个或多个处理器在根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述位置信息，确定所述特效叠加在所述前景图中的位置；
根据所述轮廓信息，确定所述特效叠加在所述前景图中的尺寸大小；
根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上。
27.根据权利要求26所述的装置，其特征在于，所述一个或多个处理器在根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系；
根据所述像素遮挡关系，将所述特效叠加在所述前景图中的所述目标对象上；
其中，所述目标对象的尺寸大小为根据所述目标对象的轮廓信息确定。
28.根据权利要求27所述的装置，其特征在于，所述一个或多个处理器在根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效叠加至所述前景图时，所述特效的各像素相对所述目标对象的前后位置关系；
根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系。
29.根据权利要求28所述的装置，其特征在于，所述一个或多个处理器在根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系时，单独地或共同地被进一步配置成用于实施如下操作：
在所述前景图中，若所述特效的像素位于所述目标对象的后方，则确定所述目标对象对应位置的像素遮挡所述特效的像素。
30.根据权利要求28所述的装置，其特征在于，所述一个或多个处理器在根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系时，单独地或共同地被进一步配置成用于实施如下操作：
在所述前景图中，若所述特效的像素位于所述目标对象的前方，则确定所述特效的像素遮挡所述目标对象对应位置的像素。
31.根据权利要求25所述的装置，其特征在于，所述特效的像素遮挡所述图像的背景的对应位置的像素，所述背景的对应位置为所述特效与所述背景重叠部分的位置。
32.根据权利要求23或24所述的装置，其特征在于，所述特效的显示内容为根据所述目标对象的状态信息确定。
33.根据权利要求32所述的装置，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象的状态信息包括血量、攻击力、防御力和技能中的一个或多个。
34.根据权利要求32所述的装置，其特征在于，不同类型的所述状态信息对应的特效的显示内容不相同。
35.根据权利要求32所述的装置，其特征在于，所述特效的显示内容包括所述特效的图案和颜色中的至少一种。
36.根据权利要求23或24所述的装置，其特征在于，所述特效的姿态为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。
37.根据权利要求36所述的装置，其特征在于，所述特效的姿态随所述拍摄装置的姿态变化而变化。
38.根据权利要求37所述的装置，其特征在于，所述拍摄装置的姿态包括拍摄装置相对于所述目标对象所在场景的姿态。
39.根据权利要求38所述的装置，其特征在于，所述拍摄装置相对于所述目标对象所在场景的姿态包括拍摄装置相对于所述目标对象所在场景的俯仰姿态。
40.根据权利要求37至39中任一项所述的装置，其特征在于，所述拍摄装置搭载在云台上，所述拍摄装置的姿态为通过所述云台获取。
41.根据权利要求40所述的装置，其特征在于，所述云台相对于所述目标对象所在场景固定安装在预设位置处。
42.根据权利要求37至39中任一项所述的装置，其特征在于，所述拍摄装置搭载在无人机上，所述拍摄装置的姿态为通过所述无人机获取。
43.根据权利要求23或24所述的装置，其特征在于，所述一个或多个处理器在对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息时，单独地或共同地被进一步配置成用于实施如下操作：
基于实例分割算法对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息。
44.根据权利要求23或24所述的装置，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象包括移动物体和静止物体中的一个或多个。
45.一种视频的处理方法，其特征在于，所述方法包括：
获取视频流；
对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效；
其中，所述特效的立体程度为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。
46.根据权利要求45所述的方法，其特征在于，所述特效的姿态随所述拍摄装置的姿态变化而变化，所述特效的姿态用于表征所述特效的立体程度。
47.根据权利要求45或46所述的方法，其特征在于，所述拍摄装置的姿态包括拍摄装置相对于所述目标对象所在场景的姿态。
48.根据权利要求47所述的方法，其特征在于，所述拍摄装置相对于所述目标对象所在场景的姿态包括拍摄装置相对于所述目标对象所在场景的俯仰姿态。
49.根据权利要求45所述的方法，其特征在于，所述拍摄装置搭载在云台上，所述拍摄装置的姿态为通过所述云台获取。
50.根据权利要求49所述的方法，其特征在于，所述云台相对于所述目标对象所在场景固定安装在预设位置处。
51.根据权利要求45所述的方法，其特征在于，所述拍摄装置搭载在无人机上，所述拍摄装置的姿态为通过所述无人机获取。
52.根据权利要求45所述的方法，其特征在于，所述对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效，包括：
对所述视频流中包括目标对象的每一帧图像进行处理，获得所述目标对象在所述图像中的位置信息和轮廓信息；
根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加，以使得所述目标对象环绕有特效。
53.根据权利要求52所述的方法，其特征在于，所述根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加，以使得所述目标对象环绕有特效，包括：
根据所述位置信息和所述轮廓信息，将所述图像中的所述目标对象与背景进行分割，获得前景图；
根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加，以使得所述目标对象环绕有特效；
将特效叠加后的前景图与所述图像进行叠加。
54.根据权利要求53所述的方法，其特征在于，所述根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加，包括：
根据所述位置信息，确定所述特效叠加在所述前景图中的位置；
根据所述轮廓信息，确定所述特效叠加在所述前景图中的尺寸大小；
根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上。
55.根据权利要求54所述的方法，其特征在于，所述根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上，包括：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系；
根据所述像素遮挡关系，将所述特效叠加在所述前景图中的所述目标对象上；
其中，所述目标对象的尺寸大小为根据所述目标对象的轮廓信息确定。
56.根据权利要求55所述的方法，其特征在于，所述根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系，包括：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效叠加至所述前景图时，所述特效的各像素相对所述目标对象的前后位置关系；
根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系。
57.根据权利要求56所述的方法，其特征在于，所述根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系，包括：
在所述前景图中，若所述特效的像素位于所述目标对象的后方，则确定所述目标对象对应位置的像素遮挡所述特效的像素。
58.根据权利要求56所述的方法，其特征在于，所述根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系，包括：
在所述前景图中，若所述特效的像素位于所述目标对象的前方，则确定所述特效的像素遮挡所述目标对象对应位置的像素。
59.根据权利要求53所述的方法，其特征在于，所述特效的像素遮挡所述图像的背景的对应位置的像素，所述背景的对应位置为所述特效与所述背景重叠部分的位置。
60.根据权利要求45所述的方法，其特征在于，所述特效的显示内容为根据所述目标对象的状态信息确定。
61.根据权利要求60所述的方法，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象的状态信息包括血量、攻击力、防御力和技能中的一个或多个。
62.根据权利要求60所述的方法，其特征在于，不同类型的所述状态信息对应的特效的显示内容不相同。
63.根据权利要求61所述的方法，其特征在于，所述特效的显示内容包括所述特效的图案和颜色中的至少一种。
64.根据权利要求52所述的方法，其特征在于，所述对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息，包括：
基于实例分割算法对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息。
65.根据权利要求45所述的方法，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象包括移动物体和静止物体中的一个或多个。
66.一种视频的处理装置，其特征在于，所述装置包括：
存储装置，用于存储程序指令；以及
一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：
获取视频流；
对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效；
其中，所述特效的立体程度为根据拍摄装置采集当前叠加所述特效的图像时的姿态确定。
67.根据权利要求66所述的装置，其特征在于，所述特效的姿态随所述拍摄装置的姿态变化而变化，所述特效的姿态用于表征所述特效的立体程度。
68.根据权利要求66或67所述的装置，其特征在于，所述拍摄装置的姿态包括拍摄装置相对于所述目标对象所在场景的姿态。
69.根据权利要求68所述的装置，其特征在于，所述拍摄装置相对于所述目标对象所在场景的姿态包括拍摄装置相对于所述目标对象所在场景的俯仰姿态。
70.根据权利要求66所述的装置，其特征在于，所述拍摄装置搭载在云台上，所述拍摄装置的姿态为通过所述云台获取。
71.根据权利要求70所述的装置，其特征在于，所述云台相对于所述目标对象所在场景固定安装在预设位置处。
72.根据权利要求66所述的装置，其特征在于，所述拍摄装置搭载在无人机上，所述拍摄装置的姿态为通过所述无人机获取。
73.根据权利要求66所述的装置，其特征在于，所述一个或多个处理器在对所述视频流中包括目标对象的每一帧图像进行特效处理，以使得所述目标对象环绕有特效时，单独地或共同地被进一步配置成用于实施如下操作：
对所述视频流中包括目标对象的每一帧图像进行处理，获得所述目标对象在所述图像中的位置信息和轮廓信息；
根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加，以使得所述目标对象环绕有特效。
74.根据权利要求73所述的装置，其特征在于，所述一个或多个处理器在根据所述位置信息和所述轮廓信息，在所述图像中对所述目标对象进行特效叠加，以使得所述目标对象环绕有特效时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述位置信息和所述轮廓信息，将所述图像中的所述目标对象与背景进行分割，获得前景图；
根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加，以使得所述目标对象环绕有特效；
将特效叠加后的前景图与所述图像进行叠加。
75.根据权利要求74所述的装置，其特征在于，所述一个或多个处理器在根据所述位置信息和所述轮廓信息，在所述前景图中对所述目标对象进行特效叠加时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述位置信息，确定所述特效叠加在所述前景图中的位置；
根据所述轮廓信息，确定所述特效叠加在所述前景图中的尺寸大小；
根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上。
76.根据权利要求75所述的装置，其特征在于，所述一个或多个处理器在根据所述特效叠加在所述前景图中的位置和所述特效叠加在所述前景图中的尺寸大小，将所述特效叠加在所述前景图中的所述目标对象上时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系；
根据所述像素遮挡关系，将所述特效叠加在所述前景图中的所述目标对象上；
其中，所述目标对象的尺寸大小为根据所述目标对象的轮廓信息确定。
77.根据权利要求76所述的装置，其特征在于，所述一个或多个处理器在根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效与所述目标对象之间的像素遮挡关系时，单独地或共同地被进一步配置成用于实施如下操作：
根据所述特效叠加在所述前景图中的位置、所述特效叠加在所述前景图中的尺寸大小以及所述目标对象的尺寸大小，确定所述特效叠加至所述前景图时，所述特效的各像素相对所述目标对象的前后位置关系；
根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系。
78.根据权利要求77所述的装置，其特征在于，所述一个或多个处理器在根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系时，单独地或共同地被进一步配置成用于实施如下操作：
在所述前景图中，若所述特效的像素位于所述目标对象的后方，则确定所述目标对象对应位置的像素遮挡所述特效的像素。
79.根据权利要求77所述的装置，其特征在于，所述一个或多个处理器在根据所述前后位置关系，确定所述特效与所述目标对象之间的像素遮挡关系时，单独地或共同地被进一步配置成用于实施如下操作：
在所述前景图中，若所述特效的像素位于所述目标对象的前方，则确定所述特效的像素遮挡所述目标对象对应位置的像素。
80.根据权利要求74所述的装置，其特征在于，所述特效的像素遮挡所述图像的背景的对应位置的像素，所述背景的对应位置为所述特效与所述背景重叠部分的位置。
81.根据权利要求66所述的装置，其特征在于，所述特效的显示内容为根据所述目标对象的状态信息确定。
82.根据权利要求81所述的装置，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象的状态信息包括血量、攻击力、防御力和技能中的一个或多个。
83.根据权利要求81所述的装置，其特征在于，不同类型的所述状态信息对应的特效的显示内容不相同。
84.根据权利要求82所述的装置，其特征在于，所述特效的显示内容包括所述特效的图案和颜色中的至少一种。
85.根据权利要求73所述的装置，其特征在于，所述一个或多个处理器在对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息时，单独地或共同地被进一步配置成用于实施如下操作：
基于实例分割算法对所述视频流进行处理，获得目标对象在所述视频流的每一幅图像中的位置信息和轮廓信息。
86.根据权利要求66所述的装置，其特征在于，所述视频流为竞技比赛的视频流，所述目标对象包括移动物体和静止物体中的一个或多个。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/077469 WO2021174389A1 (zh) | 2020-03-02 | 2020-03-02 | 视频的处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112544070A true CN112544070A (zh) | 2021-03-23 |
Family
ID=75017371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080004468.1A Pending CN112544070A (zh) | 2020-03-02 | 2020-03-02 | 视频的处理方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112544070A (zh) |
| WO (1) | WO2021174389A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225489A (zh) * | 2021-04-30 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 图像特效展示方法、装置、电子设备和存储介质 |
| CN114025219A (zh) * | 2021-11-01 | 2022-02-08 | 广州博冠信息科技有限公司 | 增强现实特效的渲染方法、装置、介质及设备 |
| CN114693780A (zh) * | 2022-04-11 | 2022-07-01 | 北京字跳网络技术有限公司 | 图像的处理方法、装置、设备、存储介质和程序产品 |
| CN115278041A (zh) * | 2021-04-29 | 2022-11-01 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备以及可读存储介质 |
| WO2023051185A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257704B (zh) * | 2021-12-17 | 2023-10-10 | 威创集团股份有限公司 | 一种基于fpga的视频叠加方法、装置、设备和介质 |
| CN114430495A (zh) * | 2022-01-12 | 2022-05-03 | 广州繁星互娱信息科技有限公司 | 对象展示方法和装置、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150296248A1 (en) * | 2012-11-26 | 2015-10-15 | Sony Corporation | Transmitting apparatus, transmitting method, receiving apparatus, receiving method, and receiving display method |
| CN106792078A (zh) * | 2016-07-12 | 2017-05-31 | 乐视控股（北京）有限公司 | 视频处理方法及装置 |
| CN109840881A (zh) * | 2018-12-12 | 2019-06-04 | 深圳奥比中光科技有限公司 | 一种3d特效图像生成方法、装置及设备 |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101894956B1 (ko) * | 2017-06-21 | 2018-10-24 | 주식회사 미디어프론트 | 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 |
| CN108648139A (zh) * | 2018-04-10 | 2018-10-12 | 光锐恒宇（北京）科技有限公司 | 一种图像处理方法和装置 |
-
2020
- 2020-03-02 WO PCT/CN2020/077469 patent/WO2021174389A1/zh active Application Filing
- 2020-03-02 CN CN202080004468.1A patent/CN112544070A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150296248A1 (en) * | 2012-11-26 | 2015-10-15 | Sony Corporation | Transmitting apparatus, transmitting method, receiving apparatus, receiving method, and receiving display method |
| CN106792078A (zh) * | 2016-07-12 | 2017-05-31 | 乐视控股（北京）有限公司 | 视频处理方法及装置 |
| CN109840881A (zh) * | 2018-12-12 | 2019-06-04 | 深圳奥比中光科技有限公司 | 一种3d特效图像生成方法、装置及设备 |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115278041A (zh) * | 2021-04-29 | 2022-11-01 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备以及可读存储介质 |
| CN115278041B (zh) * | 2021-04-29 | 2024-02-27 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备以及可读存储介质 |
| CN113225489A (zh) * | 2021-04-30 | 2021-08-06 | 北京达佳互联信息技术有限公司 | 图像特效展示方法、装置、电子设备和存储介质 |
| CN113225489B (zh) * | 2021-04-30 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 图像特效展示方法、装置、电子设备和存储介质 |
| WO2023051185A1 (zh) * | 2021-09-29 | 2023-04-06 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114025219A (zh) * | 2021-11-01 | 2022-02-08 | 广州博冠信息科技有限公司 | 增强现实特效的渲染方法、装置、介质及设备 |
| CN114025219B (zh) * | 2021-11-01 | 2024-06-04 | 广州博冠信息科技有限公司 | 增强现实特效的渲染方法、装置、介质及设备 |
| CN114693780A (zh) * | 2022-04-11 | 2022-07-01 | 北京字跳网络技术有限公司 | 图像的处理方法、装置、设备、存储介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021174389A1 (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112544070A (zh) | 视频的处理方法和装置 | |
| CN112348969B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| Rematas et al. | Soccer on your tabletop | |
| US9728011B2 (en) | System and method for implementing augmented reality via three-dimensional painting | |
| Prince et al. | 3d live: Real time captured content for mixed reality | |
| EP3003517B1 (en) | Image rendering responsive to user actions in head mounted display | |
| US9710972B2 (en) | Immersion photography with dynamic matte screen | |
| JP4783588B2 (ja) | 対話式視点ビデオシステムおよびプロセス | |
| US9721385B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| US6945869B2 (en) | Apparatus and method for video based shooting game | |
| JP7303754B2 (ja) | ユーザー固有コンテンツを映像制作に融合させる方法及びシステム | |
| US20200013220A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
| US20230281912A1 (en) | Method and system for generating a target image from plural multi-plane images | |
| CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| CN112637665B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN105389090A (zh) | 游戏交互界面显示的方法及装置、移动终端和电脑终端 | |
| JP2019509526A (ja) | 多数のカメラを用いた最適の球形映像獲得方法 | |
| US10391408B2 (en) | Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space | |
| KR20180123302A (ko) | 볼의 궤적을 시각화하는 방법 및 장치 | |
| CN111569414A (zh) | 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质 | |
| US20190295324A1 (en) | Optimized content sharing interaction using a mixed reality environment | |
| KR102082131B1 (ko) | 드론 동영상에 증강현실 정보를 삽입하는 방법 | |
| US10237614B2 (en) | Content viewing verification system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210323 |