CN113382275B - 直播数据的生成方法、装置、存储介质及电子设备 - Google Patents
直播数据的生成方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113382275B CN113382275B CN202110632898.4A CN202110632898A CN113382275B CN 113382275 B CN113382275 B CN 113382275B CN 202110632898 A CN202110632898 A CN 202110632898A CN 113382275 B CN113382275 B CN 113382275B
- Authority
- CN
- China
- Prior art keywords
- special effect
- live
- live broadcast
- data
- contour information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 248
- 238000001931 thermography Methods 0.000 claims abstract description 34
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 20
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 13
- 239000002245 particle Substances 0.000 description 27
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 230000036544 posture Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000006854 communication Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- -1 fire Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供一种直播数据的生成方法、装置、存储介质及电子设备；涉及网络直播技术领域。所述方法包括：利用热成像设备获取直播对象的当前轮廓信息；将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；将渲染后的多帧所述特效帧图像转换成直播流数据。本公开利用热成像技术获取直播对象的轮廓信息，便于根据轮廓信息进行实时特效渲染，进一步增强直播过程中特效的展示效果。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种直播数据的生成方法、直播数据的生成装置、计算机可读存储介质以及电子设备。
背景技术
随着网络技术的发展，实时视频交流如网络直播已经成为一种越来越流行的娱乐方式。在实时视频交流过程中，如何增强与用户的互动效果是备受关注的一个话题。
例如，将AR(Augmented Reality，增强现实)技术应用到网络直播中时，可以增强直播的整体效果，提升用户的直播观看体验。其中，AR技术通过将实体信息通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。但是，在AR虚拟直播中，生成直播画面的流程较为繁琐，而且无法灵活的满足大型直播中的AR特效合成。
因此，在直播过程中提出一种新的直播数据的生成方法是非常必要的。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种直播数据的生成方法、直播数据的生成装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的虚拟直播中生成直播画面的流程较为繁琐，而且特效合成存在局限的问题。
根据本公开的第一方面，提供一种直播数据的生成方法，包括：
利用热成像设备获取直播对象的当前轮廓信息；
将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；
将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；
将渲染后的多帧所述特效帧图像转换成直播流数据。
在本公开的一种示例性实施例中，所述利用热成像设备获取直播对象的当前轮廓信息，包括：
利用热成像设备采集现实直播空间中目标区域内的温度场信息，所述温度场信息至少包括所述直播对象的温度数据和环境对象的温度数据；
当所述环境对象的温度数据与预设标准温度之间的差值大于预设阈值时，根据所述直播对象的温度数据，生成所述直播对象的热图像；
从所述热图像中提取得到所述直播对象的当前轮廓信息。
在本公开的一种示例性实施例中，所述将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据，包括：
提取标准轮廓模型中的关键特征点；
确定在所述直播对象的当前轮廓信息中与所述关键特征点对应的第一绑定位置；
在所述第一绑定位置将所述预设特效数据与所述直播对象的当前轮廓信息进行绑定得到目标特效数据。
在本公开的一种示例性实施例中，生成目标特效数据后，所述方法还包括：
当所述直播对象的当前轮廓信息发生变化时，基于所述关键特征点将所述第一绑定位置更新为第二绑定位置；
根据所述第二绑定位置调整所述预设特效数据；
在所述第二绑定位置将调整后的所述预设特效数据与变化后的所述直播对象的轮廓信息进行绑定，生成新的目标特效数据，以将所述直播对象的实景拍摄图像与所述新的目标特效数据合成特效帧图像。
在本公开的一种示例性实施例中，所述将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像，包括：
获取所述直播对象当前帧的实景拍摄图像；
将所述当前帧的实景拍摄图像与所述目标特效数据合成特效帧图像，并将所述特效帧图像进行渲染。
在本公开的一种示例性实施例中，所述将渲染后的多帧所述特效帧图像转换成直播流数据，包括：
将渲染后的多帧所述特效帧图像进行编码封装成直播流数据。
在本公开的一种示例性实施例中，所述方法还包括：
通过用户侧直播服务器将所述直播流数据转发至用户客户端。
在本公开的一种示例性实施例中，所述方法还包括：
当所述预设区域内有多个直播对象时，获取所述多个直播对象的轮廓信息；
当所述多个直播对象的轮廓信息发生重叠时，分离所述多个直播对象的轮廓信息，并将分离得到的重叠部分的轮廓信息进行重建。
根据本公开的第二方面，提供一种直播数据的生成装置，包括：
轮廓信息获取模块，用于利用热成像设备获取直播对象的当前轮廓信息；
特效数据生成模块，用于将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；
特效帧图像生成模块，用于将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；
直播数据生成模块，用于将渲染后的多帧所述特效帧图像转换成直播流数据。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开示例实施方式所提供的直播数据的生成方法中，通过利用热成像设备获取直播对象的当前轮廓信息；将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；将渲染后的多帧所述特效帧图像转换成直播流数据。一方面，利用热成像技术获取直播对象的轮廓信息，便于根据轮廓信息进行特效渲染，简化了直播特效的合成流程，丰富了方法的应用场景；另一方面，基于直播对象的轮廓信息合成直播特效时，可以达到直播对象与直播特效实时交互的效果，进一步增强直播过程中特效的展示效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了可以应用本公开实施例的一种直播数据的生成方法及装置的示例性***架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图；
图3示意性示出了根据本公开的一个实施例的直播数据的生成方法的流程图；
图4中图4A示意性示出了根据本公开的一个实施例中直播对象的实景拍摄图像；图4B示意性示出了根据本公开的一个实施例直播对象的轮廓图像；
图5示意性示出了根据本公开的一个实施例的当前轮廓信息获取的流程图；
图6示意性示出了根据本公开的一个实施例的目标特效数据生成的流程图；
图7示意性示出了根据本公开的一个实施例中目标特效数据为粒子特效的示意图；
图8示意性示出了根据本公开的一个实施例的特效调整的流程图；
图9示意性示出了根据本公开的一个实施例的特效帧图像的示意图；
图10示意性示出了根据本公开的一个实施例的特效帧图像渲染后的示意图；
图11示意性示出了根据本公开的一个实施例的直播数据的生成装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种直播数据的生成方法及装置的示例性应用环境的***架构的示意图。
如图1所示，***架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。如网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是包括固定摄像头、显示屏和终端处理器的各种电子设备，包括但不限于智能手机、携带处理模块的摄像机等。服务器105可以是用于为终端设备101、102、103中提供后台服务的后台服务器。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的直播数据的生成方法一般由服务器105执行，相应地，直播数据的生成装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的直播数据的生成方法也可以由终端设备101、102、103执行，相应的，直播数据的生成装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
图2示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。
需要说明的是，图2示出的电子设备的计算机***200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机***200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有***操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3、图5、图6和图8所示的各个步骤等。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
以下对本公开实施例的技术方案进行详细阐述：
在网络直播过程中加入特效时，可以增强直播的整体效果与可交互性，进而提升用户的直播观看体验。以AR虚拟直播场景为例，舞者在舞台上进行表演时，AR特效和舞者可以通过站位配合实现二者的互动。但是，舞者在移动时，AR特效无法和舞者实时进行交互。另外，在现有特效合成技术中，可以通过配合绿幕，也可以在舞者身上粘贴反光点，通过红外识别，并经过后期处理以合成特效，整个特效合成的流程较为繁琐。另外，在通过绿幕扣像提取人物通道和场景通道时，由于无法在大型直播的现实舞台上放置大的绿幕背景，导致无法灵活的满足大型直转播中的AR特效合成。
基于上述一个或多个问题，本示例实施方式提供了一种直播数据的生成方法，该方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该直播数据的生成方法可以包括以下步骤S310至步骤S340：
步骤S310.利用热成像设备获取直播对象的当前轮廓信息；
步骤S320.将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；
步骤S330.将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；
步骤S340.将渲染后的多帧所述特效帧图像转换成直播流数据。
在本公开示例实施方式所提供的直播数据的生成方法中，通过利用热成像设备获取直播对象的当前轮廓信息；将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；将渲染后的多帧所述特效帧图像转换成直播流数据。一方面，利用热成像技术获取直播对象的轮廓信息，便于根据轮廓信息进行特效渲染，简化了直播特效的合成流程，丰富了方法的应用场景；另一方面，基于直播对象的轮廓信息合成直播特效时，可以达到直播对象与直播特效实时交互的效果，进一步增强直播过程中特效的展示效果。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中，利用热成像设备获取直播对象的当前轮廓信息。
在本公开示例实施方式中，可以以AR虚拟直播场景为例进行说明。其中，AR是一种由真实世界与虚拟元素融合而成的技术，可以通过运用多媒体、三维建模、实时跟踪、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟元素模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的增强。例如，当AR虚拟直播是以舞者表演为直播内容时，对应的，直播对象可以是舞者。可以理解的是，直播对象可以是直播过程中进行特效合成的任意目标对象，本示例中对此不作具体限定。
直播终端可以是包括固定摄像头、显示屏和终端处理器的终端设备，如手机、携带处理模块的摄像机等。在本示例中，在舞者表演进行AR虚拟直播时，为了提高直播拍摄效果，终端设备一般可以采用携带处理模块的摄像机。需要说明的是，为了进一步便于合成AR特效，本示例中在舞者进行直播表演时，可以通过热成像设备进行实时拍摄。具体的，可以在直播现场准备带有热成像摄像头与传感器的摄像装置，其中，该摄像装置不仅可以获取舞者的实景拍摄图像，还可以获取该舞者的轮廓信息。参考图4所示，图4A为通过摄像装置拍摄得到的舞者在舞台上进行表演时某一时刻的实景图像；图4B为通过摄像装置中的热成像摄像头拍摄得到的该时刻舞者的轮廓图像。
参考图5所示，可以根据步骤S510至步骤S530获取直播对象的当前轮廓信息。
在步骤S510中，利用热成像设备采集现实直播空间中目标区域内的温度场信息，所述温度场信息至少包括所述直播对象的温度数据和环境对象的温度数据。
本示例中，热成像设备可以为热成像摄像机，热成像摄像机也可以称作红外热像仪，是一种可以探测微小温差的传感器，由于任何有温度的物体都会发出红外线，红外热像仪可以接收物体发出的红外线，并通过有颜色的图片来显示被测量物体表面的温度分布。其中，根据温度的微小差异可以找出温度的异常点，从而对异常部分起到维护的作用。
舞者进行虚拟直播时，可以通过热成像摄像机采集预设大小的舞台场景中的温度场信息，如可以采集该热成像摄像机视场范围内的温度场信息。温度场是指存在温度的场，是各时刻物体中各点温度分布的总称。示例性的，采集到的温度场信息可以包括该热成像摄像机视场范围内的温度-坐标点数据，如可以表示为T＝T(x，y，z)，以反映温度在空间上的分布。另外，采集到的温度场信息可以包括直播对象的温度数据和环境对象的温度数据，以及直播对象和环境对象在三维空间中的坐标点数据。例如，通过热成像摄像机可以采集舞者的温度-坐标点数据，同时，也可以采集该热成像摄像机视场范围内其他物体如舞台上的道具的温度-坐标点数据。
在步骤S520中，当所述环境对象的温度数据与预设标准温度之间的差值大于预设阈值时，根据所述直播对象的温度数据，生成所述直播对象的热图像。
可以将热成像摄像机采集的温度场数据发送至该热成像摄像机内的处理模块。该处理模块可以读取预先设置的人体标准温度，该人体标准温度可以是一个温度值如36℃，也可以是一个温度范围如36～37℃。根据舞台场景中其他物体的温度与该人体标准温度之间的差值，提取出舞台场景内舞者的轮廓信息。示例性的，可以预设一个温度差值的阈值，如阈值为15℃，需要说明的是，温度差值的阈值可以根据实际需求进行设置，本示例中对此不作具体限定。直播对象即舞者的温度约为该人体标准温度，假设舞台场景内其他物体的温度为20℃，对应的，此时舞台场景内其他物体的温度与该人体标准温度之间的差值大于15℃，根据该舞者的温度数据，即该舞者在三维空间中的温度分布，设置对应的颜色特征，如36℃可以对应红色，37℃可以对应橙色，生成与温度分布对应的热图像。
在步骤S530中，从所述热图像中提取得到所述直播对象的当前轮廓信息。
得到舞者的热图像后，通过提取该热图像的轮廓线，可以得到舞者的当前轮廓信息，可以理解的是，该当前轮廓信息也可以包括舞者的温度-坐标点数据。若当前舞台场景内只有一位舞者时，对应的只存在一个人体轮廓信息，该人体轮廓信息可以用来合成AR特效。具体的，热传感摄像机中的处理模块可以通过网络传输将该人体轮廓信息发送至直播***中的UE(Unreal Engine，虚幻引擎)服务器，UE服务器是一款实时引擎与编辑器，具备渲染功能、动态物理与效果、动画、数据转换接口等。因此，将提取到的人体轮廓信息发送至UE服务器，可以在UE服务器中进行AR特效的合成。其他示例中，可以通过在舞者的身上粘贴反光点，通过对各个反光点进行红外识别，从而获得人体轮廓信息，并在UE服务器里进行AR特性合成。
一种示例实施方式中，当预设区域内有多个直播对象时，可以获取所述多个直播对象的轮廓信息。而且，当多个直播对象的轮廓信息发生重叠时，可以分离多个直播对象的轮廓信息，并将分离得到的重叠部分的轮廓信息进行重建。示例性的，摄像机还可以是深度传感相机，若当前舞台场景内有多位舞者时，对应的可以获取多个人体轮廓信息，若当前场景内的多个人体轮廓信息存在重叠时，可以通过深度传感相机提取舞者在表演过程中的深度信息，然后通过梯度提取，提取出舞者的人体轮廓以及人体轮廓的深度信息，根据人体轮廓的深度信息可以识别并分离多位舞者的轮廓信息。例如，在同一视角区域内，若舞者A距深度传感相机的距离为5m，舞者B距深度传感相机的距离为6m，二者对应的人体轮廓相互重叠，此时，可以根据人体标准轮廓模型或镜像信息，对重叠部分的轮廓进行重建补全，重建后的多个轮廓信息也可以用来合成对应的AR特效。
本方法应用在直播场景中，通过热成像的方式获取直播对象的轮廓信息时，可以分离人物通道和场景通道，进而提高人物与AR特效交互的精准性。相较于传统的通过绿幕抠像合成特效，本方法通过温差对人物通道进行提取，无需架设大型绿幕，且舞者也无需穿戴反光点进行红外识别，只需预设人体标准温度来获取用于合成特效的轮廓信息，简化了直播特效的合成流程，进而也可以满足大型直播的AR特效合成，丰富了方法的应用场景。此外，只需设定一个人体标准温度，可以同时识别在舞台上的多位舞者，从而增加直播的稳定程度。
在步骤S320中，将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据。
UE服务器接收到舞者的当前轮廓信息后，可以根据当前直播的AR特效需求，读取UE服务器中预设的特效绑定与合成模板。其中，预设的特效可以优选为三维显示形式的特效，通过三维特效可以增强现实感受。具体的，可以根据模板效果，绑定特定的特效及其对应的触发事件，对舞者的当前轮廓信息进行主动跟踪与效果触发。
一种示例实施方式中，预设特效数据可以通过UE服务器根据模板进行制作，可以包括不断发射的粒子效果，碰撞效果，预设的交互逻辑事件等。示例性的，粒子效果可以是模拟现实中的水、火、雾、气等效果，如将无数的单个粒子组合使其呈现出固定形态，由脚本来控制其整体或单个的运动，以模拟出真实的效果；碰撞效果可以是模拟各种物体发生碰撞后，而产生的火花、***、毁灭等特效效果；预设的交互逻辑事件可以是与直播对象进行交互时触发对应的特效，如获取主播的轮廓信息后，在UE服务器中识别主播轮廓信息中的嘴部部位，在嘴部部位绑定一个苹果特效时，可以触发一个苹果被咬掉一部分的特效事件。
参考图6所示，可以根据步骤S610至步骤S630进行特效绑定以生成目标特效数据。
在步骤S610中，提取标准轮廓模型中的关键特征点。
以预设特效数据为粒子特效为例，在粒子特效绑定与合成模板中，可以根据舞者姿态生成对应的粒子特效。在该模板中，由于粒子特效的效果可以随舞者姿态进行变化，与舞者姿态进行对应变化的是舞者当前轮廓信息中的关键部位，如四肢与头部。因此，为了将粒子特效与舞者的当前轮廓信息进行绑定，首先可以提取标准轮廓模型中的关键特征点，如标准轮廓模型中四肢与头部对应的特征点的坐标数据，以根据这些特征点的坐标数据，准确识别出舞者当前轮廓信息中的关键部位。
需要说明的是，标准轮廓模型中的关键特征点的提取方式可以通过现有的工具和算法来实现，如OpenCV(Open Source Computer Vision Library，开源计算机视觉库)、HOG(Histogram of Oriented Gradient，方向梯度直方图)等。不同关键特征点的集合对应不同的部位，每个关键特征点对应唯一的坐标值，表示该关键特征点在标准轮廓模型中的位置。
在步骤S620中，确定在所述直播对象的当前轮廓信息中与所述关键特征点对应的第一绑定位置。
其中，标准轮廓模型中的关键特征点构成的集合对应的部位与舞者当前轮廓信息中的关键部位相对应。例如，粒子特效可以与舞者当前轮廓信息中的四肢和头部进行绑定，可以从标准轮廓模型中提取并识别出属于“四肢和头部”的关键特征点，根据这些关键特征点在标准轮廓模型中的位置与舞者当前轮廓信息中的坐标数据之间的映射关系，确定舞者当前轮廓信息中对应的轮廓特征点，进而确定该粒子特效与舞者当前轮廓信息进行特效合成的第一绑定位置，其中，第一绑定位置可以是轮廓特征点的坐标数据的集合，也可以是轮廓特征点连线所形成的区域。示例性的，第一绑定位置可以是四肢与头部的外轮廓特征点分别连线所形成的区域。
在步骤S630中，在所述第一绑定位置将所述预设特效数据与所述直播对象的当前轮廓信息进行绑定得到目标特效数据。
可以在舞者当前轮廓信息中的四肢与头部外轮廓处，绑定向外不断发射的粒子特效，并触发对应的粒子效果，当前粒子效果对应的粒子特效数据即为目标特效数据。参考图7所示，示意性的给出了在某一时刻舞者姿态对应的粒子特效。与传统特效制作过程中通过被动碰撞的触碰到某个特定预设范围触发的方式相比，本方法中，舞者的动作可以实时影响以及改变粒子特效的形态，以达到增强舞动效果的目的。
一种示例实施方式中，参考图8所示，可以根据步骤S810至步骤S830对特效的形态和效果进行调整。
在步骤S810中，当所述直播对象的当前轮廓信息发生变化时，基于所述关键特征点将所述第一绑定位置更新为第二绑定位置。
当舞者进行表演时，例如，从跳跃姿态变为旋转姿态时，UE接收到的轮廓信息对应的可以从轮廓A变为轮廓B，标准轮廓模型中如舞者的四肢与头部的关键特征点在轮廓信息中对应的坐标数据(即轮廓特征点)也会发生变化，也就是将第一绑定位置更新为第二绑定位置，其中，第一绑定位置为由舞者在跳跃状态下得到的轮廓A中四肢与头部对应的坐标数据的集合，第二绑定位置为由舞者在旋转状态下得到的轮廓B中四肢与头部对应的坐标数据的集合。需要说明的是，当直播对象的轮廓信息中用于绑定特效的关键肢体部位对应的轮廓特征点的坐标信息发生变化时，绑定的特效的形态也会发生变化，可以达到由舞者的动作可以实时改变特效形态的效果，进而增强舞者的舞动效果，以及提高用户的直播观看体验。
在步骤S820中，根据所述第二绑定位置调整所述预设特效数据。
当第二绑定位置为由舞者在旋转状态下得到的轮廓B中四肢与头部对应的坐标数据的集合，可以基于该第二绑定位置，通过调整预设特效数据如粒子特效来模拟旋转姿态下粒子特效与轮廓信息绑定的实际碰撞效果。
在步骤S830中，在所述第二绑定位置将调整后的所述预设特效数据与变化后的所述直播对象的轮廓信息进行绑定，生成新的特效数据，以将所述直播对象的实景拍摄图像与所述新的特效数据合成特效帧图像。
在第二绑定位置处，将轮廓B与调整形态后的粒子特效进行绑定，生成舞者在旋转姿态下的粒子特效效果，以将实时拍摄的舞者旋转画面与对应的舞者在旋转姿态下的粒子特效效果合成特效帧图像。
在步骤S330中，将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像。
UE服务器可以根据摄像机信号传输的实时画面获取直播对象当前帧的实景拍摄图像。目标特效数据可以是透明通道的特效，根据直播对象的实景拍摄图像与直播对象的轮廓信息之间的映射关系，将直播对象当前帧的实景拍摄图像与目标特效数据进行合成，得到特效帧图像。参考图9所示，舞者为跳跃姿态下的特效帧图像，对应的是绑定位置为四肢外轮廓处且未渲染时粒子特效的合成效果。
为了进一步提高粒子特效的现实增强效果，可以将特效帧图像以及舞台场景进行对应渲染，示例性的，利用粒子特效模拟水的效果时，可以根据材质“水”的物理特性，对该粒子特效进行PBR(Physically-Based Rendering，基于物理渲染)渲染，同样，也可以将舞台场景进行渲染。其中，PBR渲染是一种基于微表面对象的渲染技术，通过光照计算，以及金属度和粗糙度来定义物体表面的光线反射情况，可以很好地表达物体的表面质感，由于PBR渲染在模拟光照反射上具有突出表现，常常被应用于各种高级游戏及影视制作中。其他示例中，也可以采用其他渲染方法对特效帧图像中的目标特效进行渲染，如NPR(Non-photography Rendering，非真实感渲染)着色模型等。参考图10所示，为舞者3种不同姿态下渲染后的特效帧图像，使得粒子特效的模拟效果更加真实，增强用户观看虚拟直播的视觉效果，以及提升用户的直播互动体验。
在步骤S340中，将渲染后的多帧所述特效帧图像转换成直播流数据。
UE服务器可以将渲染后的多帧特效帧图像进行编码封装，并实时生成为直播流数据。示例性的，可以将多帧特效帧图像经过编码压缩成H.264/AVC(Advanced VideoCoding，一种视频高压缩技术)、H.265/HEVC(High Efficiency Video Coding，高效率视频编码)等格式的数据。原始数据存储空间大，传输占用带宽大，经过H.264编码压缩后，可以去除图像的冗余信息，进而满足实时传输的需求。以H.264/AVC视频压缩标准为例，可以分为VCL(Video Coding Layer，视频编码层)和NAL(Network Abstraction Layer，网络提取层)，VCL负责高效的视频内容表示，NAL可以根据不同的网络把直播数据打包成相应的格式，将VCL产生的比特数据适配到多种网络环境中。最后，可以通过容器封装为MP4(多媒体电脑档案格式)、3GP(视频编码格式)、AVI(Audio Video Interleaved，音频视频交错)等格式的直播视频流，其中，容器是把编码生成的多媒体数据，如视频、音频、字幕等信息混合封装在一起的标准，容器可以使得不同的多媒体数据同步播放，还可以为多媒体数据提供索引。
一种示例实施方式中，UE服务器实时生成为直播视频流后，也可以将直播视频流发送至用户侧直播服务器，以通过用户侧直播服务器将直播视频流转发至用户客户端。具体的，用户侧直播服务器可以根据主播客户端标识如当前AR虚拟直播的直播间ID(身份标识号码)与用户客户端标识如用户ID，将直播视频流发送至目标直播间内的用户客户端，最终完成AR特效的效果展示。
本方法中所示的AR虚拟直播场景中，舞者不需要穿戴特殊设备以及为舞台铺设绿幕，即可获取舞者的轮廓信息。在UE服务器中根据该轮廓信息，通过主动跟踪的方式制作AR特效，将AR特效与直播实时画面合成直播流，并进行推流，实现了直播中AR特效的识别、渲染与生成过程，增强了直播过程中的互动效果。
在本公开示例实施方式所提供的直播数据的生成方法中，通过利用热成像设备获取直播对象的当前轮廓信息；将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；将渲染后的多帧所述特效帧图像转换成直播流数据。一方面，利用热成像技术获取直播对象的轮廓信息，便于根据轮廓信息进行特效渲染，简化了直播特效的合成流程，丰富了方法的应用场景；另一方面，基于直播对象的轮廓信息合成直播特效时，可以达到直播对象与直播特效实时交互的效果，进一步增强直播过程中特效的展示效果。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种直播数据的生成装置。该装置可以应用于一服务器或终端设备。参考图11所示，该直播数据的生成装置1100可以包括轮廓信息获取模块1110、特效数据生成模块1120、特效帧图像生成模块1130以及直播数据生成模块1140，其中：
轮廓信息获取模块1110，用于利用热成像设备获取直播对象的当前轮廓信息；
特效数据生成模块1120，用于将预设特效数据与所述直播对象的当前轮廓信息进行绑定，生成目标特效数据；
特效帧图像生成模块1130，用于将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像；
直播数据生成模块1140，用于将渲染后的多帧所述特效帧图像转换成直播流数据。
在一种可选的实施方式中，轮廓信息获取模块1110包括：
场信息获取单元，用于利用热成像设备采集现实直播空间中目标区域内的温度场信息，所述温度场信息至少包括所述直播对象的温度数据和环境对象的温度数据；
热图像生成单元，用于当所述环境对象的温度数据与预设标准温度之间的差值大于预设阈值时，根据所述直播对象的温度数据，生成所述直播对象的热图像；
轮廓信息获取单元，用于从所述热图像中提取得到所述直播对象的当前轮廓信息。
在一种可选的实施方式中，特效数据生成模块1120包括：
关键点提取单元，用于提取标准轮廓模型中的关键特征点；
绑定位置确定单元，用于确定在所述直播对象的当前轮廓信息中与所述关键特征点对应的第一绑定位置；
特效数据生成单元，用于在所述第一绑定位置将所述预设特效数据与所述直播对象的当前轮廓信息进行绑定得到目标特效数据。
在一种可选的实施方式中，直播数据的生成装置1100还包括：
绑定位置更新模块，用于当所述直播对象的当前轮廓信息发生变化时，基于所述关键特征点将所述第一绑定位置更新为第二绑定位置；
特效数据调整模块，用于根据所述第二绑定位置调整所述预设特效数据；
在所述第二绑定位置将调整后的所述预设特效数据与变化后的所述直播对象的轮廓信息进行绑定，生成新的目标特效数据，以将所述直播对象的实景拍摄图像与所述新的目标特效数据合成特效帧图像。
在一种可选的实施方式中，特效帧图像生成模块1130包括：
实景拍摄图像获取单元，用于获取所述直播对象当前帧的实景拍摄图像；
特效帧图像合成单元，用于将所述当前帧的实景拍摄图像与所述目标特效数据合成特效帧图像，并将所述特效帧图像进行渲染。
在一种可选的实施方式中，直播数据生成模块1140被配置为用于将渲染后的多帧所述特效帧图像进行编码封装成直播流数据。
在一种可选的实施方式中，直播数据的生成装置1100还包括：
直播数据转发模块，用于通过用户侧直播服务器将所述直播流数据转发至用户客户端。
在一种可选的实施方式中，直播数据的生成装置1100还包括：
多轮廓信息获取单元，用于当所述预设区域内有多个直播对象时，获取所述多个直播对象的轮廓信息；
轮廓信息分离单元，用于当所述多个直播对象的轮廓信息发生重叠时，分离所述多个直播对象的轮廓信息，并将分离得到的重叠部分的轮廓信息进行重建。
上述直播数据的生成装置中各模块的具体细节已经在对应的直播数据的生成方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (9)
1.一种直播数据的生成方法，其特征在于，包括：
利用热成像设备获取直播对象的当前轮廓信息；
提取标准轮廓模型中的关键特征点；
确定在所述直播对象的当前轮廓信息中与所述关键特征点对应的第一绑定位置；
在所述第一绑定位置将预设特效数据与所述直播对象的当前轮廓信息进行绑定得到目标特效数据；
当所述直播对象的当前轮廓信息发生变化时，基于所述关键特征点将所述第一绑定位置更新为第二绑定位置；
根据所述第二绑定位置调整所述预设特效数据；
在所述第二绑定位置将调整后的所述预设特效数据与变化后的所述直播对象的轮廓信息进行绑定，生成新的目标特效数据；
将所述直播对象的实景拍摄图像与所述新的目标特效数据合成特效帧图像；
将渲染后的多帧所述特效帧图像转换成直播流数据。
2.根据权利要求1所述的直播数据的生成方法，其特征在于，所述利用热成像设备获取直播对象的当前轮廓信息，包括：
利用热成像设备采集现实直播空间中目标区域内的温度场信息，所述温度场信息至少包括所述直播对象的温度数据和环境对象的温度数据；
当所述环境对象的温度数据与预设标准温度之间的差值大于预设阈值时，根据所述直播对象的温度数据，生成所述直播对象的热图像；
从所述热图像中提取得到所述直播对象的当前轮廓信息。
3.根据权利要求1所述的直播数据的生成方法，其特征在于，所述将所述直播对象的实景拍摄图像与所述目标特效数据合成特效帧图像，包括：
获取所述直播对象当前帧的实景拍摄图像；
将所述当前帧的实景拍摄图像与所述目标特效数据合成特效帧图像，并将所述特效帧图像进行渲染。
4.根据权利要求1所述的直播数据的生成方法，其特征在于，所述将渲染后的多帧所述特效帧图像转换成直播流数据，包括：
将渲染后的多帧所述特效帧图像进行编码封装成直播流数据。
5.根据权利要求1所述的直播数据的生成方法，其特征在于，所述方法还包括：
通过用户侧直播服务器将所述直播流数据转发至用户客户端。
6.根据权利要求1所述的直播数据的生成方法，其特征在于，所述方法还包括：
当预设区域内有多个直播对象时，获取所述多个直播对象的轮廓信息；
当所述多个直播对象的轮廓信息发生重叠时，分离所述多个直播对象的轮廓信息，并将分离得到的重叠部分的轮廓信息进行重建。
7.一种直播数据的生成装置，其特征在于，包括：
轮廓信息获取模块，用于利用热成像设备获取直播对象的当前轮廓信息；
特效数据生成模块，用于提取标准轮廓模型中的关键特征点；确定在所述直播对象的当前轮廓信息中与所述关键特征点对应的第一绑定位置； 在所述第一绑定位置将预设特效数据与所述直播对象的当前轮廓信息进行绑定得到目标特效数据；当所述直播对象的当前轮廓信息发生变化时，基于所述关键特征点将所述第一绑定位置更新为第二绑定位置；根据所述第二绑定位置调整所述预设特效数据；在所述第二绑定位置将调整后的所述预设特效数据与变化后的所述直播对象的轮廓信息进行绑定，生成新的目标特效数据；
特效帧图像生成模块，用于将所述直播对象的实景拍摄图像与所述新的目标特效数据合成特效帧图像；
直播数据生成模块，用于将渲染后的多帧所述特效帧图像转换成直播流数据。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述方法。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110632898.4A CN113382275B (zh) | 2021-06-07 | 2021-06-07 | 直播数据的生成方法、装置、存储介质及电子设备 |
| PCT/CN2022/074116 WO2022257480A1 (zh) | 2021-06-07 | 2022-01-26 | 直播数据的生成方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110632898.4A CN113382275B (zh) | 2021-06-07 | 2021-06-07 | 直播数据的生成方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113382275A CN113382275A (zh) | 2021-09-10 |
| CN113382275B true CN113382275B (zh) | 2023-03-07 |
Family
ID=77576103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110632898.4A Active CN113382275B (zh) | 2021-06-07 | 2021-06-07 | 直播数据的生成方法、装置、存储介质及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113382275B (zh) |
| WO (1) | WO2022257480A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113382275B (zh) * | 2021-06-07 | 2023-03-07 | 广州博冠信息科技有限公司 | 直播数据的生成方法、装置、存储介质及电子设备 |
| CN114416260B (zh) * | 2022-01-20 | 2024-06-04 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114501051B (zh) * | 2022-01-24 | 2024-02-02 | 广州繁星互娱信息科技有限公司 | 直播对象的标记显示方法和装置、存储介质及电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2763116A1 (en) * | 2013-02-01 | 2014-08-06 | FamilyEye BVBA | Fall detection system and method for detecting a fall of a monitored person |
| CN107277481A (zh) * | 2017-07-14 | 2017-10-20 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| US10176636B1 (en) * | 2015-12-11 | 2019-01-08 | A9.Com, Inc. | Augmented reality fashion |
| CN109963163A (zh) * | 2017-12-26 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 网络视频直播方法、装置及电子设备 |
| CN110418155A (zh) * | 2019-08-08 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、计算机可读存储介质和计算机设备 |
| CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播*** |
| CN110490828A (zh) * | 2019-09-10 | 2019-11-22 | 广州华多网络科技有限公司 | 视频直播中的图像处理方法和*** |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
| CN110557649A (zh) * | 2019-09-12 | 2019-12-10 | 广州华多网络科技有限公司 | 直播交互方法、直播***、电子设备及存储介质 |
| CN111935491A (zh) * | 2020-06-28 | 2020-11-13 | 百度在线网络技术（北京）有限公司 | 直播的特效处理方法、装置以及服务器 |
| CN112040263A (zh) * | 2020-08-31 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 视频处理方法、视频播放方法、装置、存储介质和设备 |
| CN112085025A (zh) * | 2019-06-14 | 2020-12-15 | 阿里巴巴集团控股有限公司 | 物体分割方法、装置、设备 |
| CN112860061A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市慧鲤科技有限公司 | 场景图像展示方法及装置、电子设备和存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101640039B1 (ko) * | 2009-09-22 | 2016-07-18 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| KR101616926B1 (ko) * | 2009-09-22 | 2016-05-02 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| KR101894956B1 (ko) * | 2017-06-21 | 2018-10-24 | 주식회사 미디어프론트 | 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법 |
| CN109474850B (zh) * | 2018-11-29 | 2021-07-20 | 北京字节跳动网络技术有限公司 | 运动像素视频特效添加方法、装置、终端设备及存储介质 |
| CN109348277B (zh) * | 2018-11-29 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 运动像素视频特效添加方法、装置、终端设备及存储介质 |
| CN109618183B (zh) * | 2018-11-29 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN110929651B (zh) * | 2019-11-25 | 2022-12-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112804578A (zh) * | 2021-01-28 | 2021-05-14 | 广州虎牙科技有限公司 | 氛围特效生成方法、装置、电子设备和存储介质 |
| CN113382275B (zh) * | 2021-06-07 | 2023-03-07 | 广州博冠信息科技有限公司 | 直播数据的生成方法、装置、存储介质及电子设备 |
-
2021
- 2021-06-07 CN CN202110632898.4A patent/CN113382275B/zh active Active
-
2022
- 2022-01-26 WO PCT/CN2022/074116 patent/WO2022257480A1/zh active Application Filing
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2763116A1 (en) * | 2013-02-01 | 2014-08-06 | FamilyEye BVBA | Fall detection system and method for detecting a fall of a monitored person |
| US10176636B1 (en) * | 2015-12-11 | 2019-01-08 | A9.Com, Inc. | Augmented reality fashion |
| CN107277481A (zh) * | 2017-07-14 | 2017-10-20 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN109963163A (zh) * | 2017-12-26 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 网络视频直播方法、装置及电子设备 |
| CN112085025A (zh) * | 2019-06-14 | 2020-12-15 | 阿里巴巴集团控股有限公司 | 物体分割方法、装置、设备 |
| CN110418155A (zh) * | 2019-08-08 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、计算机可读存储介质和计算机设备 |
| CN110490828A (zh) * | 2019-09-10 | 2019-11-22 | 广州华多网络科技有限公司 | 视频直播中的图像处理方法和*** |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
| CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播*** |
| CN110557649A (zh) * | 2019-09-12 | 2019-12-10 | 广州华多网络科技有限公司 | 直播交互方法、直播***、电子设备及存储介质 |
| CN111935491A (zh) * | 2020-06-28 | 2020-11-13 | 百度在线网络技术（北京）有限公司 | 直播的特效处理方法、装置以及服务器 |
| CN112040263A (zh) * | 2020-08-31 | 2020-12-04 | 腾讯科技（深圳）有限公司 | 视频处理方法、视频播放方法、装置、存储介质和设备 |
| CN112860061A (zh) * | 2021-01-15 | 2021-05-28 | 深圳市慧鲤科技有限公司 | 场景图像展示方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113382275A (zh) | 2021-09-10 |
| WO2022257480A1 (zh) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113382275B (zh) | 直播数据的生成方法、装置、存储介质及电子设备 | |
| CN106303289B (zh) | 一种将真实对象与虚拟场景融合显示的方法、装置及*** | |
| CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
| CN102340690A (zh) | 一种互动电视节目***及实现方法 | |
| US20240212252A1 (en) | Method and apparatus for training video generation model, storage medium, and computer device | |
| CN113891117B (zh) | 沉浸媒体的数据处理方法、装置、设备及可读存储介质 | |
| WO2023098279A1 (zh) | 视频数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
| US20230319328A1 (en) | Reference of neural network model for adaptation of 2d video for streaming to heterogeneous client end-points | |
| JP7472298B2 (ja) | 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信 | |
| US20240179203A1 (en) | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points | |
| KR102598603B1 (ko) | 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응 | |
| CN112532963B (zh) | 一种基于ar的三维全息实时互动***及方法 | |
| CN115562480A (zh) | 用于增强现实的方法及装置 | |
| CN115002470A (zh) | 一种媒体数据处理方法、装置、设备以及可读存储介质 | |
| US20230007067A1 (en) | Bidirectional presentation datastream | |
| US20230007361A1 (en) | Bidirectional presentation datastream using control and data plane channels | |
| KR102133735B1 (ko) | 파노라마 크로마키 합성 시스템 및 방법 | |
| KR20220117288A (ko) | 볼류메트릭 비디오 객체의 뷰를 이용한 실제 환경의 뷰 증강 | |
| CN116258799A (zh) | 数字人动画的生成方法、装置、电子设备及存储介质 | |
| CN116801037A (zh) | 将真人主播影像投射于远程真实环境的增强现实直播方法 | |
| CN113992921A (zh) | 一种虚拟现实直播视频通讯新技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |