CN116233513A - 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备 - Google Patents

虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备 Download PDF

Info

Publication number
CN116233513A
CN116233513A CN202211732809.4A CN202211732809A CN116233513A CN 116233513 A CN116233513 A CN 116233513A CN 202211732809 A CN202211732809 A CN 202211732809A CN 116233513 A CN116233513 A CN 116233513A
Authority
CN
China
Prior art keywords
virtual
anchor
image
gift
virtual gift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211732809.4A
Other languages
English (en)
Inventor
曾衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cubesili Information Technology Co Ltd
Original Assignee
Guangzhou Cubesili Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cubesili Information Technology Co Ltd filed Critical Guangzhou Cubesili Information Technology Co Ltd
Priority to CN202211732809.4A priority Critical patent/CN116233513A/zh
Publication of CN116233513A publication Critical patent/CN116233513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Studio Circuits (AREA)

Abstract

本申请涉及网络直播领域,提供了一种虚拟现实直播间虚拟礼物特效播放处理方法、装置、电子设备和存储介质。本申请能够丰富虚拟现实直播场景中虚拟礼物特效的播放形式。该方法包括:在虚拟现实直播间中展示主播形象,接收针对主播形象上目标部位的虚拟礼物赠送请求,若该主播形象属于真人形象则在主播端识别该目标部位在直播画面对应的二维坐标点集得到目标部位的位置数据,若该主播形象属于虚拟形象则根据该目标部位在虚拟现实直播间的三维坐标点集得到目标部位的位置数据,响应于虚拟礼物赠送请求,根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效。

Description

虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备
技术领域
本申请涉及网络直播技术领域,特别是涉及一种虚拟现实直播间虚拟礼物特效播放处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着直播技术的发展,直播间中可供主播和观众进行互动的方式越来越多,例如,观众进入直播间后可以通过赠送虚拟礼物的方式与主播进行互动。虚拟现实直播作为一种新兴的直播方式,其可以使用户沉浸在虚拟现实直播间中,提升直播体验。其中,虚拟现实直播是虚拟现实与直播的结合,通过虚拟现实直播可将用户平时所见的二维平面直播升级为虚拟现实的全景直播,与平常的二维平面直播相比,虚拟现实直播给观众带来身临其境的感觉,可使观众不受固定直播画场景面的约束,可随着视角的自由变化而变化,能够带给观众全新的直播视觉体验。
而在虚拟现实直播间中进行虚拟礼物赠送时,基于目前的技术所提供的虚拟礼物特效处理方案,通常只能在预先设定的位置处进行虚拟礼物特效的播放,使虚拟现实直播场景中虚拟礼物特效的播放形式受到一定限制。
发明内容
基于此,有必要针对上述技术问题,提供一种虚拟现实直播间虚拟礼物特效播放处理方法、装置、电子设备和计算机可读存储介质。
第一方面,本申请提供了一种虚拟现实直播间虚拟礼物特效播放处理方法。所述方法包括:
在虚拟现实直播间中展示主播形象;
接收针对所述主播形象上目标部位的虚拟礼物赠送请求;
若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;
若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;
响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
第二方面,本申请提供了一种虚拟现实直播间虚拟礼物特效播放处理装置。所述装置包括:
主播形象展示模块,用于在虚拟现实直播间中展示主播形象;
赠送请求接收模块,用于接收针对所述主播形象上目标部位的虚拟礼物赠送请求;
二维位置获取模块,用于若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;
三维位置获取模块,用于若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;
礼物特效播放模块,用于响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
第三方面,本申请提供了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在虚拟现实直播间中展示主播形象;接收针对所述主播形象上目标部位的虚拟礼物赠送请求;若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
第四方面,本申请提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
在虚拟现实直播间中展示主播形象;接收针对所述主播形象上目标部位的虚拟礼物赠送请求;若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
上述虚拟现实直播间虚拟礼物特效播放处理方法、装置、电子设备和存储介质,在虚拟现实直播间中展示主播形象,接收针对主播形象上目标部位的虚拟礼物赠送请求,若该主播形象属于真人形象则在主播端识别该目标部位在直播画面对应的二维坐标点集得到目标部位的位置数据,若该主播形象属于虚拟形象则根据该目标部位在虚拟现实直播间的三维坐标点集得到目标部位的位置数据,响应于虚拟礼物赠送请求,根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效。该方案能够提供针对主播形象上目标部位的虚拟礼物赠送及特效播放功能,根据虚拟现实直播间中展示的主播形象为真人形象或虚拟形象,采用对应的方式获取其上目标部位的位置数据,然后根据该位置数据在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,使得虚拟现实直播间中虚拟礼物可以结合在主播形象上目标部位进行播放,故可随着主播形象及其目标部位在虚拟现实直播间中的位置变化而发生相应跟随移动,丰富了虚拟现实直播场景中虚拟礼物特效的播放形式,使虚拟现实直播间中虚拟礼物的播放具有更生动的表现效果,可应用于元宇宙直播场景下的虚拟礼物特效播放处理中,丰富元宇宙直播中虚拟礼物的样式及其特效的播放形式,有利于促进元宇宙直播中主播和观众的互动。
附图说明
图1为本申请实施例中虚拟现实直播间虚拟礼物特效播放处理方法的应用场景图;
图2为本申请实施例中虚拟现实直播间虚拟礼物特效播放处理方法的流程示意图;
图3为本申请实施例中在虚拟形象上目标部位播放虚拟礼物特效的步骤的流程示意图;
图4为本申请实施例中控制主播形象动作的步骤的流程示意图;
图5为本申请具体实例中虚拟现实直播间虚拟礼物特效播放处理方法的流程示意图;
图6为本申请另一具体实例中虚拟现实直播间虚拟礼物特效播放处理方法的流程示意图;
图7为本申请实施例中虚拟现实直播间虚拟礼物特效播放处理装置的结构框图;
图8为本申请实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的虚拟现实直播间虚拟礼物特效播放处理方法,可以应用于如图1所示的应用场景中,该应用场景可以包括终端和服务器,其中,终端可以具体包括直播间的主播端和多个观众端(如观众端1、观众端2等等),主播端和多个观众端分别可以通过互联网与服务器进行通信,服务器可以为直播间的主播端和多个观众端提供直播相关服务。其中,终端可以但不限于是智能手机、平板电脑和头戴式虚拟现实设备等;服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。其中,该应用场景可以是元宇宙直播场景,服务器可以为直播间的主播和观众创建独立的元宇宙场景,搭建出一个与现实世界并行的虚拟空间,通过利用科技手段进行链接与创造出一个现实世界映射与交互的虚拟世界,可以在该虚拟空间中展示如人物、动物等各种三维的虚拟形象,主播和观众在该虚拟空间中可以与三维的虚拟形象进行自由的互动。具体的,直播间的用户可以通过如手机、头戴式虚拟现实设备等终端完成人机交互,实现基本的控制操作,如手势移动切换,选择退出等,终端可以接收并显示服务器发送的如直播视频流、虚拟礼物等数据,为元宇宙场景显示信息,同时为用户提供元宇宙信息。在包含但不限于是元宇宙直播场景中,基于本申请提供的虚拟现实直播间虚拟礼物特效播放处理方法,终端可以通过头戴式虚拟现实设备在虚拟现实直播间中展示主播形象,观众可以在观众端通过头戴式虚拟现实设备发出针对主播形象上目标部位的虚拟礼物赠送请求,终端可根据虚拟现实直播间中展示的主播形象为真人形象或虚拟形象,采用对应的方式获取其上目标部位的位置数据,然后根据该位置数据在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,使得虚拟现实直播间中虚拟礼物可以结合在主播形象上目标部位进行播放,实现在虚拟现实直播间中针对主播形象上目标部位的虚拟礼物赠送及特效播放,丰富了虚拟现实直播场景中虚拟礼物特效的播放形式,且使虚拟现实直播间中虚拟礼物的播放具有更生动的表现效果,其可应用于元宇宙直播场景下的虚拟礼物特效播放处理中,丰富元宇宙直播中虚拟礼物的样式及其特效的播放形式,有利于促进元宇宙直播中主播和观众的互动。
以下基于如图1所示的应用环境,结合各实施例及相应附图,对本申请的虚拟现实直播间虚拟礼物特效播放处理方法进行说明。
在一个实施例中,如图2所示,提供了一种虚拟现实直播间虚拟礼物特效播放处理方法,该方法应用于如图1中的终端,该方法可以包括以下步骤:
步骤S201,在虚拟现实直播间中展示主播形象。
具体的,终端具体可以是连接头戴式虚拟现实设备的智能手机、平板电脑等终端,也可以是配置有直播应用的头戴式虚拟现实设备,头戴式虚拟现实设备可以包括VR(Virtual Reality,虚拟现实)眼镜和操作手柄,本步骤中,观众端可以通过头戴式虚拟现实设备中虚拟现实眼镜为观众在虚拟现实直播间中展示主播形象,主播形象是指主播在虚拟现实直播间的形象,该主播形象可以是真人形象或三维的虚拟形象,其中,对于虚拟形象,其可以由设计人员按照一定的规范进行规范设计,这些虚拟形象在做出某些动作时会伴随整个虚拟形象的各骨骼关节的运动,骨骼关节会标识其运动的精细程度,一般情况下,精细程度越高的骨骼关节数量跟面数设计会越精细,而虚拟形象做出某些动作时还可能会伴随一些声音、图片等素材资源。
步骤S202,接收针对主播形象上目标部位的虚拟礼物赠送请求。
具体的,可以在虚拟现实直播间中提供特定虚拟礼物的赠送功能,该特定虚拟礼物可以包括针对主播形象上目标部位的虚拟礼物,示例性的,主播形象上目标部位可以包括脸部、肢体部位等等。本步骤中,可以在虚拟现实直播间中展示可供赠送的针对主播形象上目标部位的一个或多个虚拟礼物,多个虚拟礼物可以分别针对主播形象上不同的目标部位,观众端具体可以通过头戴式虚拟现实设备中虚拟现实眼镜在虚拟现实直播间中展示出针对主播形象上目标部位的虚拟礼物,还可以通过头戴式虚拟现实设备中操作手柄确定观众从中选择并确认赠送的针对主播形象上目标部位的虚拟礼物,得到针对主播形象上目标部位的虚拟礼物赠送请求,该虚拟礼物赠送请求中可以携带该虚拟礼物的标识等相关信息。
步骤S203,若主播形象属于真人形象,则在主播端识别主播形象上目标部位在直播画面对应的二维坐标点集,得到目标部位的位置数据。
步骤S204,若主播形象属于虚拟形象,则根据主播形象上目标部位在虚拟现实直播间的三维坐标点集,得到目标部位的位置数据。
步骤S205,响应于虚拟礼物赠送请求,根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效。
上述步骤S203至S205中,根据主播形象属于真人形象或虚拟形象,需要通过对应的方式获取目标部位的位置数据,然后再根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,如在真人形象直播的主播形象上脸部附近播放虚拟礼物特效,在虚拟形象直播的主播形象上肩部附近播放虚拟礼物特效等等。
具体的,对于主播形象属于真人形象的情况,在步骤S203中,在主播端对主播形象上目标部位在直播画面对应的二维坐标点集进行识别,可以将该二维坐标点集作为目标部位的位置数据,也即,当观众在观众端发起虚拟礼物赠送请求后,该虚拟礼物赠送请求可以通过服务器传递至主播端,由主播端识别出主播形象上目标部位在直播画面对应的二维坐标点集作为目标部位的位置数据。作为一个实施方式,步骤S203的在主播端识别主播形象上目标部位在直播画面对应的二维坐标点集,具体包括:
根据主播端的全景直播视频数据,识别主播形象上目标部位对应的特征点集;根据特征点集在直播画面对应的二维坐标点集,得到主播形象上目标部位在直播画面对应的二维坐标点集。
本实施例中,对于主播形象属于真人形象的情况,虚拟现实直播间的直播画面可以基于预设球体进行展示,使得观众佩戴虚拟现实眼镜后可以看到包含主播形象的直播画面,该预设球体可以包括多种球体形态,如半球体形态和完整球体形态等。其中,主播可以在合适的直播环境下,按照虚拟现实直播的规范将录制直播的摄像头放在基于所在真实空间的相对中心位置,虚拟现实直播的视频数据主要是全景直播视频数据,然后可以在预设球体的内面渲染全景直播视频数据以获得对应的直播画面,由此,当观众在观众端发起虚拟礼物赠送请求后,可以由在主播端调用用于对主播形象上目标部位(如脸部、肢体部位等)识别的插件,根据拍摄的全景直播视频数据识别主播形象上目标部位对应的特征点集,以及该些特征点集在直播画面对应的二维坐标点集,由此可以将该二维坐标点集([x1,y1],[x2,y2],...,[Xn,Yn]])作为主播形象上目标部位在直播画面对应的二维坐标点集,同时通过目标部位对应的一定量的特征点来表示目标部位来减少一些数据量。
基于此,步骤S205中的根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,相应包括:
在主播端于预设球体的视频画面层渲染全景直播视频数据得到直播画面,于预设球体的特效播放层根据目标部位的位置数据渲染虚拟礼物特效得到特效画面;将直播画面和特效画面混合得到目标直播数据,将目标直播数据发送至虚拟现实直播间中各观众端,以供各观众端在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效。
本实施例主要是在主播端将直播画面和特效画面进行混合后再同步至虚拟现实直播间中各观众端进行播放,达到各观众端在虚拟现实直播间中同步展示出在主播形象上目标部位播放的虚拟礼物特效的效果。具体的,在主播端中,预设球体可以包括视频画面层和特效播放层,视频画面层可用于渲染全景直播视频数据以获得对应的直播画面,特效播放层则可用于渲染虚拟礼物特效以获得对应的特效画面,无论是平面的虚拟礼物还是立体的虚拟礼物都会渲染在此特效播放层,该特效播放层属于预设球体的视频画面层上一个单独的层。由此,在主播端于预设球体的视频画面层渲染全景直播视频数据得到直播画面,由于已获得主播形象上目标部位在直播画面对应的二维坐标点集作为位置数据,故主播端可于预设球体的特效播放层根据该目标部位的位置数据渲染对应的虚拟礼物特效得到特效画面,该虚拟礼物特效具体可以是根据对应礼物脚本执行对应的动画路径,如亲脸特效,则将对应的虚拟礼物在脸部特征点集位置播放,同理,围绕肢体特效则将对应的虚拟礼物围绕对应的肢体特征点集位置播放,所以此时直播画面与特效画面叠加显示的效果是虚拟礼物特效在主播形象上目标部位处播放。然后,可以在主播端将直播画面和特效画面混合得到目标直播数据,然后将目标直播数据通过服务器推送至虚拟现实直播间中各观众端,各观众端收到目标直播数据后可渲染得到对应的直播画面,从而在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,此时各观众在各自的观众端看到的直播画面中虚拟礼物特效的播放是实时同步的。
具体的,对于主播形象属于虚拟形象的情况,在步骤S204中,可直接根据主播形象上目标部位在虚拟现实直播间的三维坐标点集,得到目标部位的位置数据,可以将该三维坐标点集作为目标部位的位置数据。其中,无论是主播形象在虚拟现实直播间进行运动或者静止不动,都可以获得该主播形象在虚拟现实直播间的三维坐标点集(X,Y,Z),故在进行针对其上目标部位的虚拟礼物赠送时,可获取该主播形象上目标部位在虚拟现实直播间的三维坐标点集作为目标部位的位置数据,然后在步骤S205中,可以在虚拟现实直播间的各端根据该目标部位的位置数据,在主播形象上目标部位处播放对应的虚拟礼物特效,即在以虚拟形象直播的场景下,一观众端进行针对主播形象上目标部位的虚拟礼物赠送后,可由服务器通过广播的方式同步触发各端各自进行目标部位的位置数据的获取以及虚拟礼物特效播放,达到在各端在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效的效果。
对此,在一些实施例中,如图3所示,步骤S205的根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,可以进一步包括:
步骤S301,主播形象属于虚拟形象时,获取发出虚拟礼物赠送请求的观众在虚拟现实直播间对应的虚拟观众位置点。
具体的,对于主播形象属于虚拟形象的情况,本步骤中,各端可获取发出虚拟礼物赠送请求的观众在虚拟现实直播间对应的虚拟观众位置点。具体的,观众进入虚拟现实直播间中,以虚拟演唱会场景为例,观众可以是置身于虚拟舞台场景下的一个座位上,该座位会有一个坐标点(Xg,Yg,Zg),该坐标点可以作为观众在虚拟现实直播间对应的虚拟观众位置点,而进入虚拟现实直播间的每个观众均可具有对应的虚拟观众位置点,由此在一观众在观众端发起虚拟礼物赠送请求后,各端可获取该观众在虚拟现实直播间对应的虚拟观众位置点。
步骤S302,在虚拟现实直播间中,播放针对主播形象上目标部位的虚拟礼物从虚拟观众位置点移动至主播形象的预设动画。
具体的,在虚拟现实直播间中,当一观众赠送一个针对主播形象上目标部位的虚拟礼物时,在获得该观众的虚拟观众位置点后,在虚拟现实直播间播放预设动画,该预设动画可以是针对主播形象上目标部位的虚拟礼物从虚拟观众位置点出发移动至主播形象附近的动画,其包含的动画效果不限于淡入淡出、缩放、旋转等,其包含的移动路径不限于贝塞尔曲线、随机路径、固定路径等,可从虚拟观众位置点出发位移到主播形象附近。
步骤S303,虚拟礼物移动至主播形象后,根据目标部位的位置数据,在主播形象上目标部位播放对应的虚拟礼物特效。
本步骤中,虚拟礼物从虚拟观众位置点出发移动至主播形象附近后,可根据主播形象上目标部位的位置数据,在该目标部位播放对应的虚拟礼物特效,例如可以让虚拟礼物围绕着主播形象的人脸、肢体等部位做一些动作,可以将其设置为在有限时间内消失,若在较短时间内赠送多个该虚拟礼物,也可以通过在该虚拟礼物上方显示乘以多少个礼物的方式位移过去,以完善虚拟礼物特效在主播形象上目标部位播放的效果。
基于此,在一些实施例中,步骤S303的在主播形象上目标部位播放对应的虚拟礼物特效之后,还可以包括:
在主播端检测到主播通过头戴式虚拟现实设备的操作手柄触发与虚拟礼物的碰撞时,在主播端通过头戴式虚拟现实设备向主播产生碰撞反馈。
本实施例中,主播可以通过头戴式虚拟现实设备的操作手柄与围绕在自身的主播形象的虚拟礼物进行互动,如通过操作手柄去抓取这些虚拟礼物,抓取时可通过头戴式虚拟现实设备向主播产生反馈,如抓取到虚拟礼物时让头戴式虚拟现实设备的手柄产生震动等等。具体的,在主播形象上目标部位播放对应的虚拟礼物特效之后,主播可以通过头戴式虚拟现实设备的操作手柄触发与虚拟礼物的碰撞,主播端可进行碰撞检测,如通过操作手柄的位置或其发射的射线的位置与虚拟礼物当前所停留的位置进行碰撞检测,若检测操作手柄或其发射的射线与虚拟礼物相交时,则可以确定主播触发与虚拟礼物的碰撞,此时主播端可以通过头戴式虚拟现实设备向主播产生碰撞反馈,如使操作手柄产生震动等等,实现主播与在其主播形象周围播放的虚拟礼物特效中虚拟礼物的交互。在此礼物交互过程中,服务器可以将对应的状态数据通过帧同步或者状态同步的方式将整个交互的过程同步到虚拟现实直播间的其他各端,其他各端收到同步消息后渲染对应的交互画面,此时虚拟现实直播间中各端都可以看到一直交互的过程。
本实施例的虚拟现实直播间虚拟礼物特效播放处理方法,在虚拟现实直播间中展示主播形象,接收针对主播形象上目标部位的虚拟礼物赠送请求,若该主播形象属于真人形象则在主播端识别该目标部位在直播画面对应的二维坐标点集得到目标部位的位置数据,若该主播形象属于虚拟形象则根据该目标部位在虚拟现实直播间的三维坐标点集得到目标部位的位置数据,响应于虚拟礼物赠送请求,根据目标部位的位置数据,在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效。该方案能够提供针对主播形象上目标部位的虚拟礼物赠送及特效播放功能,根据虚拟现实直播间中展示的主播形象为真人形象或虚拟形象,采用对应的方式获取其上目标部位的位置数据,然后根据该位置数据在虚拟现实直播间中展示出在主播形象上目标部位播放的虚拟礼物特效,使得虚拟现实直播间中虚拟礼物可以结合在主播形象上目标部位进行播放,故可随着主播形象及其目标部位在虚拟现实直播间中的位置变化而发生相应跟随移动,丰富了虚拟现实直播场景中虚拟礼物特效的播放形式,使虚拟现实直播间中虚拟礼物的播放具有更生动的表现效果,可应用于元宇宙直播场景下的虚拟礼物特效播放处理中,丰富元宇宙直播中虚拟礼物的样式及其特效的播放形式,有利于促进元宇宙直播中主播和观众的互动。
对于主播形象属于真人形象的情况,在一些实施例中,步骤S201的在虚拟现实直播间中展示主播形象,可以包括:基于预设球体展示虚拟现实直播间的直播画面;其中,直播画面中包含主播形象。
具体的,观众端具体可以是连接头戴式虚拟现实设备的智能手机、平板电脑等终端,也可以是配置有直播应用的头戴式虚拟现实设备,头戴式虚拟现实设备可以包括VR(Virtual Reality,虚拟现实)眼镜和操作手柄,可以通过头戴式虚拟现实设备中虚拟现实眼镜显示直播画面和虚拟礼物,及通过头戴式虚拟现实设备中操作手柄获得来自的观众与虚拟礼物的交互指令,以执行对虚拟礼物的赠送处理。本实施例中,虚拟现实直播间的直播画面可以基于预设球体进行展示,使得观众佩戴虚拟现实眼镜后可以看到包含主播形象的直播画面,该预设球体可以包括多种球体形态,如半球体形态和完整球体形态等。进一步的,可以根据来自主播端的全景直播视频数据对应的度数类型,选取球体形态适配的预设球体及在相应位置摆放虚拟摄像机展示对应的直播画面,保证直播画面展示效果。具体的,主播可以在主播端选择虚拟现实直播,当主播选择虚拟现实直播时,主播可以在合适的直播环境下,按照虚拟现实直播的规范将录制直播的摄像头放在基于所在真实空间的相对中心位置,虚拟现实直播的视频数据主要是全景直播视频数据,其对应的度数类型主要包括180度和360度,当收到相应度数类型的全景直播视频数据后,可以根据该度数类型确定具有与之对应的球体形态的预设球体,如收到180度的全景直播视频数据可以确定透明半球体为预设球体,收到360度的全景直播视频数据可以确定透明完整球体为预设球体,然后可以在预设球体的内面渲染全景直播视频数据,此时,需要在预设球体的内部的预设摆放位置处摆放虚拟摄像机以展示出对应的直播画面,其中,对于球体形态为完整球体形态,预设摆放位置可以是完整球体的中心即将虚拟摄像机放置在完整球体的中心,对于球体形态为半球体形态,预设摆放位置可以是半球体的中心偏内面一定距离的位置,使观看直播画面时具有一定沉浸感。
基于此,在基于预设球体展示虚拟现实直播间的直播画面之后,还可以包括以下步骤:
获取待展示的虚拟礼物对应的空间维度,以及获取直播画面中主播形象所在位置;其中,该待展示的虚拟礼物包含针对主播形象上目标部位的虚拟礼物;根据待展示的虚拟礼物对应的空间维度和主播形象所在位置,在预设球体范围内对应的预设无遮挡位置处展示虚拟礼物。
其中,对于上述的获取待展示的虚拟礼物对应的空间维度以及获取直播画面中主播形象所在位置,具体的,待展示的虚拟礼物对应的空间维度可以包括平面和立体,即待展示的虚拟礼物可以是二维的平面虚拟礼物,也可以是三维的立体虚拟礼物,待展示的虚拟礼物对应的空间维度可以用空间维度标识进行表示,如2表示平面、3表示立体等等;直播画面中主播形象所在位置是指通过主播端进行直播的主播在直播画面中的位置,该位置可以是主播在直播过程中大致所在的一个位置范围,具体可以通过对直播画面中主播形象进行人像检测的方式进行确定,也可以由主播根据直播时自身大致的活动区域范围进行预先设定,如大致位于房间的某个位置直播等。
其中,对于上述的根据待展示的虚拟礼物对应的空间维度和主播形象所在位置,在预设球体范围内对应的预设无遮挡位置处展示虚拟礼物,具体的,根据待展示的虚拟礼物对应的空间维度以及主播形象所在位置的不同,可以在预设球体范围内对应的预设无遮挡位置处展示该虚拟礼物。其中,在预设球体范围内展示虚拟礼物可以使得虚拟礼物能够在展示直播画面的基础上展示给观众看到,预设无遮挡位置是指预先设置的可以对主播形象所在位置基本不形成遮挡的用于放置虚拟礼物的位置,可以预先针对平面、立体以及常用的各种主播形象所在位置来对无遮挡位置进行预先设置并不断调整,使之能够满足对主播形象所在位置基本不形成遮挡的条件,如设一种主播形象所在位置为画面中部区域,可以将对应的预设无遮挡位置设置在画面中部区域左侧或右侧的区域等等,然后可以再根据平面和立体的虚拟礼物所占的空间范围对预设无遮挡位置进行一些调整使得虚拟礼物展示后对主播形象所在位置不形成遮挡,由此可以确定多个预设无遮挡位置以供应用。
基于此,步骤S202的接收针对主播形象上目标部位的虚拟礼物赠送请求,具体包括:
根据通过头戴式虚拟现实设备的操作手柄触发的与针对主播形象上目标部位的虚拟礼物的交互指令,获取虚拟礼物赠送请求。
具体的,观众可以佩戴头戴式虚拟现实设备中虚拟现实眼镜显示直播画面和虚拟礼物,通过头戴式虚拟现实设备中操作手柄发射射线、点击操作手柄中按钮来触发与针对主播形象上目标部位的虚拟礼物的交互指令,观众端可以通过操作手柄获取该些交互指令,从而根据交互指令获取虚拟礼物赠送请求,执行对针对主播形象上目标部位的虚拟礼物的赠送处理,实现虚拟现实直播间的虚拟礼物赠送与播放。
本实施例的方案在预设球体展示虚拟现实直播间的直播画面时,根据待展示的虚拟礼物对应的空间维度和直播画面中主播形象所在位置,在该预设球体内对应的预设无遮挡位置处展示虚拟礼物,通过预设球体内对应的预设无遮挡位置使得各空间维度的虚拟礼物能够在虚拟现实直播间的特定位置处显示出来且避免对主播形成遮挡,保证直播显示,观众佩戴头戴式虚拟现实设备并通过其操作手柄触发与针对主播形象上目标部位的虚拟礼物的交互指令,根据该交互指令获取虚拟礼物赠送请求,执行对该虚拟礼物的赠送处理,由此实现虚拟现实直播间的虚拟礼物赠送与播放,使观众能够在虚拟现实直播场景中通过操作手柄便捷地向主播赠送针对主播形象上目标部位的虚拟礼物进行互动。
进一步的,基于上述的主播形象属于真人形象的实施例,对于平面虚拟礼物,上述实施例中的根据待展示的虚拟礼物对应的空间维度和主播形象所在位置,在预设球体范围内对应的预设无遮挡位置处展示虚拟礼物,具体包括:
待展示的虚拟礼物对应的空间维度为平面时,根据主播形象所在位置在预设球体范围内对应的预设无遮挡位置处展示平面礼物栏;该平面礼物栏包含预先划分的多个平面区域;在多个平面区域展示待展示的虚拟礼物。
本实施例中,将平面虚拟礼物展示于平面礼物栏以提升平面虚拟礼物在虚拟现实直播间的展示效果并便于观众触发与之的交互。具体的,可以根据主播形象所在位置在预设球体范围内对应的预设无遮挡位置处展示平面礼物栏,即在前述的预先设置无遮挡位置的阶段可以直接对平面礼物栏对应的无遮挡位置进行预先设置,该平面礼物栏包含预先划分的多个平面区域,每个平面区域可以是矩形区域,每个矩形区域可以用于放置待展示的平面虚拟礼物,其中可以包括针对在主播形象上目标部位的虚拟礼物,由此直接设置平面礼物栏对应的预设无遮挡位置可以提高规划各平面虚拟礼物的预设无遮挡位置的效率。具体的,本实施例可以根据主播形象所在位置将平面礼物栏展示在预设球体范围内对应的预设无遮挡位置处,以将其放置在球体空间的一个合适位置,以不遮挡主播位置为主,例如放在球体中心(因为虚拟摄像机在球体中心附近)偏右上或者偏左上的合适位置,保证平面礼物栏展示在球体内且不遮挡主播形象,然后可以将待展示的各平面虚拟礼物展示在平面礼物栏中预先划分的多个平面区域中供观众通过操作手柄进行选择赠送。
而基于此,上述实施例中的根据通过头戴式虚拟现实设备的操作手柄触发的与针对主播形象上目标部位的虚拟礼物的交互指令,获取虚拟礼物赠送请求,具体包括:
检测操作手柄发射的射线;射线与多个平面区域中目标平面区域相交时,确定展示于目标平面区域的针对主播形象上目标部位的虚拟礼物为所选虚拟礼物;响应于在相交状态下通过操作手柄触发的确认指令,得到虚拟礼物赠送请求。
具体的,当观众佩戴虚拟现实眼镜,通过虚拟现实眼镜所在的位置及所看到的是虚拟摄像机的位置及方向所看到的,操作手柄的数量可以是两个,可以通过调整操作手柄的位置,使得两个操作手柄位于虚拟摄像机左右的合适位置,如大致在双手所在位置,操作手柄可以具有发射射线、手柄抓取、模拟人手触碰等交互方式。本实施例中,对于平面虚拟礼物,主要通过发射射线和点击为主,在操作手柄发射一条有限长度的射线,一般射线长度不需要超过球体的半径,由此,检测操作手柄发射的射线,检测到射线与平面礼物栏的多个平面区域中目标平面区域相交时,确定展示于目标平面区域的针对主播形象上目标部位的虚拟礼物为所选虚拟礼物,即目标平面区域用于放置针对主播形象上目标部位的虚拟礼物,目标平面区域可以是多个平面区域中的一个或若干个,其中,当平面礼物栏的目标平面区域与操作手柄发射的射线有夹角时,观众端可以确定观众选择了展示于该目标平面区域的虚拟礼物,将该虚拟礼物确定为所选虚拟礼物。此时,观众还可以进一步通过操作手柄点击确认操作触发确认指令,观众端响应于在上述的相交状态下观众通过操作手柄触发的确认指令,得到针对主播形象上目标部位的虚拟礼物的虚拟礼物赠送请求,并由此进行后续的虚拟礼物的赠送及其特效播放处理。
另外,基于上述的主播形象属于真人形象的实施例,对于立体虚拟礼物,上述实施例中的根据待展示的虚拟礼物对应的空间维度和主播形象所在位置,在预设球体范围内对应的预设无遮挡位置处展示虚拟礼物,具体包括:
待展示的虚拟礼物对应的空间维度为立体时,确定主播形象所在位置对应的站立平面;根据主播形象所在位置,在预设球体范围内于站立平面上对应的预设无遮挡位置处展示立体礼物柜;该立体礼物柜包含多个立体礼物放置格;在多个立体礼物放置格中展示待展示的虚拟礼物。
本实施例中,将立体虚拟礼物展示于立体礼物柜以提升立体虚拟礼物在虚拟现实直播间的展示效果并便于观众触发与之的交互。具体的,可以先将立体礼物柜放置在球体空间的一个合适位置,以不遮挡主播形象所在位置为主,具体的,先确定主播形象所在位置对应的站立平面,如主播站立的轴向为y轴,站立点为(x0,y1,z0),则主播形象所在位置对应的站立平面为y1所在平面,然后根据主播形象所在位置,在预设球体范围内于该站立平面上对应的预设无遮挡位置处展示立体礼物柜,也即在该站立平面上确定对应的预设无遮挡位置来放置立体礼物柜,使之不对主播形成遮挡,又能让立体礼物柜的展示融入到主播所在的直播画面当中。该立体礼物柜包含多个立体礼物放置格,由此可以进一步将各立体虚拟礼物(包括针对主播形象上目标部位的虚拟礼物)展示立体礼物放置格中供观众通过操作手柄进行选择赠送。
而基于此,上述实施例中的根据通过头戴式虚拟现实设备的操作手柄触发的与针对主播形象上目标部位的虚拟礼物的交互指令,获取虚拟礼物赠送请求,具体包括:
检测操作手柄发射的射线;射线与多个立体礼物放置格中针对主播形象上目标部位的虚拟礼物相交时,确定该虚拟礼物为所选虚拟礼物;响应于在相交状态下通过操作手柄触发的抓取操作,将所选虚拟礼物从多个立体礼物放置格对应的礼物放置位置移动至操作手柄所在位置对应的礼物观察位置;响应于通过操作手柄触发的确认操作,得到虚拟礼物赠送请求。
具体的,如前所述,当观众佩戴虚拟现实眼镜,通过虚拟现实眼镜所在的位置及所看到的是虚拟摄像机的位置及方向所看到的,可以通过调整操作手柄的位置,使得两个操作手柄位于虚拟摄像机左右的合适位置,如大致在双手所在位置,该位置可以被确定为礼物观察位置,达到模拟人手拿着礼物观察的效果。本实施例中,对于属于立体虚拟礼物的针对主播形象上目标部位的虚拟礼物,可以通过手柄抓取或模拟人手的方式进行交互,当发射射线与多个立体礼物放置格中针对主播形象上目标部位的虚拟礼物相交时,观众端可以确定该虚拟礼物为所选虚拟礼物,此时,观众可以进一步通过操作手柄的按键触发抓取操作,观众端响应于在该相交状态下通过操作手柄触发的该抓取操作,将所选虚拟礼物从多个立体礼物放置格对应的礼物放置位置(即所选虚拟礼物在立体礼物柜中的位置)移动至前述的操作手柄所在位置对应的礼物观察位置,达到将立体虚拟礼物抓取到手柄位置的效果,此时可以通过调整所选虚拟礼物的展示方向等模拟人手拿着这个立体虚拟礼物在不同方向观察其形状大小的效果。接着,观众可以进一步通过操作手柄的按键触发确认操作,观众端响应于通过操作手柄触发的确认操作,得到针对主播形象上目标部位的虚拟礼物的虚拟礼物赠送请求,并由此进行后续的虚拟礼物的赠送及其特效播放处理,提升立体虚拟礼物的赠送体验。
上述实施例中的检测操作手柄发射的射线之后,还可以包括:若在检测到射线与立体礼物柜相交时接收到通过操作手柄触发的抓取操作,将立体礼物柜从预设无遮挡位置移动至操作手柄所在位置对应的礼物柜观察位置。
本实施例中,观众可以通过操作手柄向立体礼物柜本身发射射线并通过按键触发抓取操作,若观众端检测到射线与立体礼物柜相交且此时还接收到观众通过操作手柄触发的抓取操作,则将该立体礼物柜从预设无遮挡位置移动至前述的操作手柄所在位置对应的礼物柜观察位置,即当抓取礼物时将立体礼物移动到双手所在位置(此时为礼物观察位置),当抓取礼物柜时可以将礼物柜移动到双手所在位置(此时为礼物柜观察位置),由此可供观众观察立体礼物柜中摆放的各立体虚拟礼物,进一步的,当检测到射线与立体礼物柜中针对主播形象上目标部位的虚拟礼物相交时的抓取及确认操作,也可得到针对主播形象上目标部位的虚拟礼物的虚拟礼物赠送请求。
对于主播形象属于虚拟形象的情况,在一些实施例中,如图4所示,在步骤S201的在虚拟现实直播间中展示主播形象之后,还可以包括以下步骤:
步骤S401,通过头戴式虚拟现实设备的传感器组分别采集主播在各预设控制维度对应的动作数据。
具体的,在虚拟现实直播间中展示主播形象,该主播形象属于虚拟形象,主播端具体可以是连接头戴式虚拟现实设备的智能手机、平板电脑等终端,也可以是配置有直播应用的头戴式虚拟现实设备,头戴式虚拟现实设备可以包括VR(VirtualReality,虚拟现实)眼镜及其手柄,该VR眼镜及其手柄可以配置和连接有多个传感器,该多个传感器可形成传感器组,在具体场景中,该传感器组中的多个传感器可以包括但不限于是加速度传感器、速度传感器、计步器、方向传感器、陀螺仪、声音传感器、光线传感器等等,本实施例可充分运用头戴式虚拟现实设备配置和连接的传感器组实现主播对主播形象的控制。
本步骤中,在直播过程中,主播端可以实时通过头戴式虚拟现实设备的传感器组分别采5集主播在各预设控制维度对应的动作数据,主播端具体可以通过传感器组中相应的传感器获
取每一预设控制维度各自对应的动作数据。其中,预设控制维度是指对主播形象的预设控制维度,如行走维度、转动维度、声音维度和关节维度等等,具体的控制维度可以根据可供配置和连接的传感器组的具体情况进行设置,其中,行走维度可以用于对主播形象的行走进行
控制,可以通过如计步器、加速度传感器、速度等传感器进行相应的动作数据采集来实现,0转动维度则可以用于对主播形象的转动进行控制,可以通过如方向传感器、陀螺仪等传感器
进行相应的动作数据采集来实现,声音维度则可以用于对主播形象的声音进行控制,可以通过声音传感器进行相应的动作数据采集来实现,关节维度则可以用于对主播形象的手部等关节进行控制,可以通过如主播在手柄握住的传感器进行相应的动作数据采集来实现。由此,
主播端可以通过头戴式虚拟现实设备配置和连接的传感器组中相应的传感器分别采集主播在5各预设控制维度对应的动作数据,预设控制维度的数量可以是一个或者多个,具体可以根据
头戴式虚拟现实设备可供配置和连接的传感器的传感器的具体情况进行设置。
步骤S402,对于任一预设控制维度,若预设控制维度对应的动作数据表征主播在预设控制维度对应的动作变化符合预设控制维度的预设动作变化条件,则获取动作变化对应的动作控制指令。
0本步骤中,对于任一预设控制维度,若一预设控制维度对应的动作数据表征该主播在该
预设控制维度对应的动作变化符合该预设控制维度的预设动作变化条件,则获取前述动作变化对应的动作控制指令,也即当根据动作数据检测到主播做出了符合特定条件的动作变化时,将其转化为动作控制指令。举例来说,以转动维度为例,若转动维度对应的动作数据(转动
数据)表征该主播在转动维度对应的转动变化符合该转动维度的预设动作变化条件,如主播5向左转转动的角度大小达到某个阈值时,获取对应的动作控制指令可以是向左转动一定角度的控制指令。其中,该预设动作变化条件及对应的动作控制指令,可以根据实际需求进行设置。
步骤S403,根据动作控制指令,获取脚本数据库中对应的目标动作脚本。
具体的,可以先配置脚本数据库。其中,对于主播形象来说,其可以由设计人员按照一0定的规范进行规范设计,规范的设计可以保持动作脚本的复用性,这些主播形象在做出某些
动作时会伴随整个主播形象的各骨骼关节的运动,骨骼关节会标识其运动的精细程度,一般情况下,精细程度越高的骨骼关节数量跟面数设计会越精细,而且主播形象做出某些动作时还可能会伴随一些声音、图片等素材资源。其中,对于声音素材资源,如背景音乐、表情音乐等,对于图片素材资源,如主播形象的服饰、道具等,而这些素材资源需要预先制作和录制,从而形成素材资源库,素材资源库中包含的各种素材资源可以分别与动作脚本进行关联,达到获得一动作脚本可以从中获取对应的素材资源的目的。具体的,对于动作脚本,不同的主播形象都会有一些特定的动作,且在做出特定动作的时候可能需要搭配一些特定的声音、图片等素材资源进行表现,这些特定的动作、素材资源可以通过代码脚本进行控制跟绑定,例如主播形象具备的行走、站立、举手、唱歌、跳舞等动作,就需要根据主播形象的模型制作中对于其模型的骨骼关节及所需素材资源进行对应的代码脚本编写,并保存下来得到行走、站立、举手、唱歌、跳舞等动作的动作脚本,并设置每一动作脚本的标识及其描述信息,该描述信息具体可以包括该动作脚本对应的动作控制指令等信息,由此可以将动作控制指令与动作脚本进行对应,而为让这些动作脚本在后续便于使用、复用和管理,可以为每一动作脚本设置唯一的标识,定义动作脚本的名字(可以用于描述该动作脚本的动作含义,如行走、站立、举手、唱歌、跳舞等),还可以为每个动作脚本设置其对应的主播形象、对应的直播场景、对应的形象属性、动作控制指令等标签做进一步的分类存储,形成脚本数据库。基于此,本步骤中,主播端获得动作控制指令后,可以向服务器发送携带该动作控制指令的脚本获取请求,服务器可以根据该脚本获取请求中动作控制指令,从脚本数据库中获取该动作控制指令对应的动作脚本作为目标动作脚本,然后返回至主播端,从而主播端可以获得目标动作脚本。
步骤S404,根据目标动作脚本,控制主播形象执行对应的动作。
本步骤中,主播端在主播形象上,通过对不同的目标动作脚本的加载会触发其进行对应的动作渲染,进而使主播形象产生对应的动作,如主播形象可以根据下发的目标动作脚本进行行走的动作。其中,目标动作脚本可以指定该主播形象的哪个骨骼进行运动、往哪个方向移动、移动的坐标是哪里、移动的时间多久等等。具体的,对于动作脚本及主播形象的动作控制,不同的主播形象可以有不同的形状跟关节,因此在对主播形象进行动作控制时,需要获取脚本数据库中预先配置好的基于该些关节运动过程的动作脚本,如主播形象行走过程中,腿部、脚掌、手部、头部、身体等不同关节的运动过程,从而在获得的目标动作脚本为行走的动作脚本时,需要在主播形象上运用行走的动作脚本使其做出行走的动作,又如唱歌的动作脚本,可以预先制作主播形象在唱歌过程中脸部、嘴巴、眼睛等部位的运动过程形成唱歌的动作脚本,还可以加上对应的音频素材资源,再将两者配合运用在主播形象上使其做出唱歌的动作并播放对应的音频素材资源。而且,对于同一个主播形象,可以同时运用多个目标动作脚本,如在行走的过程中可以同时唱歌,在跳舞的过程中也可以同时唱歌等,即可以在一个主播形象上应用多个目标动作脚本;还可以在多个主播形象上运用同个目标动作脚本,例如在虚拟现实直播间中显示有多个主播形象,该多个主播形象可以同时进行行走、唱歌等。
本实施例的方案基于头戴式虚拟现实设备的传感器组采集的各预设控制维度对应的动作数据以及脚本数据库,当主播的动作变化符合预设动作变化条件时将其转化为对应的动作控制指令,并根据动作控制指令获取对应的动作脚本,然后根据动作脚本控制主播形象执行对应的动作,由此能够提高对主播形象控制的敏捷度且节约设备性能,可应用于元宇宙直播场景下用户对其三维虚拟形象的控制当中,使得元宇宙直播中用户对其三维虚拟形象的控制敏捷度更高。
基于上述的主播形象属于虚拟形象的实施例,在其中一个实施例中,步骤S404的根据目标动作脚本,控制主播形象执行对应的动作,可以进一步包括:
根据目标动作脚本,获取素材资源库中对应的目标素材资源;根据目标动作脚本及目标素材资源,控制主播形象执行对应的动作。
本实施例中,如前所述的,对于声音素材资源,如背景音乐、表情音乐等,对于图片素材资源,如主播形象的服饰、道具等,可以预先制作和录制从而形成素材资源库,素材资源库中包含的各种素材资源可以分别与动作脚本进行关联,从而达到获得一动作脚本可以从中获取对应的素材资源的目的。具体的,主播端可以接收服务器发送的目标动作脚本,然后根据该目标动作脚本从素材资源库中下载该目标动作脚本对应的目标素材资源,其中,主播端可以根据该目标动作脚本的标识,从素材资源库中下载与该目标动作脚本的标识对应的素材资源作为目标素材资源。也即,在具体实现中,可以在形成素材资源库时为其中的素材资源设置对应的标识,在形成脚本数据库时为其中的动作脚本设置对应的标识,并将对应的素材资源和动作脚本进行关联,具体可以将素材资源对应的标识与动作脚本对应的标识进行绑定,从而在获得目标动作脚本后可以根据标识的绑定关系从素材资源库中对应的素材资源作为目标素材资源。由此,主播端在获得目标动作脚本及目标素材资源后,可以将目标动作脚本绑定到主播形象中,使得主播形象根据该目标动作脚本和目标素材资源进行对应的动作呈现,进一步丰富主播形象的动作呈现效果。
基于上述的主播形象属于虚拟形象的实施例,在一些实施例中,还可以包括以下步骤:
若预设控制维度对应的动作数据表征主播在虚拟现实直播间中的位置接近预设虚拟边界,则通过头戴式虚拟现实设备触发安全提示反馈,并持续展示预设虚拟边界直至主播离开预设虚拟边界;其中,预设虚拟边界根据主播在真实空间中的安全移动区域进行预先设置。
本实施例是为主播佩戴头戴式虚拟现实设备进行直播时提供的安全保障方案。具体的,主播开启通过虚拟形象进行直播后,主播可以佩戴头戴式虚拟现实设备,拿起操作手柄,主播端可以通过操作手柄和头戴式虚拟现实设备的传感器组不断地进行动作数据的采集,此时主播端需要设置对操作手柄和头戴式虚拟现实设备配置和连接的如加速度传感器、方向传感器、陀螺仪、声音传感器等传感器的监听,设置完监听后,当数据有变化时,主播端可以不间断地收到相关传感器采集的动作数据。而主播佩戴头戴式虚拟现实设备时,主播在运动,主播端通过对加速度传感器、方向传感器、计步器等传感器的监听,可以获知主播运动的位置等信息,从而转换为其对应的主播形象在虚拟现实直播间中的位置。然而,由于主播在佩戴头戴式虚拟现实设备时,会看不到真实空间中的物体,所以需要预先为主播设置虚拟边界即预设虚拟边界,该预设虚拟边界需要根据主播在真实空间中的安全移动区域进行预先设置,安全移动区域是指主播在直播过程中可以安全移动的区域,具体可以可以由主播根据其真实空间中存在的障碍物等物体进行设置,以防止主播碰撞到物体而受伤,由此,可以为主播在虚拟现实直播间中设置具有圆形边界的预设虚拟边界,该预设虚拟边界的半径可以根据该主播在真实空间中所站的一点与其最近的障碍物之间的距离进行设置,使得该主播位于真实空间中该障碍物所在位置时,其在虚拟现实直播间中的位置也相应处于预设虚拟边界的对应位置处。由此,当预设控制维度对应的动作数据表征主播在虚拟现实直播间中的位置接近预设虚拟边界时,其中,预设控制维度可以为行走维度,当行走维度对应的动作数据表征主播在虚拟现实直播间中的位置接近预设虚拟边界时,例如主播在虚拟现实直播间中的位置与预设虚拟边界的距离小于或等于预设距离阈值时,主播端可以通过头戴式虚拟现实设备触发安全提示反馈,该安全提示反馈可以用于提示主播当前所处的位置接近障碍物,具体可以包括发出声音和产生振动等形式的反馈,此时,主播端还通过头戴式虚拟现实设备持续展示该预设虚拟边界,具体可以以预设透明度来展示该预设虚拟边界,直至主播离开该预设虚拟边界,具体可以当检测到主播在虚拟现实直播间中的位置与预设虚拟边界的距离大于预设距离阈值时,判断其离开预设虚拟边界。而为了进一步提高主播运动的安全性,在其中一些实施例中,对于移动范围较大(如移动的位置大于或等于一定的位置阈值)的运动,主播可以通过触发操作手柄上的方向键使得主播形象在虚拟现实直播间中进行对应的位置移动。
基于上述的主播形象属于虚拟形象的实施例,在其中一个实施例中,在步骤S401的通过头戴式虚拟现实设备的传感器组分别采集主播在各预设控制维度对应的动作数据之后,还包括:
针对任一预设控制维度,根据预设控制维度对应的动作数据,判断动作数据的变化量是否大于预设变化量阈值;若是,则确定预设控制维度对应的动作数据表征主播在预设控制维度对应的动作变化符合预设控制维度的预设动作变化条件。
本实施例中,在获得各预设控制维度对应的动作数据之后,针对任一预设控制维度,主播端可以根据预设控制维度对应的动作数据,获取该动作数据的变化量,如通过加速度传感器、速度传感器、方向传感器、陀螺仪等传感器采集的动作数据的变化量,并判断其是否大于预设变化量阈值,如转动数据的变化量是否大于预设变化量阈值等,若是,则主播端可以确定该预设控制维度对应的动作数据已表征主播在该预设控制维度对应的动作变化符合预设控制维度的预设动作变化条件,即确定主播有意使得主播形象做出相应的动作,需要将该运动变化转化为相应的动作控制指令以获取目标动作脚本控制主播形象该动作,若动作数据的变化量小于或等于预设变化量阈值,则主播端可以忽略该动作数据,由此提高对主播形象进行控制的准确性。
作为一个具体实例,对于主播形象属于真人形象的情况,本申请的虚拟现实直播间虚拟礼物特效播放处理方法具体可以包括如图5所示的步骤:
当主播选择真人形象的虚拟现实直播时,在合适的场景下,需要按虚拟现实直播的规范将录制的全景摄像头放在基于所在空间的相对中心位置,虚拟现实直播中的视频主要是一个全景的视频,有180度与360度两种,当收到对应度数类型的视频后会将视频直播流渲染在一个透明半球(180度)或者球(360度)的内面,这时可以在半球或者球体度内部摆放虚拟摄像机,若是球体则一般将虚拟摄像机放置在球体的中心,如果是半球体则虚拟摄像机可放置在球体中心偏内。其中,虚拟礼物可以分为两种,一种为平面虚拟礼物,另一种则为立体虚拟礼物,若是平面虚拟礼物放置在平面礼物栏,若是立体礼物则放置在立体礼物柜中。
其中,对于平面虚拟礼物的摆放,可以将平面礼物栏放置在面向主播视频球体空间的一个合适位置,一般以不遮挡主播的人***置为主,可以放在球体中心(因为虚拟摄像机在球体中心附近)偏右上或者偏左上的合适位置,保证平面礼物栏在球体内;对于立体礼物柜的摆放,可以将立体礼物柜放置在面向主播视频球体空间的一个合适位置,一般以不遮挡主播的人***置为主,可以放在球体中心(因为虚拟摄像头在球体中心附近)且根据主播的站立平面/站立轴进行放置。当用户戴上虚拟现实眼镜,虚拟现实眼镜所在的位置及所看到的,为虚拟摄像机的位置及方向,通过调整操作手柄位置,使两个操作手柄位于虚拟摄像头左右的合适位置,操作手柄主要有射线发射、手柄抓取或者模拟人手触碰等交互方式。虚拟现实直播场景下的虚拟礼物选择及赠送交互主要分平面虚拟礼物跟立体虚拟礼物两种,若是平面虚拟礼物,可主要通过过射线发射点击为主,在手柄的起点开始发射一条有限长度的射线,一般射线长度不需要超过球体的半径,当平面礼物栏中针对目标部位的虚拟礼物所在的平面区域与手柄发射所射线有夹角,此时观众再点击确认操作则认为确认赠送这个虚拟礼物;若是立体虚拟礼物,可以通过手柄抓取或者模拟人手的方式进行交互,当发射射线选择立体礼物柜的针对目标部位的虚拟礼物后,通过按手柄的按键,可以将对应的立体虚拟礼物抓取到手柄位置,此时通过调整立体虚拟礼物的坐标到手柄坐标的合适位置,就可以通过模拟人手,拿着这个立体虚拟礼物的方式,看这个礼物不同的方向的形状大小等,也可以通过将整个立体礼物柜抓取过来,同理调整立体礼物柜的坐标到手柄合适的坐标位置,当手柄射线与对应的针对目标部位的立体虚拟礼物相交时,按抓取按键,则认为抓取该立体虚拟礼物,这个时候另外一个手柄可以做点击确认,确认后则可以赠送出这个立体虚拟礼物。服务器收到观众赠送的针对目标部位的虚拟礼物时,会验证用户身份,验证成功之后,可对该用户的余额进行扣费处理,余额不足返回失败并提示用户充值,扣费成功后在当前的虚拟现实直播间内发送送礼成功广播。
其中,主播端收到送礼成功消息后,可以调用人脸识别或者肢体识别插件,通过识别插件会实时识别出来主播直播过程中在一个平面空间的二维坐标点集数组([[x1,y1],[x2,y2],...,[Xn,Yn]]),对应结合主播形象上目标部位的虚拟礼物(平面或者立体礼物)会根据对应礼物脚本执行对应的动画路径,比如亲脸特效,则将对应的虚拟礼物往脸部特征点集位置播放,同理肢体围绕礼物则围绕对应的肢体特征点集位置播放,而无论是平面礼物还是立体礼物这个时候都可以染在直播画面的球体平面一个单独的特效播放层,直播过程中,礼物特效可以跟直播画面实时同步,此时将特效播放层和视频画面层混合成一条直播流,主播端将对应的特效播放层跟随视频流一起推送到各个观众端,这个时候观众在观众端看到的直播画面是礼物特效实时同步的,礼物特效播放成功或者失败均会向服务器上报状态消息,便于记录查找失败的问题快速修复。
作为一个具体实例,对于主播形象属于虚拟形象的情况,本申请的虚拟现实直播间虚拟礼物特效播放处理方法具体可以包括如图6所示的步骤:
主播可以开启元宇宙直播,一般情况下可以通过绿幕抠像的方式抠出主播的人像,并通过三维虚拟人生成技术,生成模拟主播脸部跟身体特征的虚拟形象,也可以通过直接选择已设计出来的三维的虚拟形象进行直播,无论是哪一种,该虚拟形象会带对应的三维信息。开启直播后可以将虚拟形象放置于一个虚拟的立体空间中,例如在一个演唱会直播场景,可以将主播的虚拟形象放置在演唱会的舞台中,并在虚拟空间中调整虚拟摄像机位置,为了便于计算,一般会将虚拟摄像机放置在(0,0,0)位置,再调整舞台跟虚拟形象的位置,让虚拟摄像机能有较好的角度拍摄到舞台。主播在直播过程中,可以穿带头戴式虚拟现实设备,其可以通过加速度、速度、方向、光线、声音等传感器获取主播的一些数据,并将这些数据转换为虚拟形象在直播过程中的一些肢体的动作或声音。虚拟形象在虚拟空间进行运动的过程中会产生对应的位移、角度或者一些缩放的效果,在三维的虚拟空间中的这些位置数据(X,Y,Z),可以实时获取。
观众进入虚拟直播空间中,以虚拟演唱会场景,观众可以是置身于虚拟舞台场景下的一个座位上,对应的座位会有一个坐标点(Xg,Yg,Zg),当观众赠送一个结合主播的虚拟形象
上目标部位的虚拟礼物时,会从观众当前坐的位置出发,将该虚拟礼物通过不限于淡入淡出、5缩放、旋转等等动画效果,将礼物从起始点出发,以不限于贝塞尔曲线、随机路径、固定路
径等方式,位移至主播的虚拟形象附近,此时再结合实时获取的主播的虚拟形象上目标部位的相关位置数据,可以让虚拟礼物围绕着主播的人脸、肢体等部位做一些动作,并可以设定在一个有限时间内消失,若在较短时间内赠送多个,可以通过在虚拟礼物上方显示乘以多少
个礼物的方式位移过去,主播也可以对围绕在其虚拟形象周围的虚拟礼物产生互动,比如可0以通过手柄去抓取这些礼物,通过操作手柄或者射线的位置跟当前礼物所停留的位置进行碰
撞检测,若检测操作手柄或者射线与物体相交时,则可以判断主播触碰到礼物,此时可以让其操作手柄产生震动等。而在该元宇宙直播的礼物交互过程中,服务器会将对应的状态数据通过帧同步或者状态同步的方式将整个交互的过程同步给在当前直播间的其他各端,其他各
端收到同步消息后渲染对应的交互画面,这个时候直播间的各用户都可以同步看到一直交互5的过程。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上
所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些0步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者
阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的虚拟现实直播
间虚拟礼物特效播放处理方法的虚拟现实直播间虚拟礼物特效播放处理装置。该装置所提供5的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个虚
拟现实直播间虚拟礼物特效播放处理装置实施例中的具体限定可以参见上文中对于虚拟现实直播间虚拟礼物特效播放处理方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种虚拟现实直播间虚拟礼物特效播放处理装置,该装置700可以包括:
0主播形象展示模块701,用于在虚拟现实直播间中展示主播形象;
赠送请求接收模块702,用于接收针对所述主播形象上目标部位的虚拟礼物赠送请求;
二维位置获取模块703,用于若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;
三维位置获取模块704,用于若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;
礼物特效播放模块705,用于响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
在一个实施例中,二维位置获取模块703,用于根据主播端的全景直播视频数据,识别所述主播形象上目标部位对应的特征点集;根据所述特征点集在直播画面对应的二维坐标点集,得到所述主播形象上目标部位在直播画面对应的二维坐标点集。
在一个实施例中,礼物特效播放模块705,用于在所述主播端于预设球体的视频画面层渲染所述全景直播视频数据得到直播画面,于所述预设球体的特效播放层根据所述目标部位的位置数据渲染所述虚拟礼物特效得到特效画面;将所述直播画面和特效画面混合得到目标直播数据,将所述目标直播数据发送至所述虚拟现实直播间中各观众端,以供所述各观众端在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
在一个实施例中,主播形象展示模块701,用于基于预设球体展示虚拟现实直播间的直播画面;所述直播画面中包含所述主播形象;该装置700还包括:礼物展示模块,用于获取待展示的虚拟礼物对应的空间维度,以及获取所述直播画面中主播形象所在位置;所述待展示的虚拟礼物包含针对主播形象上目标部位的虚拟礼物;根据所述待展示的虚拟礼物对应的空间维度和主播形象所在位置,在所述预设球体范围内对应的预设无遮挡位置处展示所述虚拟礼物;赠送请求接收模块702,用于根据通过头戴式虚拟现实设备的操作手柄触发的与所述针对主播形象上目标部位的虚拟礼物的交互指令,获取所述虚拟礼物赠送请求。
在一个实施例中,礼物展示模块,用于所述待展示的虚拟礼物对应的空间维度为平面时,根据所述主播形象所在位置在所述预设球体范围内对应的预设无遮挡位置处展示平面礼物栏;所述平面礼物栏包含预先划分的多个平面区域;在所述多个平面区域展示所述待展示的虚拟礼物;赠送请求接收模块702,用于检测所述操作手柄发射的射线;所述射线与所述多个平面区域中目标平面区域相交时,确定展示于所述目标平面区域的针对主播形象上目标部位的虚拟礼物为所选虚拟礼物;响应于在所述相交状态下通过所述操作手柄触发的确认指令,得到所述虚拟礼物赠送请求。
在一个实施例中,礼物展示模块,用于所述待展示的虚拟礼物对应的空间维度为立体时,确定所述主播形象所在位置对应的站立平面;根据所述主播形象所在位置,在所述预设球体范围内于所述站立平面上对应的预设无遮挡位置处展示立体礼物柜;所述立体礼物柜包含多个立体礼物放置格;在所述多个立体礼物放置格中展示所述待展示的虚拟礼物;赠送请求接收模块702,用于检测所述操作手柄发射的射线;所述射线与所述多个立体礼物放置格中针对主播形象上目标部位的虚拟礼物相交时,确定该虚拟礼物为所选虚拟礼物;响应于在所述相交状态下通过所述操作手柄触发的抓取操作,将所述所选虚拟礼物从所述多个立体礼物放置格对应的礼物放置位置移动至所述操作手柄所在位置对应的礼物观察位置;响应于通过所述操作手柄触发的确认操作,得到所述虚拟礼物赠送请求。
在一个实施例中,礼物特效播放模块705,用于所述主播形象属于虚拟形象时,获取发出所述虚拟礼物赠送请求的观众在所述虚拟现实直播间对应的虚拟观众位置点;在所述虚拟现实直播间中,播放针对所述主播形象上目标部位的虚拟礼物从所述虚拟观众位置点移动至所述主播形象的预设动画;所述虚拟礼物移动至所述主播形象后,根据所述目标部位的位置数据,在所述主播形象上目标部位播放对应的虚拟礼物特效。
在一个实施例中,礼物特效播放模块705,还用于在主播端检测到主播通过头戴式虚拟现实设备的操作手柄触发与所述虚拟礼物的碰撞时,在所述主播端通过所述头戴式虚拟现实设备向所述主播产生碰撞反馈。
在一个实施例中,该装置700还包括:形象控制模块,用于通过头戴式虚拟现实设备的传感器组分别采集主播在各预设控制维度对应的动作数据;所述预设控制维度为所述主播形象的预设控制维度;所述主播形象属于虚拟形象;对于任一预设控制维度,若所述预设控制维度对应的动作数据表征所述主播在所述预设控制维度对应的动作变化符合所述预设控制维度的预设动作变化条件,则获取所述动作变化对应的动作控制指令;根据所述动作控制指令,获取脚本数据库中对应的目标动作脚本;根据所述目标动作脚本,控制所述主播形象执行对应的动作。
在一个实施例中,该装置700还包括:安全处理模块,用于若所述预设控制维度对应的动作数据表征所述主播在所述虚拟现实直播间中的位置接近预设虚拟边界,则通过所述头戴式虚拟现实设备触发安全提示反馈,并持续展示所述预设虚拟边界直至所述主播离开所述预设虚拟边界;其中,所述预设虚拟边界根据所述主播在真实空间中的安全移动区域进行预先设置。
在一个实施例中,形象控制模块,还用于针对任一预设控制维度,根据所述预设控制维度对应的动作数据,判断所述动作数据的变化量是否大于预设变化量阈值;若是,则确定所述预设控制维度对应的动作数据表征所述主播在所述预设控制维度对应的动作变化符合所述预设控制维度的预设动作变化条件。
上述虚拟礼物特效播放处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图8所示。该电子设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的设备进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种虚拟现实直播间虚拟礼物特效播放处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种电子设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory,MRAM)、铁电存储器(Ferroelectric RandomAccessMemory,FRAM)、相变存储器(PhaseChangeMemory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static RandomAccessMemory,SRAM)或动态随机存取存储器(DynamicRandomAccessMemory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种虚拟现实直播间虚拟礼物特效播放处理方法,其特征在于,所述方法包括:
在虚拟现实直播间中展示主播形象;
接收针对所述主播形象上目标部位的虚拟礼物赠送请求;
若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;
若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;
响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
2.根据权利要求1所述的方法,其特征在于,所述在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,包括:
根据主播端的全景直播视频数据,识别所述主播形象上目标部位对应的特征点集;
根据所述特征点集在直播画面对应的二维坐标点集,得到所述主播形象上目标部位在直播画面对应的二维坐标点集。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效,包括:
在所述主播端于预设球体的视频画面层渲染所述全景直播视频数据得到直播画面,于所述预设球体的特效播放层根据所述目标部位的位置数据渲染所述虚拟礼物特效得到特效画面;
将所述直播画面和特效画面混合得到目标直播数据,将所述目标直播数据发送至所述虚拟现实直播间中各观众端,以供所述各观众端在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
4.根据权利要求1至3中任一项所述的方法,其特征在于,
所述在虚拟现实直播间中展示主播形象,包括:
基于预设球体展示虚拟现实直播间的直播画面;所述直播画面中包含所述主播形象;
所述方法还包括:
获取待展示的虚拟礼物对应的空间维度,以及获取所述直播画面中主播形象所在位置;所述待展示的虚拟礼物包含针对主播形象上目标部位的虚拟礼物;
根据所述待展示的虚拟礼物对应的空间维度和主播形象所在位置,在所述预设球体范围内对应的预设无遮挡位置处展示所述虚拟礼物;
所述接收针对所述主播形象上目标部位的虚拟礼物赠送请求,包括:
根据通过头戴式虚拟现实设备的操作手柄触发的与所述针对主播形象上目标部位的虚拟礼物的交互指令,获取所述虚拟礼物赠送请求。
5.根据权利要求4所述的方法,其特征在于,
所述根据所述待展示的虚拟礼物对应的空间维度和主播形象所在位置,在所述预设球体范围内对应的预设无遮挡位置处展示所述虚拟礼物,包括:
所述待展示的虚拟礼物对应的空间维度为平面时,根据所述主播形象所在位置在所述预设球体范围内对应的预设无遮挡位置处展示平面礼物栏;所述平面礼物栏包含预先划分的多个平面区域;
在所述多个平面区域展示所述待展示的虚拟礼物;
所述根据通过头戴式虚拟现实设备的操作手柄触发的与所述针对主播形象上目标部位的虚拟礼物的交互指令,获取所述虚拟礼物赠送请求,包括:
检测所述操作手柄发射的射线;
所述射线与所述多个平面区域中目标平面区域相交时,确定展示于所述目标平面区域的针对主播形象上目标部位的虚拟礼物为所选虚拟礼物;
响应于在所述相交状态下通过所述操作手柄触发的确认指令,得到所述虚拟礼物赠送请求。
6.根据权利要求4所述的方法,其特征在于,
所述根据所述待展示的虚拟礼物对应的空间维度和主播形象所在位置,在所述预设球体范围内对应的预设无遮挡位置处展示所述虚拟礼物,包括:
所述待展示的虚拟礼物对应的空间维度为立体时,确定所述主播形象所在位置对应的站立平面;
根据所述主播形象所在位置,在所述预设球体范围内于所述站立平面上对应的预设无遮挡位置处展示立体礼物柜;所述立体礼物柜包含多个立体礼物放置格;
在所述多个立体礼物放置格中展示所述待展示的虚拟礼物;
所述根据通过头戴式虚拟现实设备的操作手柄触发的与所述针对主播形象上目标部位的虚拟礼物的交互指令,获取所述虚拟礼物赠送请求,包括:
检测所述操作手柄发射的射线;
所述射线与所述多个立体礼物放置格中针对主播形象上目标部位的虚拟礼物相交时,确定该虚拟礼物为所选虚拟礼物;
响应于在所述相交状态下通过所述操作手柄触发的抓取操作,将所述所选虚拟礼物从所述多个立体礼物放置格对应的礼物放置位置移动至所述操作手柄所在位置对应的礼物观察位置;
响应于通过所述操作手柄触发的确认操作,得到所述虚拟礼物赠送请求。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效,包括:
所述主播形象属于虚拟形象时,获取发出所述虚拟礼物赠送请求的观众在所述虚拟现实直播间对应的虚拟观众位置点;
在所述虚拟现实直播间中,播放针对所述主播形象上目标部位的虚拟礼物从所述虚拟观众位置点移动至所述主播形象的预设动画;
所述虚拟礼物移动至所述主播形象后,根据所述目标部位的位置数据,在所述主播形象上目标部位播放对应的虚拟礼物特效。
8.根据权利要求7所述的方法,其特征在于,所述在所述主播形象上目标部位播放对应的虚拟礼物特效之后,所述方法还包括:
在主播端检测到主播通过头戴式虚拟现实设备的操作手柄触发与所述虚拟礼物的碰撞时,在所述主播端通过所述头戴式虚拟现实设备向所述主播产生碰撞反馈。
9.根据权利要求1或7或8所述的方法,其特征在于,所述在虚拟现实直播间中展示主播形象之后,所述方法还包括:
通过头戴式虚拟现实设备的传感器组分别采集主播在各预设控制维度对应的动作数据;所述预设控制维度为所述主播形象的预设控制维度;所述主播形象属于虚拟形象;
对于任一预设控制维度,若所述预设控制维度对应的动作数据表征所述主播在所述预设控制维度对应的动作变化符合所述预设控制维度的预设动作变化条件,则获取所述动作变化对应的动作控制指令;
根据所述动作控制指令,获取脚本数据库中对应的目标动作脚本;
根据所述目标动作脚本,控制所述主播形象执行对应的动作。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
若所述预设控制维度对应的动作数据表征所述主播在所述虚拟现实直播间中的位置接近预设虚拟边界,则通过所述头戴式虚拟现实设备触发安全提示反馈,并持续展示所述预设虚拟边界直至所述主播离开所述预设虚拟边界;其中,所述预设虚拟边界根据所述主播在真实空间中的安全移动区域进行预先设置。
11.根据权利要求9所述的方法,其特征在于,所述通过头戴式虚拟现实设备的传感器组分别采集主播在各预设控制维度对应的动作数据之后,所述方法还包括:
针对任一预设控制维度,根据所述预设控制维度对应的动作数据,判断所述动作数据的变化量是否大于预设变化量阈值;
若是,则确定所述预设控制维度对应的动作数据表征所述主播在所述预设控制维度对应的动作变化符合所述预设控制维度的预设动作变化条件。
12.一种虚拟现实直播间虚拟礼物特效播放处理装置,其特征在于,所述装置包括:
主播形象展示模块,用于在虚拟现实直播间中展示主播形象;
赠送请求接收模块,用于接收针对所述主播形象上目标部位的虚拟礼物赠送请求;
二维位置获取模块,用于若所述主播形象属于真人形象,则在主播端识别所述主播形象上目标部位在直播画面对应的二维坐标点集,得到所述目标部位的位置数据;
三维位置获取模块,用于若所述主播形象属于虚拟形象,则根据所述主播形象上目标部位在所述虚拟现实直播间的三维坐标点集,得到所述目标部位的位置数据;
礼物特效播放模块,用于响应于所述虚拟礼物赠送请求,根据所述目标部位的位置数据,在所述虚拟现实直播间中展示出在所述主播形象上目标部位播放的虚拟礼物特效。
13.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202211732809.4A 2022-12-30 2022-12-30 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备 Pending CN116233513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211732809.4A CN116233513A (zh) 2022-12-30 2022-12-30 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211732809.4A CN116233513A (zh) 2022-12-30 2022-12-30 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116233513A true CN116233513A (zh) 2023-06-06

Family

ID=86588349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211732809.4A Pending CN116233513A (zh) 2022-12-30 2022-12-30 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116233513A (zh)

Similar Documents

Publication Publication Date Title
JP6276882B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
CN110147231B (zh) 组合特效生成方法、装置及存储介质
CN106598229B (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实***
CN109889914A (zh) 视频画面推送方法、装置、计算机设备及存储介质
US9299184B2 (en) Simulating performance of virtual camera
WO2015122108A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN117176774A (zh) 沉浸式交互式远程参与现场娱乐
US20110181601A1 (en) Capturing views and movements of actors performing within generated scenes
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN111589167A (zh) 赛事观战方法、装置、终端、服务器及存储介质
JP7249975B2 (ja) 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
EP3819752A1 (en) Personalized scene image processing method and apparatus, and storage medium
CN113822970A (zh) 直播控制方法、装置、存储介质与电子设备
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
CN110833695B (zh) 基于虚拟场景的业务处理方法、装置、设备及存储介质
CN117793324A (zh) 虚拟转播重建***、实时生成***和预生成***
US20230405475A1 (en) Shooting method, apparatus, device and medium based on virtual reality space
CN115150555B (zh) 视频录制方法、装置、设备及介质
CN116233513A (zh) 虚拟现实直播间虚拟礼物特效播放处理方法、装置和设备
CN113194329A (zh) 直播互动方法、装置、终端及存储介质
JP2019012536A (ja) 情報提供方法、プログラム、および、情報提供装置
US20240078767A1 (en) Information processing apparatus and information processing method
JP7344084B2 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination