CN117135393A - 基于虚拟现实的录制处理方法、装置及电子设备 - Google Patents
基于虚拟现实的录制处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117135393A CN117135393A CN202210540541.8A CN202210540541A CN117135393A CN 117135393 A CN117135393 A CN 117135393A CN 202210540541 A CN202210540541 A CN 202210540541A CN 117135393 A CN117135393 A CN 117135393A
- Authority
- CN
- China
- Prior art keywords
- information
- virtual reality
- user
- recording
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 21
- 230000000694 effects Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 238000009432 framing Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种基于虚拟现实的录制处理方法、装置及电子设备,涉及虚拟现实技术领域,其中方法包括:首先获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;再对用户语音信息和媒体音信息进行混音合成,得到音频信息;然后根据音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,取景画面信息是根据虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。通过应用本公开的技术方案,使得在虚线现实环境下的用户能够体验到犹如真实环境中使用相机录制现场并自身参与其中的感受,录制的视频内容中可包含用户自身参与的内容,如用户自己说的语音等,提升了用户的VR使用体验。
Description
技术领域
本公开涉及虚拟现实技术领域,尤其涉及一种基于虚拟现实的录制处理方法、装置及电子设备。
背景技术
随着社会生产力和科学技术的不断发展,各行各业对虚拟现实(VirtualReality,VR)技术的需求日益旺盛。VR技术也取得了巨大进步,并逐步成为一个新的科学技术领域。
目前,基于VR技术可使用户观看到虚拟的现场直播等视频内容,如用户佩戴VR设备后进入到虚拟的演唱会现场,观看演出内容,犹如身在现场的感觉。
然而,现有技术无法满足用户在观看VR视频过程中,对自身参与内容的录制需求,影响了用户的VR使用体验。
发明内容
有鉴于此,本公开提供了一种基于虚拟现实的录制处理方法、装置及电子设备,主要目的在于改善目前现有技术无法满足用户在观看VR视频过程中,对自身参与内容的录制需求,影响了用户的VR使用体验的技术问题。
第一方面,本公开提供了一种基于虚拟现实的录制处理方法,包括:
响应于录制指令,获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;
对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息;
根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,所述取景画面信息是根据所述虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。
第二方面,本公开提供了一种基于虚拟现实的录制处理装置,包括:
获取模块,被配置为获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;
合成模块,被配置为对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息;
生成模块,被配置为根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,所述取景画面信息是根据所述虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。
第三方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的基于虚拟现实的录制处理方法。
第四方面,本公开提供了一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的基于虚拟现实的录制处理方法。
借由上述技术方案,本公开提供的一种基于虚拟现实的录制处理方法、装置及电子设备,与目前现有技术相比,本公开可满足用户在观看VR视频过程中,对自身参与内容的录制需求。具体的,VR设备可在接收到用户语音的录制指令时,首先获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;再对用户语音信息和所述媒体音信息进行混音合成,得到音频信息;然后根据合成得到的音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,取景画面信息是根据虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。通过应用本公开的技术方案,使得在虚线现实环境下的用户能够体验到犹如真实环境中使用相机录制现场并自身参与其中的感受,录制的视频内容中可包含用户自身参与的内容,如用户自己说的语音等,提升了用户的VR使用体验。
上述说明仅是本公开技术方案的概述,为了能够更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂,以下特举本公开的具体实施方式。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本公开实施例提供的VR设备使用过程的示意图;
图2示出了本公开实施例提供的一种基于虚拟现实的录制处理方法的流程示意图;
图3示出了本公开实施例提供的另一种基于虚拟现实的录制处理方法的流程示意图;
图4示出了本公开实施例提供的麦克风开启状态的显示示例效果的示意图;
图5示出了本公开实施例提供的麦克风关闭状态的显示示例效果的示意图;
图6示出了本公开实施例提供的一种基于虚拟现实的录制处理装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
如图1所示,用户可以通过例如头戴式VR眼镜等智能终端设备进入虚拟现实空间,并在虚拟现实空间中控制自己的虚拟角色(Avatar)与其他用户控制的虚拟角色进行社交互动、娱乐、学习、远程办公等。
其中,虚拟现实空间可以是对真实世界的仿真环境,也可以是半仿真半虚构的虚拟场景,还可以是纯虚构的虚拟场景。虚拟场景可以是二维虚拟场景、2.5维虚拟场景或者三维虚拟场景中的任意一种,本实施例对虚拟场景的维度不加以限定。例如,虚拟场景可以包括天空、陆地、海洋等,该陆地可以包括沙漠、城市等环境元素,用户可以控制虚拟对象在该虚拟场景中进行移动。
在一个实施例中,在虚拟现实空间中,用户可以通过控制器来实现相关的交互操作,该控制器可以为手柄,例如用户通过对手柄的按键的操作来进行相关的操作控制。当然在另外的实施例中,也可以不使用控制器而使用手势或者语音或者多模态控制方式来对虚拟现实设备中的目标对象进行控制。
在一个实施例中,随着虚拟现实技术的发展,表演者可以利用该技术进行虚拟现实表演,例如开虚拟现实的演唱会,对于观众而言,通过使用虚拟现实设备,从而沉浸式的获取到与真实的演唱会相似的体验。例如,通过虚拟现实技术来搭建表演者的虚拟现实空间模型,并基于该空间模型来计算生成演唱会的虚拟现实环境,此外还可以提供包括听觉感知、触觉感知、运动感知,甚至还包括味觉感知、嗅觉感知等技术,实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真,使用户沉浸到模拟的虚拟现实环境中,这样就可以实现表演者在该虚拟现实环境中进行表演,而当用户带上虚拟现实设备时,也可以进入到该演唱会场景内,并可以通过相关的感知技术和表演者进行互动,聆听音乐盛宴,从而达到沉浸式的真实的演唱会体验效果。
为了改善目前现有技术无法满足用户在观看VR视频(如体验观看虚拟现实的演唱会)过程中,对自身参与内容的录制需求,影响了用户的VR使用体验的技术问题。本实施例提供了一种基于虚拟现实的录制处理方法,如图2所示,可应用于VR设备端侧,该方法包括:
步骤101、获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息。
麦克风(Microphone)设备可与VR设备连接,或者是VR设备上的设备。本实施例中在录制的过程中,可通过麦克风设备采集用户(使用VR设备的用户自身)发出的语音信息,得到用户语音信息。
虚拟现实场景中播放的媒体音信息可包括:场景实时的媒体声音和/或场景中其他用户的聊天语音等。例如,在虚拟现实的演唱会场景中,可包括歌手的声音、音乐背景的声音,以及现场观众发出的声音等。
对于本实施例,在接收到录制指令后,可同时并行获取用户实时输入得到语音信息以及虚拟现实场景中实时播放的媒体音信息。以保证这些声音信息均能录制进去。
步骤102、对获取到的用户语音信息和媒体音信息进行混音合成,得到音频信息。
在混音合成之前,还可对获取到的用户语音信息和媒体音信息进行噪音过滤,如将麦克风设备采集到的用户语音信息进行背景声消噪等。然后将噪音过滤后的用户语音信息和媒体音信息进行混音合成,以减少最后录制的视频信息中出现杂音等情况。
步骤103、根据混音合成得到的音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息。
对于本实施例,用户在进入虚拟现实空间后,当需要对虚拟现实场景内容进行录制时可调用拍摄器模型,进而可在虚拟现实空间中显示该拍摄器模型。拍摄器模型具体可为拍摄设备相关的预设模型,如可为智能手机模型、自拍杆相机模型等。并且可在拍摄器模型中显示取景画面信息,该取景画面信息是根据虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。
例如,获取拍摄器模型的拍摄范围;然后在虚拟现实视频中,选择与该拍摄范围所对应的元素内容实时渲染到纹理;最后可将渲染得到的纹理贴图放置在拍摄器模型中。
拍摄器的拍摄范围是指用户在观看VR视频过程中对虚拟现实场景所要拍摄的范围,对于本实施例,针对控制拍摄器的拍摄范围的相关参数可预先设置,如视场角(FOV)等参数预先设定。该拍摄范围可根据用户的需求进行调整,进而录制到所需的视频内容等。
拍摄范围所对应的元素内容可包括针对拍摄范围内所能看到的虚拟场景内容,如虚拟现实的人物角色、背景、场地内容等。具体可利用Unity的相机(Camera)工具,在虚拟现实视频中,选择与拍摄器模型的拍摄范围所对应的元素内容渲染到纹理(Render ToTexture,RTT)。然后将渲染得到的纹理贴图放置在拍摄器模型中,进而实现在拍摄器模型中显示取景画面信息。目的是为了让用户在确认录制之前,对所选场景信息贴图的效果预览。
例如,预先将拍摄器模型的三维空间位置与用户本身虚拟角色的三维空间位置进行绑定,然后基于用户本身虚拟角色实时的三维空间位置,确定该拍摄器模型当前显示的三维空间位置,进而依据此位置显示拍摄器模型,使得呈现出用户在使用拍摄器的效果,如呈现出用户本身虚拟角色手持自拍杆相机的效果。在虚拟现实视频中,选择与自拍杆相机的拍摄范围所对应的元素内容渲染到纹理,进而将渲染得到的纹理贴图放置在该自拍杆相机的显示屏幕位置内,从而模拟得到类似于真实相机拍摄前的取景画面预览效果。
当用户通过拍摄器模型的取景,找到需要录制的内容时,可触发录制功能,通过记录拍摄器模型中实时的取景画面信息,并结合步骤102得到的音频信息,得到录制的视频信息。该视频信息中可包含用户自己说的语音,还可包含在虚拟现实场景中拍摄到的自身画面等。
需要说明的是,本实施例涉及的录制过程与传统意义上的VR视频的录制过程不同,本实施例方案这种虚拟录制方式是对所选范围内的VR场景元素内容实时渲染到纹理,然后再贴到拍摄器模型中,进而通过这些纹理贴图以及用户语音、虚拟现实场景中播放的媒体音等生成得到录制的视频信息。无需借助实体相机模块的那些传感器,因此可保证录制的视频信息的画面质量。并且在拍摄器模型移动过程中,能够实时将动态移动拍摄范围内的VR场景元素内容呈现在拍摄器模型中,录制的视频画面展示效果不会受到拍摄器模型摆动等因素的影响。可很好地模拟出用户真实录制的感受。
与目前现有技术相比,本实施例可满足用户在观看VR视频过程中,对自身参与内容的录制需求。使得在虚线现实环境下的用户能够体验到犹如真实环境中使用相机录制现场并自身参与其中的感受,录制的视频内容中可包含用户自身参与的内容,如用户自己说的语音等,提升了用户的VR使用体验。
进一步的,作为上述实施例的细化和扩展,为了完整说明本实施例方法的具体实现过程,本实施例提供了如图3所示的具体方法,该方法包括:
步骤201、获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息。
可选的,获取虚拟现实场景中播放的媒体音信息的过程,具体可包括:通过解析虚拟现实视频的视频流,获取虚拟现实场景中播放的媒体音信息。与通过麦克风设备采集的方式不同,通过这种可选方式,无需使用如麦克风等传统音频采集的设备硬件,可从虚拟现实视频的视频流,实时准确解析获得虚拟现实场景中播放的媒体音信息。并且获取媒体音信息的过程与采集用户语音信息的过程之间不存在相互干扰。
在实际应用中,媒体音信息中可能会存在多个声源发出的声音,如虚拟人物角色a发出的声音、虚拟人物角色b发出的声音、场地的背景音、场景中的特殊音效等。因此为了满足用户在视频录制过程中的个性化需求,示例性的,上述通过解析虚拟现实视频的视频流,获取虚拟现实场景中播放的媒体音信息,具体可包括:首先通过解析视频流,获取视频流中的音频数据;再从该音频数据中提取目标声源(如用户所需录制的至少一声源)的音频信息,作为获取到的媒体音信息。例如,在虚拟现实的演唱会现场,可选择用户自己发出的语音与歌手发出的声音进行混音合成,达到用户跟随歌手演唱的效果。
在实际应用中,用户也可能不需要一并录制自己发出的语音。因此为了保证能够准确进行语音录制,可选的,步骤201具体可包括:获取麦克风设备的开启状态;若麦克风设备已开启,则获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息,然后执行步骤202所示的过程;若麦克风设备未开启,则获取虚拟现实场景中播放的媒体音信息,相应的,步骤202中对用户语音信息和媒体音信息进行混音合成,得到音频信息,具体可包括:若麦克风设备未开启,则依据该媒体音信息得到音频信息。通过这种可选方式,可满足用户的实际录制需求,可选择是否将自己发出的声音一并录制到视频信息中。
进一步的,如果未开启麦克风设备就开始录制视频信息,在视频录制的过程中也有可能用户才发现还可以开启自己的麦克风,将自己的语音信息也参与录制,此时为了避免出现录制错误,可选的,在步骤201之前,还可包括:获取当前处于的录制状态;若当前处于录制前状态,则允许输入用户语音的录制指令。例如,如图4所示,可通过拍摄器模型中的麦克风状态,确定是否开启麦克风,默认情况是麦克风开启,用户可通过功能按钮控制是否开启麦克风进行录制。而如果当前处于录制中状态,则不允许输入用户语音的录制指令。例如,如图5所示,在视频录制过程中,如果之前未开启麦克风,则麦克风处于关闭状态,并且不允许用户再开启麦克风进行录制,以避免出现录制错误,如避免在录制中切换麦克风时出现音爆的问题。通过本可选方式,可保证能够准确录制得到包含用户参与内容的视频信息。
步骤202、将用户语音信息和媒体音信息按照预设音量比例进行混音合成,得到音频信息。
预设音量比例可根据实际需求进行预先设置。本实施例将用户语音信息和媒体音信息按照预设音量比例进行混音合成,可保证媒体音和录制的用户声音的协调性,具体可参与默认比例等方式,或者用户还可以根据自身需求进行比例调节。例如,通过比例调节,实现合唱或跟唱等的目的。
步骤203、根据音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息。
可选的,步骤203具体可包括:在虚拟现实视频中,选择拍摄范围所对应的元素内容实时渲染到纹理,并将渲染得到的纹理贴图放置在拍摄器模型中,其中,拍摄范围为静态或动态的拍摄范围;基于在录制时间段内各个时间点对应的纹理贴图以及音频信息(步骤202得到的音频信息),生成录制的视频信息。
例如,用户可通过控制手柄(或手部动作等)操控拍摄器模型的拍摄范围进行改变,如用户手柄向左、或向右、或向上、或向下、或向左上、或向左下等移动,可触发拍摄器模型连同其拍摄范围均跟随向左、或向右、或向上、或向下、或向左上、或向左下等移动;用户手柄向前或向后移动,可触发调整相机工具的拍摄焦距;用户手柄转动,可触发拍摄器模型连同其拍摄范围均跟随转动。通过这种可选方式,可方便用户进行拍摄操控,提高了拍摄效率。
本实施例可通过纹理贴图信息得到录制的视频画面内容,并通过混音合成的音频信息得到录制的视频声音内容,进而可生成得到录制的视频信息。
在步骤203之后,本实施例方法还包括:输出录制成功的提示信息,如在录制成功后可提示录制的视频保存成功,并可显示该视频的保存目录;和/或,对录制的视频信息进行播放预览,如根据用户的选择播放指令,对录制的视频信息进行播放预览,以便于发现录制的视频信息是否出现杂音或其他音质不好的情况,然后根据自身的需求再次选择录制质量更好的视频信息等。
为了保证录制视频的预览效果,示例性的,对录制的视频信息进行播放预览,具体可包括:在虚拟现实空间中的预设区域内,播放录制的视频信息,同时将当前播放的虚拟现实场景的媒体音量降低至预设音量阈值(如降低到0、或者其他阈值等,以减少由于媒体音量过大影响视频预览的效果),其中,该预设区域可包括:预设界面区域(如弹窗区域或者其他特定的界面区域等),或者拍摄器模型的预设取景框区域,如通过该预设取景框区域进行录制前以及过程中的取景,后续还可通过该区域进行视频预览,使得用户在虚拟现实环境中体验到如同智能手机录制的感受,可进一步增强用户的VR使用体验。
步骤204、响应于分享指令,将录制的视频信息分享至目标平台,或通过服务端分享给联系人列表中的指定用户,或分享给在同一虚拟现实空间中其他虚拟对象所对应的用户。
目标平台如社交平台,用户或其他用户可访问这些录制的视频信息;指定用户如将录制的视频信息通过服务端分享给用户指定的好友等。
例如,用户可查看当前进入同一房间的其他用户,然后选择其中的用户将录制的视频信息分享给他;或者通过用户焦点、手柄射线等方式,在同一VR场景中选择其他虚拟对象,将录制的视频信息分享给该虚拟对象,***可根据虚拟对象的标识,查找到对应的目标用户,将用户分享的录制视频信息转发给该目标用户,实现录制的视频信息的分享目的。
为了说明上述各实施例的具体实现过程,给出如下应用场景,但不限于此:
用户佩戴VR设备进入虚拟的演唱会现场,观看演出内容。当用户需要录制视频时,可唤起拍摄器模型在虚拟现实空间中进行显示。然后触发相应的录制指令,实现一边使用拍摄器模型录制演唱会现场的视频画面内容,一边将自己发出的语音内容通过麦克风设备一并录制到该视频当中。
在VR设备端侧,可获取麦克风设备采集到的用户语音信息,以及通过解析虚拟现实视频的视频流,获取虚拟现实场景中播放的媒体音信息;再将用户语音信息和媒体音信息按照预设音量比例进行混音合成,得到音频信息;然后根据音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息。
通过上述方式,可实现用户在虚拟现实的演唱会现场,录制得到与歌手跟唱的视频内容,或者与其他用户角色之间互动的视频内容等,可满足用户在观看VR视频过程中,对自身参与内容的录制需求。使得在虚线现实环境下的用户能够体验到犹如真实环境中使用相机录制现场并自身参与其中的感受,录制的视频内容中可包含用户自身参与的内容,提升了用户的VR使用体验。
进一步的,作为图2和图3所示方法的具体实现,本实施例提供了一种基于虚拟现实的录制处理装置,如图6所示,该装置包括:获取模块31、合成模块32、生成模块33。
获取模块31,被配置为获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;
合成模块32,被配置为对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息;
生成模块33,被配置为根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,所述取景画面信息是根据所述虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。
在具体的应用场景中,获取模块31,具体被配置为通过解析虚拟现实视频的视频流,获取虚拟现实场景中播放的媒体音信息。
在具体的应用场景中,获取模块31,具体还被配置为通过解析所述视频流,获取所述视频流中的音频数据;从所述音频数据中提取目标声源的音频信息,作为所述媒体音信息。
在具体的应用场景中,生成模块33,具体被配置为在虚拟现实视频中,选择拍摄范围所对应的元素内容实时渲染到纹理,并将渲染得到的纹理贴图放置在所述拍摄器模型中,其中,所述拍摄范围为静态或动态的拍摄范围;基于在录制时间段内各个时间点对应的所述纹理贴图以及所述音频信息,生成所述录制的视频信息。
在具体的应用场景中,合成模块32,具体被配置为将所述用户语音信息和所述媒体音信息按照预设音量比例进行混音合成,得到音频信息。
在具体的应用场景中,获取模块31,还被配置为在获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息之前,获取当前处于的录制状态;若当前处于录制前状态,则允许输入录制指令;若当前处于录制中状态,则不允许输入录制指令。
在具体的应用场景中,本装置还包括:后处理模块;
后处理模块,被配置为在所述根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息之后,输出录制成功的提示信息;和/或,对所述录制的视频信息进行播放预览。
在具体的应用场景中,后处理模块,具体被配置为在虚拟现实空间中的预设区域内,播放所述录制的视频信息,同时将当前播放的虚拟现实场景的媒体音量降低至预设音量阈值,其中,所述预设区域包括:预设界面区域或所述拍摄器模型的预设取景框区域。
在具体的应用场景中,本装置还包括:分享模块;
分享模块,被配置为在所述根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息之后,响应于分享指令,将所述录制的视频信息分享至目标平台,或通过服务端分享给联系人列表中的指定用户,或分享给在同一虚拟现实空间中其他虚拟对象所对应的用户。
在具体的应用场景中,获取模块31,具体还被配置为获取所述麦克风设备的开启状态;若所述麦克风设备已开启,则获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;若所述麦克风设备未开启,则获取虚拟现实场景中播放的媒体音信息;
相应的,合成模块32,具体还被配置为若所述麦克风设备未开启,则依据所述媒体音信息得到所述音频信息。
需要说明的是,本实施例提供的一种基于虚拟现实的录制处理装置所涉及各功能单元的其它相应描述,可以参考图2和图3中的对应描述,在此不再赘述。
基于上述如图2和图3所示方法,相应的,本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述如图2和图3所示的基于虚拟现实的录制处理方法。
基于这样的理解,本公开的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施场景的方法。
基于上述如图2和图3所示的方法,以及图6所示的虚拟装置实施例,为了实现上述目的,本公开实施例还提供了一种电子设备,具体可以为虚拟现实设备,如VR头戴设备等,该设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图2和图3所示的基于虚拟现实的录制处理方法。
可选的,上述实体设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的上述实体设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作***、网络通信模块。操作***是管理上述实体设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本公开可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本实施例的方案,与目前现有技术相比,本实施例可满足用户在观看VR视频过程中,对自身参与内容的录制需求。使得在虚线现实环境下的用户能够体验到犹如真实环境中使用相机录制现场并自身参与其中的感受,录制的视频内容中可包含用户自身参与的内容,如用户自己说的语音以及在虚拟现实场景中拍摄到的自身画面等,提升了用户的VR使用体验。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种基于虚拟现实的录制处理方法,其特征在于,包括:
获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;
对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息;
根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,所述取景画面信息是根据所述虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。
2.根据权利要求1所述的方法,其特征在于,所述获取虚拟现实场景中播放的媒体音信息,包括:
通过解析虚拟现实视频的视频流,获取虚拟现实场景中播放的媒体音信息。
3.根据权利要求2所述的方法,其特征在于,所述通过解析虚拟现实视频的视频流,获取虚拟现实场景中播放的媒体音信息,具体包括:
通过解析所述视频流,获取所述视频流中的音频数据;
从所述音频数据中提取目标声源的音频信息,作为所述媒体音信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,包括:
在虚拟现实视频中,选择拍摄范围所对应的元素内容实时渲染到纹理,并将渲染得到的纹理贴图放置在所述拍摄器模型中,其中,所述拍摄范围为静态或动态的拍摄范围;
基于在录制时间段内各个时间点对应的所述纹理贴图以及所述音频信息,生成所述录制的视频信息。
5.根据权利要求1所述的方法,其特征在于,所述对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息,包括:
将所述用户语音信息和所述媒体音信息按照预设音量比例进行混音合成,得到音频信息。
6.根据权利要求1所述的方法,其特征在于,在所述获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息之前,所述方法还包括:
获取当前处于的录制状态;
若当前处于录制前状态,则允许输入用户语音的录制指令;
若当前处于录制中状态,则不允许输入用户语音的录制指令。
7.根据权利要求1所述的方法,其特征在于,在所述根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息之后,所述方法还包括:
输出录制成功的提示信息;和/或,
对所述录制的视频信息进行播放预览。
8.根据权利要求7所述的方法,其特征在于,所述对所述录制的视频信息进行播放预览,包括:
在虚拟现实空间中的预设区域内,播放所述录制的视频信息,同时将当前播放的虚拟现实场景的媒体音量降低至预设音量阈值,其中,所述预设区域包括:预设界面区域或所述拍摄器模型的预设取景框区域。
9.根据权利要求1所述的方法,其特征在于,在所述根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息之后,所述方法还包括:
响应于分享指令,将所述录制的视频信息分享至目标平台,或通过服务端分享给联系人列表中的指定用户,或分享给在同一虚拟现实空间中其他虚拟对象所对应的用户。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息,包括:
获取所述麦克风设备的开启状态;
若所述麦克风设备已开启,则获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;
若所述麦克风设备未开启,则获取虚拟现实场景中播放的媒体音信息;
所述对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息,包括:
若所述麦克风设备未开启,则依据所述媒体音信息得到所述音频信息。
11.一种基于虚拟现实的录制处理装置,其特征在于,包括:
获取模块,被配置为获取麦克风设备采集到的用户语音信息,以及获取虚拟现实场景中播放的媒体音信息;
合成模块,被配置为对所述用户语音信息和所述媒体音信息进行混音合成,得到音频信息;
生成模块,被配置为根据所述音频信息和虚拟现实的拍摄器模型中的取景画面信息,生成录制的视频信息,其中,所述取景画面信息是根据所述虚拟现实场景中拍摄范围所对应的元素内容渲染得到的。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法。
13.一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210540541.8A CN117135393A (zh) | 2022-05-17 | 2022-05-17 | 基于虚拟现实的录制处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210540541.8A CN117135393A (zh) | 2022-05-17 | 2022-05-17 | 基于虚拟现实的录制处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117135393A true CN117135393A (zh) | 2023-11-28 |
Family
ID=88858697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210540541.8A Pending CN117135393A (zh) | 2022-05-17 | 2022-05-17 | 基于虚拟现实的录制处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117135393A (zh) |
-
2022
- 2022-05-17 CN CN202210540541.8A patent/CN117135393A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11030987B2 (en) | Method for selecting background music and capturing video, device, terminal apparatus, and medium | |
WO2019128787A1 (zh) | 网络视频直播方法、装置及电子设备 | |
CN110708589B (zh) | 信息的分享方法和装置、存储介质、电子装置 | |
CN108986192B (zh) | 用于直播的数据处理方法及装置 | |
CN105450642A (zh) | 一种基于在线直播的数据处理方法、相关装置及*** | |
TW202007142A (zh) | 視頻檔案的生成方法、裝置及儲存媒體 | |
CN112637622A (zh) | 一种直播演唱方法、装置、设备及介质 | |
JP2014127987A (ja) | 情報処理装置および記録媒体 | |
WO2018135343A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108449632B (zh) | 一种演唱视频实时合成的方法及终端 | |
CN111530088B (zh) | 一种生成游戏角色的实时表情图片的方法和装置 | |
JP2013093840A (ja) | ポータブル端末における立体データ生成装置及び方法並びに電子装置 | |
KR20150105058A (ko) | 온라인을 이용한 혼합현실형 가상 공연 시스템 | |
CN106604147A (zh) | 一种视频处理方法及装置 | |
EP4252413A2 (en) | Methods and apparatus for receiving virtual relocation during a network conference | |
CN106686463A (zh) | 一种视频中的角色替换方法及装置 | |
JP2006039917A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
CN114531564A (zh) | 处理方法及电子设备 | |
WO2022115672A2 (en) | Methods and apparatus for performing virtual relocation during a network conference | |
TW201917556A (zh) | 多屏互動方法、裝置及電子設備 | |
WO2023174009A1 (zh) | 基于虚拟现实的拍摄处理方法、装置及电子设备 | |
CN105094823B (zh) | 一种用于生成输入法界面的方法和装置 | |
CN116761009A (zh) | 元宇宙全景直播场景下的视频播放方法、装置及直播*** | |
CN115050228B (zh) | 一种素材收集方法及装置、电子设备 | |
CN117135393A (zh) | 基于虚拟现实的录制处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |