CN105578199A - 虚拟现实全景多媒体处理***、方法及客户端设备 - Google Patents

Abstract

本发明提供一种虚拟现实全景多媒体处理***、方法及客户端设备，其中虚拟现实全景多媒体处理***包括多个多媒体采集装置、媒体处理服务器和媒体发布服务器。本发明的虚拟现实全景多媒体处理***、方法及客户端设备可以为用户实时提供全景视频和音频。而且处理效率高，布设和运营成本低，有利于在产业上大规模推广应用。

Description

虚拟现实全景多媒体处理***、方法及客户端设备

技术领域

本发明涉及通信技术领域，尤其涉及一种虚拟现实全景多媒体处理***、方法及客户端设备。

背景技术

目前基于娱乐、训练等方面的考虑，为了给用户身临其境的体验，虚拟现实（VirtualReality，简称VR）技术得到了快速发展。

用户通过佩戴带显示装置的头盔或眼镜，阻断了人眼与现实世界的视觉连接，通过设备实时渲染的画面，可以为用户营造出一个全新体验的全景世界。

虚拟现实技术可广泛的应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、教育培训等众多领域。

但是受技术条件的限制，目前大部分虚拟现实直播或录播***，仅仅实现了360度的全景视频。由于目前的技术限制，其声音需要单独采集，后期再合成到处理好的360度全景视频中。这样就虚拟现实直播无法实现实时的360度全景音频直播，其只能将非全景音频合成进来，这样就导致用户体验的降低。

此外现有技术的全景摄像头和媒体处理服务器一般采用视频线连接。一台全景摄像头装置必须配置一套媒体处理服务器进行处理，这样就导致***设备成本的增加。

因此，如何提供一种高效且经济的虚拟现实多媒体***就成为亟待解决的问题。

发明内容

为解决现有技术无法提供高效且经济的虚拟现实多媒体***的问题，本发明提供了一种虚拟现实全景多媒体处理***，包括：包括：多个多媒体采集装置、媒体处理服务器和媒体发布服务器，

所述多媒体采集装置相应与所述媒体处理服务器连接，将采集到的携带时间戳的多路视频流发送给所述媒体处理服务器，以及将采集到的携带时间戳的多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

所述媒体处理服务器与所述媒体发布服务器连接，将接收到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给所述媒体发布服务器；

所述媒体发布服务器向用户客户端提供所述全景视频流，以供所述用户客户端生成相应的全景输出视频。

所述多媒体采集装置通过网络接口与所述媒体处理服务器和所述用户客户端连接。

所述网络接口包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。

所述多媒体采集装置通过LTE移动通信网络接口接入LTE移动通信网络。

所述多媒体采集装置集成在Smallcell基站中。

所述多媒体采集装置包括音频处理设备和多个麦克风，所述麦克风将采集到的音频发送给所述音频处理设备，所述音频处理设备将接收到的音频合成为所述多路音频流。

所述媒体处理服务器和所述媒体发布服务器设置于移动边缘计算服务器上。

本发明还提供了一种用于处理虚拟现实全景多媒体处理***的所述全景视频流和所述多路音频流的客户端设备，包括：全景视频流和多路音频流接收装置、方位角采集装置、多媒体处理装置、视频输出装置和音频输出装置，

所述全景视频流和多路音频流接收装置与所述多媒体处理装置、媒体发布服务器和所述多媒体采集装置连接，将接收到的所述全景视频流和所述多路音频流发送给所述多媒体处理装置处理；

所述方位角采集装置与所述多媒体处理装置连接，将采集到的用户头部方位角发送给所述多媒体处理装置；

所述多媒体处理装置根据接收到的所述全景视频流、所述多路音频流和所述用户头部方位角对所述全景视频流和所述多路音频流进行处理，以生成相应的全景输出视频和全景输出音频，并将所述全景输出视频和全景输出音频相应发送给所述视频输出装置和音频输出装置进行输出。

所述多媒体处理装置根据接收到的所述全景视频流和所述多路音频流中包含的所述时间戳对所述全景视频流和所述多路音频流进行时间同步。

所述多媒体处理装置根据接收到的所述用户头部方位角对所述全景视频流和所述多路音频流进行方位同步。

本发明还提供了一种虚拟现实全景多媒体处理方法，包括：

采集携带时间戳的多路视频流和多路音频流；

将采集到的所述多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

将采集到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给用户客户端，以供所述用户客户端生成相应的全景输出视频。

本发明的虚拟现实全景多媒体处理***、方法及客户端设备可以为用户实时提供全景视频和音频。而且处理效率高，布设和运营成本低，有利于在产业上大规模推广应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的虚拟现实全景多媒体处理***的一个实施例的结构示意图。

图2为本发明的用于处理虚拟现实全景多媒体处理***的全景视频流和多路音频流的客户端设备的一个实施例的结构示意图。

图3为本发明的虚拟现实全景多媒体处理方法的一个实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明的虚拟现实全景多媒体处理***的一个实施例的结构示意图，如图1所示，本实施例的虚拟现实全景多媒体处理***，可以包括：多个多媒体采集装置101、媒体处理服务器102和媒体发布服务器103。

多媒体采集装置101相应与媒体处理服务器102连接，将采集到的携带时间戳的多路视频流发送给媒体处理服务器102，以及将采集到的携带时间戳的多路音频流发送给用户客户端104，以供用户客户端104生成相应的全景输出音频。

具体的，每个多媒体采集装置101可以包含有多个摄像头和相应的多个麦克风，可以采集多个方向的多路视频流，以及多个方向的多路音频流。多媒体采集装置101相应与媒体处理服务器102连接，将采集到的携带时间戳的多路视频流发送给媒体处理服务器102，以供媒体处理服务器102进行处理。多媒体采集装置101还可以将采集到的携带时间戳的多路音频流发送给用户客户端104，以供用户客户端104生成相应的全景输出音频。需要说明的是，携带时间戳的多路音频流也可以与多路视频流通过相同的网络链路发送至用户客户端104，媒体处理服务器102和媒体发布服务器103对于多路音频流而言只相当于进行转发的网络节点。

优选的，多媒体采集装置101通过网络接口与媒体处理服务器102和用户客户端104连接。

具体的，多媒体采集装置101可以具备网络接口，这样多媒体采集装置101就可以接入网络，通过网络与媒体处理服务器102和用户客户端104连接。这个网络接口也可以是无线网络接口，这样就不需要专门布设线路，可以有效的提高设置多媒体采集装置101的灵活性和便捷性，同时还可以有效的降低安装设置成本，并且通过网络传输采集到的携带时间戳的多路视频流和携带时间戳的多路音频流，还可以有效的保证数据传输速度和质量。

进一步优选的，网络接口可以包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。

具体的，多媒体采集装置101可以具备移动通信网络接口、WIFI网络接口和宽带网络接口。而且为了提高灵活性，可以同时具备多个不同的网络接口，并且可以根据实际需要通过不同的网络接口来与媒体处理服务器102和用户客户端104连接。

进一步优选的，多媒体采集装置101通过LTE移动通信网络接口接入LTE移动通信网络。

具体的，多媒体采集装置101可以具备LTE移动通信网络接口，通过LTE移动通信网络接口接入LTE移动通信网络。这样可以有效的保证携带时间戳的多路视频流和携带时间戳的多路音频流的传输速度和传输的安全性，可以有效的提升用户体验度。

优选的，多媒体采集装置101集成在Smallcell基站中。

具体的，多媒体采集装置101可以集成在Smallcell基站中，这样可以直接使用Smallcell基站的网络接口传输携带时间戳的多路视频流和携带时间戳的多路音频流，一方面保证了传输的质量和速度，另一方面还可以在布设虚拟现实全景多媒体处理***时，提高区域内的网络覆盖。

优选的，多媒体采集装置101包括音频处理设备和多个麦克风，麦克风将采集到的音频发送给音频处理设备，音频处理设备将接收到的音频合成为多路音频流。

具体的，多媒体采集装置101包含有音频处理设备和多个麦克风，麦克风可以与摄像头的个数相对应，这样可以保证每一路视频流都有对应的音频流，一般而言，麦克风和摄像头的个数越多，全景输出音频和全景输出视频的效果越好。音频处理设备将麦克风采集到的音频进行合成，进行包括去噪声等相应的处理，以获得相应的多路音频流。

媒体处理服务器102与媒体发布服务器103连接，将接收到的多路视频流进行拼合处理以生成携带时间戳的全景视频流，并将处理后的全景视频流发送给媒体发布服务器103。

具体的，媒体处理服务器102与媒体发布服务器103连接，媒体处理服务器102负责对接收到的多路视频流进行拼合处理，相应生成携带时间戳的全景视频流，并将处理后的全景视频流发送给媒体发布服务器103。

媒体发布服务器103向用户客户端104提供全景视频流，以供用户客户端生成104相应的全景输出视频。

具体的，媒体发布服务器103向用户客户端104提供全景视频流，以供用户客户端生成104相应的全景输出视频。

优选的，媒体处理服务器103和媒体发布服务器104设置于移动边缘计算服务器上。

具体的，媒体发布服务器103和媒体处理服务器102可以设置于移动边缘计算(MEC)服务器节点上，并且媒体发布服务器103和媒体处理服务器102可以是移动边缘计算(MEC)服务器的不同虚拟逻辑服务器。移动边缘计算(MEC)服务器可以部署在汇聚网节点上，这样就可以同时为多个SmallCell基站和LTE基站（eNodeB）提供全景视频流处理服务，从而有效的实现资源共用，相应可以有效的降低虚拟现实全景多媒体处理***布设和运营成本，并且有效的提高全景多媒体处理***的运行效率。

本实施例的虚拟现实全景多媒体处理***布设和运营的成本低，可以达到较高的传输和处理速度，运行效率高，可以为用户同时提供实时的全景视频和音频，可以有效的满足虚拟现实直播的要求。

图2为本发明的用于处理虚拟现实全景多媒体处理***的全景视频流和多路音频流的客户端设备的一个实施例的结构示意图，如图2所示，参考图1，本实施例的用于处理虚拟现实全景多媒体处理***的全景视频流和多路音频流的客户端设备200可以包括：全景视频流和多路音频流接收装置201、方位角采集装置202、多媒体处理装置203、视频输出装置204和音频输出装置205。

全景视频流和多路音频流接收装置201与多媒体处理装置203、媒体发布服务器103和多媒体采集装置101连接，将接收到的全景视频流和多路音频流发送给多媒体处理装置203处理。

方位角采集装置202与多媒体处理装置203连接，将采集到的用户头部方位角发送给多媒体处理装置203。

具体的，方位角采集装置202可以是用户终端上的陀螺仪，陀螺仪根据当前的状态可以判断出用户的头部方向，从而获得相应的方位角。

多媒体处理装置203根据接收到的全景视频流、多路音频流和用户头部方位角对全景视频流和多路音频流进行处理，以生成相应的全景输出视频和全景输出音频，并将全景输出视频和全景输出音频相应发送给视频输出装置204和音频输出装置205进行输出。

具体的，多媒体处理装置203根据接收到的全景视频流、多路音频流和用户头部方位角对全景视频流和多路音频流进行处理，这样就可以根据用户的头部方向和动作，生成相应的全景输出视频和全景输出音频，并将全景输出视频和全景输出音频相应发送给视频输出装置204和音频输出装置205进行输出。这样用户就可以看到相应方向上的视频，并同步听到相应方向上的声音，从而给用户完全的身临其境的视觉和听觉体验。

优选的，多媒体处理装置203根据接收到的全景视频流和多路音频流中包含的所述时间戳对全景视频流和多路音频流进行时间同步。

具体的，由于多媒体处理装置203接收到的全景视频流和多路音频流中都包含有相应的时间戳，那么通过相同的时间戳，就可以对接收到的全景视频流和多路音频流进行时间同步处理。这样就可以有效地避免声音和视频不同步的情况发生，可以给用户更好的体验。

优选的，多媒体处理装置203根据接收到的用户头部方位角对全景视频流和多路音频流进行方位同步。

具体的，多媒体处理装置203根据接收到的用户头部方位角就可以确定用户头部的方向，相应对全景视频流和多路音频流进行方位同步，以使输出的全景输出视频和全景输出音频符合用户的头部方向。

本实施例的用于处理虚拟现实全景多媒体处理***的全景视频流和多路音频流的客户端设备结构简单，可以为用户实时提供全景视频和全景音频，可以同时给用户带来身临其境的视觉和听觉体验。

图3为本发明的虚拟现实全景多媒体处理方法的一个实施例的流程图，如图3所示，参考图1和图2，本实施例的，虚拟现实全景多媒体处理方法包括：

步骤301，采集携带时间戳的多路视频流和多路音频流。

具体的，通过例如图1所示的每个多媒体采集装置101采集携带时间戳的多路视频流和多路音频流。

步骤302，将采集到的多路音频流发送给用户客户端104，以供用户客户端104生成相应的全景输出音频。

具体的，通过例如图1所示的每个多媒体采集装置101采集携带时间戳的多路视频流和多路音频流后，多媒体采集装置101可以通过网络将采集到的多路音频流发送给用户客户端104。这样用户客户端104就可以根据接收到的多路音频流生成相应的全景输出音频。

步骤303，将采集到的多路视频流进行拼合处理以生成携带时间戳的全景视频流，并将处理后的全景视频流发送给用户客户端，以供用户客户端生成相应的全景输出视频。

具体的，通过例如图1所示的媒体处理服务器102对采集到的多路视频流进行拼合处理以生成携带时间戳的全景视频流，然后通过媒体发布服务器103将处理后的全景视频流发送给用户客户端104。这样用户客户端104就可以根据接收到的全景视频流生成相应的全景输出视频。用户客户端104再根据相应的用户头部方位角就可以为用户输出相应的全景输出视频和全景输出音频。

本实施例的虚拟现实全景多媒体处理方法可以实时获得全景视频流和多路音频流，用户客户端根据全景视频流和多路音频流就可以为用户提供实时的全景音频和全景视频，从而为用户提供实时的身临其境的视觉和听觉体验。

本发明的虚拟现实全景多媒体处理***、方法及客户端设备可以为用户实时提供全景视频和音频。而且处理效率高，布设和运营成本低，有利于在产业上大规模推广应用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种虚拟现实全景多媒体处理***，其特征在于，包括：多个多媒体采集装置、媒体处理服务器和媒体发布服务器，

所述多媒体采集装置相应与所述媒体处理服务器连接，将采集到的携带时间戳的多路视频流发送给所述媒体处理服务器，以及将采集到的携带时间戳的多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

所述媒体处理服务器与所述媒体发布服务器连接，将接收到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给所述媒体发布服务器；

所述媒体发布服务器向用户客户端提供所述全景视频流，以供所述用户客户端生成相应的全景输出视频。

2.根据权利要求1所述的虚拟现实全景多媒体处理***，其特征在于，所述多媒体采集装置通过网络接口与所述媒体处理服务器和所述用户客户端连接。

3.根据权利要求2所述的虚拟现实全景多媒体处理***，其特征在于，所述网络接口包括移动通信网络接口、WIFI网络接口和宽带网络接口中的至少一个。

4.根据权利要求3所述的虚拟现实全景多媒体处理***，其特征在于，所述多媒体采集装置通过LTE移动通信网络接口接入LTE移动通信网络。

5.根据权利要求1所述的虚拟现实全景多媒体处理***，其特征在于，所述多媒体采集装置集成在Smallcell基站中。

6.根据权利要求1所述的虚拟现实全景多媒体处理***，其特征在于，所述多媒体采集装置包括音频处理设备和多个麦克风，所述麦克风将采集到的音频发送给所述音频处理设备，所述音频处理设备将接收到的音频合成为所述多路音频流。

7.根据权利要求1所述的虚拟现实全景多媒体处理***，其特征在于，所述媒体处理服务器和所述媒体发布服务器设置于移动边缘计算服务器上。

8.一种用于处理如权利要求1至7中任一权利要求所述的虚拟现实全景多媒体处理***的所述全景视频流和所述多路音频流的客户端设备，其特征在于，包括：全景视频流和多路音频流接收装置、方位角采集装置、多媒体处理装置、视频输出装置和音频输出装置，

所述全景视频流和多路音频流接收装置与所述多媒体处理装置、媒体发布服务器和所述多媒体采集装置连接，将接收到的所述全景视频流和所述多路音频流发送给所述多媒体处理装置处理；

所述方位角采集装置与所述多媒体处理装置连接，将采集到的用户头部方位角发送给所述多媒体处理装置；

所述多媒体处理装置根据接收到的所述全景视频流、所述多路音频流和所述用户头部方位角对所述全景视频流和所述多路音频流进行处理，以生成相应的全景输出视频和全景输出音频，并将所述全景输出视频和全景输出音频相应发送给所述视频输出装置和音频输出装置进行输出。

9.根据权利要求8所述的客户端设备，其特征在于，所述多媒体处理装置根据接收到的所述全景视频流和所述多路音频流中包含的所述时间戳对所述全景视频流和所述多路音频流进行时间同步。

10.根据权利要求8所述的客户端设备，其特征在于，所述多媒体处理装置根据接收到的所述用户头部方位角对所述全景视频流和所述多路音频流进行方位同步。

11.一种虚拟现实全景多媒体处理方法，其特征在于，包括：

采集携带时间戳的多路视频流和多路音频流；

将采集到的所述多路音频流发送给用户客户端，以供所述用户客户端生成相应的全景输出音频；

将采集到的所述多路视频流进行拼合处理以生成携带所述时间戳的全景视频流，并将处理后的所述全景视频流发送给用户客户端，以供所述用户客户端生成相应的全景输出视频。