WO2018068481A1 - 一种双目 720 度全景采集*** - Google Patents

一种双目 720 度全景采集*** Download PDF

Info

Publication number
WO2018068481A1
WO2018068481A1 PCT/CN2017/079091 CN2017079091W WO2018068481A1 WO 2018068481 A1 WO2018068481 A1 WO 2018068481A1 CN 2017079091 W CN2017079091 W CN 2017079091W WO 2018068481 A1 WO2018068481 A1 WO 2018068481A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
video
module
audio
binocular
Prior art date
Application number
PCT/CN2017/079091
Other languages
English (en)
French (fr)
Inventor
王超
沈靖程
王士博
刘亚辉
张睿妍
Original Assignee
深圳市圆周率软件科技有限责任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市圆周率软件科技有限责任公司 filed Critical 深圳市圆周率软件科技有限责任公司
Publication of WO2018068481A1 publication Critical patent/WO2018068481A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present invention belongs to the field of image acquisition technology, and in particular relates to a binocular 720 degree panoramic acquisition system.
  • the present invention provides a binocular 720-degree panoramic acquisition system to quickly and efficiently construct image information required for virtual reality, thereby improving the realism and comfort of the user experience. .
  • a binocular 720-degree panoramic acquisition system provided by the present invention includes:
  • an acquisition module configured to collect N channels of audio data and two channels of video data, where N is a positive integer greater than or equal to 2;
  • a core processing module configured to perform dual-channel video data collected by the collection module for panoramic video Simultaneously, the N channels of audio data are fused by the surround sound algorithm to the N channels of audio data, and the position information of the algorithm is matched with the panoramic video, so that the surround sound audio can be matched according to different perspective positions of the panoramic video.
  • the synchronized audio data and video data are stored locally or directly in the RTMP format for audio and video streaming, which is connected to the collection module;
  • a cloud streaming server module configured to receive audio and video streams that are sent by the core processing module through an Ethernet network, create a live broadcast on the cloud platform, generate a push stream address and a play address, and receive the received audio and video.
  • the format of the stream is formatted to distribute the processed video and audio data, which is connected to the core processing module;
  • a WAN terminal experience module configured to receive and decode audio and video data distributed by the cloud streaming server module, and perform a live live experience of a remote immersive panoramic audio and video scene, which is associated with the cloud streaming server module Connection
  • a local server module configured to receive audio and video streams that are sent by the core processing module through the Ethernet, and create a live broadcast, generate a push stream address, and a play address on the local server, and receive the received audio and video streams.
  • the format is formatted to distribute the processed video and audio data, and is connected to the core processing module;
  • the local area network terminal experience module is configured to receive and decode audio and video data distributed by the local server module, and complete a live live experience of the local immersive panoramic audio and video scene, which is connected to the local server module.
  • the acquisition module includes a first module of the camera module and a second unit of the camera module electrically connected to each other, and the first unit of the camera module includes an image first sensor and the first sensor of the image The first fisheye lens is electrically connected, the second unit of the camera module includes an image second sensor and a second fisheye lens electrically connected to the second sensor of the image, and the collecting module further comprises a first unit for collecting sound And pick up the second unit.
  • the core processing module includes a CPU management unit, an ISP first unit respectively connected to the CPU management unit, an ISP second unit, a multi-channel mixing unit, a memory unit, a GPU unit, and a panorama. a splicing unit and an audio encoding unit, the core processing module further including MIPI
  • the panoramic tiling unit is connected, the local storage unit is connected to the multiplexing unit, the multiplexing unit is further connected to the audio coding unit, and the multi-channel mixing unit and the collection module are
  • the first unit of the sound pickup is connected to the second unit of sound pickup, the first unit of the ISP is connected to the first interface of the MIPI, and the second unit of the ISP is connected to the second interface of the MIPI.
  • the MIPI first interface is connected to the image first sensor in the acquisition module, and the MIPI second interface is connected to the image second sensor in the acquisition module.
  • the cloud streaming server module is connected to the RTMP push unit in the core processing module.
  • the WAN terminal experience module includes a first demultiplexing unit, a first video decoding unit, a first display unit connected to the first video decoding unit, a first audio decoding unit, and a a first playback unit connected to the first audio decoding unit, the first demultiplexing unit is connected to the first video decoding unit and the first audio decoding unit, and the cloud streaming server module and the first A demultiplexing unit is connected.
  • the WAN terminal experience module may be a VR
  • the local server module is connected to an RTMP push flow unit in the core processing module.
  • the local area network terminal experience module includes a second demultiplexing unit, a second video decoding unit, a second display unit connected to the second video decoding unit, a second audio decoding unit, and a a second playback unit connected to the second audio decoding unit, the second demultiplexing unit is connected to the second video decoding unit and the second audio decoding unit, the local server module and the second solution
  • the multiplexing units are connected.
  • the local area network terminal experience module may be a VR All-in-one, mobile, tablet, MAC, laptop or desktop computer.
  • the binocular 720-degree panoramic acquisition system can realize dual-channel video hardware synchronous acquisition, two-way million by two high-processing ISPs and at least two MIPI interfaces.
  • the actual processing of the data volume of the sensor above the pixel and the actual splicing of the 720-degree panoramic video ensure that the high-speed image information can be transmitted quickly at a lower bit rate of the network, greatly improving the realism of the user experience. And comfort, peers, the system's small size, low power consumption and low cost make it more in line with consumer demand.
  • FIG. 1 is a schematic structural diagram of a binocular 720-degree panoramic acquisition system according to an embodiment of the present invention.
  • FIG. 1 is a schematic structural diagram of a binocular 720-degree panoramic acquisition system according to an embodiment of the present invention.
  • a binocular 720-degree panoramic acquisition system includes:
  • the acquisition module 1 is configured to collect N channels of audio data and two channels of video data, where N is a positive integer greater than or equal to 2;
  • the core processing module 2 is configured to perform the panoramic video real-time splicing of the two-way video data collected by the acquisition module 1, and simultaneously combine the N-channel audio sampling data with the N-channel audio data by using a surround sound algorithm, and the panorama
  • the video performs the position information matching of the algorithm, so that the surround sound audio can simulate the occurrence of the sound source position perceived by the human ear according to the different perspective position matching of the panoramic video, further enhancing the shocking feeling of the immersive experience of the experiencer.
  • the audio performs hardware accelerated encoding of video data and hardware accelerated encoding of audio data, and then performs a time-stamp synchronization, and finally stores the synchronized audio data and video data locally or directly performs audio and video streaming in RTMP format through Ethernet.
  • the acquisition module 1 which is connected to the acquisition module 1;
  • the cloud streaming server module 3 is configured to receive audio and video streams that the core processing module 2 pushes through the Ethernet, create a live broadcast on the cloud platform, generate a push stream address and a play address, and receive the received audio and video.
  • the format of the stream is formatted to distribute the processed video and audio data, which is connected to the core processing module 2;
  • the WAN terminal experience module 4 is configured to receive and decode the audio and video data distributed by the cloud streaming media server module 3, and perform a live live experience of the remote immersive panoramic audio and video scene, and the cloud streaming media server module 3 Connected
  • the local server module 5 is configured to receive audio and video streams that the core processing module 2 pushes through the Ethernet and create a live broadcast, generate a push stream address, and a play address on the local server, and receive the received audio and video streams. After the format is formatted, the processed video and audio data are distributed, and the core processing module 2 is connected;
  • the local area network terminal experience module 6 is configured to receive and decode the audio and video data distributed by the local server module 5, and complete the live live experience of the local immersive panoramic audio and video scene, which is connected to the local server module 5.
  • the acquisition module 1 includes a camera module first unit 10 and a camera module second unit 11 that are electrically connected to each other, and the camera module first unit 10 includes an image first sensor 101 and an image The first fisheye lens 102 electrically connected to the sensor 101, the camera module second unit 11 includes an image second sensor 111 and a second fisheye lens 112 electrically connected to the second image sensor 111.
  • the acquisition module 1 further includes a pickup. The first unit 113 and the second unit 114 are picked up.
  • the image first sensor 101 and the image second sensor 111 reach a pixel level of at least 13M, and the angles of the first fisheye lens 102 and the second fisheye lens 112 are at least 190 degrees and above, and the light of the first unit 10 of the camera module
  • the optical axes of the shaft and camera module second unit 11 are coincident with each other or parallel to each other.
  • the core processing module 2 includes a CPU management unit 201, an ISP first unit 202, an ISP second unit 203, a multi-channel mixing unit 204, and a memory unit respectively connected to the CPU management unit 201.
  • the GPU unit 206, the panoramic splicing unit 207, and the audio encoding unit 208, the core processing module 2 The MIPI first interface 209, the MIPI second interface 210, the video encoding unit 211, the multiplexing unit 212, the RTMP push stream unit 213, and the local storage unit 214, the video encoding unit 211, the multiplexing unit 212, and the RTMP push unit 213 are further included. Connected in sequence and the video encoding unit 211 is connected to the panoramic splicing unit 207, the local storage unit 214 is connected to the multiplexing unit 212, and the multiplexing unit 212 is also connected to the audio encoding unit 208, the multi-channel mixing unit 204 and the acquisition module.
  • the first sound pickup unit 113 and the second sound pickup unit 114 are connected to each other, the ISP first unit 202 is connected to the MIPI first interface 209, and the ISP second unit 203 is connected to the MIPI second interface 210, MIPI first The interface 209 is connected to the image first sensor 101 in the acquisition module 1, and the MIPI second interface 210 is connected to the image second sensor 111 in the acquisition module 1.
  • the cloud streaming server module 3 is connected to the RTMP push unit 213 in the core processing module 2.
  • the WAN terminal experience module 4 includes a first demultiplexing unit 401, a first video decoding unit 402, a first display unit 403 connected to the first video decoding unit 402, a first audio decoding unit 404, and the first
  • the first playback unit 405 is connected to the audio decoding unit 404
  • the first demultiplexing unit 401 is connected to the first video decoding unit 402 and the first audio decoding unit 404
  • the cloud streaming media server module 3 and the first demultiplexing unit are connected. 401 is connected.
  • the local server module 5 is connected to the RTMP push flow unit in the core processing module 2.
  • the local area network terminal experience module 6 includes a second demultiplexing unit 601, a second video decoding unit 602, a second display unit 603 connected to the second video decoding unit 602, a second audio decoding unit 604, and
  • the second audio decoding unit 604 is connected to the second playback unit 605, and the second demultiplexing unit 601 is connected to the second video decoding unit 602 and the second audio decoding unit 604, the local server module 5 is connected to the second demultiplexing unit 601.
  • the camera unit first unit 10 and the camera module second unit 11 can collect image/video data of 720 degrees in the entire space without dead angles and pass the MIPI of the core processing module 2 respectively.
  • An interface 209 and an MIPI second interface 210 transmit image/video data to the core processing module 2, and the core processing module 2 receives the first interface 209 and MIPI from the MIPI through the ISP first unit 202 and the ISP second unit 203, respectively.
  • the image/video data transmitted by the second interface 210 is subjected to noise reduction processing, and the GPU unit 206 is scheduled by the CPU management unit 201 in the core processing module 2 to perform splicing of the panoramic video and hardware acceleration processing of the video encoding unit 211.
  • Acquisition module 1 The first unit 113 of the pickup and the second single of the pickup
  • the audio data collected by the element 114 is fused by the multi-channel mixing unit 204, and the audio encoding unit 208 is scheduled by the CPU management unit 201 to perform AAC encoding of the audio, and finally with the panorama processed by the video encoding unit 211.
  • the video is synchronized, it is stored in the local storage unit 214 that is included in the panoramic camera or directly pushes the RTK stream of 4K/30fps through the Ethernet to the cloud streaming server module 3/local server module 5.
  • the cloud streaming server module 3/local server module 5 can perform protocol conversion, and convert the received video stream format into various video formats such as HTTP, HLS, RTP, RTSP, RTCP, RTMP, PNM, MMS, Onvif, and the like.
  • the same video format is distributed to the WAN terminal experience module 4/LAN terminal experience module 6 capable of accepting the live broadcast of the corresponding audio and video format, and the CDN acceleration is also performed during the live broadcast of the panoramic audio and video.
  • the WAN terminal experience module 4/LAN terminal experience module 6 can be a VR-body machine, a mobile phone, a tablet computer, a laptop computer or a desktop computer, and the user can decode the cloud stream through the corresponding player on different experience devices.
  • the video and audio data distributed by the media server module 3/local server module 5 achieves the effect of remote immersive panoramic audio and video live broadcast, and the WAN terminal experience module 4/LAN terminal experience module 6 can support N personal peers to watch online.
  • the binocular 720-degree panoramic acquisition system of the present invention passes two high-processing ISPs and at least two channels
  • the MIPI interface can realize hardware synchronous acquisition of dual-channel video, real-time processing of data of two-way multi-pixel sensors, and real-time splicing of 720-degree panoramic video, ensuring that the network can also be at a lower bit rate.
  • the rapid transmission of high-definition image information greatly enhances the realism and comfort of the user experience.
  • the system's small size, low power consumption and low cost make it more in line with consumer needs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种双目 720 度全景采集***，包括：采集模块（1），用于采集 N 路音频数据和双路视频数据；核心处理模块（2），用于将 N 路音频数据和双路视频数据进行匹配并拼接为全景视频；云端流媒体服务器模块（3）和本地服务器模块（5），用于创建直播、生成推流地址和播放地址，将接收到的音视频流格式进行格式转换；广域网终端体验模块（4）和局域网终端体验模块（6），用于完成音视频现场直播。通过两路高处理能力的ISP 和至少两路 MIPI 接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理及 720 度全景视频的实时拼接，保证在网络较低的码率下也能实现高清图像信息的快速传输。

Description

一种双目 720度全景釆集***
技术领域
[0001] 本发明属于图像采集技术领域， 特别是涉及一种双目 720度全景采集***。
背景技术
[0002] 随着计算机技术的飞速发展， 多媒体所包含的种类也越来越多， 所能表现的效 果也越来越多， 而一些比较传统的表现方式也越来越无法满足大部分客户对于 展示方式的要求。 在传统的表现方式中， 展示的手段无非是静态的平面图片和 动态的视频， 也有通过三维全景进行展示的， 静态图片只能提供场景的某一角 度图像， 即使是广角镜头， 也不能有效全面的对场景进行表现； 而动态视频虽 然可以让用户对场景有全面的了解， 可图像视角依然有限， 观看方式取决于拍 摄者的拍摄方式， 并不自由， 所以， 在我们需要真实、 全面、 直观的表现某一 场景吋， 360全景无疑是最好的选择。
[0003] 随着人们需求的不断提高， 人们更希望构建出一个连续漫游、 信息丰富以及交 互性强的虚拟全景环境， 那么如何快速有效地构建虚拟现实所需要的图像信息 并将其传递到客户端并显示， 提高用户体验的真实感和舒适感， 将成为一个亟 待解决的问题。
技术问题
[0004] 综上所述， 为解决上述技术问题， 本发明提供了一种双目 720度全景采集*** ， 以快速有效地构建虚拟现实所需要的图像信息， 提高用户体验的真实感和舒 适感。
问题的解决方案
技术解决方案
[0005] 本发明提供的一种双目 720度全景采集***， 包括：
[0006] 采集模块， 用于采集 N路音频数据和双路视频数据， 其中 N为大于或等于 2 的正整数；
[0007] 核心处理模块， 用于将所述采集模块采集的双路视频数据进行全景视频实吋拼 接， 同吋将所述 N路音频数据通过环绕立体声算法进行所述 N路音频数据的融 合， 并与全景视频进行算法的位置信息匹配， 使得环绕立体声音频能够根据全 景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况 ， 再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和 音频数据的硬件加速编码， 再进行一个吋间戳同步， 最后将同步后的音频数据 和视频数据进行本地存储或者直接通过以太网进行 RTMP格式的音视频推流， 其与所述采集模块相连接；
[0008] 云端流媒体服务器模块， 用于接收所述核心处理模块通过以太网推流过来的音 频和视频流并在云平台创建直播、 生成推流地址和播放地址， 将接收到的音频 和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发， 其与 所述核心处理模块相连接；
[0009] 广域网终端体验模块， 用于实吋接收和解码云端流媒体服务器模块分发过来的 音频和视频数据， 进行远程沉浸式全景音视频现场的直播体验， 其与所述云端 流媒体服务器模块相连接；
[0010] 本地服务器模块， 用于接收所述核心处理模块通过以太网推流过来的音频和视 频流并在本地服务器创建直播、 生成推流地址和播放地址， 将接收到的音频和 视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发， 其与所 述核心处理模块相连接；
[0011] 局域网终端体验模块， 用于实吋接收和解码本地服务器模块分发过来的音频和 视频数据， 完成本地沉浸式全景音视频现场的直播体验， 其与所述本地服务器 模块相连接。
[0012] 进一步地， 所述采集模块包括相互电连接的摄像头模组第一单元和摄像头模组 第二单元， 所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一 传感器电连接的第一鱼眼镜头， 所述摄像头模组第二单元包括图像第二传感器 以及与所述图像第二传感器电连接的第二鱼眼镜头， 所述采集模块还包括拾音 第一单元和拾音第二单元。
[0013] 进一步地， 所述摄像头模组第一单元的光轴和所述摄像头模组第二单元的光轴 相互重合或者相互平行。 [0014] 进一步地， 所述核心处理模块包括 CPU管理单元、 分别与所述 CPU管理单元 相连接的 ISP第一单元、 ISP第二单元、 多声道混音单元、 内存单元、 GPU单元 、 全景拼接单元以及音频编码单元， 所述核心处理模块还包括 MIPI
第一接口、 MIPI第二接口、 视频编码单元、 复用单元、 RTMP推流单元以及本 地存储单元， 所述视频编码单元、 复用单元、 RTMP推流单元依次连接且所述 视频编码单元与所述全景拼接单元相连接， 所述本地存储单元与所述复用单元 相连接， 所述复用单元还与所述音频编码单元相连接， 所述多声道混音单元与 所述采集模块中的所述拾音第一单元和拾音第二单元相连接， 所述 ISP第一单元 与所述 MIPI第一接口相连接， 所述 ISP第二单元与所述 MIPI第二接口相连接， 所述 MIPI第一接口与所述采集模块中的图像第一传感器相连接， 所述 MIPI第 二接口与所述采集模块中的图像第二传感器相连接。
[0015] 进一步地， 所述云端流媒体服务器模块与所述核心处理模块中的 RTMP推流单 元相连接。
[0016] 进一步地， 所述广域网终端体验模块包括第一解复用单元、 第一视频解码单元 、 与所述第一视频解码单元相连接的第一显示单元、 第一音频解码单元、 与所 述第一音频解码单元相连接的第一播放单元， 所述第一解复用单元与所述第一 视频解码单元和第一音频解码单元相连接， 所述云端流媒体服务器模块与所述 第一解复用单元相连接。
[0017] 进一步地， 所述广域网终端体验模块可以为 VR
一体机、 手机、 平板电脑、 MAC电脑、 笔记本电脑或台式机电脑。
[0018] 进一步地， 所述本地服务器模块与所述核心处理模块中的 RTMP推流单元相连 接。
[0019] 进一步地， 所述局域网终端体验模块包括第二解复用单元、 第二视频解码单元 、 与所述第二视频解码单元相连接的第二显示单元、 第二音频解码单元以及与 所述第二音频解码单元相连接的第二播放单元， 所述第二解复用单元与所述第 二视频解码单元和第二音频解码单元相连接， 所述本地服务器模块与所述第二 解复用单元相连接。
[0020] 进一步地， 所述局域网终端体验模块可以为 VR 一体机、 手机、 平板电脑、 MAC电脑、 笔记本电脑或台式机电脑。 发明的有益效果
有益效果
[0021] 与现有技术相比， 本发明提供的双目 720度全景采集***通过两路高处理能力 的 ISP和至少两路 MIPI接口， 可以实现双路视频的硬件同步采集、 双路千万像 素以上的传感器的数据量的实吋处理、 及 720度全景视频的实吋拼接， 保证在 网络较低的码率下也可以实现高清图像信息的快速传输， 极大地提高了用户体 验的真实感和舒适感， 同吋， 该***体积小、 功耗低及成本低廉的特点使它能 够更加符合消费者的需求。
对附图的简要说明
附图说明
[0022] 图 1为本发明实施例提供的双目 720度全景采集***的结构示意图。
本发明的实施方式
[0023] 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例 ， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用 以解释本发明， 并不用于限定本发明。
[0024] 以下结合具体实施例对本发明的实现进行详细的描述。
[0025] 请参阅图 1， 图 1是本发明实施例提供的双目 720度全景采集***的结构示意 图， 如图 1所示， 双目 720度全景采集***包括：
[0026] 采集模块 1， 用于采集 N路音频数据和双路视频数据， 其中 N为大于或等于 2 的正整数；
[0027] 核心处理模块 2， 用于将采集模块 1采集的双路视频数据进行全景视频实吋拼 接， 同吋将 N路音频采样数据通过环绕立体声算法进行 N路音频数据的融合， 并与全景视频进行算法的位置信息匹配， 使得环绕立体声音频能够根据全景视 频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况， 进 一步加强了体验者身临其境的震撼感， 再把经过匹配的全景视频和环绕立体声 音频进行视频数据的硬件加速编码和音频数据的硬件加速编码， 再进行一个吋 间戳同步， 最后将同步后的音频数据和视频数据进行本地存储或者直接通过以 太网进行 RTMP格式的音视频推流， 其与采集模块 1相连接；
[0028] 云端流媒体服务器模块 3， 用于接收核心处理模块 2通过以太网推流过来的音 频和视频流并在云平台创建直播、 生成推流地址和播放地址， 将接收到的音频 和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发， 其与 核心处理模块 2相连接；
[0029] 广域网终端体验模块 4， 用于实吋接收和解码云端流媒体服务器模块 3分发过 来的音频和视频数据， 进行远程沉浸式全景音视频现场的直播体验， 其与云端 流媒体服务器模块 3相连接；
[0030] 本地服务器模块 5， 用于接收核心处理模块 2通过以太网推流过来的音频和视 频流并在本地服务器创建直播、 生成推流地址和播放地址， 将接收到的音频和 视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发， 其与所 述核心处理模块 2相连接；
[0031] 局域网终端体验模块 6， 用于实吋接收和解码本地服务器模块 5分发过来的音 频和视频数据， 完成本地沉浸式全景音视频现场的直播体验， 其与本地服务器 模块 5相连接。
[0032] 本发明实施例中， 采集模块 1包括相互电连接的摄像头模组第一单元 10和摄 像头模组第二单元 11， 摄像头模组第一单元 10包括图像第一传感器 101以及与 图像第一传感器 101电连接的第一鱼眼镜头 102， 摄像头模组第二单元 11包括 图像第二传感器 111以及与图像第二传感器 111电连接的第二鱼眼镜头 112， 采 集模块 1还包括拾音第一单元 113和拾音第二单元 114。 图像第一传感器 101和 图像第二传感器 111至少达到 13M以上的像素级别， 第一鱼眼镜头 102和第二 鱼眼镜头 112的角度至少达到 190度及以上， 摄像头模组第一单元 10的光轴和 摄像头模组第二单元 11的光轴相互重合或者相互平行。
[0033] 核心处理模块 2包括 CPU管理单元 201、 分别与 CPU管理单元 201相连接的 ISP第一单元 202、 ISP第二单元 203、 多声道混音单元 204、 内存单元
205、 GPU单元 206、 全景拼接单元 207以及音频编码单元 208， 核心处理模块 2 还包括 MIPI第一接口 209、 MIPI第二接口 210、 视频编码单元 211、 复用单元 212、 RTMP推流单元 213以及本地存储单元 214， 视频编码单元 211、 复用单元 212、 RTMP推流单元 213依次连接且视频编码单元 211与全景拼接单元 207相 连接， 本地存储单元 214与复用单元 212相连接， 复用单元 212还与音频编码 单元 208相连接， 多声道混音单元 204与采集模块 1中的拾音第一单元 113和 拾音第二单元 114相连接， ISP第一单元 202与 MIPI第一接口 209相连接， ISP 第二单元 203与 MIPI第二接口 210相连接， MIPI第一接口 209与采集模块 1 中的图像第一传感器 101相连接， MIPI第二接口 210与采集模块 1中的图像第 二传感器 111相连接。
[0034] 云端流媒体服务器模块 3与核心处理模块 2中的 RTMP推流单元 213相连接。
[0035] 广域网终端体验模块 4包括第一解复用单元 401、 第一视频解码单元 402、 与 第一视频解码单元 402相连接的第一显示单元 403、 第一音频解码单元 404以及 与第一音频解码单元 404相连接的第一播放单元 405， 第一解复用单元 401与第 一视频解码单元 402和第一音频解码单元 404相连接， 云端流媒体服务器模块 3 与第一解复用单元 401相连接。
[0036] 本地服务器模块 5与核心处理模块 2中的 RTMP推流单元相连接。
[0037] 局域网终端体验模块 6包括第二解复用单元 601、 第二视频解码单元 602、 与 所述第二视频解码单元 602相连接的第二显示单元 603、 第二音频解码单元 604 以及与所述第二音频解码单元 604相连接的第二播放单元 605， 所述第二解复用 单元 601与所述第二视频解码单元 602和第二音频解码单元 604相连接， 所述 本地服务器模块 5与所述第二解复用单元 601相连接。
[0038] 本发明实施例中， 摄像头模组第一单元 10和摄像头模组第二单元 11可以无死 角的采集整个空间 720度的图像 /视频数据并分别通过核心处理模块 2自带的 MIPI第一接口 209和 MIPI第二接口 210传输图像 /视频数据到核心处理模块 2 内部， 核心处理模块 2通过自带的 ISP第一单元 202和 ISP第二单元 203分别接 收来自 MIPI第一接口 209和 MIPI第二接口 210传输过来的图像 /视频数据并进 行降噪处理， 在通过核心处理模块 2中的 CPU管理单元 201调度 GPU单元 206 对全景视频进行实吋拼接和对视频编码单元 211进行硬件加速处理。 采集模块 1 中的拾音第一单元 113和拾音第二单
[0039] 元 114所采集的音频数据通过多声道混音单元 204进行音频数据的融合并通过 CPU管理单元 201调度音频编码单元 208进行音频的 AAC编码， 最后与经过视 频编码单元 211处理的全景视频进行同步处理后存储到全景相机自带的本地存储 单元 214中或者是直接实吋通过以太网推送 4K/30fps的 RTMP流到云端流媒体 服务器模块 3/本地服务器模块 5。
[0040] 云端流媒体服务器模块 3/本地服务器模块 5可以进行协议转换， 把接收到的视 频流格式转换成为 HTTP, HLS, RTP, RTSP, RTCP, RTMP, PNM, MMS, Onvif等 多种视频格式， 同吋将该多种视频格式分发到能够接受相应音视频格式直播的 广域网终端体验模块 4/局域网终端体验模块 6， 全景音视频直播传输过程中还经 过了 CDN加速。
[0041] 广域网终端体验模块 4/局域网终端体验模块 6可以为 VR—体机、 手机、 平板 电脑、 笔记本电脑或台式机电脑， 用户可以通过不同体验设备上对应的播放器 来实吋解码云端流媒体服务器模块 3/本地服务器模块 5分发过来的视频和音频 数据， 达到远程沉浸式全景音视频现场直播的效果， 广域网终端体验模块 4/局 域网终端体验模块 6能够支持 N个人同吋在线观看。
[0042] 本发明的双目 720度全景采集***通过两路高处理能力的 ISP和至少两路
MIPI接口， 可以实现双路视频的硬件同步采集、 双路千万像素以上的传感器的 数据量的实吋处理、 及 720度全景视频的实吋拼接， 保证在网络较低的码率下 也可以实现高清图像信息的快速传输， 极大地提高了用户体验的真实感和舒适 感， 同吋， 该***体积小、 功耗低及成本低廉的特点使它能够更加符合消费者 的需求。
[0043] 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的 精神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明的保 护范围之内。

Claims

权利要求书
[权利要求 1] 一种双目 720度全景采集***， 其特征在于， 包括：
采集模块， 用于采集 N路音频数据和双路视频数据， 其中 N为大于 或等于 2的正整数；
核心处理模块， 用于将所述采集模块采集的双路视频数据进行全景视 频实吋拼接， 同吋将所述 N路音频数据通过环绕立体声算法进行所 述 N路音频数据的融合， 并与全景视频进行算法的位置信息匹配， 使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真 实场景人耳感受到的声源位置的发生情况， 再把经过匹配的全景视频 和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加 速编码， 再进行一个吋间戳同步， 最后将同步后的音频数据和视频数 据进行本地存储或者直接通过以太网进行 RTMP格式的音视频推流 ， 其与所述采集模块相连接；
云端流媒体服务器模块， 用于接收所述核心处理模块通过以太网推流 过来的音频和视频流并在云平台创建直播、 生成推流地址和播放地址 ， 将接收到的音频和视频流的格式进行格式转换后对处理完成的视频 和音频数据进行分发， 其与所述核心处理模块相连接；
广域网终端体验模块， 用于实吋接收和解码云端流媒体服务器模块分 发过来的音频和视频数据， 进行远程沉浸式全景音视频现场的直播体 验， 其与所述云端流媒体服务器模块相连接；
本地服务器模块， 用于接收所述核心处理模块通过以太网推流过来的 音频和视频流并在本地服务器创建直播、 生成推流地址和播放地址， 将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和 音频数据进行分发， 其与所述核心处理模块相连接；
局域网终端体验模块， 用于实吋接收和解码本地服务器模块分发过来 的音频和视频数据， 完成本地沉浸式全景音视频现场的直播体验， 其 与所述本地服务器模块相连接。
[权利要求 2] 如权利要求 1所述的双目 720度全景采集***， 其特征在于， 所述采 集模块包括相互电连接的摄像头模组第一单元和摄像头模组第二单元 ， 所述摄像头模组第一单元包括图像第一传感器以及与所述图像第一 传感器电连接的第一鱼眼镜头， 所述摄像头模组第二单元包括图像第 二传感器以及与所述图像第二传感器电连接的第二鱼眼镜头， 所述采 集模块还包括拾音第一单元和拾音第二单元。
[权利要求 3] 如权利要求 2所述的双目 720度全景采集***， 其特征在于， 所述摄 像头模组第一单元的光轴和所述摄像头模组第二单元的光轴相互重合 或者相互平行。
[权利要求 4] 如权利要求 1所述的双目 720度全景采集***， 其特征在于， 所述核 心处理模块包括 CPU管理单元、 分别与所述 CPU管理单元相连接的 ISP第一单元、 ISP第二单元、 多声道混音单元、 内存单元、 GPU单 元、 全景拼接单元以及音频编码单元， 所述核心处理模块还包括 MIPI第一接口、 MIPI第二接口、 视频编码单元、 复用单元、 RTMP 推流单元以及本地存储单元， 所述视频编码单元、 复用单元、 RTMP 推流单元依次连接且所述视频编码单元与所述全景拼接单元相连接， 所述本地存储单元与所述复用单元相连接， 所述复用单元还与所述音 频编码单元相连接， 所述多声道混音单元与所述采集模块中的所述拾 音第一单元和拾音第二单元相连接， 所述 ISP第一单元与所述 MIPI 第一接口相连接， 所述 ISP第二单元与所述 MIPI第二接口相连接， 所述 MIPI第一接口与所述采集模块中的图像第一传感器相连接， 所 述 MIPI第二接口与所述采集模块中的图像第二传感器相连接。
[权利要求 5] 如权利要求 1所述的双目 720度全景采集***， 其特征在于， 所述云 端流媒体服务器模块与所述核心处理模块中的 RTMP推流单元相连 接。
[权利要求 6] 如权利要求 1所述的双目 720度全景采集***， 其特征在于， 所述广 域网终端体验模块包括第一解复用单元、 第一视频解码单元、 与所述 第一视频解码单元相连接的第一显示单元、 第一音频解码单元、 与所 述第一音频解码单元相连接的第一播放单元， 所述第一解复用单元与 所述第一视频解码单元和第一音频解码单元相连接， 所述云端流媒体 服务器模块与所述第一解复用单元相连接。
[权利要求 7] 如权利要求 1或 6所述的双目 720度全景采集***， 其特征在于， 所述 广域网终端体验模块可以为 VR—体机、 手机、 平板电脑、 MAC电 脑、 笔记本电脑或台式机电脑。
[权利要求 8] 如权利要求 1所述的双目 720度全景采集***， 其特征在于， 所述本 地服务器模块与所述核心处理模块中的 RTMP推流单元相连接。
[权利要求 9] 如权利要求 1所述的双目 720度全景采集***， 其特征在于， 所述局 域网终端体验模块包括第二解复用单元、 第二视频解码单元、 与所述 第二视频解码单元相连接的第二显示单元、 第二音频解码单元以及与 所述第二音频解码单元相连接的第二播放单元， 所述第二解复用单元 与所述第二视频解码单元和第二音频解码单元相连接， 所述本地服务 器模块与所述第二解复用单元相连接。
[权利要求 10] 如权利要求 1或 9所述的双目 720度全景采集***， 其特征在于， 所述 局域网终端体验模块可以为 VR—体机、 手机、 平板电脑、 MAC电 脑、 笔记本电脑或台式机电脑。
PCT/CN2017/079091 2016-10-12 2017-03-31 一种双目 720 度全景采集*** WO2018068481A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610889527.3 2016-10-12
CN201610889527.3A CN106993177A (zh) 2016-10-12 2016-10-12 一种双目720度全景采集***

Publications (1)

Publication Number Publication Date
WO2018068481A1 true WO2018068481A1 (zh) 2018-04-19

Family

ID=59413729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/079091 WO2018068481A1 (zh) 2016-10-12 2017-03-31 一种双目 720 度全景采集***

Country Status (2)

Country Link
CN (1) CN106993177A (zh)
WO (1) WO2018068481A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682712A (zh) * 2017-09-30 2018-02-09 安徽联智创新软件有限公司 一种视频直播网络推流管理***
CN108495043B (zh) * 2018-04-28 2020-08-07 Oppo广东移动通信有限公司 图像数据处理方法及相关装置
CN108989739B (zh) * 2018-07-24 2020-12-18 上海国茂数字技术有限公司 一种全视角视频会议直播***及方法
CN109062407A (zh) * 2018-07-27 2018-12-21 江西省杜达菲科技有限责任公司 基于vr技术的远程移动终端三维显控***和方法
CN109275010B (zh) * 2018-11-21 2021-10-22 北京未来媒体科技股份有限公司 一种4k全景超融合视频终端适配方法及装置
CN111193865B (zh) * 2019-12-31 2021-08-03 维沃移动通信有限公司 图像处理方法和装置
CN112565596A (zh) * 2020-11-26 2021-03-26 湖南傲英创视信息科技有限公司 成像方法及***
CN116309080B (zh) * 2023-05-11 2023-08-11 武汉纺织大学 一种无人机视频拼接方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN103813213A (zh) * 2014-02-25 2014-05-21 南京工业大学 基于移动云计算的实时视频分享平台和方法
CN105245909A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 结合智能硬件、云计算、互联网进行比赛直播的方法
CN105743973A (zh) * 2016-01-22 2016-07-06 上海科牛信息科技有限公司 一种多人多设备实时同步云协作方法及***
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202395858U (zh) * 2011-12-14 2012-08-22 深圳市中控生物识别技术有限公司 一种双目摄像装置
CN103297688A (zh) * 2013-04-16 2013-09-11 宁波高新区阶梯科技有限公司 一种多媒体全景录制***及录制方法
CN203193773U (zh) * 2013-04-16 2013-09-11 宁波高新区阶梯科技有限公司 一种多媒体全景录制***
CN105120193A (zh) * 2015-08-06 2015-12-02 佛山六滴电子科技有限公司 一种录制全景视频的设备及方法
CN205453875U (zh) * 2016-01-07 2016-08-10 深圳市海瑞洋科技有限公司 全景无线摄像***
CN205320214U (zh) * 2016-01-28 2016-06-15 北京极图科技有限公司 3dvr 全景视频成像装置
CN105578199A (zh) * 2016-02-22 2016-05-11 北京佰才邦技术有限公司 虚拟现实全景多媒体处理***、方法及客户端设备
CN106101503A (zh) * 2016-07-18 2016-11-09 优势拓展（北京）科技有限公司 实时全景直播网络摄像机和***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN103813213A (zh) * 2014-02-25 2014-05-21 南京工业大学 基于移动云计算的实时视频分享平台和方法
CN105245909A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 结合智能硬件、云计算、互联网进行比赛直播的方法
CN105743973A (zh) * 2016-01-22 2016-07-06 上海科牛信息科技有限公司 一种多人多设备实时同步云协作方法及***
CN105979246A (zh) * 2016-06-17 2016-09-28 北京疯景科技有限公司 一种拍摄全景内容的方法及装置

Also Published As

Publication number Publication date
CN106993177A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
WO2018068481A1 (zh) 一种双目 720 度全景采集***
US10003741B2 (en) System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
CN106992959B (zh) 一种3d全景音视频直播***及音视频采集方法
WO2018014495A1 (zh) 实时全景直播网络摄像机和***及方法
US9843725B2 (en) Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
WO2018045927A1 (zh) 一种基于三维虚拟技术的网络实时互动直播方法及装置
WO2016150317A1 (zh) 直播视频的合成方法、装置及***
KR102214085B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US9661273B2 (en) Video conference display method and device
US20200304551A1 (en) Immersive Media Metrics For Display Information
Liu et al. Internet-based videoconferencing coder/decoders and tools for telemedicine
US9900626B2 (en) System and method for distributing multimedia events from a client
WO2022143212A1 (zh) 由组合传送的多个串流取出特定串流播放的***及方法
TWI261465B (en) Digital real-time interactive program system
US20230239525A1 (en) Server, method and terminal
CN206117889U (zh) 一种双目720度全景采集***
CA2794363A1 (en) Multi-depth adaptation for video content
CN115174942A (zh) 一种自由视角切换方法及交互式自由视角播放***
CN211830976U (zh) 一种视频会议平台
TW201125358A (en) Multi-viewpoints interactive television system and method.
Aracena et al. Live VR end-to-end workflows: Real-life deployments and advances in VR and network technology
TWI531244B (zh) 視訊會議資料處理方法及系統
US10264241B2 (en) Complimentary video content
KR102465403B1 (ko) 2d영상 및 360도 영상이 조합된 동영상 콘텐츠를 제공하는 방법 및 장치
CN116456138A (zh) 一种镜像投屏***及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17860982

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17860982

Country of ref document: EP

Kind code of ref document: A1