CN206117891U - 一种音视频采集设备 - Google Patents
一种音视频采集设备 Download PDFInfo
- Publication number
- CN206117891U CN206117891U CN201621157759.1U CN201621157759U CN206117891U CN 206117891 U CN206117891 U CN 206117891U CN 201621157759 U CN201621157759 U CN 201621157759U CN 206117891 U CN206117891 U CN 206117891U
- Authority
- CN
- China
- Prior art keywords
- audio
- video data
- module
- original
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000872 buffer Substances 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 15
- 238000005070 sampling Methods 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 206010070834 Sensitisation Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000012895 dilution Substances 0.000 description 2
- 238000010790 dilution Methods 0.000 description 2
- 230000008313 sensitization Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 235000018453 Curcuma amada Nutrition 0.000 description 1
- 241001512940 Curcuma amada Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本实用新型实施例公开了一种音视频采集设备,该音视频采集设备包括:采集模块和处理模块,采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片,其中:FPGA芯片,用于通过N路第二MIPI硬件同步采集来自N路摄像头模组的原始视频数据,并通过M路第一MIPI将原始视频数据并行发送给处理模块;FPGA芯片,还用于通过P路第一音频数据接口同步采集来自P路拾音器的原始音频数据,并通过第二音频数据接口将原始音频数据发送给处理模块;处理模块,用于对原始视频数据以及原始音频数据进行处理,获得3D全景音视频数据。实施本实用新型实施例可以提高画质的清晰度、减小图像畸变,同时,实现多路视频数据与多路音频数据的硬件同步采集。
Description
技术领域
本实用新型涉及音视频处理技术领域,具体涉及一种音视频采集设备。
背景技术
随着计算机技术、微电子技术、光学技术以及多媒体技术的飞速发展,人们信息交流互通的需求不断加大,信息沟通方式革新的需求更是与日俱增,传统的单个摄像头进行音视频信息采集和网络传输到远程的方式进行可视对讲等等的方式已经不满足人们日益增长无死角的图像视频信息采集的需求,一种突破传统,带给用户720度无死角沉浸式体验的全景音视频采集设备应运而生。
目前,全景音视频采集设备主要分为两大类,第一类是采用双目摄像头方案,即两个摄像头模组背靠背放置或者水平方向错位放置,第二类则是多个摄像头方案,即多目摄像头模组自由排布使得能够无死角采集。然而实践中发现,第一类存在着像素密度不够、图像畸变较大和画质不清晰等问题,第二类无法进行多个摄像头的视频数据帧同步,这两类全景音视频采集设备采集的视频数据都给全景视频的拼接带来影响。可见,如何实现一种图像畸变比较小、画质清晰、多个摄像头采集且同步性好的音视频采集设备是一个亟待解决的技术难题。
发明内容
本实用新型实施例提供了一种音视频采集设备,可以提高画质的清晰度、减小图像畸变,同时,实现多路视频数据与多路音频数据的硬件同步采集。
本实用新型实施例公开了一种音视频采集设备,包括:采集模块和处理模块,所述采集模块通过M路第一移动产业处理器接口MIPI与所述处理模块连接,所述采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片,所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片连接,所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接,其中,M、N、P均为正整数,且M小于N;其中:
所述FPGA芯片,用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据,并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块;
所述FPGA芯片,还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据,并通过第二音频数据接口将所述原始音频数据发送给所述处理模块;
所述处理模块,用于对所述原始视频数据以及所述原始音频数据进行处理,获得3D全景音视频数据。
本实用新型实施例中,N路摄像头模组通过N路第二MIPI与FPGA芯片直接相连,由于第二MIPI的传输速度快,可以用于传输更高清、数据量更大的图像传感器数据,FPGA芯片能够通过N路第二MIPI硬件同步采集来自N路摄像头模组的原始视频数据,以及通过P路第一音频数据接口硬件同步采集来自P路拾音器的原始音频数据,即能够实现多路视频数据与多路音频数据的硬件同步采集。此外,N路摄像头模组为高清摄像头模组,多路高清摄像头模组输入的视频数据能够支持更高像素和清晰度,故处理模块获得的3D全景音视频数据的清晰度会很高,同时,N路高清摄像头模组的感光晶元的总尺寸会更大,进一步分担了拍摄全景中每个像素点承担成像角度的压力,使得图像畸变大大减小,同时像素稀释度大大降低,最终使得拼接的全景视频质量增高,从而能够提高画质的清晰度、减小图像畸变。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实用新型实施例公开的一种音视频采集设备;
图2是本实用新型实施例公开的另一种音视频采集设备。
具体实施方式
下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本实用新型一部分实施例,而不是全部的实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本实用新型保护的范围。
本实用新型实施例公开了一种音视频采集设备,可以提高画质的清晰度、减小图像畸变,同时,实现多路视频数据与多路音频数据的硬件同步采集。以下分别进行详细说明。
请参见图1,图1是本实用新型实施例公开的一种音视频采集设备。其中,图1所示的音视频采集设备可以实现多个摄像头同步采集视频数据。如图1所示,该音视频采集设备可以包括:采集模块100和处理模块200,所述采集模块100通过M路第一移动产业处理器接口MIPI(比如第一MIPI 1、第一MIPI 2……第一MIPI M)与所述处理模块200连接,所述采集模块100包括N路摄像头模组(比如摄像头模组1、摄像头模组2……摄像头模组N)、P路拾音器(比如拾音器1、拾音器2……拾音器N)以及现场可编程门阵列FPGA芯片110,所述N路摄像头模组通过N路第二MIPI(比如第二MIPI 1、第二MIPI 2……第二MIPI N)与所述FPGA芯片连接,所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接,其中,M、N、P均为正整数,且M小于N;其中:
所述FPGA芯片110,用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据,并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块;
所述FPGA芯片110,还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据,并通过第二音频数据接口将所述原始音频数据发送给所述处理模块;
所述处理模块200,用于对所述原始视频数据以及所述原始音频数据进行处理,获得3D全景音视频数据。
其中,现场可编程门阵列(Field-Programmable Gate Array,FPGA),移动产业处理器接口(Mobile Industry Processor Interface,MIPI)。
本实用新型实施例中,N路摄像头模组通过N路第二MIPI与FPGA芯片110直接相连,由于第二MIPI的传输速度快,可以用于传输更高清、数据量更大的图像传感器数据,FPGA芯片110具有接口丰富且能够并行工作的特点,故FPGA芯片110能够通过N路第二MIPI硬件同步采集来自N路摄像头模组的原始视频数据,以及通过P路第一音频数据接口硬件同步采集来自P路拾音器的原始音频数据,即能够实现多路视频数据与多路音频数据的硬件同步采集。此外,故处理模块200获得的3D全景音视频数据的清晰度会很高,同时,N路高清摄像头模组的感光晶元的总尺寸会更大,进一步分担了拍摄全景中每个像素点承担成像角度的压力,使得图像畸变大大减小,同时像素稀释度大大降低,最终使得拼接的全景视频质量增高,从而能够提高画质的清晰度、减小图像畸变。
其中,针对每路所述摄像头模组,所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头(图中未示出);可选的,N个所述镜头按照一个圆形进行镜头朝外均匀分布排列,或者,N个所述镜头按照镜头朝外均匀分布在一个球体上。
作为一种可选的实施方式,若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列,则所述镜头为角度大于或等于180度的鱼眼镜头,每个所述图像传感器竖立放置;
在该实施方式中,需要每个所述图像传感器竖立放置,即图像传感器的长边与多个图像传感器水平均匀排布的圆周相垂直,这样,能够提高图像传感器的像素利用率和成像画质质量。
作为另一种可选的实施方式,若N个所述镜头按照镜头朝外均匀分布在一个球体上,则所述镜头为广角镜头,所述广角镜头的角度与所述图像传感器的数量相对应。
在该实施方式中,需要采用广角镜头,广角镜头的角度与所述图像传感器的数量相对应,即广角镜头的角度会根据图像传感器数目的不同而不同。
FPGA芯片110能够在同一时刻对N个图像传感器按照10bit精度进行硬件同步的原始视频数据采集,采集得到N路图像传感器的RAW DATA格式的原始视频数据。
作为另一种可选的实施方式,所述FPGA芯片110包括:N个视频数据输入缓存单元以及M个视频数据输出缓存单元(图中为示出),N为M的整倍数,其中,
所述视频数据输入缓存单元,用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据;
所述FPGA芯片110,还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组,获得每个分组的原始视频数据;
所述视频数据输出缓存单元,用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据,以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。
具体的,FPGA芯片110通过N路第二MIPI硬件同步采集来自N路摄像头模组的原始视频数据。同时,FPGA芯片110为这N路摄像头模组分别建立了视频数据输入缓存单元,即总共建立了N个视频数据输入缓存单元。其中,每个视频数据输入缓存单元可以存储X帧的视频数据帧,X大于等于1,这样有利于每一路摄像头模组高速且高帧率传输过来的原始视频数据能够及时地被接收与缓存,便于后续原始视频数据的处理,同时,防止因为后续处理工作效率不能够与摄像头模组输出效率匹配而造成的视频数据的丢失。
其中,每经过一次FPGA芯片110对N路摄像头模组的硬件同步采集所得到的原始视频数据可以称之为一组采集输入,N个经过硬件同步采集得到的原始视频数据,即一组采集输入,就会并行的存储到对应的视频数据输入缓存单元中,而且在每一个视频数据输入缓存单元中,每一次硬件同步采集到的对应于该视频数据输入缓存单元的原始视频数据会按照存储空间地址从低到高的顺序或者从高到低的顺序依次地存储,直到该视频数据输入缓存单元的原始视频数据帧的数目达到X,如果再有新的原始视频数据帧输入进来,就会覆盖掉第一个存储到视频数据输入缓存单元的数据帧,并继续按照顺序依次存储并覆盖之前存储的原始视频数据。
此外,FPGA芯片110在进行N路摄像头模组的原始视频数据的采集并传输给视频数据输入缓存单元的过程中,FPGA芯片110还将N个视频数据输入缓存单元存储的原始视频数据均分为M组,获得每个分组的原始视频数据,并把每个分组的原始视频数据存储到与该分组对应的视频数据输出缓存单元,其中,视频数据输出缓存单元的数量为M个,每个分组的原始视频数据帧的数目为N/M个,其中,N为M的整倍数。M路视频数据输出缓存单元将通过M路所述第一MIPI将存储的原始视频数据并行地发送给所述处理模块。
同时,M路视频数据输出缓存单元也会向FPGA芯片110发出数据请求,该数据请求用于请求把N路视频数据输入缓存单元中所存储的一组采集输入继续均分为M组,并传递给M路视频数据输出缓存单元。这样FPGA芯片110内部依次实时地进行着N路摄像头模组的原始视频数据的硬件同步采集,并作为一组采集输入按照地址存储顺序存储到对应的N路视频数据输入缓存单元中,然后等到M路视频数据输出缓存单元发出数据请求的时候,再依次地把N路视频数据输入缓存单元中的原始视频数据以一组采集输入的方式,按照先进先出的原则依次的传递给M路视频数据输出缓存单元。
这样,M路视频数据输出缓存单元就可以通过M路所述第一MIPI将存储的原始视频数据发送给所述处理模块200,以便于所述处理模块200对原始视频数据进行后续处理。
作为另一种可选的实施方式,所述P路拾音器为P路模拟麦克,所述第一音频数据接口为音频输入AIN接口。
具体的,FPGA芯片110通过P路AIN接口与P路模拟麦克进行连接,通过FPGA芯片110进行P路模拟音频信号放大、AGC(自动增益控制)、A/D采样、量化和编码,最后得到P路原始音频数据。可以根据精度和音质的不同需求来择取采集位数,比如8位、16位、24位等,可以根据不同音质要求来择取采样频率,比如22.05KHz、44.1KHz、48KHz。
作为另一种可选的实施方式,所述P路拾音器为P路数字麦克,所述第一音频数据接口为集成电路内置音频总线I2S接口。
具体的,FPGA芯片110通过P路I2S接口来接收P路数字麦克的原始音频数据,采样精度主要由数字麦克本身特性来限制。
作为另一种可选的实施方式,所述FPGA芯片110包括:P个音频数据输入缓存单元以及一个音频数据输出缓存单元,其中,
所述音频数据输入缓存单元,用于存储与所述音频数据输入缓存单元对应的所述拾音器的原始音频数据;
所述音频数据输出缓存单元,用于存储来自P个所述音频数据输入缓存单元的原始音频数据,以及用于通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块。
其中,第一音频数据接口可以包括但不限于USB2.0、USB3.0、McBSP、HDMI等接口;第二音频数据接口可以包括但不限于USB2.0、USB3.0、McBSP、HDMI等接口。
具体的,FPGA芯片110为每路拾音器建立了一个音频数据输入缓存单元。同时,FPGA芯片110也为采集到的P路原始音频数据建立了一个总的音频数据输出缓存单元。无论拾音器是模拟麦克还是数字麦克,对于每个音频数据输入缓存单元来说,音频数据输入缓存单元存储与该音频数据输入缓存单元对应的拾音器的原始音频数据,
当处理模块200对FPGA芯片110发送数据获取请求或音频数据输入缓存单元存储的数据填满了之后,P个音频数据输入缓存单元就会把存储的P路原始音频数据按照第1路~第P路的顺序依次传输给音频数据输出缓存单元,该音频数据输出缓存单元按照一定的格式对接收到的原始音频数据进行缓存,并通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块200。
请参见图2,图2是本实用新型实施例公开的另一种音视频采集设备。其中,图2所示的音视频采集设备是在图1所示音视频采集设备的基础上进一步优化得到的,与图1所示的音视频采集设备相比,图2所示的音视频采集设备除了包括图1所示的音视频采集设备的所有模块外,图2所示的处理模块200包括:主控模块210、M路图像信号处理ISP模块(比如ISP模块1、ISP模块2……ISP模块M)、图形处理器GPU模块220、编码模块230以及外部存储模块240,其中,
所述主控模块210,用于通过所述M路第一MIPI并行接收所述原始视频数据,并通过调度所述M路ISP模块以及所述GPU模块220对所述原始视频数据进行处理,获得3D全景视频数据;
所述主控模块210,还用于通过所述第二音频数据接口接收所述原始音频数据,并对所述原始音频数据进行处理,获得全景音频数据;
所述主控模块210,还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理;
所述主控模块210,还用于通过调度所述编码模块230对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理,以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理,获得3D全景音视频数据;
所述主控模块210,还用于通过调度所述外部存储模块240存储所述3D全景音视频数据。
其中,所述主控模块210通过调度所述M路ISP模块以及所述GPU模块220对所述原始视频数据进行处理,获得3D全景视频数据的方式具体为:
所述主控模块210通过调度所述M路ISP模块对所述原始视频数据进行ISP处理,获得M路视频数据;
所述主控模块210通过调度所述GPU模块220对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理,获得3D全景视频数据。
其中,所述主控模块210对所述原始音频数据进行处理,获得全景音频数据的方式具体为:
所述主控模块210对所述原始音频数据进行环绕立体声算法处理与合成,获得全景音频数据。
其中,主控模块210可以为中央处理器(Central Processing Unit,CPU),图像信号处理(Image Signal Processin,ISP),图形处理器(Graphics Processing Unit,GPU)。
具体的,本实用新型实施例中,FPGA芯片110通过M路第一MIPI将N路摄像头模组的RAW DATA格式的原始视频数据帧传输给处理模块200之后,处理模块200中的主控模块210通过所述M路第一MIPI并行接收所述原始视频数据,通过调度所述M路ISP模块对所述原始视频数据进行ISP处理,即进行3D降噪处理、图像质量优化处理以及将转换RAW DATA格式的原始视频数据转换成YUV格式的原始视频数据,最后获得M路视频数据;进一步地,通过调度所述GPU模块220对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理,获得3D全景视频数据;同时,所述主控模块210对所述原始音频数据进行环绕立体声算法处理与合成,获得全景音频数据。其中,3D全景视频数据的分辨率、帧率和视频流的码率主要受到处理模块200本身性能的影响,至少能够实现编码4K/30fps且低码率的实时视频流。
进一步地,所述主控模块210还对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理,这样,可以使得全景音频能够根据3D全景视频不同的视角位置匹配模拟出真实场景中人耳感受到的声源位置的发生情况,进一步加强了体验者身临其境的震撼感。
此外,所述主控模块210还通过调度所述编码模块230对匹配后的3D全景视频数据进行硬件加速的H264/H265编码,以及对匹配后的全景音频数据进行硬件加速的AAC编码,进一步地,所述主控模块210把经过编码的3D全景视频数据以及全景音频数据进行音视频同步处理,以确保音视频数据的同步,这样,就获得了3D全景音视频数据。
其中,主控模块210的处理器可以是英特尔(intel)处理器,手机平台处理器(如高通、联发科、海思、三星、德州仪器)或者是英伟达的显卡处理器等等。
作为另一种可选的实施方式,所述主控模块210还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
其中,实时消息传输协议(Real Time Messaging Protocol,RTMP)。具体的,所述主控模块210还用于通过以太网以无线或者有线的方式将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
局域网服务器主要用于搭建局域网环境下支持多用户同时观看本地3D全景音视频数据的流媒体直播,它能够接受音视频采集设备推流过来的RTMP格式的音视频流,同时,支持多种音视频流格式的转换,例如转换成HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等协议,并进行音视频流的多路分发工作,以便于用户终端进行身临其境的实时3D全景音视频直播体验。
广域网服务器主要用于接收音视频采集设备通过以太网推流过来的音视频流并在云平台创建直播、生成推流地址或播放地址分发到用户终端,广域网服务还可以进行协议转换,把接收到的音视频流的格式转换成为HTTP、HLS、RTP、RTSP、RTCP、RTMP、PNM、MMS、Onvif等等多种视频格式,并分发到能够接受相应视频格式直播的用户终端。同时,音视频流在传输过程中还经过了CDN加速过程。
以上对本实用新型实施例所提供的一种音视频采集设备进行了详细介绍,本文中应用了具体实例对本实用新型的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本实用新型的方法及其核心思想;同时,对于本领域的一般技术人员,依据本实用新型的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本实用新型的限制。
Claims (10)
1.一种音视频采集设备,其特征在于,包括:采集模块和处理模块,所述采集模块通过M路第一移动产业处理器接口MIPI与所述处理模块连接,所述采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片,所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片连接,所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接,其中,M、N、P均为正整数,且M小于N;其中:
所述FPGA芯片,用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据,并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块;
所述FPGA芯片,还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据,并通过第二音频数据接口将所述原始音频数据发送给所述处理模块;
所述处理模块,用于对所述原始视频数据以及所述原始音频数据进行处理,获得3D全景音视频数据。
2.根据权利要求1所述的音视频采集设备,其特征在于,所述处理模块包括:主控模块、M路图像信号处理ISP模块、图形处理器GPU模块、编码模块以及外部存储模块,其中,
所述主控模块,用于通过所述M路第一MIPI并行接收所述原始视频数据,并通过调度所述M路ISP模块以及所述GPU模块对所述原始视频数据进行处理,获得3D全景视频数据;
所述主控模块,还用于通过所述第二音频数据接口接收所述原始音频数据,并对所述原始音频数据进行处理,获得全景音频数据;
所述主控模块,还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理;
所述主控模块,还用于通过调度所述编码模块对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理,以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理,获得3D全景音视频数据;
所述主控模块,还用于通过调度所述外部存储模块存储所述3D全景音视频数据。
3.根据权利要求2所述的音视频采集设备,其特征在于,所述主控模块通过调度所述M路ISP模块以及所述GPU模块对所述原始视频数据进行处理,获得3D全景视频数据的方式具体为:
所述主控模块通过调度所述M路ISP模块对所述原始视频数据进行ISP处理,获得M路视频数据;
所述主控模块通过调度所述GPU模块对所述M路视频数据进行硬件加速的实时3D全景算法拼接和渲染处理,获得3D全景视频数据。
4.根据权利要求2所述的音视频采集设备,其特征在于,所述主控模块对所述原始音频数据进行处理,获得全景音频数据的方式具体为:
所述主控模块对所述原始音频数据进行环绕立体声算法处理与合成,获得全景音频数据。
5.根据权利要求2~4任一项所述的音视频采集设备,其特征在于,所述主控模块还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到局域网服务器或广域网服务器。
6.根据权利要求1~4任一项所述的音视频采集设备,其特征在于,针对每路所述摄像头模组,所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头;其中,
N个所述镜头按照一个圆形进行镜头朝外均匀分布排列,或者,N个所述镜头按照镜头朝外均匀分布在一个球体上。
7.根据权利要求6所述的音视频采集设备,其特征在于,若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列,则所述镜头为角度大于或等于180度的鱼眼镜头,每个所述图像传感器竖立放置;
若N个所述镜头按照镜头朝外均匀分布在一个球体上,则所述镜头为广角镜头,所述广角镜头的角度与所述图像传感器的数量相对应。
8.根据权利要求1~4任一项所述的音视频采集设备,其特征在于,所述FPGA芯片包括:N个视频数据输入缓存单元以及M个视频数据输出缓存单元,N为M的整倍数,其中,
所述视频数据输入缓存单元,用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据;
所述FPGA芯片,还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组,获得每个分组的原始视频数据;
所述视频数据输出缓存单元,用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据,以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。
9.根据权利要求1~4任一项所述的音视频采集设备,其特征在于,所述FPGA芯片包括:P个音频数据输入缓存单元以及一个音频数据输出缓存单元,其中,
所述音频数据输入缓存单元,用于存储与所述音频数据输入缓存单元对应的所述拾音器的原始音频数据;
所述音频数据输出缓存单元,用于存储来自P个所述音频数据输入缓存单元的原始音频数据,以及用于通过所述第二音频数据接口将存储的原始音频数据发送给所述处理模块。
10.根据权利要求1~4任一项所述的音视频采集设备,其特征在于,所述P路拾音器为P路模拟麦克,所述第一音频数据接口为音频输入AIN接口;或
所述P路拾音器为P路数字麦克,所述第一音频数据接口为集成电路内置音频总线I2S接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201621157759.1U CN206117891U (zh) | 2016-11-01 | 2016-11-01 | 一种音视频采集设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201621157759.1U CN206117891U (zh) | 2016-11-01 | 2016-11-01 | 一种音视频采集设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN206117891U true CN206117891U (zh) | 2017-04-19 |
Family
ID=58527235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201621157759.1U Active CN206117891U (zh) | 2016-11-01 | 2016-11-01 | 一种音视频采集设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN206117891U (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107659775A (zh) * | 2017-11-02 | 2018-02-02 | 深圳市裂石影音科技有限公司 | 一种具有多通道音频采集功能的全景相机 |
WO2018082284A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳市圆周率软件科技有限责任公司 | 3d全景音视频直播***及音视频采集方法 |
CN112584092A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 数据采集装置及数据采集*** |
WO2022183969A1 (zh) * | 2021-03-03 | 2022-09-09 | 阿里巴巴(中国)有限公司 | 音频处理***、中间层芯片及音频处理设备 |
TWI788817B (zh) * | 2021-04-07 | 2023-01-01 | 崑山科技大學 | 多視角串流合成系統及方法 |
-
2016
- 2016-11-01 CN CN201621157759.1U patent/CN206117891U/zh active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018082284A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳市圆周率软件科技有限责任公司 | 3d全景音视频直播***及音视频采集方法 |
CN107659775A (zh) * | 2017-11-02 | 2018-02-02 | 深圳市裂石影音科技有限公司 | 一种具有多通道音频采集功能的全景相机 |
CN112584092A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 数据采集装置及数据采集*** |
CN112584092B (zh) * | 2019-09-30 | 2024-05-03 | 广州汽车集团股份有限公司 | 数据采集装置及数据采集*** |
WO2022183969A1 (zh) * | 2021-03-03 | 2022-09-09 | 阿里巴巴(中国)有限公司 | 音频处理***、中间层芯片及音频处理设备 |
CN115102929A (zh) * | 2021-03-03 | 2022-09-23 | 阿里巴巴(中国)有限公司 | 音频处理***、中间层芯片及音频处理设备 |
CN115102929B (zh) * | 2021-03-03 | 2024-02-13 | 阿里巴巴(中国)有限公司 | 音频处理***、中间层芯片及音频处理设备 |
TWI788817B (zh) * | 2021-04-07 | 2023-01-01 | 崑山科技大學 | 多視角串流合成系統及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106992959B (zh) | 一种3d全景音视频直播***及音视频采集方法 | |
CN206117891U (zh) | 一种音视频采集设备 | |
US10021301B2 (en) | Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor | |
TWI595786B (zh) | 基於時間戳記的音訊與視訊處理方法及其系統 | |
US9843725B2 (en) | Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor | |
US20140307046A1 (en) | Live Panoramic Image Capture and Distribution | |
EP2234406A1 (en) | A three dimensional video communication terminal, system and method | |
CN101945096A (zh) | 手机面向机顶盒和pc进行视频直播的***及其工作方法 | |
US10708469B2 (en) | Image processing apparatus, method of controlling the same, non-transitory computer-readable storage medium, and image processing system | |
US9601156B2 (en) | Input/output system for editing and playing ultra-high definition image | |
WO2018068481A1 (zh) | 一种双目 720 度全景采集*** | |
KR101611531B1 (ko) | 촬영장치 및 촬영영상 제공방법 | |
US20180376181A1 (en) | Networked video communication applicable to gigabit ethernet | |
CN105681307A (zh) | 一种便携式摄像机影音编码存储网络传输设备 | |
WO2011099254A1 (ja) | データ処理装置及びデータ符号化装置 | |
CN109640030A (zh) | 一种视频会议***的音视频外设扩展装置及方法 | |
CN104205851A (zh) | 信息处理装置和方法以及程序 | |
CN206117889U (zh) | 一种双目720度全景采集*** | |
CN209419734U (zh) | 一种视频会议***的音视频外设扩展装置 | |
CN114830674B (zh) | 发送装置和接收装置 | |
JP2019020845A (ja) | 画像処理装置及び方法、及び、画像処理システム | |
CN114286121A (zh) | 一种基于全景相机实现画面导播直播的方法和*** | |
CN113452943A (zh) | 一种基于fpga的全景高清视频采集处理设备 | |
CN201667698U (zh) | 一种基于ip网络的高清视频监控*** | |
KR20100054586A (ko) | 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Building 4D, Gongyanhui Science and Technology Industrial Park, No. 160, Xihu West Road, Wujin National High and New Technology Industrial Development Zone, Changzhou City, Jiangsu Province, 213166 Patentee after: Pi Technology (Changzhou) Co.,Ltd. Address before: No.09, 8th Floor, International Student Entrepreneurship Building, No. 29 South Ring, High tech Zone, Nanshan District, Shenzhen, Guangdong Province, 518000 Patentee before: SHENZHEN PISOFTTECH TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |