CN107105135A - 全景相机 - Google Patents

Abstract

本发明提出一种全景相机，包括相机本体及设置于相机本体的控制模组，所述控制模组包括连接拼接单元的输入端的多个图像传感器、音频处理单元，连接所述拼接单元的输出端的信号处理单元，以及连接所述信号处理单元的输出端的通信单元，利用拼接单元将从多个图像传感器输入的多路图像数据和从音频处理单元输入的音频数据合成为全景视频，由信号处理单元进一步处理后利用通信单元进行推送，或者直接向智能终端输出独立的视频源文件和音频源文件，多路图像数据和音频数据在拼接单元内根据需要做单独处理，操作简单、提高了全景视频的合成速度和输出的实时性。

Description

全景相机

技术领域

本发明涉及数码设备技术领域，尤其涉及一种全景相机。

背景技术

现有的全景相机分为两种，一种是将相机摄像头拍摄的原始数据经过图像信号处理后进行拼接，一种是将镜头拍摄的图像信息经FPGA(Field－Programmable Gate Array，现场可编程门阵列)传输给处理单元做拼接处理；前者在拼接前需要进行图像3A处理(自动对焦、自动曝光、自动白平衡)，并且在进行拼接时还需要在复杂的PCIe(PeripheralComponent Interconnect Express)接口和数据通道之间进行切换，操作复杂、处理速度较慢；后者在DSP(Digital Signal Processing，数字信号处理)处理器中运用算法进行视频拼接，算法较为复杂，增大了DSP处理器的运算量，导致全景视频的输出延迟。

发明内容

本发明的主要目的在于提供一种全景相机，旨在减少全景视频输出的延迟，提高全景视频输出的实时性。

为实现上述目的，本发明提出的全景相机，包括相机本体及设置于相机本体的控制模组，所述控制模组包括多个图像传感器、音频处理单元、拼接单元、信号处理单元、及通信单元，所述拼接单元的输入端连接所述图像传感器、音频处理单元，将所述多个图像传感器输入的多路图像数据和音频处理单元输入的音频数据处理成全景视频或音视频源文件，所述拼接单元的输出端连接所述信号处理单元，所述信号处理单元的输出端连接所述通信单元，向智能终端传输所述全景视频或音视频源文件。

进一步地，该全景相机还包括设置于所述相机本体的镜头及麦克风，所述图像传感器的输入端连接所述镜头、输出端连接所述拼接单元，所述音频处理单元的输入端连接所述麦克风、输出端连接所述拼接单元。

进一步地，所述镜头设置有至少四个，所述至少四个镜头均匀分布于所述相机本体的四个侧面，所述图像传感器设置有四个，每一图像传感器均连接至少一个镜头。

进一步地，所述麦克风设置有四个，所述音频处理单元包括主编解码器及连接所述主编解码器的从编解码器，所述主编解码器连接其中两个麦克风，所述从解编码器连接另外两个麦克风，所述主编解码器连接所述拼接单元。

进一步地，所述拼接单元为现场可编程门阵列FPGA芯片或复杂可编程逻辑器件CPLD芯片。

进一步地，所述信号处理单元包括第一DSP处理器，所述通信单元包括WIFI模块和RJ45接口，所述第一DSP处理器的输入端连接所述拼接单元，所述第一DSP处理器的输出端连接所述WIFI模块，所述第一DSP处理器的输出端还连接所述RJ45接口。

进一步地，所述信号处理单元还包括第二DSP处理器和第三DSP处理器，所述通信单元还包括三PHY芯片和航空头，所述三PHY芯片包括第一PHY芯片、第二PHY芯片、及第三PHY芯片，所述第二DSP处理器的输入端连接所述拼接单元、输出端连接所述第二PHY芯片，所述第三DSP处理器的输入端连接所述拼接单元、输出端连接所述第三PHY芯片，所述第一PHY芯片的输入端连接所述拼接单元，所述三PHY芯片的输出端均通过一网线连接所述航空头。

进一步地，所述信号处理单元还包括至少三个存储器，所述第一DSP处理器、第二DSP处理器、及第三DSP处理器均连接至少一个存储器，所述存储器为DDR、FLASH、或TF卡。

进一步地，所述通信单元还包括蓝牙模块，所述第一DSP处理器的输出端连接所述蓝牙模块。

进一步地，该全景相机还包括电源棒模块，所述相机本体上设有一电源接口，所述电源棒模块***所述电源接口向所述控制模组供电。

本发明的全景相机，包括相机本体及设置于相机本体的控制模组，所述控制模组包括连接拼接单元的输入端的多个图像传感器、音频处理单元，连接所述拼接单元的输出端的信号处理单元，以及连接所述信号处理单元的输出端的通信单元，利用拼接单元将从多个图像传感器输入的多路图像数据和从音频处理单元输入的音频数据合成为全景视频，由信号处理单元进一步处理后利用通信单元向智能终端进行推送，或者直接向智能终端输出独立的视频源文件和音频源文件，多路图像数据和音频数据在拼接单元内根据需要做单独处理，操作简单、提高了全景视频的合成速度和输出的实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明全景相机的控制模组一实施例的结构示意图。

附图标号说明：

标号	名称	标号	名称
				100	控制模组	50	通信单元
10	图像传感器	51	WIFI模块
				20	音频处理单元	53	RJ45接口
21	主编解码器	55	PHY芯片
				23	从编解码器	551	第二PHY芯片
30	拼接单元	553	第三PHY芯片
				40	信号处理单元	555	第一PHY芯片
41	第一DSP处理器	57	航空头
				43	第二DSP处理器	59	蓝牙模块
45	第三DSP处理器	60	麦克风
				47	存储器

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种全景相机，主要利用该全景相机实现全景视频的直播。

参照图1，图1为本发明的全景相机中控制模组一实施例的结构示意图。

在图1所示的实施例中，所述全景相机包括相机本体(未图示)及设置于相机本体的控制模组100，所述控制模组100包括多个图像传感器10、音频处理单元20、拼接单元30、信号处理单元40、及通信单元50，所述拼接单元30的输入端连接所述图像传感器10、音频处理单元20，将所述多个图像传感器10输入的多路图像数据和音频处理单元20输入的音频数据处理成全景视频或音视频源文件，所述拼接单元30的输出端连接所述信号处理单元40，所述信号处理单元40的输出端连接所述通信单元50，向智能终端传输所述全景视频或音视频源文件。

进一步参照图1，该全景相机还包括设置于所述相机本体的镜头及麦克风60，所述图像传感器10的输入端连接所述镜头、输出端连接所述拼接单元30，所述音频处理单元20的输入端连接所述麦克风60、输出端连接所述拼接单元30。

在本实施例中，该全景相机主要用于实现全景视频的直播，为了实现该直播功能，该全景相机包括相机本体(未图示)、设置于相机本体的镜头、麦克风60、及控制模组100，所述相机本体可以采用热塑性材料注塑成型，也可以采用合金材料制成，所述相机本体上设置有多个用于容置所述镜头的容置槽，所述容置槽内设置有云台，每一镜头对应设置于一云台上，可以在该云台上实现多角度的旋转，以实现各个角度的图像抓取。所述控制模组100包括多个图像传感器10、音频处理单元20、拼接单元30、信号处理单元40、及通信单元50，所述多个图像传感器10采用CMOS图像传感器，在本实施例中，所述镜头也设置有多个，每一图像传感器10的输入端均连接至少一个镜头，每一图像传感器10的输出端均连接所述拼接单元30，所述图像传感器10将镜头捕捉到的模拟图像信号转换为拼接单元30能够处理的数字图像信号，每一图像传感器10通过LVDS接口连接于所述拼接单元30，所述拼接单元30一般采用硬件处理模式，如现场可编程门阵列FPGA芯片或复杂可编程逻辑器件CPLD芯片，通过增大输出时的传输速率，在相同时间内输出单路或预设路数的数字信号，在其他实施例中国还可以采用软件处理模式如MCU等通过构建缓存区，将全部数据接收至所述缓存区后，通过对全部数据进行打包，将打包后的数据包通过唯一的输出接口，输出至信号处理单元40进行应用。所述音频处理单元20的输入端连接所述麦克风、输出端连接所述拼接单元30，将麦克风采集的声音模拟信号转换为音频数字信号后在音频处理单元20内进行编码、压缩，并在接收端进行信号解码，并将解码之后的数字信号通过PCM接口或IIS接口传输至拼接单元30，所述拼接单元30的输出端连接所述信号处理单元40，将在FPGA芯片、CPLD芯片或MCU内的完成拼接后的4K全景视频或2路独立画面共用一个画布的图像数据和4路独立音频数据输出至信号处理单元40，由信号处理单元40做ISP处理、压缩存储、或通过通信单元50向智能终端进行推送。

本实施例的全景相机，利用拼接单元30将从多个图像传感器10输入的多路图像数据和从音频处理单元20输入的音频数据合成为全景视频，由信号处理单元40进一步处理后利用通信单元50进行推送，或者直接向智能终端输出独立的视频源文件和音频源文件，多路图像数据和音频数据在拼接单元30内根据需要做单独处理，操作简单、提高了全景视频的合成速度和输出的实时性。

进一步参照图1，所述镜头设置有至少四个，所述至少四个镜头均匀分布于所述相机本体的四个侧面，所述图像传感器10设置有四个，每一图像传感器10均连接至少一个镜头。

在本实施例中，所述全景相机包括四个镜头，所述四个镜头均匀分布于所述相机本体的四个侧面，每一镜头的抓取角度范围为90度，以实现全景相机360度图像捕捉和抓取，所述图像传感器10设置有四个，每一图像传感器10均连接一个镜头，将每一镜头捕捉到的图像模拟信号转换为图像数字信号，在其他实施例中，所述全景相机还可以设置更多的镜头，每一图像传感器10均连接至少一个镜头，实现全景相机全方位的图像捕捉。

进一步参照图1，所述麦克风60设置有四个，所述音频处理单元20包括主编解码器21及连接所述主编解码器21的从编解码器23，所述主编解码器21连接其中两个麦克风60，所述从解编码器23连接另外两个麦克风60，所述主编解码21器连接所述拼接单元30。

在本实施例中，所述麦克风60的数量为四个，所述四个麦克风可以形成一阵列均匀分布于所述相机本体的同一位面，以便更好地对应用场景的声音信号进行捕捉和拾取，降低噪声的影响，在其他实施例中所述麦克风60还可以设置更多，以增强麦克风60拾取到的声音信号的强度，所述麦克风60将拾取到的声音信号转换为音频数字信号传输至音频处理单元20进行编码、压缩和解压缩，所述音频处理单元20包括主编解码器21及连接主编解码器21的从编解码器23，所述主编解码器21连接其中两个麦克风60，所述从编解码器23连接另外两个麦克风60，对经AD转换后的音频数字信号的传输进行编码、压缩，并在接收端对所述音频数字信号进行解码，所述从编解码器23将解码后的音频数字信号传输至主编解码器21，由主编解码器21将解码之后的音频数字信号经过PCM接口传输至拼接单元30，拼接单元30将主编解码器21输入的音频数字信号处理成4路音频信号保存至一存储器中，以便后续应用过程中随时调取，提高了音频信号传输的兼容性和安全性。

进一步参照图1，所述信号处理单元40包括第一DSP处理器41，所述通信单元50包括WIFI模块51和RJ45接口53，所述第一DSP处理器41的输入端连接所述拼接单元30，所述第一DSP处理器41的输出端连接所述WIFI模块51，所述第一DSP处理器41的输出端还连接所述RJ45接口53。

在本实施例中，所述全景相机用于直接向移动智能终端推送拼接单元30拼接好的2K全景视频数据，所述信号处理单元40包括第一DSP处理器41，所述通信单元50包括WIFI模块51和RJ45接口53，在移动智能终端通过WIFI模块51与全景相机建立通信连接后，移动智能终端向全景相机发出直播的通讯指令请求时，控制模组100控制镜头采集图像信号、经过图像传感器10转换为图像数字信号传输至拼接单元30，控制麦克风60采集音频信号，经主编解码器21和从编解码器23后传输至拼接单元30，拼接单元30将拼接好的4路画面视频数据经LVDS接口输入至第一DSP处理器41，同时将处理好的4路音频数据经IIS接口输入至第一DSP处理器41，所述第一DSP处理器41对FPGA或CPLD拼接好的全景视频做IPS处理，将经过第一DSP处理器41处理后的2K全景视频通过SDIO接口传输至输出端的WIFI模块51，由WIFI模块51采用RF推流方式将所述2K全景视频推送至移动智能终端进行直播预览。在另一实施例中，拼接单元30将处理好的4K全景视频传输至第一DSP处理器41进行压缩处理后直接通过RJ45接口上传至Internet网络，进行网络终端的存储，或者直接将处理好的4K全景视频进行压缩后存储在与第一DSP处理器41连接的存储器47中，所述存储器47为DDR、FLASH、或TF卡。

进一步参照图1，所述信号处理单元40还包括第二DSP处理器43和第三DSP处理器45，所述通信单元50还包括三PHY芯片55和航空头57，所述三PHY芯片55包括第一PHY芯片551、第二PHY芯片553、及第三PHY芯片555，所述第二DSP处理器43的输入端连接所述拼接单元30、输出端,连接所述第二PHY芯片553，所述第三DSP处理器45的输入端连接所述拼接单元30、输出端连接所述第三PHY芯片555，所述第一PHY芯片551的输入端连接所述拼接单元30，所述三PHY芯片55的输出端均通过一网线连接所述航空头57。

在本实施例中，全景相机向智能终端(PC机)输出未完全拼接的音频数据和图像数据，所述信号处理单元40还包括第二DSP处理器43和第三DSP处理器45，与全景相机通过航空头57连接的PC机向所述全景相机供电或提供有线网络传输通道，在PC机向所述全景相机发送通讯指令后，拼接单元30内的FPGA或CPLD接收4路图像传感器10输入的图像数字信号，及主编解码器21输入的音频数字信号，拼接单元30内的FPGA或CPLD将所述音频数字信号处理成4路音频，通过RMII或MII接口传输至第一PHY芯片551，拼接单元30将4路图像传感器10输入的图像数字信号处理成2路独立画面共用一个画布的2组图像数据分别输入至第二DSP处理器43和第三DSP处理器45，所述第二DSP处理器43和第三DSP处理器45分别对所述2路画面共用一个画布的图像数据进行IPS处理、压缩处理后，存储在与之连接的存储器47中，所述存储器47为DDR、FLASH、或TF卡，或者通过RMII接口传输至后端的PHY芯片55内，所述第二DSP处理器43的输出端通过RMII接口连接第二PHY芯片553，第三DSP处理器45的输出端通过RMII接口传输至第三PHY芯片555，所述第一PHY芯片551、第二PHY芯片553、及第三PHY芯片555的输出端均连接一网线，所述航空头57的输入端设置有多个网线接口，所述三PHY芯片55的输出端连接的网线均***航空头57的网线接口内，通过所述航空头57与PC机之间实现有线传输，提高了全景相机应用的广泛性和多样性。

进一步参照图1，所述信号处理单元40还包括至少三个存储器47，所述第一DSP处理器41、第二DSP处理器43、及第三DSP处理器45均连接至少一个存储器47，所述存储器47为DDR、FLASH、或TF卡。

进一步参照图1，所述通信单元50还包括蓝牙模块59，所述第一DSP处理器41的输出端连接所述蓝牙模块59。

在本实施例中，所述全景相机用于直接向移动智能终端推送拼接单元30拼接好的2K全景视频数据，所述第一DSP处理器41连接所述蓝牙模块59，在移动智能终端通过蓝牙模块59与全景相机建立通信连接后，移动智能终端向全景相机发出直播的通讯指令请求时，控制模组100控制镜头采集图像信号、经过图像传感器10转换为图像数字信号传输至拼接单元30，控制麦克风60采集音频信号，经主编解码器21和从编解码器23后传输至拼接单元30，拼接单元30将拼接好的4路画面视频数据经LVDS接口输入至第一DSP处理器41，同时将处理好的4路音频数据经IIS接口输入至第一DSP处理器41，所述第一DSP处理器41对FPGA或CPLD拼接好的全景视频做IPS处理，将经过第一DSP处理器41处理后的2K全景视频通过SDIO接口传输至输出端的蓝牙模块59，由蓝牙模块59将所述2K全景视频推送至移动智能终端进行直播预览。

进一步参照图1，该全景相机还包括电源棒模块(未图示)，所述相机本体上设有一电源接口(未图示)，所述电源棒模块***所述电源接口向所述控制模组100供电。

在本实施例中，该全景相机包括用于电源棒模块***的电源接口，还包括供直流电源输入的直流电源输入接口，所述全景相机利用电源棒模块***所述电源接口向控制模组100供电可以实现移动、便携功能，在视频会议、大流量流媒体的应用场景中，所述全景相机也可以用作固定设备，通过适配器转换后的直流电源输入向全景相机的控制模组供电，以适应不同的应用场景，提高其应用的广泛性。

进一步地，所述全景相机与智能终端建立通信连接，向智能终端推送全景视频数据。

在本实施例中，所述全景相机通过WIFI模块51、蓝牙模块59等无线方式与智能终端建立通信连接，将拼接好的2K全景视频数据推送至智能终端进行直播预览，或者通过网线与PC机建立有线传输通道，将未完全拼接的视频源文件和音频源文件经过所述有线传输通道传输至PC机进行自由拼接，增加了全景视频合成的灵活性和多样性，提高了全景相机应用的广泛性。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种全景相机，其特征在于，包括相机本体及设置于相机本体的控制模组，所述控制模组包括多个图像传感器、音频处理单元、拼接单元、信号处理单元、及通信单元，所述拼接单元的输入端连接所述图像传感器、音频处理单元，将所述多个图像传感器输入的多路图像数据和音频处理单元输入的音频数据处理成全景视频或音视频源文件，所述拼接单元的输出端连接所述信号处理单元，所述信号处理单元的输出端连接所述通信单元，向智能终端传输所述全景视频或音视频源文件。

2.根据权利要求1所述的全景相机，其特征在于，该全景相机还包括设置于所述相机本体的镜头及麦克风，所述图像传感器的输入端连接所述镜头、输出端连接所述拼接单元，所述音频处理单元的输入端连接所述麦克风、输出端连接所述拼接单元。

3.根据权利要求2所述的全景相机，其特征在于，所述镜头设置有至少四个，所述至少四个镜头均匀分布于所述相机本体的四个侧面，所述图像传感器设置有四个，每一图像传感器均连接至少一个镜头。

4.根据权利要求2所述的全景相机，其特征在于，所述麦克风设置有四个，所述音频处理单元包括主编解码器及连接所述主编解码器的从编解码器，所述主编解码器连接其中两个麦克风，所述从解编码器连接另外两个麦克风，所述主编解码器连接所述拼接单元。

5.根据权利要求1所述的全景相机，其特征在于，所述拼接单元为现场可编程门阵列FPGA芯片或复杂可编程逻辑器件CPLD芯片。

6.根据权利要求1所述的全景相机，其特征在于，所述信号处理单元包括第一DSP处理器，所述通信单元包括WIFI模块和RJ45接口，所述第一DSP处理器的输入端连接所述拼接单元，所述第一DSP处理器的输出端连接所述WIFI模块，所述第一DSP处理器的输出端还连接所述RJ45接口。

7.根据权利要求6所述的全景相机，其特征在于，所述信号处理单元还包括第二DSP处理器和第三DSP处理器，所述通信单元还包括三PHY芯片和航空头，所述三PHY芯片包括第一PHY芯片、第二PHY芯片、及第三PHY芯片，所述第二DSP处理器的输入端连接所述拼接单元、输出端连接所述第二PHY芯片，所述第三DSP处理器的输入端连接所述拼接单元、输出端连接所述第三PHY芯片，所述第一PHY芯片的输入端连接所述拼接单元，所述三PHY芯片的输出端均通过一网线连接所述航空头。

8.根据权利要求7所述的全景相机，其特征在于，所述信号处理单元还包括至少三个存储器，所述第一DSP处理器、第二DSP处理器、及第三DSP处理器均连接至少一个存储器，所述存储器为DDR、FLASH、或TF卡。

9.根据权利要求1所述的全景相机，其特征在于，所述通信单元还包括蓝牙模块，所述第一DSP处理器的输出端连接所述蓝牙模块。

10.根据权利要求1-9任一项所述的全景相机，其特征在于，该全景相机还包括电源棒模块，所述相机本体上设有一电源接口，所述电源棒模块***所述电源接口向所述控制模组供电。