CN110213564A - 一种全方位立体摄像装置及其***和方法 - Google Patents

Abstract

本发明涉及立体摄像装置技术领域，且公开了一种全方位立体摄像装置，包括多个摄像机以及用于反射所述摄像机所摄像画面的全方位镜面，所述摄像机的摄像端倾斜正对上方安装的所述全方位镜面，在摄像机的背面设置有用于反射正面画面的内凹型镜面；该全方位立体摄像装置及其***和方法，实现了***的低成本化、高速化、高精度以及灵活性等所有特性，由于采用了***内部的相机补充校正处理和立体匹配处理等管线化以及并行处理方法，摄像机能够实现高速处理；另外，由于易于组装到实际的摄像机***中，因此在自主行走机器人、自动驾驶等多样化的用途中具备很强的实用性。

Description

一种全方位立体摄像装置及其***和方法

技术领域

本发明涉及立体摄像装置技术领域，具体为一种全方位立体摄像装置及其***和方法。

背景技术

立体摄影技术是一种使用多个摄像机同时拍摄物体，将整体画面分割成小区域，通过三角测量法获取距离信息之后，再生成距离分布画像的立体物识别方法；实时立体摄像机的研究，至今已有20多年的历史，在机器人、自动驾驶汽车、障碍物识别传感器等应用方面备受期待。

目前为了实现全方位立体采集摄像，多采用安装多个传感器或各个角度的摄像机来实现，这样不仅成本较高，而且传感器所检测到的信息与摄像机采集到的信息整合较为繁琐；同时由于摄像机安装部位的结构、温度、以及物理性接触等原因，当摄像机位置的水平性即便出现些许偏差时，都会产生视差精度大幅下降的严重问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种全方位立体摄像装置及其***和方法，具备全方位立体摄像等优点，解决了目前为了实现全方位立体采集摄像，多采用安装多个传感器或各个角度的摄像机来实现，这样不仅成本较高，而且传感器所检测到的信息与摄像机采集到的信息整合较为繁琐；同时由于摄像机安装部位的结构、温度、以及物理性接触等原因，当摄像机位置的水平性即便出现些许偏差时，都会产生视差精度大幅下降的问题。

(二)技术方案

为实现上述全方位立体摄像等目的，本发明提供如下技术方案：一种全方位立体摄像装置，包括多个摄像机以及用于反射所述摄像机所摄像画面的全方位镜面，所述摄像机的摄像端倾斜正对上方安装的所述全方位镜面，在摄像机的背面设置有用于反射正面画面的内凹型镜面；

所述摄像装置还包括目标成像单元与处理单元，在目标成像单元与处理单元之间通过接收单元相连；所述目标成像单元包含多个相机模组，用于多角度全方位的对目标物进行拍摄采集；所述处理单元包含成像比较器、全幅对焦模块、对焦驱动模块和影响合成模块。

优选的，所述全方位镜面固定在内凹型镜面的顶部，并通过支架远离内凹型镜面侧。

优选的，所述摄像机的数量为四台，且四台摄像机的中心轴垂直均匀的配置在同一平面上的四个点上，同时两个相邻的摄像机的中心轴之间的距离均为一个定值。

优选的，所述成像比较器用于采样所述接收单元收集到的图像的差别度，并进行比较分析后传递给对焦驱动模块和全幅对焦模块。

优选的，所述对焦驱动模块和全幅对焦模块用于控制相机模组所拍摄的角度和方位，搜索并拍摄目标物图像。

优选的，所述影像合成模块用于将四台摄像机所拍摄到的画面进行分析后合成，并通过显示单元展示处理，同时通过输出端口对外界输出。

根据所述的一种全方位立体摄像装置，现提出一种全方位立体摄像***，包括以下步骤：

S1、通过目标成像单元对目标物进行拍摄采集，利用四个摄像机及对应的全方位镜面和内凹型镜面采集全方位立体画面；

S2、将采集到的画面分别传送给接收单元，接收单元接收到画面后将同一时间的画面同步传送给处理单元；

S3、再利用成像比较器比较收集到的图像的差别度，在差别度较大时通过对焦驱动模块和全幅对焦模块控制相机模组所拍摄的角度和方位，搜索并重新拍摄目标物图像；

S4、最后利用影像合成模块将摄像机所拍摄到的画面合成即可得的全方位立体画面。

一种全方位立体摄像方法，包括以下步骤：

1)规划从出发地到目的地的路线；

2)将摄像装置安装在车辆或机器人的前部，用于采集周围环境；

3)结合步骤1所规划的路线，得出当前所处的位置及周围环境，同时分析影像数据发送给控制端；

4)当控制端在分析有障碍物的情况下控制车辆或机器人改变行进方向或停止；当控制端在分析无障碍物的情况下控制车辆或机器人行进方向不变。

优选的，所述步骤3中还包括摄像机自动校正模块，用于自动校正摄像机的微小的移动偏差。

(三)有益效果

与现有技术相比，本发明提供了一种全方位立体摄像装置及其***和方法，具备以下有益效果：

1、该全方位立体摄像装置及其***和方法，利用四个摄像机和内凹型镜面、全方位镜面的配合可以实现全方位立体摄像采集，同时精度高、成本低，避免传感器所带来的问题。

2、该全方位立体摄像装置及其***和方法，实现了***的低成本化、高速化、高精度以及灵活性等所有特性，由于采用了***内部的相机补充校正处理和立体匹配处理等管线化以及并行处理方法，摄像机能够实现高速处理；另外，由于易于组装到实际的摄像机***中，因此在自主行走机器人、自动驾驶等多样化的用途中具备很强的实用性。

附图说明

图1为本发明全方位立体摄像装置俯视示意图；

图2为本发明全方位立体摄像装置侧面示意图；

图3为本发明全方位立体摄像装置的***示意图；

图4为本发明全方位立体摄像方法的自动校正模块示意图；

图5为本发明全方位立体摄像方法的自动校正偏移修正的结果示意图。

图中：1-全方位镜面；2-内凹型镜面；3-摄像机。

具体实施方式

下面将结合本发明的实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，一种全方位立体摄像装置，包括多个摄像机以及用于反射上述摄像机所摄像画面的全方位镜面，上述摄像机的摄像端倾斜正对上方安装的上述全方位镜面，在摄像机的背面设置有用于反射正面画面的内凹型镜面；上述全方位镜面固定在内凹型镜面的顶部，并通过支架远离内凹型镜面侧；上述摄像机的数量为四台，且四台摄像机的中心轴垂直均匀的配置在同一平面上的四个点上，同时两个相邻的摄像机的中心轴之间的距离均为一个定值。

上述摄像装置还包括目标成像单元与处理单元，在目标成像单元与处理单元之间通过接收单元相连；上述目标成像单元包含多个相机模组，用于多角度全方位的对目标物进行拍摄采集；上述处理单元包含成像比较器、全幅对焦模块、对焦驱动模块和影响合成模块；上述成像比较器用于采样上述接收单元收集到的图像的差别度，并进行比较分析后传递给对焦驱动模块和全幅对焦模块；上述对焦驱动模块和全幅对焦模块用于控制相机模组所拍摄的角度和方位，搜索并拍摄目标物图像；上述影像合成模块用于将四台摄像机所拍摄到的画面进行分析后合成，并通过显示单元展示处理，同时通过输出端口对外界输出。

一种全方位立体摄像***，包括以下步骤：

S1、通过目标成像单元对目标物进行拍摄采集，利用四个摄像机及对应的全方位镜面和内凹型镜面采集全方位立体画面；

S2、将采集到的画面分别传送给接收单元，接收单元接收到画面后将同一时间的画面同步传送给处理单元；

S3、再利用成像比较器比较收集到的图像的差别度，在差别度较大时通过对焦驱动模块和全幅对焦模块控制相机模组所拍摄的角度和方位，搜索并重新拍摄目标物图像；

S4、最后利用影像合成模块将摄像机所拍摄到的画面合成即可得的全方位立体画面。

该全方位立体摄像装置及其***，利用四个摄像机和内凹型镜面、全方位镜面的配合可以实现全方位立体摄像采集，同时精度高、成本低，避免传感器所带来的问题。

一种全方位立体摄像方法，包括以下步骤：

1)规划从出发地到目的地的路线；

2)将摄像装置安装在车辆或机器人的前部，用于采集周围环境；

3)结合步骤1所规划的路线，得出当前所处的位置及周围环境，同时分析影像数据发送给控制端；

4)当控制端在分析有障碍物的情况下控制车辆或机器人改变行进方向或停止；当控制端在分析无障碍物的情况下控制车辆或机器人行进方向不变。

其中，上述步骤3中还包括摄像机自动校正模块(详见说明书附图4)。

自动校正模块实时区域检测：

将输入的分辨率为752×480像素的标准摄像机图像，从图像中心点开始分割为上下左右8大模块，并计算在各大模块内检出的奇点。大模块的横向尺寸为188像素，纵向尺寸为输入图像纵向尺寸的一半，即240像素。在这里，大模块的尺寸根据输入图像的分辨率可以相应作出调整，对应的最大像素为1024×512。

另外，各大模块分割为若干个小模块，在各小模块内部进行奇点检测，若发现奇点则挂出搜索完毕的标志。本次的小模块的横向尺寸设为188×8像素，1个大模块内的小模块数则为30。

此外，关于1帧内的搜索，从未挂出搜索完毕标志的小模块开始，到检出奇点为止的这段时间内，移动到下一小模块继续进行搜索。通过这种持续的检测，来提高搜索效率。

自动校正模块奇点检测：

由于匹配是在二维模式下进行，为了能够正确地进行处理，两个方向上都需要具有边缘强化的特征区域。首先，利用公式(1)，在连接了差分滤波器的像素上，求得亮度梯度的强度和方向。

在4×4像素的特征区域进行同样的处理，求出各方向的直方图。在8个方向上进行量子化，若强度不超过阈值，则不进行投票。若不呈现180度的两个方向，其频率超过阈值的话，则将其特征区域作为奇点。

自动校正模块亚像素精度的二维匹配：

二维匹配处理采用区域基准法。搜索区域的大小为512×8像素，检出奇点的窗口尺寸为4×4像素。另外，在评价函数中使用SAD(Sum of Absolute Difference)。当公式(2)的值达到最小值时，d_w为横向倾斜，d_h为纵向偏移。

另外，由于匹配是基于整数精度算法实现的，因此所求的纵向偏移可能存在小数精度误差。因此，考虑使用SAD的最小值的邻域数据，采用一次线性插值法，求得亚像素精度的纵向偏移。将整数的视差设为D，可用公式(3)进行表示。

自动校正模块评估：

为了调查处理是否恰当，将对比图像加旋转0.97mrad，从而在纵向上偏移1.5像素进行测试。旋转中心为图像中心，之后，进行自动校正处理。从处理开始1分钟之后，可求出斜率为0.73mrad，纵向偏移为1.5像素，然后进行了修整；1分钟内的偏移修正结果如说明书附图5所示。

另外，针对1次自动校正处理，1个大模块内检出奇点数量的阈值设为50％的情况下，可实现120帧，相机的帧速率若为30fps，则检出时间为4秒。

该全方位立体摄像方法，实现了***的低成本化、高速化、高精度以及灵活性等所有特性，由于采用了***内部的相机补充校正处理和立体匹配处理等管线化以及并行处理方法，摄像机能够实现高速处理；另外，由于易于组装到实际的摄像机***中，因此在自主行走机器人、自动驾驶等多样化的用途中具备很强的实用性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种全方位立体摄像装置，其特征在于，包括多个摄像机以及用于反射所述摄像机所摄像画面的全方位镜面，所述摄像机的摄像端倾斜正对上方安装的所述全方位镜面，在摄像机的背面设置有用于反射正面画面的内凹型镜面；

所述摄像装置还包括目标成像单元与处理单元，在目标成像单元与处理单元之间通过接收单元相连；所述目标成像单元包含多个相机模组，用于多角度全方位的对目标物进行拍摄采集；所述处理单元包含成像比较器、全幅对焦模块、对焦驱动模块和影响合成模块。

2.根据权利要求1所述的一种全方位立体摄像装置，其特征在于，所述全方位镜面固定在内凹型镜面的顶部，并通过支架远离内凹型镜面侧。

3.根据权利要求1所述的一种全方位立体摄像装置，其特征在于，所述摄像机的数量为四台，且四台摄像机的中心轴垂直均匀的配置在同一平面上的四个点上，同时两个相邻的摄像机的中心轴之间的距离均为一个定值。

4.根据权利要求1所述的一种全方位立体摄像装置，其特征在于，所述成像比较器用于采样所述接收单元收集到的图像的差别度，并进行比较分析后传递给对焦驱动模块和全幅对焦模块。

5.根据权利要求1所述的一种全方位立体摄像装置，其特征在于，所述对焦驱动模块和全幅对焦模块用于控制相机模组所拍摄的角度和方位，搜索并拍摄目标物图像。

6.根据权利要求1所述的一种全方位立体摄像装置，其特征在于，所述影像合成模块用于将四台摄像机所拍摄到的画面进行分析后合成，并通过显示单元展示处理，同时通过输出端口对外界输出。

7.根据权利要求1所述的一种全方位立体摄像装置，现提出一种全方位立体摄像***，其特征在于，包括以下步骤：

S1、通过目标成像单元对目标物进行拍摄采集，利用四个摄像机及对应的全方位镜面和内凹型镜面采集全方位立体画面；

S2、将采集到的画面分别传送给接收单元，接收单元接收到画面后将同一时间的画面同步传送给处理单元；

S3、再利用成像比较器比较收集到的图像的差别度，在差别度较大时通过对焦驱动模块和全幅对焦模块控制相机模组所拍摄的角度和方位，搜索并重新拍摄目标物图像；

S4、最后利用影像合成模块将摄像机所拍摄到的画面合成即可得的全方位立体画面。

8.一种全方位立体摄像方法，其特征在于，包括以下步骤：

1)规划从出发地到目的地的路线；

2)将摄像装置安装在车辆或机器人的前部，用于采集周围环境；

3)结合步骤1所规划的路线，得出当前所处的位置及周围环境，同时分析影像数据发送给控制端；

4)当控制端在分析有障碍物的情况下控制车辆或机器人改变行进方向或停止；当控制端在分析无障碍物的情况下控制车辆或机器人行进方向不变。

9.根据权利要求8所述的一种全方位立体摄像方法，其特征在于，所述步骤3中还包括摄像机自动校正模块。