CN104079916A - 一种全景三维视觉传感器及使用方法 - Google Patents

Abstract

本申请涉及一种全景三维视觉传感器及使用方法，所述视觉传感器至少包括三个广角摄像头固定在设定好的模具上，其中任意两个摄像头摆放在模具的一侧，第三个摄像头朝向视觉传感器的另一侧，利用两个相距较近的摄像头采集到的图像，进行图像的立体视觉分析，利用安装在视觉传感器模具上所有摄像头采集到的图像实现图像的全景拼接，然后进行全方向的视觉分析，分析是否有需要关注的物体。本发明所提供的全景三维视觉传感器同时兼顾了立体视觉传感器多目视觉的视觉识别和全景视觉传感器可同时采集多个方向的图像的特点，能够再现目标物及其周围的全景三维图像。

Description

一种全景三维视觉传感器及使用方法

  

技术领域

本发明涉及视觉传感器领域，特别涉及一种全景三维视觉传感器及其使用方法。 

背景技术

随着计算机视觉及人工智能的发展,视觉传感器的形式和功能也在迅速提升。现有的视觉传感器通常分为两大类，一类是注重于3D的立体视觉，通过两个或者两个以上摄像头捕捉现实中物体的像，并通过对采集到的图像进行分析获得物体的运动姿态及距离摄像机的距离。另外一类是近几年新兴的全景图像采集方案，通过固定对准不同方向的摄像头，采集环绕物体周围各个角度的影像，经过校准和拼接获得物体周围的全景图像。 

但是立体视觉传感器关注的仅仅为一个方向，而全景视觉传感器解决方案虽然能够同时采集多个方向的图像，但是不能进行多目视觉的视觉识别，大大增加了进行人工智能的难度。    

此外，现阶段的全景视觉传感器有多摄像头拼接、折反式、超广角镜头拼接等三种解决方案，多摄像头拼接解决方案成本较高，折反式摄像头使用场景有限，且只能生成柱面全景图。

发明内容

本发明的目的是为了克服现有技术中存在的上述不足，提供一种同时具备立体视觉和全景视觉的全景三维视觉传感器及其使用方法，且该全景三维视觉传感器使用广角镜头拼接技术；本发明提供的传感器可更加真实生动地显示目标物的运动姿态及其周围场景的状态。 

为了实现上述目的，根据本发明的一个方面，提供了一种全景三维视觉传感器，所述全景三维视觉传感器至少包括三个广角摄像头固定在设定好的模具上，其中两个摄像头摆放在模具的一侧，用于立体视觉分析，这两个摄像头光轴的夹角小于80度，且这两个摄像头的光轴与支撑面平行，第三个摄像头朝向视觉传感器的另一侧。 

优选地，不用于立体视觉分析的上文所述第三个摄像头可以和地面成一定的仰角。 

优选地，不用于立体视觉分析的上文所述第三个摄像头可以和地面成一定的俯角，并且在模具的上方增加一个辅助摄像头，辅助摄像头的光轴向上。 

优选地，可以在用于立体视觉分析的摄像头间距离较近的一侧安装一个测距辅助装置。 

优选地，在用于立体视觉分析的摄像头间距离较近的一侧安装一个基于结构光技术的红外光发射器，并且用于立体视觉分析的两个摄像头具有采集红外光的功能。 

优选地，可有摄像头控制模块，模块对摄像头的姿态、位置、运动状态以及朝向进行控制 

优选地，可有传感器定位模块，模块通过电子罗盘、加速度计或陀螺仪等若干种传感器对本视觉传感器初始姿态、位置、运动状态以及朝向信息进行分析。

  

根据本发明的另一个方面，提供了一种全景三维视觉传感器的使用方法，所述方法包括以下步骤：

步骤1）：摄像头采集图像；

步骤2）：利用步骤1所述的用于立体视觉分析的摄像头采集到的图像，进行图像的立体视觉分析；

步骤3）：利用安装在视觉传感器模具上所有的摄像头采集到的图像进行图像的全景拼接；

步骤4）：进行全方向的视觉分析；

优选地，可以使用其它测距模块测定周围场景的深度，并辅助立体视觉处理模块进行立体视觉识别。

优选地，可以使用红外光发射器向周围物体上投射红外光，特别是投射红外结构光,然后采用可以采集红外光的摄像头，利用红外光信息和原有的存储设定测定周围场景的深度。 

优选地，可以使用立体视觉处理模块的信息辅助全景拼接，提高全景拼接的效果。 

优选地，可以使用电子罗盘、加速度计或陀螺仪等若干种传感器定位姿态、位置、朝向的步骤。 

与现有技术相比，本发明具有如下的特点和有益效果： 

1：两个摄像头距离较近，朝向一侧，用于立体视觉分析，一个摄像头朝向另外一侧的视觉传感器模型设计，在立体视觉传感器仅关注单方向的基础上，兼顾考虑其他方向，达到既能进行多目视觉的视觉识别，又能同时采集多个方向的图像以获取全景三维图像的目的；

2：使用立体视觉加红外探测或其他模块联合测量周围场景深度，实现了对全景拼接进行优化；

3：利用广角镜头拼接技术，避免了多摄像头拼接技术成本高以及折反式摄像头使用场景有限等不足；

4：利用多传感器融合定位摄像头朝向。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要的附图做简单的介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1是本发明一种最简版的全景三维视觉传感器方案的俯视图； 

图2 是本发明一种优选的全景三维视觉传感器方案的俯视图

图3是本发明一种优选的全景三维视觉传感器方案的前视图；

图4是本发明一种优选的全景三维视觉传感器方案的左视图；

图5是本发明使用图1所示最简版视觉传感器配套的硬件组成方案图；

图6 是本发明一种优选的全景三维视觉传感器硬件组成方案图；

图7是本发明一种最简版的全景三维视觉传感器的工作方法流程图；

具体实施方式

下面通过具体实施方式结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 

根据本发明的一个实施例，提供了一种全景三维视觉传感器，参照图1所示，一种最简版的全景三维视觉传感器，所述传感器包括三个广角摄像头A、C、D固定在设定好的模具E上，其中两个摄像头A、C摆放在模具E的一侧，这两个摄像头光轴的夹角为60度，且这两个摄像头的光轴与支撑面平行，第三个摄像头D朝向视觉传感器的另一侧。 

图2在图1所示的视觉传感器的基础上增加测距辅助装置,这种测距辅助装置可以为激光测距模块或超声波测距模块，或者为基于结构光技术的红外光发射器,若是为红外光发射器，则安装在传感器模具E前侧的两个摄像头A、C具有接收红外光的功能,这种设计的特点是利用红外光发射器向空间的不同角度发射结构光,利用安装在视觉传感器前端的两个摄像头采集红外结构光的反射信息,从而计算得到传感器前方环境深度。 

图5给出了图1所示传感器的硬件组成方案，所述传感器至少包括以下模块; 

相对距离较近的摄像头1和摄像头2，用于采集一侧两个方向的图像，同时给立体视觉处理模块和全景拼接处理模块提供图像信息；

另一侧摄像头，用于采集另一侧的图像，并将图像传递给全景拼接处理模块；

立体视觉处理模块，用于使用所述摄像头间相对距离较近摄像头采集的图像进行计算机视觉分析；

全景拼接处理模块，用于将全部摄像头采集的图像信息进行拼接；

本发明视觉传感器除了图5所示的硬件组成方案外，还可增加其他辅助功能模块，如图6所示，其他辅助功能模块主要包括：

测距辅助模块，用于获得附近物体相对于摄像头的距离，并提供给立体视觉处理模块，用于辅助立体视觉分析，或提供给全景拼接模块，用于优化全景拼接。

摄像头控制模块，可通过分析采集到的视觉信息，分析附近物体情况，调整视觉传感器前端摄像头的朝向，或通过分析采集到的视觉信息，分析全方向环境光情况，控制摄像头的曝光情况。 

传感器定位模块，通过电子罗盘、加速度计或陀螺仪等若干种传感器对本视觉传感器初始姿态、位置、运动状态以及朝向信息进行分析。 

根据本发明的另一个方面，提供了一种全景视觉的传感器的使用方法，如图7所示，所述方法包括以下步骤： 

步骤1）：摄像头采集图像

步骤2）：利用步骤1所述的用于立体视觉分析的摄像头采集到的图像，进行图像的立体视觉分析；

步骤3）：利用安装在视觉传感器模具上所有的摄像头采集到的图像进行图像的全景拼接；

步骤4）：进行全方向的视觉分析；

若本发明传感器增加有辅助测距模块，则相应的方法步骤为：

步骤1）：摄像头采集图像

步骤2）：通过安装在摄像头相对距离较近一侧的深度测量装置测量附近物体距离；

步骤3）：综合步骤1、步骤2获得的信息进行立体视觉分析；

步骤4）：利用安装在视觉传感器模具上所有的摄像头采集到的图像进行图像的全景拼接；

步骤5）：根据立体视觉分析结果和全景图像拼接信息进行全方向的视觉分析；

本发明所提供的全景三维视觉传感器兼顾了立体视觉传感器多目视觉的视觉识别和全景视觉传感器可同时采集多个方向的图像的特点，能够再现目标物及其周围的全景三维图像。

以上所述实施例仅表达了本发明的优选的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。 

Claims (9)

1.一种全景三维视觉传感器，其特征在于：所述视觉传感器至少包括以下模块：

三个广角摄像头，其中任意两个广角摄像头固定在所述视觉传感器的一侧，用于立体视觉分析，第三个广角摄像头固定在视觉传感器的另一侧；

立体视觉处理模块，用于使用所述固定在所述视觉传感器的一侧的两个摄像头采集的图像进行计算机视觉分析；

全景拼接处理模块，用于将全部摄像头采集的图像信息进行拼接。

2.如权利要求1所述的全景三维视觉传感器，其特征在于：还包括：

测距辅助模块，用于获得附近物体相对于摄像头的距离，并提供给立体视觉处理模块，用于辅助立体视觉分析，或提供给全景拼接模块，用于优化全景拼接。

3.如权利要求2所述的全景三维视觉传感器，其特征在于：所述测距辅助模块为激光测距模块或超声波测距模块，或者为基于结构光技术的红外光发射器；且若所述测距辅助模块为基于结构光技术的红外光发射器，则固定在所述视觉传感器上的广角摄像头具有接收红外光的功能。

4.如权利要求1至3任一项所述的全景三维视觉传感器，其特征在于：安装在视觉传感器模具另一侧的摄像头和另外用于立体视觉分析的两个镜头的光轴所在平面成一定的仰角或俯角，且在模具的上方增加一个辅助摄像头，所述辅助摄像头的光轴向上。

5.如权利要求1至3任一项所述的全景三维视觉传感器，其特征在于：还包括：

摄像头控制模块，通过分析采集到的视觉信息，分析附近物体情况，调整视觉传感器前端摄像头的朝向，或通过分析采集到的视觉信息，分析全方向环境光情况，控制摄像头的曝光情况；

传感器定位模块，通过电子罗盘、加速度计或陀螺仪等若干种传感器对本视觉传感器初始姿态、位置、运动状态以及朝向信息进行分析。

6.如权利要求1至3任一项所述的全景三维视觉传感器，其特征在于：所述固定在视觉传感器一侧的用于立体视觉分析的两个广角摄像头的夹角为小于80度。

7.一种如权利要求1所述的全景三维视觉传感器的使用方法，其特征在于：包括以下步骤：

步骤1）：摄像头进行图像采集

步骤2）：利用用于立体视觉分析的两个摄像头采集到的图像，进行图像的立体视觉分析；

步骤3）：利用安装在视觉传感器模具上的所有摄像头采集到的图像进行图像的全景拼接；

步骤4）：进行全方向的视觉分析。

8.一种如权利要求3所述的全景三维视觉传感器的使用方法，其特征在于：包括以下步骤：

步骤1）：摄像头采集图像；

步骤2）：通过安装在摄像头相对距离较近一侧的深度测量装置测量附近物体距离；

步骤3）：综合步骤1中可用于立体视觉分析的两个摄像头采集到的图像、步骤2获得的信息进行立体视觉分析；

步骤4）：利用安装在视觉传感器模具上所有的摄像头采集到的图像进行图像的全景拼接；

步骤5）：进行全方向的视觉分析。

9.一种如权利要求7或8所述的全景三维视觉传感器的使用方法，其特征在于：还包括：使用电子罗盘、加速度计或陀螺仪等若干种传感器定位姿态、位置、朝向等信息。