CN106296825A - 一种仿生三维信息生成***及方法 - Google Patents

Abstract

一种仿生三维信息生成***及方法，所述***包括：两图像采集装置，分别用于获取一幅图像；双目视觉信息获取单元，用于对所述两图像采集装置获取的图像进行格式转换，使其转换为特定图像格式；双目标定单元，用于对所述两图像采集装置及两图像采集装置组成的双目***进行标定；融合处理单元，基于所述双目视觉信息获取单元转换的特定图像格式及双目标定单元进行的标定，对所述两图像采集装置获得的两幅图像进行协同处理、特征提取、立体匹配以及三维重建。

Description

一种仿生三维信息生成***及方法

技术领域

本发明涉及计算机三维视觉技术领域，特别涉及一种仿生三维视觉***及其三维信息生成方法。

背景技术

传统的双目立体视觉***，主要是通过两个独立的摄像头模块分别采集图像，然后输出到下一级进行匹配和重建处理。两个摄像头模块分别自带图像传感器和数字信号处理器(DSP处理器)，首先通过图像传感器将视觉信息转化为图像信息，然后分别由各自的数字信号处理器进行预处理操作，包括颜色插值、白平衡、色彩校正和Gamma校正等。由于两个摄像头采集图像的位置和角度不同，会造成两幅图像的场景信息、明暗程度以及色彩信息等不同，而数字信号处理器则正是根据图像的这些信息对图像进行预处理，因此如果对这样两幅信息不同的图像分别进行预处理，必然会给后续的匹配和重建带来误差。

另一方面，对生物视觉***，人们早就观察到，几乎所有具有视觉的生物都有两个眼睛，用两个眼睛同时观察物体时，会有深度或远近的感觉。双目立体视觉正是受到生物视觉这种特性的启发，利用模拟生物视觉的这种特性，利用两幅图像来获取目标场景或对象三维几何信息的方法。近年来，随着计算机视觉技术的不断发展，双目立体视觉***技术日渐趋于成熟，并广泛应用于机器人导航、探测车导航、3D场景图绘制与重建以及工厂零件检测等领域。

如果把双目视觉和人类视觉作类比，那么两摄像头模块内部的图像传感器就相当于人类的眼睛，而摄像头模块内部的数字信号处理器就相当于人类的大脑，因此传统的双目视觉使用第一数字信号处理器和第二数字信号处理器对两图像传感器获取的图像分别进行预处理，然后再使用第三数字信号处理器进行匹配重建，其结构示意图如图1所示。这和人类视觉的处理机制不符，人类视觉是通过两只眼睛分别获取视觉信息并转化为图像信息，然后在一个大脑里进行统一的预处理操作，包括颜色插值、白平衡、色彩校正和Gamma校正等，接着完成匹配和重建的工作，从而达到理解和识别等目的，其结构示意图如图2所示。

因此，如何克服传统双目视觉***的不足，是本领域技术人员亟待解决的技术问题。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，为了克服上述现有技术的不足，本发明提出了一种仿生三维信息生成***及方法。

(二)技术方案

根据本发明的一个方面，提供了一种仿生三维信息生成***，所述***包括：两图像采集装置，分别用于获取一幅图像；双目视觉信息获取单元，用于对所述两图像采集装置获取的图像进行格式转换，使其转换为特定图像格式；双目标定单元，用于对所述两图像采集装置及两图像采集装置组成的双目***进行标定；融合处理单元，基于所述双目视觉信息获取单元转换的特定图像格式及双目标定单元进行的标定，对所述两图像采集装置获得的两幅图像进行协同处理、特征提取、立体匹配以及三维重建。

根据本发明的另一个方面，提供了一种基于仿生三维信息生成***的仿生三维信息生成方法，包括：双目视觉信息获取单元通过控制两个图像采集装置分别同时获取目标的原始数字图像；双目标定单元对两个图像采集装置及两图像采集装置组成的双目***进行标定；将两个图像采集装置采集到的两幅图像送入到融合处理单元进行处理，得到三维信息。

(三)有益效果

从上述技术方案可以看出，本发明至少具有以下有益效果之一：

(1)仿生三维信息生成***包括双目标定单元、融合处理单元，对两个图像采集装置的融合图像进行颜色插值、色彩校正、白平衡以及Gamma校正等处理，从而避免两个数字信号处理器分别对两幅图像进行这些处理造成的误差，从而提高了匹配重建的准确性。

(2)标定两个摄像头及两个摄像头构成的双目***，得到立体校正参数及重投影矩阵，用于计算三维坐标。

(3)采用一个集成的芯片对双目视觉信息进行处理，不仅降低了开发的成本，而且提高了芯片的集成度，还有利于促进产业的规模化。

附图说明

图1为背景技术中的传统双目视觉结构示意图；

图2为背景技术中的人类双目视觉结构示意图；

图3为本发明实施例提供的一种仿生三维视觉***示意图；

图4为图3中的仿生三维视觉***采用实体硬件装置的结构示意图；

图5为采用图4的仿生三维视觉***生成三维信息的方法的流程图；

图6为图5中协同处理步骤的流程示意图。

具体实施方式

本发明某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本发明的各种实施例可以许多不同形式实现，而不应被解释为限于此处所阐述的实施例；相对地，提供这些实施例使得本发明满足适用的法律要求。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图3所示，本发明实施例提供了一种仿生三维视觉***。所述的仿生三维视觉***包括：两个图像采集装置、双目视觉信息获取单元、双目标定单元、融合处理单元、三维视觉信息输出单元以及其他存储设备等。

图像采集装置用于获取图像；双目视觉信息获取单元用于对图像采集装置获取图像进行格式转换，使其转换为符合融合处理单元需要的图像格式；双目标定单元用于对两图像采集装置进行标定；融合处理单元用于对两图像采集装置获得的两幅图像进行协同处理、特征提取、立体匹配以及三维重建等；三维视觉信息输出单元用于输出三维信息。

本发明实施例中的图像采集装置、双目视觉信息获取单元、双目标定单元、融合处理单元以及三维视觉信息输出单元可全部采用硬件电路实现。如图4所示，其中，图像采集装置采用摄像头；双目视觉信息获取单元采用传感器控制电路和数字图像处理器；双目标定单元和融合处理单元采用ARM Core实现；三维视觉信息输出单元通过USB接口、SD卡接口以及LCD接口等将三维视觉信息输出。

两个图像采集装置可以采用同型号的摄像摄像头，优选130万像素，采用CMOS图像传感器的摄像头，两个摄像头呈左右固定布置，并使两个摄像头组成双目***；在实际应用中，两个摄像头之间的水平距离约为50～70mm，且设定满足两个摄像头处于同一平面上，并能够同时获取目标场景或对象的视觉信息，然后分别由对应的CMOS图像传感器转化为原始数字图像。

采用上述仿生三维视觉***生成三维信息的方法包括以下步骤，如图5所示：

步骤A：双目视觉信息获取单元通过控制两个图像采集装置分别同时获取目标场景或对象的原始数字图像；

步骤B：双目标定单元对两个图像采集装置及两图像采集装置组成的双目***进行标定；

步骤C：将两个图像采集装置采集到的两幅图像送入到融合处理单元进行协同处理、特征提取、立体匹配以及三维重建等操作；

步骤D：通过三维视觉信息输出单元输出三维信息。

主要是通过LCD接口或者USB接口等将三维视觉信息输出到相关的显示设备或者存储设备中以供使用。

本发明实施例采用上述仿生三维视觉***生成三维信息的方法中的步骤B具体包括：

子步骤B1：分别标定两个摄像头；

标定内容具体可以包括：左右摄像头内参数矩阵和畸变向量。

优选的，步骤B1可以采用棋盘标定法进行摄像头标定，内参数矩阵可以包括摄像头水平方向焦距、垂直方向焦距、主点位置；畸变向量可以由径向畸变系数和切向畸变系数组成。

在该方式中，对步骤B1得到的标定结果，可以利用数学方法消除径向和切线方向的镜头畸变，从而输出无畸变图像，令(x_p，y_p)为没有畸变的点的位置，(x_d，y_d)为畸变位置，有：

$\left[\begin{array}{c}{x}_p\\ y_p\end{array}\right]=(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]+\left[\begin{array}{c}2p_1{x}_d{y}_d+p_2(r^2+2x_d^2)\\ p_1(r^2+2y_d^2)+2p_2{x}_d{y}_d\end{array}\right]$

这样就得到了没有镜头畸变的图像，式中k₁、k₂、k₃为径向畸变参数，p₁、p₂为切向畸变参数。

子步骤B2：标定由两个摄像头组成的双目***；

标定内容具体可以包括：双目***的旋转矩阵和平移向量。

所述的旋转矩阵和平移向量可以用于描述右摄像头相对左摄像头的位置关系，数学表示为，其中，是三维空间中任一点P在双目立体视觉***左右摄像头参考坐标系中的三维位置向量，R、T是双目立体视觉***的旋转矩阵和平移向量。

子步骤B3：确定立体校正参数，进而获得重投影矩阵。

可以使用Bouguet算法得到双目立体视觉***的立体校正参数，并利用逆向映射法获得左右视图的校正映射表，得到用于将二维图像点重投影到三维中的重投影矩阵Q，矩阵形式如下，矩阵中c_x、c_y分别是主点(主光线与图像平面的交点)在左图像中x、y坐标，c_x是主点在右图像中的x坐标，f是同型号两相机的焦距，T是两相机投影中心的距离，即基线距离。

$\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& 1/T& (c_x-c_x^{\′})T\end{array}\right]$

本发明实施例采用上述仿生三维视觉***生成三维信息的方法的步骤C还可以具体包括以下步骤：

子步骤C1：对双目视觉信息获取单元获得地两幅目标场景或对象的原始数字图像进行协同处理；

如图6所示，子步骤C1具体包括以下步骤：

次子步骤C1a：对双目视觉信息获取单元获得地两幅目标场景或对象的原始数字图像进行图像融合；

采用按照行边界或者列边界的方式对原始数字图像进行融合，融合的结果是产生一幅整体图像，整体图像尺寸是单个图像的两倍。

次子步骤C1b：对融合图像进行图像预处理操作；

上述图像预处理主要包括颜色插值、白平衡、色彩校正和Gamma校正、图像去噪等操作。

次子步骤C1c：对经过预处理后的融合图像进行图像分离操作。

图像分离操作是次子步骤C1a图像融合的逆操作，实施时可以采用按照融合时的行边界或列边界再将融合图像分离成为单独的两幅图像。

子步骤C2：对协同处理后的两幅图像进行特征提取；

具体包括以下步骤：

次子步骤C2a：对经过协同处理后的两幅图像进行特征提取预处理；

预处理主要包括灰度化和去噪声，灰度化是将彩色图像转化为灰度图像来提高特征提取效率，去噪声主要使用均值滤波、高斯滤波等方式。

次子步骤C2b：对预处理后的两幅图像分别提取特征。

特征可以选用像素点的灰度或颜色值、Moravec特征、Harris特征、SURF(Speeded-Up Robust Feature)特征以及SIFT(Scale-Invariant Feature Transform)特征等，使用特征的目的是为了获得更好的匹配效果。

子步骤C3：在特征提取后，对两幅图像进行立体匹配；

子步骤C3可以使用子步骤C2中的特征，然后选择匹配代价函数(如SAD(Sum ofAbsolute Differences)和SSD(Sum of Squared Differences)等)计算匹配对应点，并进行迭代优化从而获得最终的对应点。

子步骤C4：根据立体匹配的结果，进行三维重建，得到图像的三维信息。

具体包括以下步骤：

次子步骤C4a：根据立体匹配方法计算目标图像对应点的视差d；

所述视差d可以是左右匹配对应点横坐标距离。

次子步骤C4b：根据对应点的视差得到图像对应点的深度信息值和三维坐标。

次子步骤C4b中所述匹配对应点的深度信息值可以利用相似三角形原理获得，匹配对应点的深度信息值计算方法为Z_depth＝fT/d，其中，T指两相机投影中心的距离，即基线距离；f是同型号两相机的焦距。在本发明中，使用型号相同的两个摄像头，T和f提前标定好，d为左右匹配特征点视差。已知视差d和二维图像点，可以利用步骤B中的重投影矩阵Q可以计算图像中的二维图像点对应的三维坐标：

化简即为

$Q\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& 1/T& (c_x-c_x^{\′})T\end{array}\right]\left[\begin{array}{c}x\\ y\\ d\\ 1\end{array}\right]=\left[\begin{array}{c}x-c_x\\ y-c_y\\ f\\ \frac{d+(c_x-c_x^{\′})}{T}\end{array}\right]=\left[\begin{array}{c}X\\ Y\\ Z\\ W\end{array}\right]$

$\left\{\begin{array}{c}X=x-c_x\\ Y=y-c_y\\ Z=f\\ W=\frac{d+(c_x-c_x^{\′})}{T}\end{array}\right.$

为二维图像点的深度信息值，即为该点三维坐标，这里需要说明的是，X、Y、Z均为中间量，W为归一化系数，并且当校正正确时，C_x＝C_x。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换，例如：

(1)ARM Core还可以用CPU来代替；

(2)CMOS图像传感器还可以用CCD图像传感器来代替。

还需要说明的是，本文可提供包含特定值的参数的示范，但这些参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应值。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

Claims (10)

1.一种仿生三维信息生成***，其特征在于，包括：

两图像采集装置，分别用于获取一幅图像；

双目视觉信息获取单元，用于对所述两图像采集装置获取的图像进行格式转换，使其转换为特定图像格式；

双目标定单元，用于对所述两图像采集装置及两图像采集装置组成的双目***进行标定；

融合处理单元，基于所述双目视觉信息获取单元转换的特定图像格式及双目标定单元进行的标定，对所述两图像采集装置获得的两幅图像进行协同处理、特征提取、立体匹配以及三维重建。

2.根据权利要求1所述的仿生三维信息生成***，还包括：

三维视觉信息输出单元，用于输出三维图像。

3.根据权利要求1或2所述的仿生三维信息生成***，其特征在于：

所述图像采集装置采用CMOS传感器或CCD传感器；和/或，

所述双目视觉信息获取单元为传感器控制电路和数字图像处理器；和/或，

所述双目标定单元和融合处理单元采用ARM Core或CPU。

4.一种利用权利要求1至3中任一所述仿生三维信息生成***的仿生三维信息生成方法，其特征在于，包括：

步骤A：双目视觉信息获取单元通过控制两个图像采集装置分别同时获取目标的原始数字图像；

步骤B：双目标定单元对两个图像采集装置及两图像采集装置组成的双目***进行标定；

步骤C：将两个图像采集装置采集到的两幅图像送入到融合处理单元进行处理，得到三维信息。

5.根据权利要求4所述的仿生三维信息生成方法，其特征在于，步骤C之后还包括：

步骤D：通过三维视觉信息输出单元输出三维信息。

6.根据权利要求4或5所述的仿生三维信息生成方法，其特征在于，步骤B包括：

子步骤B1：分别标定两个图像采集装置；

子步骤B2：标定由两个图像采集装置组成的双目***；

子步骤B3：确定立体校正参数，进而获得重投影矩阵。

7.根据权利要求4或5所述的仿生三维信息生成方法，其特征在于，步骤C包括：

子步骤C1：对双目视觉信息获取单元获得地两幅目标的原始数字图像进行协同处理；

子步骤C2：对协同处理后的两幅图像进行特征提取；

子步骤C3：对两幅图像进行立体匹配；

子步骤C4：根据立体匹配的结果，进行三维重建，得到三维信息。

8.根据权利要求7所述的仿生三维信息生成方法，其特征在于，步骤C1包括：

次子步骤C1a：对双目视觉信息获取单元获得地两幅目标的原始数字图像进行图像融合；

次子步骤C1b：对融合图像进行图像预处理操作；

次子步骤C1c：对经过预处理后的融合图像进行图像分离操作。

9.根据权利要求7所述的仿生三维信息生成方法，其特征在于，步骤C1包括：

次子步骤C2a：对经过协同处理后的两幅图像进行特征提取预处理；

次子步骤C2b：对预处理后的两幅图像分别提取特征。

10.根据权利要求7所述的仿生三维信息生成方法，其特征在于，步骤C4包括：

次子步骤C4a：根据立体匹配方法计算目标图像对应点的视差；

次子步骤C4b：根据对应点的视差得到图像对应点的深度信息值和三维坐标。