CN105118086B - 3d‑aoi设备中的3d点云数据配准方法及*** - Google Patents

Abstract

本发明涉及3D‑AOI设备中的3D点云数据配准方法。包括如下步骤：计算相机的内参矩阵及畸变参数以及该图像的旋转矩阵；根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并据此采集图像序列；对图像序列中的每一幅图像进行校正和旋转；计算图像序列中各相邻图像间的平移矩阵，并据此对各图像进行平移，平移后保存平移参数，形成配置文件；根据配置文件及预设重叠宽度对图像序列中的各图像进行拼接及融合，形成整幅图像。本发明借助原本只是用来矫正相机参数的标定板，重复利用其高精度的特点用于校正相机机械移动的误差，从而得到2D数据和3D数据拼接所需要的配准参数，大大降低了整板图像拼接时间，提高了拼接精度。

Description

3D-AOI设备中的3D点云数据配准方法及***

技术领域

本发明涉及AOI(Automatic Optic Inspection)设备领域，特别是涉及一种3D-AOI设备中的3D点云数据配准方法及***。

背景技术

传统的AOI设备电路板的整板图像大多是按照理论重叠区域直接拼接而成。传统的AOI设备中图像拼接，重叠区域的宽度为0。即传统的图像拼接是没有设置理论重叠区域的，拼接没有融合步骤。为了保证拼接的精度，就必须采用高精度的电机和丝杆，同时对安装的精度要求也很高。这无疑增加了设备的整体成本。

同时，由于高精度光学3D技术的到来，且由于配置远心镜头后相机视野的限制，为了不使图像和3D点云数据拼接的误差影响整体的检测和测量精度。传统的图像拼接方法迫切需要的到改善。为了保证较高的检测精度，在对电路板进行整板扫描的过程中必须不断对采集到的2D图像和计算得出的3D数据进行校正，使之在理论重叠区域完全重合。

在传统的3D点云数据拼接算法中，大多追求对未知视角的有重叠子集的点云数据进行配准、拼接来重构3D模型，但是在工业领域大多数数据采集方式具有一定的规律。现有工业领域中3D点云数据拼接技术大多是采用“辅助点对”，即在被测物体表面粘贴上Mark标签，在获得的相邻点云数据拼接时作为数据拼接时的强角点进行配准。这种方法无法实现大批量的3D数据的采集及处理。

发明内容

本发明所要解决的技术问题是，提供一种3D-AOI设备中的3D点云数据配准方法及***，实现3D点云数据拼接不再使用“辅助点对”。本发明是这样实现的：

一种3D-AOI设备中的3D点云数据配准方法，包括如下步骤：

步骤A：用相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合；

步骤B：根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并按所述移动间隔顺序地采集所述圆点标定板中的图像，直到所述圆点标定板中所有区域的图像采集完毕，形成图像序列；

步骤C：根据所述内参矩阵、畸变参数及旋转矩阵对所述图像序列中的每一幅图像进行校正和旋转；

步骤D：从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并据此对所述图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件；

步骤E：根据所述配置文件及所述重叠宽度对所述图像序列中的各图像进行拼接及融合，形成整幅图像。

进一步地，在所述步骤D中，平移矩阵为：

N＝k*N_X+(1-k)*N_Y (0<k<1)；

其中k为加权系数，N为平移矩阵，N_X为X轴方向的图像的平移矩阵，N_Y为Y轴方向的图像的平移矩阵，t_x、t′_x为沿X轴的平移象素距离，t_y、t′_y为沿Y轴的平移象素距离。

进一步地，所述重叠宽度小于相邻圆点中心之间的像素距离的两倍。

进一步地，还包括如下步骤：根据所述配置文件对其他图像进行拼接及融合。

进一步地，所述步骤D中，选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的平移矩阵平移各图像。

一种3D-AOI设备中的3D点云数据配准***，包括：

相机校正模块，用于通过相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合；

图像序列采集模块，用于根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并按所述移动间隔顺序地采集所述圆点标定板中的图像，直到所述圆点标定板中所有区域的图像采集完毕，形成图像序列；

图像校正模块，用于根据所述内参矩阵、畸变参数及旋转矩阵对所述图像序列中的每一幅图像进行校正和旋转；

平移参数配置模块，用于从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并据此对所述图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件；

拼接融合模块，用于根据所述配置文件及所述重叠宽度对所述图像序列中的各图像进行拼接及融合，形成整幅图像。

进一步地，在所述平移参数配置模块中，平移矩阵为： N＝k*N_X+(1-k)*N_Y (0<k<1)；

其中k为加权系数，N为平移矩阵，N_X为X轴方向的图像的平移矩阵，N_Y为Y轴方向的图像的平移矩阵，t_x、t′_x为沿X轴的平移象素距离，t_y、t′_y为沿Y轴的平移象素距离。

进一步地，所述重叠宽度小于相邻圆点中心之间的像素距离的两倍。

进一步地，所述拼接融合模块还用于根据所述配置文件对其他图像进行拼接及融合。

进一步地，所述平移参数配置模块中，选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的平移矩阵平移各图像。

与现有技术相比，本发明借助原本只是用来矫正相机参数的标定板，重复利用其高精度的特点用于校正相机机械移动的误差，从而得到2D数据和3D数据拼接所需要的配准参数，大大降低了整板图像拼接时间，提高了拼接精度。

附图说明

图1：本发明实施例提供的3D-AOI设备中的3D点云数据配准方法流程示意图；

图2：相机参数标定所用的灰度图像；

图3：单幅图像原点中心标记；

图4：图像平移参数计算示例；

图5：标定板拼接后的整板图像；

图6：本发明实施例提供的3D-AOI设备中的3D点云数据配准***组成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

3D-AOI设备专用于对电路板进行3D光学检测。本发明主要目的是提供3D-AOI设备中所用的3D点云数据的配准方法。图1所示，本发明实施例提供的3D-AOI设备中的3D点云数据配准方法包括如下步骤：

步骤A：用相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合。

其中，内参矩阵：

径向畸变：

切向畸变：

旋转矩阵：

其中q为图像中圆点中心的像素坐标，M为内参矩阵，Q为圆点世界坐标(实际坐标)，k₁、k₂、p₁、p₂、k₃为畸变参数。x_corrected、y_corrected为校正后坐标，R_z(θ)为旋转矩阵，θ为绕Z轴旋转角度。

步骤B：根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并按移动间隔顺序地采集圆点标定板中的图像，直到圆点标定板中所有区域的图像采集完毕，形成图像序列。

步骤C：根据内参矩阵、畸变参数及旋转矩阵对图像序列中的每一幅图像进行校正和旋转。

步骤D：从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并据此对图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件。所述步骤D中，选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的平移矩阵平移各图像。平移矩阵为：

N＝k*N_X+(1-k)*N_Y (0<k<1)。其中，k为加权系数，N为平移矩阵，N_X为X轴方向的图像的平移矩阵，N_Y为Y轴方向的图像的平移矩阵，t_x、t′_x为沿X轴的平移象素距离，t_y、t′_y为沿Y轴的平移象素距离。

步骤E：根据配置文件及重叠宽度对图像序列中的各图像进行拼接及融合，形成整幅图像。通过步骤A到D得到了标定板的2D图像及配置文件。在实际应用中，电路板的2D图像可以直接按照配置文件进行校正，并进行拼接及融合，对应的3D点云数据则可以在校正后直接计算图像序列中物理位置相邻的图像的点云数据中重叠区域的高度差均值，然后将数据沿Z轴平移到相同高度,再将3D点云数据的重叠区域融合后进行拼接。

以下为利用本发明进行图像拼接的一具体实施例：

图像配准前首先校正相机的***误差。步骤A中，为了方便设置相机标定的世界坐标，首先采集一张圆点标定板中某个圆点中心与图像中心重合的图像，如图2所示的灰度图即可。相机采集图像的分辨率为900*800，则相机采集的图像的中心点坐标为(450，400)。将图像中心点设为坐标原点，将图像处理后得到的圆点中心像素坐标的坐标原点移至中心点坐标。而圆点之间的实际距离已知，则对应圆点中心的世界坐标值为该距离对应的像素距离(图2中为125)的整数倍。根据图2得到像素坐标35个，再加上对应的世界坐标。通过通用的相机标定方法就可以得到相机的内参矩阵和畸变参数和旋转矩阵。

步骤B和步骤C完成在标定或实际应用过程中单幅图片的校正。图3为单幅图像原点中心标记。在相机移动时设定理论X、Y轴重叠宽度时就已经完成了图像数据的粗配准。在某个型号的AOI设备上，重叠宽度必须小于相邻圆点中心之间的像素距离的两倍，这就保证重叠区域有且只有一行或一列圆点用于得出平移矩阵。一旦选择了某个重叠宽度参数，后续使用中这个参数是不可更改的。本示例图中X、Y轴重叠分别为100像素距离，即重叠宽度为100个像素的宽度。步骤S4中将首张图片作为图像配准的原点，是为了给定相机机械移动的原点和电路板整体图像采集时电路板摆放的原点。

步骤D则是实现精确配准。从原点开始的图像序列中，按照采集顺序，每幅图像与图像序列中的前一幅图像都有重叠区域。图4中左上角为待配准图像，下图和右图为图像序列中的已配置图像(本文所述的“左图”、“下图”及“右图”分别指图4中的左上角图像、下图及右图)。以左右图像配准为例，图4中右图中首先通过处理得到所有的完整圆点及其像素坐标。去掉有缺省的行或列，得到一个H_n行W_n列的坐标集。这个坐标集为：

{(x_ij,y_ij)|0≤j≤W_n-1,0≤i≤H_n-1}。

选取其中第k行的坐标计算从右往左点坐标的步长X轴方向步长Wdx、Y轴方向步长Wdy。其中W_n为：

如果第一列x_i0<100(此100表示预设的重叠宽度为100个像素的距离)，则直接保存第一列数据作为匹配的角点，否则用第一列数据向左按步长进行预测，直到x_r<100为止，即：

由此得到右图的匹配用的角点为：

{(x_r,y_r)|0≤r≤H_n-1}；此列数据中有可能x_r<0。

左侧待配准的图像得到的坐标集为：

{(x′_ij,y′_ij)|0≤j≤W′_n-1,0≤i≤H′_n-1}。

用公式(e)将最后一列坐标点平移至与右图相同的坐标系下。步长参数Wdx′、Wdy′用左图坐标集数据代入公式(a)(b)计算可得。再用公式(f)向右找到与已配准的右图中角点距离最近的一列作为左图匹配用的角点。

左图和右图中的角点按照最近邻的方式配对，得到：

{(x_m,y_m,x′_m,y′_m)|0≤m≤min(H′_n,H_n)}。

其中，(x′_m,y′_m)∈{(x_l,y_l)},(x_m,y_m)∈{(x_r,y_r)}。以右图角点为基准，即可算出左图偏移参数t_x、t_y。

同理可算出带配准图像与下图的偏移参数t′_x、t′_y。于是最终求得平移矩阵：

N＝k*N_X+(1-k)*N_Y (0<k<1)。根据求得的平移矩阵将此图像进行校正。

当所有的标定板整板图像校正完毕后，将校正参数保存成配置文件。图5为校正后拼接的整板图像，像素数为16900*12700。在实际应用中相机每移动一步所采集的图像均通过步骤A进行校正后，都有对应的平移参数进行校正。即在数据拼接时省去了配准的时间。

如图6所示，基于上述校正方法，本发明还提供了一种3D-AOI设备中的3D点云数据配准***。该***包括相机校正模块1、图像序列采集模块2、图像校正模块3、平移参数配置模块4及拼接融合模块5。

相机校正模块1用于通过相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合。

图像序列采集模块2用于根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并按移动间隔顺序地采集圆点标定板中的图像，直到圆点标定板中所有区域的图像采集完毕，形成图像序列。

图像校正模块3用于根据内参矩阵、畸变参数及旋转矩阵对图像序列中的每一幅图像进行校正和旋转。

平移参数配置模块4用于从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并据此对图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件。选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的平移矩阵平移各图像。

拼接融合模块5用于根据配置文件及重叠宽度对图像序列中的各图像进行拼接及融合，形成整幅图像。

在平移参数配置模块4中，平移矩阵为： N＝k*N_X+(1-k)*N_Y (0<k<1)。其中k为加权系数，N为平移矩阵，N_X为X轴方向的图像的平移矩阵，N_Y为Y轴方向的图像的平移矩阵，t_x、t′_x为沿X轴的平移象素距离，t_y、t′_y为沿Y轴的平移象素距离。

所述重叠宽度小于相邻圆点中心之间的像素距离的两倍。本实施例中，重叠宽度为100个像素的宽度。拼接融合模块5还用于根据配置文件对其他图像进行拼接及融合。数据拼接分为两部分：先配准、再融合。配置文件包括X、Y轴的配准文件。重叠区域是用来作图像数据(RGB)的直接融合的，即实现图像数据的无缝拼接。因为2D图像数据只有X、Y轴数据，所以可以直接实现数据拼接。3D数据(又称高度数据或点云数据)是有X、Y、Z三轴数据的，存储的配置文件可以实现配准。重叠区域可用来作图像数据的Z轴融合，计算需要融合的两幅图像的重叠区域的平均高度差D，再使得第二幅图像整体减去D(即将第二幅图像拉回到与第一幅图像的同一高度)，然后再与第一幅图像直接融合，即实现图像数据的无缝拼接。本方法是用图像来做校正，得出的配置文件可用于2D图像的拼接，同时用于3D数据的配准和融合

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种3D-AOI设备中的3D点云数据配准方法，其特征在于，包括如下步骤：

步骤A：用相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合；

步骤B：根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并按所述移动间隔顺序地采集所述圆点标定板中的图像，直到所述圆点标定板中所有区域的图像采集完毕，形成图像序列，其中所述重叠宽度小于相邻圆点中心之间的像素距离的两倍；

步骤C：根据所述内参矩阵、畸变参数及旋转矩阵对所述图像序列中的每一幅图像进行校正和旋转；

步骤D：从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并据此对所述图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件；

步骤E：根据所述配置文件及所述重叠宽度对所述图像序列中的各图像进行拼接及融合，形成整幅图像；

所述步骤D中，选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的平移矩阵平移各图像；

从原点开始的图像序列中，按照采集顺序，每幅图像与图像序列中的前一幅图像都有重叠区域，对右图通过处理得到所有的完整原点及其像素坐标，去掉有缺省的行或列，得到一个H_n行W_n列的坐标集，所述坐标集为：

{(x_ij,y_ij)|0≤j≤W_n-1,0≤i≤H_n-1}；

选取其中第k行的坐标计算从右往左点坐标的步长X轴方向步长Wdx、Y轴方向步长Wdy，其中，Wdx和Wdy分别为：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>W</mi> <mi>d</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>1</mn> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <mi>k</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>W</mi> <mi>d</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>1</mn> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mrow> <mi>k</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <msub> <mi>y</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

如果第一列x_i0＜100,所述数值100表示预设的重叠宽度为100个像素的距离，则直接保存第一列数据作为匹配的角点，否则用第一列数据向左按步长进行预测，直到x_r＜100为止，即：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mn>0</mn> </mrow> </msub> <mo>&lt;</mo> <mn>100</mn> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>r</mi> <mo>&amp;le;</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>-</mo> <mi>W</mi> <mi>d</mi> <mi>x</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>-</mo> <mi>W</mi> <mi>d</mi> <mi>y</mi> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>r</mi> <mo>&amp;le;</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

得到所述右图的匹配用的角点为：

{(x_r,y_r)|0≤r≤H_n-1}；

所述待配准的图像得到的坐标集为：

{(x′_ij,y′_ij)|0≤j≤W′_n-1,0≤i≤H′_n-1}；

用公式(e)将最后一列坐标点平移至与所述右图相同的坐标系下，步长参数Wdx′、Wdy′用所述待配准的图像坐标集数据代入公式(a)(b)计算可得，再用公式(f)向右找到与已配准的所述右图，角点距离最近的一列作为所述待配准的图像匹配用的角点；

<mrow> <mtable> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>l</mi> </msub> <mo>=</mo> <msubsup> <mi>x</mi> <mrow> <mi>l</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>W</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>800</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>l</mi> </msub> <mo>=</mo> <msubsup> <mi>y</mi> <mrow> <mi>l</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>W</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>800</mn> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>l</mi> <mo>&amp;le;</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>e</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>l</mi> </msub> <mo>&gt;</mo> <mi>W</mi> <mi>d</mi> <mi>x</mi> <mo>/</mo> <mn>2</mn> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>l</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>+</mo> <msup> <mi>Wdx</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>l</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>+</mo> <msup> <mi>Wdy</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>r</mi> <mo>&amp;le;</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

所述右图和所述待配准的图像中的角点按照最近邻的方式配对，得到：

{(x_m,y_m,x′_m,y′_m)|0≤m≤min(H′_n,H_n)}；

其中，(x′_m,y′_m)∈{(x_l,y_l)},(x_m,y_m)∈{(x_r,y_r)}，以所述右图的角点为基准，算出所述待配准的图像的偏移参数t_x、t_y；

<mrow> <mtable> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>t</mi> <mi>x</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>0</mn> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>m</mi> </msub> <mo>=</mo> <msubsup> <mi>x</mi> <mi>m</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mi>m</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>t</mi> <mi>y</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>0</mn> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>=</mo> <msubsup> <mi>y</mi> <mi>m</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mi>m</mi> </mfrac> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>m</mi> <mo>&amp;le;</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow>

同理可算出所述待配准图像与下图的偏移参数t′_x、t′_y；

所述右图和所述下图为所述待配准图像的前一幅图像；

在所述步骤D中，平移矩阵为：N＝k’*N_X+(1-k′)*N_Y (0＜k′＜1)；

其中k′为加权系数，N为所述平移矩阵，N_X为X轴方向的图像的平移矩阵，N_Y为Y轴方向的图像的平移矩阵，t_x、t′_x为沿X轴的平移象素距离，t_y、t′_y为沿Y轴的平移象素距离。

2.如权利要求1所述的3D-AOI设备中的3D点云数据配准方法，其特征在于，还包括如下步骤：根据所述配置文件对其他图像进行拼接及融合。

3.一种3D-AOI设备中的3D点云数据配准***，其特征在于，包括：

相机校正模块，用于通过相机从圆点标定板中采集一幅图像，并利用该图像计算相机的内参矩阵及畸变参数，以及该图像的旋转矩阵；该图像的中心与该图像中的某个圆点中心重合；

图像序列采集模块，用于根据预设的相邻图像的重叠宽度及每一幅图像的宽度计算相机采集图像时每次的移动间隔，并按所述移动间隔顺序地采集所述圆点标定板中的图像，直到所述圆点标定板中所有区域的图像采集完毕，形成图像序列，其中所述重叠宽度小于相邻圆点中心之间的像素距离的两倍；

图像校正模块，用于根据所述内参矩阵、畸变参数及旋转矩阵对所述图像序列中的每一幅图像进行校正和旋转；

平移参数配置模块，用于从经过校正和旋转之后的图像序列中选择一幅作为基准图像，并将其平移参数置零；同时，计算经过校正和旋转之后的图像序列中相邻两幅图像间的平移矩阵，并据此对所述图像序列中的各图像进行平移，同时保存各图像的平移参数，形成配置文件；

拼接融合模块，用于根据所述配置文件及所述重叠宽度对所述图像序列中的各图像进行拼接及融合，形成整幅图像；

所述平移参数配置模块中，选择所述图像序列中的第一幅作为基准图像，对后续各图像进行平移；对各图像进行平移时，以各图像的前一幅图像为基准，根据各图像与其前一幅图像之间的平移矩阵平移各图像；

从原点开始的图像序列中，按照采集顺序，每幅图像与图像序列中的前一幅图像都有重叠区域，对右图通过处理得到所有的完整圆点及其像素坐标，去掉有缺省的行或列，得到一个H_n行W_n列的坐标集，所述坐标集为：

{(x_ij,y_ij)|0≤j≤W_n-1,0≤i≤H_n-1}；

选取其中第k行的坐标计算从右往左点坐标的步长X轴方向步长Wdx、Y轴方向步长Wdy，其中，Wdx和Wdy分别为：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>W</mi> <mi>d</mi> <mi>x</mi> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>1</mn> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>x</mi> <mrow> <mi>k</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>W</mi> <mi>d</mi> <mi>y</mi> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>1</mn> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mrow> <mi>k</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <msub> <mi>y</mi> <mrow> <mi>k</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mrow> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <msub> <mi>W</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

如果第一列x_i0＜100,所述数值100表示预设的重叠宽度为100个像素的距离，则直接保存第一列数据作为匹配的角点，否则用第一列数据向左按步长进行预测，直到x_r＜100为止，即：

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mn>0</mn> </mrow> </msub> <mo>&lt;</mo> <mn>100</mn> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>r</mi> <mo>&amp;le;</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>-</mo> <mi>W</mi> <mi>d</mi> <mi>x</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>r</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>-</mo> <mi>W</mi> <mi>d</mi> <mi>y</mi> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>r</mi> <mo>&amp;le;</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

得到所述右图的匹配用的角点为：

{(x_r,y_r)|0≤r≤H_n-1}；

所述待配准的图像得到的坐标集为：

{(x′_ij,y′_ij)|0≤j≤W′_n-1,0≤i≤H′_n-1}；

用公式(e)将最后一列坐标点平移至与所述右图相同的坐标系下，步长参数Wdx′、Wdy′用所述待配准图像坐标集数据代入公式(a)(b)计算可得，再用公式(f)向右找到与已配准的所述右图，角点距离最近的一列作为所述待配准图像匹配用的角点；

<mrow> <mtable> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>l</mi> </msub> <mo>=</mo> <msubsup> <mi>x</mi> <mrow> <mi>l</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>W</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>800</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>l</mi> </msub> <mo>=</mo> <msubsup> <mi>y</mi> <mrow> <mi>l</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>W</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>800</mn> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>l</mi> <mo>&amp;le;</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>e</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <msub> <mi>x</mi> <mi>r</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>l</mi> </msub> <mo>&gt;</mo> <mi>W</mi> <mi>d</mi> <mi>x</mi> <mo>/</mo> <mn>2</mn> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>l</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>+</mo> <msup> <mi>Wdx</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>l</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mrow> <mi>r</mi> <mn>0</mn> </mrow> </msub> <mo>+</mo> <msup> <mi>Wdy</mi> <mo>&amp;prime;</mo> </msup> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>r</mi> <mo>&amp;le;</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

所述右图和所述待配准的图像中的角点按照最近邻的方式配对，得到：

{(x_m,y_m,x′_m,y′_m)|0≤m≤min(H′_n,H_n)}；

其中，(x′_m,y′_m)∈{(x_l,y_l)},(x_m,y_m)∈{(x_r,y_r)}，以所述右图的角点为基准，算出所述待配准的图像的偏移参数t_x、t_y；

<mrow> <mtable> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <msub> <mi>t</mi> <mi>x</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>0</mn> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>m</mi> </msub> <mo>=</mo> <msubsup> <mi>x</mi> <mi>m</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mi>m</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>t</mi> <mi>y</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>&amp;Sigma;</mi> <mn>0</mn> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>m</mi> </msub> <mo>=</mo> <msubsup> <mi>y</mi> <mi>m</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mi>m</mi> </mfrac> </mrow> </mtd> </mtr> </mtable> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&amp;le;</mo> <mi>m</mi> <mo>&amp;le;</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow>

同理可算出所述待配准的图像与下图的偏移参数t′_x、t′_y；

所述右图和所述下图为所述待配准图像的前一幅图像；

在所述平移参数配置模块中，平移矩阵为： N＝k′*N_X+(1-k′)*N_Y (0＜k′＜1)；

其中k′为加权系数，N为所述平移矩阵，N_X为X轴方向的图像的平移矩阵，N_Y为Y轴方向的图像的平移矩阵，t_x、t′_x为沿X轴的平移象素距离，t_y、t′_y为沿Y轴的平移象素距离。

4.如权利要求3所述的3D-AOI设备中的3D点云数据配准***，其特征在于，所述拼接融合模块还用于根据所述配置文件对其他图像进行拼接及融合。