CN102968792A

CN102968792A - 显微视觉下多焦面物体成像的方法

Info

Publication number: CN102968792A
Application number: CN2012104223832A
Authority: CN
Inventors: 王欣刚; 徐德; 张正涛; 尹英杰; 白明然
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2013-03-13
Anticipated expiration: 2032-10-29
Also published as: CN102968792B

Abstract

本发明提供了一种显微视觉下多焦面物体成像的方法，包括：将相机沿着主光轴方向移动，采集若干幅多焦面物体的图像，构成图像序列，该若干幅图像记录多焦面物体成像由模糊至清晰、再至模糊的过程；对图像序列中的各图像进行校准，使各图像对应的多焦面物体所在表面的区域相同；对图像序列中的每一幅图像，将其划分为m行n列的子区域，并对每一子区域图像进行清晰度评价，得到每一子区域图像的清晰度评价函数值；对于每一子区域，找出其清晰度评价函数值最大时对应的图像序号，得到此时相机相对物体的位置，通过相机相对物体的位置信息得到该子区域在三维空间的深度信息。本发明能够快速定位物体该区域的深度信息。

Description

显微视觉下多焦面物体成像的方法

技术领域

本发明涉及计算机视觉及图像处理领域，尤其涉及一种显微视觉下多焦面物体成像的方法。

背景技术

在对微小物体进行视觉检测时，由于微小物体的深度远远大于显微相机的景深，从而导致通过显微相机的一次聚焦无法得到整个物体的清晰图像。现有的多焦面图像融合方法大多是采用小波变换的方法。该方法在多焦面图像融合上有着较好的效果，但是没有给出获取物体在三维空间的深度信息的方法。

发明内容

(一)要解决的技术问题

为解决上述的一个或多个问题，本发明提供了一种显微视觉下多焦面物体成像的方法，以得到物体在三维空间的深度信息。

(二)技术方案

根据本发明的一个方面，提供了一种显微视觉下多焦面物体成像的方法，包括：将相机沿着主光轴方向移动，采集若干幅多焦面物体的图像，构成图像序列，该若干幅图像记录多焦面物体成像由模糊至清晰、再至模糊的过程；对图像序列中的各图像进行校准，使各图像对应的多焦面物体所在表面的区域相同；对图像序列中的每一幅图像，将其划分为m行n列的子区域，并对每一子区域图像进行清晰度评价，得到每一子区域图像的清晰度评价函数值；对于每一子区域，找出其清晰度评价函数值最大时对应的图像序号，得到此时相机相对物体的位置，通过相机相对物体的位置信息得到该子区域在三维空间的深度信息。

(三)有益效果

从上述技术方案可以看出，本发明显微视觉下多焦面物体成像的方法具有以下有益效果：

(1)利用图像序列在垂直方向上进行相同子区域比较，能够快速定位物体该区域的深度信息；

(2)采用Sobel算子对图像进行清晰度评价，相比快速傅里叶变换的方法有效提高了计算速度；

(3)通过物体的多焦面图像进行重新组合得到物体的二维图像，图像清晰度高，效果显著。

附图说明

图1为本发明实施例显微视觉下多焦面物体成像方法的流程图；

图2为本发明实施例显微视觉下多焦面物体成像方法中显微相机采集图像过程的示意图；

图3为本发明实施例显微视觉下多焦面物体成像方法中图像校准过程的示意图；

图4为本发明实施例显微视觉下多焦面物体成像方法中图像划分为m行n列子区域的示意图；

图5A-图5T显微相机在从初始位置开始，采集的20幅经过校准后的图像；

图6经过本发明实施例显微视觉下多焦面物体成像方法处理的物体表面的三维图像；

图7经过本发明实施例显微视觉下多焦面物体成像方法处理后的二维清晰图像；

图8经过本发明实施例显微视觉下多焦面物体成像方法得到的最终二维图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。

为了得到微小物体在三维空间的深度信息和完整清晰图像，本发明提出一种显微视觉下多焦面物体成像的方法。该方法利用显微相机拍摄微小物体表面在不同焦面上的图像，然后通过对相机与物体的位置信息及拍摄的图像序列进行综合处理，获得物体在三维空间上的深度信息及物体清晰的二维图像。

图1为根据本发明实施例显微视觉下多焦面物体成像方法的流程图。如图1所示，本实施例显微视觉下多焦面物体成像方法包括下述步骤：

步骤A，如图2所示，将显微相机的镜头与放置微小物体的载物台平行放置。然后调节相机的位置，使相机远离物体，当相机所成物体的像的各个区域均较模糊的时候，停止移动相机，将此位置作为相机的初始位置。采集相机初始位置时物体的图像。然后将相机沿着主光轴方向靠近物体，并且每次移动的距离相同。每移动一次便用相机采集一次物体的图像。直到相机所成物体的像的各个区域又变得较模糊时，停止移动相机。这样就会得到图像序列。图像序列的序号分别对应相机相对物体不同的位置；

相机采集图像过程需注意：

(1)微相机的镜头需与放置物体的载物台平行放置；

(2)尽量保证物体成像于图像的中间部位；

(3)相机在起始位置时，物体的像的各个区域均较模糊；

(4)相机沿着主光轴方向靠近物体，并且每次移动的距离相同，每次移动的距离尽量等于相机景深的距离。

步骤B，对图像序列进行校准，校准的目的是为了使序号不同的图像中的相同区域成的像对应相同。通过以图像的中心为中心做矩形，图像的中心即为矩形的中心。获得矩形区域的图像。在相机初始位置对应的图像选取的矩形要尽量包含整个物体，并且保证矩形的边离图像的边有一定的距离。在相机逐渐靠近物体时，我们在图像上选取的矩形区域中心不变，但是长宽要按一定的规律增加。

图像序列中相邻两图像，矩形区域长宽的增加量可以用公式Δd＝d₂hn△z/(d₁ ²-d₁n△z)≈d₂hn△z/d₁ ²近似计算。其中d₂代表像距，d₁代表相机在起始位置时的物距，n代表相机移动的次数，h代表物体上的点到光轴的垂直距离，△z代表相机每次移动的距离。

在上述参数未知或无法准确测定时，长宽的增加量可以采用相邻两幅图像中相同图像点在各自图像中的位置坐标来近似确定。宽的增加量可以用两位置的横坐标差的绝对值的2倍近似，高的增加量可以用两位置的纵坐标差的绝对值的2倍近似。下面结合图3具体说明步骤：

步骤B1，确定相机初始位置矩形区域的图像，该矩形区域的图像要包含整个物体，并且保证矩形的边离原图像的边有一定的距离。

步骤B2，图3中最外层的虚线框为相机采集的原图像，最内层的黑点为图像的中心，矩形框R₁为在相机初始位置拍摄的图像上选取的矩形区域的图像，R₂为在相机沿着主光轴方向移动一次后拍摄的图像上选取的矩形区域，R₂的长宽较R₁的长宽都有所增加，长宽的增加量可以采用相邻两幅图像中相同像点在各自图像中的位置不同来近似确定。例如图3中pointl点在平面1(即相机位于初始位置时拍摄的图像平面)中的位置坐标为(x,y)，对应在平面2(即相机沿着靠近物体的方向移动一次后拍摄的图像平面)中的坐标为(x′，y′)，则平面2中选取的矩形区域要比在平面1选取的矩形区域的宽长2i＝2(x′-x)个像素，平面2中选取的矩形区域要比在平面1选取的矩形区域的高长2j＝2(y′-y)个像素。其他图像序列的中矩形区域采取相同的方法选取。

步骤B3，将序列矩形区域的图像按双线性插值的方法变换成与初始位置图像对应的矩形区域的图像大小相同。

步骤C，将校准后的每幅图像划分为m行n列的子区域。校准后的图像的划分一般采用子区域面积相等的方式，也可根据物体表面情况，采用子区域面积不等的方式划分。下面采用的是等面积划分方法。划分方法如图4所示。图4中P_i[k,j]表示相机沿着主光轴方向移动i-1次后对应的图像面(校准后的图像面)的第k行j列子区域。计算所有图像平面的所有子区域的清晰度评价函数值。

其中，清晰度评价函数的定义方式为：

1)选择Sobel算子，其x方向图像差分对应的滤波器系数为[-101；-202；-101]，其y方向图像差分对应的滤波器系数为[-1-2-1；000；121]。

2)对图像进行x方向图像差分获得差分后图像，即用x方向图像差分对应的滤波器与图像进行卷积。

3)对图像进行y方向图像差分获得差分后图像，即用y方向图像差分对应的滤波器与图像进行卷积。

4)计算差分后的两图像相同位置的两像素值的平方根，得到新的图像。

5)计算新图像中大于指定阈值的像素值的总和，将总和作为清晰度评价函数值。

步骤D，相机的景深△L＝2Fuδf²(u-f)/[f⁴-F²δ²(u-f)²]，u为对焦距离、f为镜头焦距、δ为弥散圆直径、D为光圈直径、v为像距。由上式可知，当相机的镜头焦距f、弥散圆直径δ、光圈直径D、及景深△L为定值时，则对焦距离u为定值。因此我们可以通过图像表面不同子区域的清晰度来判断该子区域是否在此时相机的对焦平面上。下面结合图4具体说明物体表面不同子区域深度值的获取过程。

步骤D1，通过比较校准后的图像序列相同子区域的清晰度评价函数值，找出子区域的清晰度评价函数值最大时对应的图像的序号。即比较区域P_i[k,j]中k，j相同而i不同时对应的清晰度评价函数值。

步骤D2，找出清晰度评价函数值最大时，对应的i。通过图像子区域对应清晰度评价函数值最大的图像序列的图像序号，以及相机每移动一次的距离，可以获得在三维空间中物体图像不同子区域高度相差的实际距离。例如，若区域P_i[1,2]清晰度评价函数值最大时，对应的i＝15，P_i[1,9]清晰度评价函数值最大时，对应的i＝8，则图像中第一行第二列子区域与第一行第九列子区域在对应到实际物体上的深度差为7△z，其中△z为相机每次运动的实际距离。

步骤E，将图像序列的清晰度评价函数值最大的子区域拼接成一幅完整图像。

步骤F，由于拼接后的图像会产生子区域与子区域之间的交界处非均匀衔接问题，因此我们对拼接后的图像进行均值滤波，滤波算子选为[1/9 1/9 1/9；1/9 1/9 1/9；1/9 1/9 1/9]，由于均值滤波会对图像产生模糊效应，因此采用直方图均衡化的方法对均值滤波后的图像进行图像增强处理。这样获得最终的清晰二维图像。

基于本发明所提供的算法，我们用橡皮擦作为测试物体。我们把橡皮擦切割成包含上下两平面，橡皮擦两平面之间的距离为约为3毫米，由于人工切割的原因，使得两平面并非非常平整，会有起伏，两平面表面贴有印有文字纹理的纸片。用显微相机拍摄橡皮擦的图像序列，进行图像融合及立体分层。

下面说明一下实施步骤：

第一步：将橡皮擦放在载物台，使有文字纹理的一侧，正对相机。使相机远离物体，当相机所成的物体的像的各个区域均较模糊的时候，停止移动相机，将此位置作为相机的初始位置。采集相机初始位置时物体的图像。然后将相机沿着主光轴方向靠近物体，每次移动的距离为500um。每移动一次便用相机采集一次物体的图像。直到相机所成的物体的像的各个区域又变的较模糊时，停止移动相机。采集的图像经校准之后如图5A-图5T所示。其中图5A为相机在初始位置时采集的图像对应的校准图像，图5T为相机在终止位置时采集的图像对应的校准图像。

第二步：将校准后的每幅图像划分为12行16列的子区域。计算所有图像平面的所有子区域的清晰度评价函数值。

第三步：比较图像序列相同子区域的清晰度评价函数值，找出子区域的清晰度评价函数值最大时对应的图像的序号。表1所示为各个子区域对应的图像的序列数，序号为0的图像是相机位于初始位置时拍摄的图像，序号为1的图像是相机移动一次后拍摄的图像。

第四步：结合图像序号及相机的位置信息，得出图像的深度信息如表2所示。表2中的数值是通过令清晰度最大时对应的图像序号值最大的子区域的深度为0，其它区域的深度值均为相对0深度而言。如表1中第二行第一列子区域对应的图像序号最大为16，定义其深度为0，第二行第一列子区域对应的图像序号为6，所以两子区域相差的距离为10倍的相机每次移动的距离，即为5mm。由表2中所示的橡皮擦两平面的平均距离为3.20436507936508mm可知，测量结果相当准确。我们可以通过表2所示的深度信息实现物体表面的立体分层，分层结果如图6所示。如果我们能准确测得相机和载物台之间的位置关系及相机的参数，还可以实现物体的三维建模。

第五步：将图像序列的清晰度评价函数值最大的子区域，拼接成一幅完整图像，如图7所示。

第六步：对拼接的图像进行均值滤波和图像增强处理，获得最终的清晰二维图像如图8所示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种显微视觉下多焦面物体成像的方法，其特征在于，包括：

步骤A，将相机沿着主光轴方向移动，采集若干幅所述多焦面物体的图像，构成图像序列，该若干幅图像记录所述多焦面物体成像由模糊至清晰、再至模糊的过程；

步骤B，对所述图像序列中的各图像进行校准，使各图像对应的多焦面物体所在表面的区域相同；

步骤C，对所述图像序列中的每一幅图像，将其划分为m行n列的子区域，并对每一子区域图像进行清晰度评价，得到每一子区域图像的清晰度评价函数值；

步骤D，对于每一子区域，找出其清晰度评价函数值最大时对应的图像序号，得到此时相机相对物体的位置，通过相机相对物体的位置信息得到该子区域在三维空间的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述步骤A中，将相机以等步长的方式由远及近沿主光轴方向移动。

3.根据权利要求2所述的方法，其特征在于，所述步长等于所述相机的景深。

4.根据权利要求1所述的方法，其特征在于，所述步骤B包括：

步骤B1，以相机远离所述多焦面物体的位置为初始位置，在该初始位置对应的图像上选取矩形区域的初始图像；

步骤B2，矩形区域中心不变，以计算长宽增加量的方式，对于除该初始位置外的其他位置的图像进行校准，校准后的图像与所述初始图像对应的多焦面物体所在表面的区域相同。

5.根据权利要求4所述的方法，其特征在于，所述步骤B2中，长宽的增加量采用以下方式确定：

获取该两相同图像点在待校准图像和初始图像上的坐标值(x′，y′)和(x，y)；

所述待校准图像相对初始图像的宽增加值为2(x′-x)个像素；所述待校准图像相对初始图像的高增加值为2(y′-y)个像素。

6.根据权利要求4所述的方法，其特征在于，所述步骤B2之后还包括：

步骤B3，将矩形区域的图像序列按双线性插值的方法变换成与初始位置图像对应的矩形区域的图像大小相同。

7.根据权利要求1所述的方法，其特征在于，所述步骤C中，对子区域图像进行清晰度评价，得到该子区域图像的清晰度评价函数值包括：

步骤C1，选择Sobel算子，其x方向图像差分对应的滤波器系数为[-101；-202；-101]，其y方向图像差分对应的滤波器系数为[-1-2-1；000；121]；

步骤C2，对该子区域图像进行x方向图像差分获得差分后图像，即用x方向图像差分对应的滤波器与图像进行卷积；

步骤C3，对该子区域图像进行y方向图像差分获得差分后图像，即用y方向图像差分对应的滤波器与图像进行卷积；

步骤C4，计算差分后的两该子区域图像相同位置的两像素值的平方根，得到新的图像；

步骤C5，计算新图像中大于指定阈值的像素值的总和，将总和作为该子区域的清晰度评价函数值。

8.根据权利要求1所述的方法，其特征在于，

在步骤C中，以P_i[k,j]表示相机沿着主光轴方向移动i-1次后对应的图像面的第k行j列子区域；

在步骤D中，对于清晰度评价函数值最大时对应的图像序号分别为i₁和i₂的两子区域，其深度差为(i₁-i₂)△z，其中△z为相机每次运动的距离。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述步骤D之后还包括：

步骤E，将图像序列中清晰度评价函数值最大的子区域，拼接成一幅完整图像。

10.根据权利要求9所述的方法，其特征在于，所述步骤E之后还包括：

步骤F，对拼接的完整图像进行均值滤波和图像增强处理，获得最终的二维图像。