CN102566594A - 基于微视觉反馈的微构件声操纵二维平移方法 - Google Patents

Abstract

本发明提出了一种基于微视觉反馈的微构件声操纵二维平移方法，克服了现有开环控制技术的局限，通过非接触式的测量反馈技术控制微构件的声操纵二维平移，实现了闭环控制的自动化声操纵技术并同时提高了声操纵的稳定性以及平移精度。本发明方法是在超声微操纵的基础上，结合了计算机微视觉反馈***的优势，以微视觉***作为测量和监控的手段，实现微视觉伺服控制。即利用微视觉***实时测量和监控***纵微构件的二维位置信息，并在此基础上，通过离散PID算法及时调整相关声参数控制超声辐射驱动力，实现闭环伺服控制。经过实验，在操纵范围大于2000um的情况下，操纵精度能够达到±2um，并且具有较好的稳定性。

Description

基于微视觉反馈的微构件声操纵二维平移方法

技术领域

本发明属于微机电***领域与计算机微视觉领域的有机结合，即利用计算机微视觉反馈***控制超声操纵微构件，实现微构件的二维平移运动。

背景技术

随着微纳技术的迅速发展，微机电***（MEMS）作为其中的一个高科技领域，一直以来都受到各国政府和广大学者的普遍重视。经过近三十年的发展历程，特别是随着微机电***从原先注重单元零部件的生产向混合复杂***的集成方向高速发展，微操纵和微装配技术作为微机电***领域基础研究、技术实施、***设计开发以及产品集成装配的一种关键和共性技术手段，已日益体现出其重要性和急迫性。

目前，针对人工或半自动的微操纵方式，国内外学者已经研究出许多基于不同机理的操纵方法，并朝着实时化方向发展。但是，面对操纵对象尺寸的微型化、操纵精度的超高精密要求、力学特性的远未明确表征以及仅凭肉眼难以对操纵过程有效监控等方面所带来的诸多挑战，人工或半自动的微操纵方法已经表现出明显的局限性，成为制约微机电***进一步发展的瓶颈。因此，探索基于新理论、新机理的自动化微操纵技术，已成为目前微机电***这个新兴技术领域内一个最基础的、关键的热点研究课题。

超声波能够以声辐射力（acoustic radiation force）的形式表现出较好的力学特性，在生物领域（生物细胞的俘获、分拣以及声悬浮）已经证实具有较好的非接触操纵潜力，并且超声波具有穿透能力强等优点，作为产生超声波的压电陶瓷还易于微型化。因此，发展一种基于超声辐射力的自动化声操纵技术，应用于微机电***的自动化装配中，必将有其自身的技术优势以及发展前景。

发明内容  

本发明的目的在于克服人眼或接触式测量技术以及开环控制技术的局限，通过非接触式的测量反馈技术控制微构件的声操纵二维平移，实现自动化的声操纵技术并同时提高声操纵的稳定性以及平移精度。

为了实现这一目的，本发明提出一种基于微视觉反馈的微构件声操纵二维平移方法，它是在超声微操纵的基础上，结合计算机微视觉反馈***的优势，以微视觉***作为测量和监控的手段，实现微视觉伺服控制。具体方法如下：

步骤1，由于采用的是配有物方远心显微镜头的高速采集相机，需要对其进行标定，求取标定参数，从而根据标定参数获得微构件图像像素位移尺寸（以像素pixel为单位）与实际位移尺寸（以微米um为单位）之间的对应比例关系。

步骤2，利用微视觉图像采集子***抓取微构件的运动图像。

步骤3，采用图像处理算法提取图像特征，获得微构件在图像中的像素位置信息。

步骤4，根据步骤1得到的标定参数，将微构件在图像中的像素位置信息转换为实际的位置信息。

步骤5，将当前的微构件坐标点与指定的目标坐标点进行比较，判断是否到达指定目标点位置，若到达指定目标点位置，则退出伺服控制。若未到达指定目标点位置，则进入步骤6。

步骤6，根据微构件当前坐标点相对于目标坐标点的位移偏差和方向角度通过离散PID算法及时调整声操纵参数，控制超声辐射力，使微构件向指定目标点的位置运动。

步骤7，重复步骤2,3,4,5,6，直到微构件到达指定目标点位置。

本发明具有的有益效果是：

现有技术都是开环控制声操纵参数，即通过人眼对操纵过程进行监控的半自动操纵方式。本发明提出的方法能够有效的克服这一技术局限，实现闭环伺服控制的自动化声操纵，并同时能够提高声操纵的稳定性以及平移精度。经过实验，在操纵范围大于2000um的情况下，操纵精度能够达到±2um，并且具有较好的稳定性。

附图说明

图1是整个基于微视觉反馈的微构件声操纵二维平移***结构示意图。

图2是基于微视觉反馈的伺服控制流程图。

图3是基于微视觉反馈的伺服控制方块图。

图4是运用图像处理算法提取微构件在图像中二维位置信息的流程图。

图5是运用离散PID算法调整声操纵参数的流程图。

具体实施方式

如图1所示，整个基于微视觉反馈的微构件声操纵二维平移***由微视觉图像采集子***和超声微操纵子***两大部分组成，并通过计算机***将其整合在一起。

微视觉图像采集子***主要包括物方远心显微镜头，高速采集相机以及基于PXI总线的高速图像采集卡。其中物方远心显微镜头的实际放大倍率为2，物方焦距为86.5mm。高速采集相机为面阵CCD黑白相机，最大分辨率为1380*1040，最大帧率为60帧/s。微视觉图像采集子***主要用于实时测量和监控***纵微构件的二维位置信息。

超声微操纵子***主要包括基于CAN总线的多通道信号发生器以及3个超声换能器。基于CAN总线的多通道超声信号发生器用于产生3个超声换能器的驱动信号，并能够根据上位机伺服反馈声控制参数的变化而产生不同的驱动信号，以满足相应的控制需求。3个超声换能器用于超声波的产生，并且在同一圆周上呈120°等角度分布。根据超声辐射力相应理论，这样的换能器分布，其辐射的连续正弦波形超声波束在相交区域干涉形成二维驻波声场。通过改变各超声波信号的相位，可以改变超声波声场的分布。这实际上提供了一种可控的声势阱，并且声势阱的空间分布动态可调。在声势阱内，微构件所承受的各种力学作用同可控的超声辐射力之间达到平衡。这样微构件就能够被俘获并固定在声势阱内，通过调整声势阱的分布就能够带动俘获在声势阱内的微构件运动，从而达到操纵微构件完成指定位移路径的目的。

计算机***将上述两个子***整合在一起，从而实现闭环伺服控制（伺服控制见图2，方框图见图3）。配有物方远心显微镜头的高速采集相机实时抓取微构件的运动图像，并通过CameraLink线将图像数据传送给高速图像采集卡，高速图像采集卡将图像数据通过PXI总线以DMA的方式传送给计算机***。计算机***采用图像处理算法对微构件运动图像进行处理，提取微构件在图像中的二维位置信息。具体处理流程如下（流程图见图4）。

步骤1，对微构件运动的原始图像进行预处理，即先对原始图像进行中值滤波，降低原始图像中的噪声，再对滤波后的图像进行图像形态学闭运算处理，去除微构件边缘的毛刺。

步骤2，对步骤1处理后的图像进行取反操纵，将图像背景转为暗背景，便于后续图像增强处理。因为整个***中，采用的是背光源，所以图像的背景为亮背景，即背景的像素灰度值大于微构件的像素灰度值。

步骤3，根据微构件在图像中的位置，初始选定包含微构件的ROI（Region of Interest，图像感兴趣区域），后续可以根据微构件的二维位置信息自动预测下一次微构件运动图像中包含微构件的ROI，而不需要人为选定。选定ROI可以避免在后续图像处理中，ROI以外图像区域对ROI图像区域的处理产生影响，从而提高提取微构件二维位置信息的精度。

步骤4，对ROI（Region of Interest，图像感兴趣区域）区域的图像进行拉普拉斯图像增强处理，锐化微构件图像的边缘，有助于后续的图像阈值分割。

步骤5，对增强后的图像进行自动阈值分割，获取二值图像。采用自动阈值分割的方法，能够适应在不同的光照条件下，微构件图像的自动分割。

步骤6，根据自动阈值分割后的微构件二值图像提取微构件的二维位置信息。本发明采取的方法是通过提取微构件的形心，标志其当前的位置。

步骤7，根据微构件的二维位置信息预测下一次微构件运动图像中包含微构件的ROI（Region of Interest，图像感兴趣区域）。本发明采取的预测方法是，根据前几次微构件形心位置的变化判断微构件的运动趋势，继而预测下一次微构件运动图像中包含微构件的ROI位置，然后求取微构件的最小外接矩形，根据微构件最小外接矩形的大小确定ROI的大小，本发明实验中ROI的大小大致选定为微构件最小外接矩形面积的3倍。

然而在图像处理算法中，获取的是微构件在图像中的像素位置信息，即相关位置信息都是以像素（pixel）为单位。而实际位移路径的指定以及声操纵反馈参数的指定都需要以微米（um）为单位。因此，需要将像素位置信息转换为实际位置信息。这就要对配有物方远心显微镜头的相机进行标定，获取微构件图像像素位移尺寸与实际位移尺寸之间的对应比例关系。本发明实验中，标定采用的是棋格间距为200.0um的平面靶标，其精度为1.0um。根据相应的标定算法，获得相机的内、外参以及镜头的畸变系数，即标定参数。利用此标定参数就可以将微构件在图像中的像素位置信息转换为实际位置信息。

在此***中，计算机***能够自行设置超声信号发生器各通道所产生的波形类型、频率、幅值以及相位等参数。计算机***根据从当前微构件运动图像中获得的微构件二维位置信息，与微构件的目标位置点进行比较，获得相对于目标位置点的位移偏差和方向角度，并通过离散PID算法及时调整声操纵参数，然后利用超声辐射力的理论公式换算出超声信号发生器各通道所需要的控制参数，使得超声信号发生器产生相应通道的控制信号，经过功率放大器放大后驱动相应超声换能器产生超声辐射力信号，并合成超声辐射力场，操纵微构件向目标位置点运动，这样就实现了一次基于微视觉反馈的闭环控制。重复多次上述过程，就能够操纵微构件自动完成指定位移路径的二维平移运动。

本发明中，操纵微构件向指定目标位置点运动采用的是“步步逼近”的方法。即根据当前微构件运动位置相对于目标位置的位移偏差计算微构件下一步需要运动的步长（其值小于当前位移偏差）。这样，当位移偏差较大时，采用较大的运动步长，使得微构件能够较快的逼近目标位置；当位移偏差较小时，采用相对较小的运动步长，使得微构件最终能够较平稳的到达目标位置。

利用离散PID算法调整声操纵参数以控制超声辐射力的具体流程如下（流程图见图5）。

步骤1，计算微构件第n次运动步长所引用的离散PID公式如下：

其中

为比例常数，为积分常数，

为微分常数，

为需要计算的微构件第n次运动的步长，为微构件第n-1次运动的步长，

，

和

分别为微构件第n-1次，n-2次以及n-3次运动后相对目标位置的位移偏差。

依据上述公式，需要对比例常数

、积分常数

以及微分常数进行初始化设置。

步骤2，指定微构件运动的目标点位置。

步骤3，输入利用图像处理算法提取的微构件当前运动位置点坐标。

步骤4，计算当前微构件位置点相对于目标位置点的位移偏差

以及方向角度θ。

步骤5，判断当前的位移偏差

是否小于指定的位移误差，若小于则退出伺服控制，若大于则进入步骤6。

步骤6，利用上述离散PID公式计算出微构件下一步需要运动的步长

。

步骤7，根据计算出的运动步长

以及方向角度θ，利用超声辐射力的理论公式换算出超声信号发生器各通道所需要的控制参数，并使得相应超声换能器产生超声辐射力信号，操纵微构件向指定目标位置点运动。

重复步骤4,5,6,7，直至微构件相对于目标位置点的位移偏差小于指定的位移误差。

按照本发明的方法，微构件能够自动完成任意指定位移路径的二维平移，在操纵范围大于2000um的情况下，操纵精度能够达到±2um，并且具有较好的稳定性。

Claims (1)

1.基于微视觉反馈的微构件声操纵二维平移方法，其特征在该方法包括以下步骤：

步骤1、对配有物方远心显微镜头的高速采集相机进行标定，求取标定参数，根据标定参数获得微构件图像像素位移尺寸与实际位移尺寸之间的对应比例关系；

步骤2、利用微视觉图像采集子***抓取微构件的运动图像；

步骤3、采用图像处理算法提取图像特征，获得微构件在图像中的像素位置信息；

步骤4、根据步骤1得到的标定参数，将微构件在图像中的像素位置信息转换为实际的位置信息；

步骤5、将当前的微构件坐标点与指定的目标坐标点进行比较，判断是否到达指定目标点位置，若到达指定目标点位置，则退出伺服控制；若未到达指定目标点位置，则进入步骤6；

步骤6、根据微构件当前坐标点相对于目标坐标点的位移偏差和方向角度通过离散PID算法及时调整声操纵参数，控制超声辐射力，使微构件向指定目标点的位置运动；

步骤7、重复步骤2至步骤6，直到微构件到达指定目标点位置。

Images