CN103290535A - 整体穿刺模板等距密排微小孔定位装置及方法 - Google Patents

Abstract

本发明公开了一种整体穿刺模板等距密排微小孔定位方法，包括：对微型CCD摄像头进行标定，以消除图像畸变；确定整体穿刺的钢针阵列；对图像进行二值化并标记，逐点遍历后，控制十字光标的中心点到四个端点的距离相等，实现定位孔与布针基准孔同轴；根据落针孔与定位孔之间的相对位置关系，计算得出落针孔与布针基准孔之间的相对位置关系；根据整体穿刺的钢针阵列，控制底板做横向、纵向移动，从而实现整体穿刺模板等距密排微小孔的定位。本发明用于碳纤维三维织物整体穿刺工艺中，并将布针基准孔定义在穿刺模板上的左上角微小孔，基于图像和十字激光器为钢针阵列的布放机构提供必要的布针基准孔的圆心位置信息，便于穿刺钢针的布放。

Description

整体穿刺模板等距密排微小孔定位装置及方法

技术领域

本发明涉及一种碳纤维三维织物穿刺成型工艺中的辅助设备，尤其涉及一种用于碳纤维三维织物整体穿刺工艺中穿刺钢针阵列布放装置中穿刺模板微小孔的标定***。

背景技术

三维织物是近40年来发展起来的性能最优的纤维增强结构，主要用于航空、航天、汽车、医疗及新技术领域。整体穿刺技术是三维织物的一种成型技术，整体穿刺的钢针阵列是指将钢针放入穿刺模板数千至数万个等距密排微小孔中形成的穿刺阵列。

随着科学技术的进步，人们逐步将以往手工操作的流程、工艺与信息、微电子、自动化、精密制造等技术有机结合起来，以提高生产效率、降低劳动强度。

与传统的手工操作相比，自动化生产设备具有操作准确，生产效率高，降低劳动强度，节省生产成本的优点。为此，人们研制了各种自动化设备用于碳纤维三维织物的织造。

专利号为200810064847.0的发明专利公开了一种基于图像和几何模型的内镜操作手术机器人穿刺孔定位方法，用于内镜（内窥镜）操作手术机器人标定内镜手术穿刺孔的位置，为机器人提供必要的内镜姿态信息，便于对内镜的操作。在机器人末端机械臂下方安装两个不同倾角的红光点状光斑激光器，同时，在末端机械臂末梢的可伸缩式连杆安装一个微型CCD摄像头，使两条光线的交点落在微型CCD摄像头镜头的下方即图像中心，通过两条光线的交点间接测量穿刺孔相对于机器人基础坐标系的位置坐标。该发明提高了穿刺孔的定位精度，节省CCD摄像机等标定器件，避免仅利用摄像机进行双目及多目标定时在三维重建过程中占用大量计算机***资源，导致***工作缓慢，使穿刺孔标定过程迅速、准确，有利于降低成本，便于产品开发和生产。其不足之处在于：受激光器光斑面积的限制，仅能用于对直径在10mm左右的患者腹壁穿刺孔进行精确快速定位，不适用于具有直径小于等于2mm，孔间距小于2.3mm的等距密排为小孔板的定位。

科技论文“基于预加工CCD图像的零件视觉定位”（组合机床与自动化加工技术2010，9:79-82）以在黄铜薄板上冲裁阵列微孔为目的，以提高预加工孔测定精度为途径，介绍了一种基于预加工孔CCD图像来定位工件位置的方法。这种定位方法采用将工件先装夹后定位的思想：一是工件在移动台上的装夹，采用一面三挡块方式定位，弹簧片加紧；二是移动台相对机床定位基准的定位（模具固定在机床上）。最终完成工件先对与模具的定位。“视觉定位”就是将预加工孔作为定位特征,在移动台初定位后通过孔CCD图像确定该孔与定位基准间的误差并反馈使移动台再定位的过程。后续加工以该孔圆心为基准,与其有严格的尺寸和位置精度关系。该方法可有效减小定位误差，提高定位效率。定位精度由误差测量的精度保证，进而取决于孔中心位置的检测精度。其不足之处在于，用于微孔阵列冲裁定位，不能用于已加工完成的微孔阵列定位，尤其是不能用于孔板有工装无法采用一面三挡块方式定位的穿刺模板等距密排微小孔的定位。

发明内容

针对上述现有技术，本发明提供一种整体穿刺模板等距密排微小孔定位装置及方法，用于碳纤维三维织物整体穿刺工艺中穿刺钢针阵列布放装置中穿刺模板微小孔位置的精准定位，是基于图像和十字激光器为钢针阵列布放装置提供必要的穿刺模板左上角微小孔的圆心位置信息，以便于穿刺钢针的布放。

为了解决上述技术问题，本发明一种整体穿刺模板等距密排微小孔定位装置，包括工业PC机、布针机构，红光十字激光器和微型CCD摄像头，所述工业PC机的插槽内插装有视频采集卡，所述布针机构包括底板，所述底板可X-Y移动，所述底板上设有定位孔、落针孔和一伸缩式连杆，所述定位孔与落针孔的距离为穿刺模板孔间距的整数倍；所述微型CCD摄像头设置在伸缩式连杆的端部，所述红光十字激光器发出的十字光标位于所述微型CCD摄像头的下方，且该十字光标的中心点与所述定位孔同轴；属于穿刺模板上的一个微小孔为布针基准孔，所述微型CCD摄像头通过数据线连接至所述工业PC机，所述微型CCD摄像头将红光十字激光器发出的穿过所述定位孔和穿刺模板上布针基准孔的十字光标的视频信号传递给视频采集卡，所述工业PC机对该视频信号A/D转换后进行处理，从而根据落针孔与定位孔之间的相对位置关系获取落针孔与布针基准孔之间的相对位置关系。

实现本发明一种整体穿刺模板等距密排微小孔定位方法，采用上述整体穿刺模板等距密排微小孔定位装置，并包括以下步骤：

步骤一、对微型CCD摄像头进行标定，以消除图像畸变；

步骤二、确定整体穿刺的钢针阵列；

步骤三、对图像进行二值化并标记，并分别从上下左右四个方向逐点遍历，找出十字光标的四个端点及中心点的大概位置，控制底板做横向、纵向移动，直至捕捉到一个十字连通域；

步骤四、逐点遍历，找出十字光标的中心点、横向和纵向的四个端点的位置，分别计算十字光标的中心点到横向和纵向四个端点的距离；

步骤五、判断十字光标的中心点到横向两个端点的距离是否相等，并控制所述底板做横向移动，直至十字光标的中心点到横向两个端点的距离相等；

判断十字光标的中心点到纵向两个端点的距离是否相等，并控制所述底板做纵向移动，直至中心点到纵向两个端点的距离相等；

判断十字光标的中心点到四个端点的距离是否相等，若十字光标的中心点到四个端点的距离相等，实现定位孔与布针基准孔同轴；根据落针孔与定位孔之间的相对位置关系，计算得出落针孔与布针基准孔之间的相对位置关系；

步骤六、根据步骤二确定的整体穿刺的钢针阵列，控制底板做横向、纵向移动，从而实现整体穿刺模板等距密排微小孔的定位。

进一步讲，上述步骤一中，包括：

步骤1-1、定义世界坐标系（X_W，Y_W，Z_W）、摄像机坐标系（X_c,Y_c,Z_c）、图像像素坐标系（u，v）和图像物理坐标系（X,Y），其中：

世界坐标系（X_W，Y_W，Z_W）用来描述环境中任何物体的位置，世界坐标系中空间的一点M表示为（X_W，Y_W，Z_W）；

摄像机坐标系（X_c,Y_c,Z_c）的原点定义在摄像机镜头的光心，Z_c轴为光轴，Z_c轴和Y_c轴分别平行于图像平面的水平轴和垂直轴；

图像像素坐标系（u，v）以像素为单位，u，v分别代表数字图像中的列数与行数；

图像物理坐标系（X,Y）以摄像头的光轴与图像平面的交点为原点，X轴与Y轴分别与图像像素坐标系的u轴和v轴平行；

步骤1-2、建立空间物点和对应像点之间的数学关系，包括：

世界坐标系与摄像机坐标系的变换；

图像坐标系与摄像机坐标系的变换；

世界坐标系与图像坐标系的变换；

根据图像物理坐标系与图像坐标系的关系分别获得有畸变误差和无畸变误差的图像像素坐标，利用非线性成像模型的畸变误差模型进行畸变校正。

进一步讲，上述步骤二中，底板上的落针孔与穿刺模板横向相对运动时，落针孔圆心运动轨迹与钢针阵列的每行小孔圆心连线平行或重合；落针孔与穿刺模板纵向相对运动时，落针孔圆心轨迹与钢针阵列每列小孔的圆心连线平行或重合。

进一步讲，步骤六中，设布针基准孔为位于穿刺模板左上角的小孔，穿刺模板等距密排微小孔的中心距为r，定位孔与落针孔的距离为l_x=a×r，a为整数，若定位孔与布针基准孔同轴，则定位孔与落针孔的连线与穿刺模板上钢针阵列的第一行小孔圆心的连线重合，从而得出落针孔（x，y）与布针基准孔的相对位置关系为：

$\left\{\begin{array}{c}x=a\×r\\ y=0\end{array}\right.$

本发明中，由于穿刺模板上左上角微小孔与其他位置的微小孔直径尺寸相同，穿刺模板上左上角微小孔与布针机构底板上的定位孔的位置同轴，且与相邻微小孔的孔间距均固定，是穿刺模板微小孔加工过程中第一个开始加工的小孔，将该小孔确定为加工过程中的基准孔。通过定位孔与穿刺模板上左上角微小孔同轴后，确定的落针孔与穿刺模板上左上角微小孔的位置关系最简单。当然，以穿刺模板上其他特殊位置的微小孔作为加工过程中的基准孔也可以，比如位于其他3个角的小孔，但布针时是先将第一根超长穿刺针放入穿刺模板上左上角小孔，这样对于布针工作来讲最方便，不然对其他特殊位置小孔定位后还要回到左上角小孔进行钢针布放，因此，将穿刺模板上左上角小孔定义为布针基准孔是布针过程中最为方便的位置。

与现有技术相比，本发明的有益效果是：

本发明采用微型CCD摄像头和十字激光器配合，通过判断十字光标的中心到四个端点的距离是否相等来确定落针孔与穿刺模板上相关小孔的位置坐标，不但提高了穿刺模板小孔的定位精度，而且避免了现有技术中仅利用摄像机进行双目及多目标定时在三维重建过程中占用大量计算机***资源、导致***工作缓慢的问题，使穿刺模板小孔标定过程迅速、准确，有利于降低成本，便于产品开发和生产。本发明可以保证穿刺模板的小孔阵列的位置精度，以满足钢针布放时的要求，适用于先装夹后定位的应用场合。另外，本发明节省视频采集元件，其结构及工作控制原理简单，与传统的穿刺模板等距密排微小孔的定位相比在可以有效使用的前提下成本相对较低。

附图说明

图1是本发明整体穿刺模板等距密排微小孔定位装置的构成示意简图；

图2是图1中所示布针机构底板的结构示意图；

图3是本发明中线性模型与各坐标***关系图；

图4是视觉测量***的平面靶标图像；

图5是本发明中控制框图；

图6是摄像过程中的标准网格像场图；

图7是本发明中图像标记流程图；

图8是本发明整体穿刺模板等距密排微小孔定位方法流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细地描述。

如图1所示，本发明一种整体穿刺模板等距密排微小孔定位装置，包括工业PC机0、布针机构，红光十字激光器1和微型CCD摄像头2，如图5所示，所述工业PC机0的插槽内插装有视频采集卡01，所述布针机构包括底板3，所述底板3可X-Y移动，如图2所示，所述底板3上设有定位孔、落针孔和一伸缩式连杆，所述定位孔用于确定所述红光十字激光器1的位置，所述定位孔与落针孔的距离为穿刺模板孔间距的整数倍；所述微型CCD摄像头2设置在伸缩式连杆4的端部，所述红光十字激光器1安装在底板3的上方并与定位孔同轴，所述微型CCD摄像头2安装在底板3的下方，所述红光十字激光器1发出的十字光标位于所述微型CCD摄像头2的下方，且该十字光标的中心点与所述定位孔同轴；属于穿刺模板上的一个微小孔为布针基准孔，如图5所示，所述微型CCD摄像头2通过数据线连接至所述工业PC机0，所述微型CCD摄像头2将红光十字激光器1发出的穿过所述定位孔和穿刺模板上布针基准孔的十字光标的视频信号传递给视频采集卡01，所述工业PC机0对该视频信号A/D转换后进行处理，从而根据落针孔与定位孔之间的相对位置关系获取落针孔与布针基准孔之间的相对位置关系。

本发明中的红光十字激光器1的型号为昆山博业电子科技有限公司的LD-G650A23，尺寸为Ф12×35mm，或采用其他厂家相同尺寸的十字红光激光器；CCD摄像头2的型号为SONY PH-TV1301，视频采集卡型号为天敏VC4000，或者采用USB***头。

本发明实施例中，穿刺模板上左上角微小孔与其他位置的微小孔直径尺寸相同，穿刺模板上左上角微小孔与布针机构底板上的定位孔的位置同轴，且与相邻微小孔的孔间距均固定，是穿刺模板微小孔加工过程中第一个开始加工的小孔，因此将该小孔确定为加工过程中的基准孔。通过定位孔与穿刺模板上左上角微小孔同轴后，确定的落针孔与穿刺模板上左上角微小孔的位置关系最简单。

当然，以穿刺模板上其他特殊位置的微小孔作为加工过程中的基准孔也可以，比如位于其他3个角的小孔，但布针时是先将第一根超长穿刺针放入穿刺模板上左上角小孔，这样对于布针工作来讲最方便，不然对其他特殊位置小孔定位后还要回到左上角小孔进行钢针布放，因此，将穿刺模板上左上角小孔定义为布针基准孔是布针过程中最为方便的位置。

穿刺模板等距密排微小孔定位时，将穿刺模板固装在钢针阵列布放工装上，同时保证穿刺模板第一行等距密排小孔中心连线与布针机构底板的运动方向平行，然后将钢针阵列布放工装定位，然后再进行穿刺模板左上角微小孔的定位。

利用上述整体穿刺模板等距密排微小孔定位装置实现整体穿刺模板等距密排微小孔定位的方法，如图8所示，包括以下步骤：

确定红光十字激光器1定位孔与落针孔的位置：

如图2所示，红光十字激光器1对应的定位孔与落针孔的距离为穿刺模板小孔孔间距的整数倍。设穿刺模板等距密排微小孔的中心距为r，定位孔与落针孔的距离为l_x，则：

l_x=a×r                 （1）

若定位孔与穿刺模板左上角小孔同轴，定位孔与落针孔连线与穿刺模板第一行小孔圆心连线重合，则落针孔（x，y）与穿刺模板左上角小孔的相对位置关系为：

$\left\{\begin{array}{c}x=a\×r\\ y=0\end{array}\right.$

对微型CCD摄像头进行标定，以消除图像畸变，确保微型CCD摄像头定位准确并具有较高定位精度。

视觉测量中常用到如下一些坐标系，其定义分别如下，参见图3：

（1）世界坐标系（X_W，Y_W，Z_W）：也称为绝对坐标系，用来描述环境中任何物体的位置，世界坐标系中空间的一点M表示为（X_W，Y_W，Z_W）。

（2）摄像机坐标系（X_c,Y_c,Z_c）：该坐标系的原点定义在摄像机镜头的光心。Z_c轴为光轴，Z_c轴和Y_c轴分别平行于图像平面的水平轴和垂直轴。

（3）图像像素坐标系（u，v）：也称为帧存坐标，它以像素为单位，一般以图像左上角为原点，uv分别代表数字图像中的列数与行数。

（4）图像物理坐标系（X,Y）：其中心是光轴与图像平面的交点为原点，X轴与Y轴分别与图像像素坐标系的uv轴平行。

定义了上述各种空间直角坐标系后，就可以得到相机在线性模型下的成像描述，即建立空间物点和对应像点之间的数学关系。

1、世界坐标系与摄像机坐标系的变换关系

世界坐标系中的点到相机坐标系的变换过程可由一个旋转变换矩阵R和一个平移变换向量t来描述。设空间中某M点在世界坐标系和相机坐标系下的齐次坐标分别是[X_w,Y_w,Z_w]^T和[X_c,Y_c,Z_c]^T，于是存在如下关系：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^r& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(2\right)$

其中，R为3×3正交单位矩阵，t为三维平移向量，t=[t_x,t_y,t_z]^T,

$R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right].$

2、图像坐标系与摄像机坐标系的变换关系

摄像机坐标系中的点M在图像物理坐标系中的像点m坐标为：

$\left\{\begin{array}{c}x={\mathrm{fx}}_c/Z_c\\ y={\mathrm{fy}}_c/Z_c\end{array}\right.---\left(3\right)$

将上式的图像物理坐标系进一步转化成图像像素坐标系为：

$\left\{\begin{array}{c}u=x/d_x+u_0\\ v=y/d_y+v_0\end{array}\right.---\left(4\right)$

其中，u₀，v₀是图像中心（光轴与图像平面的交点）的坐标，d_x和d_y分别为一个像素在X和Y方向的物理尺寸。由式（3）和式（4）可以得到空间点M与像点m的像素坐标之间的变换关系，以齐次坐标表示：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1/d_x& 0& u_0\\ 0& 1/d_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cccc}f/d_x& 0& u_0& 0\\ 0& f/d_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(5\right)$

令α=f/d_y，β=f/d_y则式（5）改写为：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\mathrm{\α}& 0& u_0& 0\\ 0& \mathrm{\β}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(6\right)$

3.世界坐标系与图像坐标系的变换关系

将式（2）带入式（6）就可以得到就空间点M在世界坐标系中的坐标与其像点m在图像像素坐标系中的坐标之间的变换关系：

$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\mathrm{\α}& \mathrm{\γ}& u_0& 0\\ 0& \mathrm{\β}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^r& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(7\right)$

上式可简写成：z_c·U_uv=A·X_w                      （8）

其中，U_uv=[u,v,1]^T和X_w=[x_w,y_w,z_w,1]^T分别是空间点M=[x_w,y_w,z_w]^r和其像点m=[u,v]^T的齐次坐标，矩阵A为3×4不可逆矩阵,也称为投影矩阵。

$A=\left[\begin{array}{cccc}{\mathrm{\αr}}_1+u_0{r}_7& {\mathrm{\αr}}_2+u_0{r}_8& {\mathrm{\αr}}_3+u_0{r}_9& {\mathrm{\αt}}_x+u_0{t}_z\\ {\mathrm{\βr}}_4+v_0{r}_7& {\mathrm{\βr}}_5+v_0{r}_8& {\mathrm{\βr}}_6+v_0{r}_9& {\mathrm{\βt}}_y+v_0{t}_z\\ r_7& r_8& r_9& t_z\end{array}\right]---\left(9\right)$

由于实际成像***中存在着各种误差因素，实际成像模型并不满足线性关系，而是一种非线性关系。对于中焦距普通质量的镜头，在图像的边界大概有1—3个像素大小的畸变误差。为了获得较高的测量精度，必须采用非线性模型来对摄像***进行标定。描述图像点的非线性畸变可用下面的公式：

$\left\{\begin{array}{c}x=x_d+{\mathrm{\δ}}_x\\ y=y_d+{\mathrm{\δ}}_y\end{array}\right.---\left(10\right)$

其中，(x，y)为针孔模型成像条件下的图像点的理想坐标，(x_d，y_d)为图像点实际的坐标，δ_x与δ_y分别为X利Y方向上的畸变值，它和图像点的位置有关。

摄像机标定采用非线性成像模型的畸变误差模型——Weng’s标定模型，总的畸变表示为：

$\left\{\begin{array}{c}{\mathrm{\δ}}_x=k_1{x}_d(x_d^2+y_d^2)+{\mathrm{\ρ}}_1({3x}_d^3+y_d^2)+{2\mathrm{\ρ}}_2{x}_d{y}_d+s_1(x_d^2+y_d^2)\\ {\mathrm{\δ}}_y=k_1{x}_d(x_d^2+y_d^2)+{\mathrm{\ρ}}_2(x_d^3+{3y}_d^2)+{2\mathrm{\ρ}}_1{x}_d{y}_d+s_2(x_d^2+y_d^2)\end{array}\right.---\left(11\right)$

令g₁=s₁+ρ₁，g₂=s₂+ρ₂，g₃=2ρ₁，g₄=2ρ₂，g₅=k₁则有：

$\left\{\begin{array}{c}{\mathrm{\δ}}_x=(g_1+g_2)x_d^2+g_4{x}_d{y}_d+g_1{y}_d^2+g_5{x}_d(x_d^2+y_d^2)\\ {\mathrm{\δ}}_y=g_2{x}_d^2+g_3{x}_d{y}_d+(g_2+g_4)y_d^2+g_5{y}_d(x_d^2+y_d^2)\end{array}\right.---\left(12\right)$

将（12）带入（10）得：

$\left\{\begin{array}{c}x=x_d+(g_1+g_3)x_d^2+g_4{x}_d{y}_d+g_1{y}_d^2+g_5{x}_d(x_d^2+y_d^2)\\ y=y_d+g_2{x}_d^2+g_3{x}_d{y}_d+(g_2+g_4)y_d^2+g_5{y}_d(x_d^2+y_d^2)\end{array}---\left(13\right)\right.$

上式即为非线性成像模型的畸变误差模型，摄像机标定利用上述模型进行畸变校正。

摄像机过程是：拍摄已知世界坐标的空间点阵图像，获取对应像点的图像坐标，然后计算内外参数。运用分步法进行求解。首先用提取的网格结点拟合一个近似无误差的网格像场；而后根据拟合出的网格像场与空间实际网格的关系，用（8）式进行求解，由此可解得摄像机的投影矩阵。最后根据拟合出来的网格场与提取出来的结点值对像差修正系数进行求解。

在视觉测量***中，采用平面靶标作为标定物（参见图4），该靶标有一系列的均匀分布，垂直交叉的直线，线之间的交点的相对位置是已知的。并且世界坐标系的X轴为该靶标的水平方向，Y轴为该靶标的垂直方向，其原点位于平面靶标。显然对于平面靶标上的任一点都有Z_w=0。

在标定前对***要做如下调整：

a.调整平面靶标，使靶标上的互相处置的线分别平行于X_w轴和Y_w轴。

b.调整摄像头，使其主光轴方向尽量垂直于标定平面。

c.调整微型CCD摄像头成水平状态。

拟合标准网格（参见图6）对图6所示的网格像场中水平方向与垂直方向的直线可分别表示如下:

y=ia+b₀              （14）

x=ia+b₁              （15）

其中a为线与线之间的间隔，b₀，b₁为偏移量，i为网格线的标号。

采用最小二乘法计算a，b₀，b₁等参数，具体做法如下：

取图像中部区域的k水平线和l条垂直线，记：

$f(a,b_0,b_1)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{(\mathrm{ia}+b_0-y_{\mathrm{ij}})}^2+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{(\mathrm{ia}+b_1-x_{\mathrm{ij}})}^2=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}[{(\mathrm{ia}+b_0-y_{\mathrm{ij}})}^2+{(\mathrm{ja}+b_1-x_{\mathrm{ij}})}^2]$

（16）

分别求偏导数，得3个方程:

$\frac{\mathrm{df}}{\mathrm{da}}=2\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}[(\mathrm{ia}+b_0-y_{\mathrm{ij}})+(\mathrm{ja}+b_1-x_{\mathrm{ij}})j]$

$=\frac{1}{3}\mathrm{kl}[(k+1)(2k+1)+(l+1)(2l+1)]a+\mathrm{kl}(k+1)b_0+\mathrm{kl}(l+1)b_1-2\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{iy}}_{\mathrm{ij}}+{\mathrm{jx}}_{\mathrm{ij}})=0$

$\frac{\mathrm{df}}{{\mathrm{db}}_0}=2\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}(\mathrm{ia}+b_0-y_{\mathrm{ij}})=\mathrm{kl}(k+l)-2\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}=0$

$\frac{\mathrm{df}}{{\mathrm{db}}_1}=2\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}(\mathrm{ja}+b_1-y_{\mathrm{ij}})=\mathrm{kl}(k+l)-2\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}=0$

解方程

WF=B                          （17）

其中：

$W=\left[\begin{array}{ccc}\frac{1}{3}[(k+1)(2k+1)+(l+1)(2l+1)]& k+1& l+1\\ k+1& 2& 0\\ l+1& 0& 2\end{array}\right],$ $F=\left[\begin{array}{c}a\\ b_0\\ b_1\end{array}\right],$ $B=\frac{2}{\mathrm{kl}}\left[\begin{array}{c}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{iy}}_{\mathrm{ij}}+{\mathrm{jx}}_{\mathrm{ij}})\\ \underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{y}_{\mathrm{ij}}\\ \underset{i=1}{\overset{k}{\mathrm{\Σ}}}\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}\end{array}\right]$

由此可得到整个网格的交点。

求解摄像机位置参数。

将（8）式展开，消去Z_c有：

$\left\{\begin{array}{c}(u-u_0)x_w{r}_7+(u-u_0)y_w{r}_8+(u-u_0)z_w{r}_9+(u-u_0)t_z-x_w{\mathrm{\αr}}_1-y_w{\mathrm{\αr}}_2-z_w{\mathrm{\αr}}_3-{\mathrm{\αt}}_x=0\\ (v-v_0)x_w{r}_7+(v-v_0)y_w{r}_8+(v-v_0)z_w{r}_9+(v-v_0)t_z-x_w{\mathrm{\βr}}_4-y_w{\mathrm{\βr}}_5-z_w{\mathrm{\βr}}_6-{\mathrm{\βt}}_y=0\end{array}\right.---\left(18\right)$

假设如下一组中间变量：

$\left\{\begin{array}{c}{q}_1={\mathrm{\αr}}_1+u_0{r}_7\\ q_2={\mathrm{\αr}}_2+u_0{r}_8\\ q_3={\mathrm{\αr}}_3+u_{0_{}}r9\\ q_4={\mathrm{\βr}}_4+v_0{r}_7\\ q_5={\mathrm{\βr}}_5+v_0{r}_8\\ q_6={\mathrm{\βr}}_6+v_0{r}_9\\ q_7=r_7\\ q_8=r_8\\ q_9=r_9\\ q_{10}={\mathrm{\αt}}_x+u_0{t}_z\\ q_{11}={\mathrm{\βt}}_y+v_0{t}_z\\ q_{12}=t_z\end{array}\right.---\left(19\right)$

（19）式可以表示为：HQ=0   （20）

其中：

$H=\left[\begin{array}{cccccccccccc}-x_w& {-y}_w& -z_w& 0& 0& 0& {\mathrm{ux}}_w& {\mathrm{uy}}_w& {\mathrm{uz}}_w& -1& 0& u\\ 0& 0& 0& -x_w& -y_w& -z_w& {\mathrm{vx}}_w& {\mathrm{vy}}_w& {\mathrm{vz}}_w& 0& -1& v\end{array}\right],$

$Q={\left[\begin{array}{cccccccccccc}{q}_1& q_2& q_3& q_4& q_5& q_6& q_7& q_8& q_9& q_{10}& q_{11}& q_{12}\end{array}\right]}^r$

由于（20）式是一齐次方程,它有无穷多组解,而所需的摄像机参数满足如下两个条件：

（1）因为r₇，r₈，r₉是正交矩阵的最后一行的行向量，它应是一单位向量，所以 $q_7^2+q_8^2+q_9^2=1.$

（2）q₁₂的符号应与摄像机在世界坐标中的位置相适应,若它在Z_w轴的正向则为正，反之为负，在此***中取为正。应此，当Q确定后,实际的摄像机参数应是：

$N=\frac{Q}{\sqrt{q_7^2+q_8^2+q_9^2}}$

对于（20）式的求解只需一特解就可知全部的解,可先假设已知一未知数的值,求其余未知数,即得一特解,因世界坐标系原点一般定义在测量对象上，t_x的值是不为零的,于是可假设q₁₂=1,对Q进行求解,再按（20）式求实际的值,在该假设下，（20）式可化为：

H′Q′+q=0                         （21）

其中H′为H的前11列，q为H的最后1列，Q′为Q的前面11个变量。根据最小二乘法可解得Q′,而后可求得Q值，再根据（19）式求得摄像机参数。

由图像物理坐标与图像坐标的关系有：

x_d=(u_d-u₀)dx=(u-u₀)f/α

y_d=(v_d-v₀)dy=(v-v₀)f/β

x=(u-u₀)dx=(u-u₀)f/α

y=(v-v₀)dy=(v-v₀)f/β

其中x_d，y_d和x，y分别表示有畸变误差和无畸变误差的图像像素坐标，代入式（13），得到误差系数g_i的线性方程，即可求解得到，根据以上参数可对摄像头进行标定。

执行穿刺模板微小孔定位程序，确定整体穿刺的钢针阵列。底板上的落针孔与穿刺模板横向相对运动时，落针孔圆心运动轨迹与钢针阵列的每行小孔圆心连线平行或重合；落针孔与穿刺模板纵向相对运动时，落针孔圆心轨迹与钢针阵列每列小孔的圆心连线平行或重合。

计算得出落针孔与布针基准孔之间的相对位置关系。

对图像进行二值化，并标记（参见图7），然后分别从上下左右四个方向逐点遍历，找出十字光标的四个端点及中心点的大概位置，即通过控制底板做横向、纵向移动，直至捕捉到一个十字连通域为止；再然后，逐点遍历，找出十字光标的中心点、横向和纵向的四个端点的位置，分别计算十字光标的中心点到横向和纵向四个端点的距离；判断十字光标的中心点到横向两个端点的距离是否相等，并控制所述底板做横向移动，直至十字光标的中心点到横向两个端点的距离相等；判断十字光标的中心点到纵向两个端点的距离是否相等，并控制所述底板做纵向移动，直至中心点到纵向两个端点的距离相等，中心点到四个端点的距离相等则证明底板定位孔与穿刺模板左上角小孔同轴，实现定位孔与布针基准孔同轴；根据落针孔与定位孔之间的相对位置关系，计算得出落针孔与布针基准孔之间的相对位置关系；对CCD摄像头进行标定消除图像畸变仅在整个***建立后进行一次，以后每次定位都不需要再进行标定。

根据整体穿刺的钢针阵列，控制底板做横向、纵向移动，从而实现整体穿刺模板等距密排微小孔的定位。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保护之内。

Claims (5)

1.一种整体穿刺模板等距密排微小孔定位装置，包括工业PC机、布针机构，红光十字激光器和微型CCD摄像头，其特征在于，

所述工业PC机的插槽内插装有视频采集卡，所述布针机构包括底板，所述底板可X-Y移动，所述底板上设有定位孔、落针孔和一伸缩式连杆，所述定位孔与落针孔的距离为穿刺模板孔间距的整数倍；所述微型CCD摄像头设置在伸缩式连杆的端部，所述红光十字激光器发出的十字光标位于所述微型CCD摄像头的下方，且该十字光标的中心点与所述定位孔同轴；属于穿刺模板上的一个微小孔为布针基准孔，所述微型CCD摄像头通过数据线连接至所述工业PC机，所述微型CCD摄像头将红光十字激光器发出的穿过所述定位孔和穿刺模板上布针基准孔的十字光标的视频信号传递给视频采集卡，所述工业PC机对该视频信号A/D转换后进行处理，从而根据落针孔与定位孔之间的相对位置关系获取落针孔与布针基准孔之间的相对位置关系。

2.一种整体穿刺模板等距密排微小孔定位方法，其特征在于，采用如权利要求1所述整体穿刺模板等距密排微小孔定位装置，并包括以下步骤：

步骤一、对微型CCD摄像头进行标定，以消除图像畸变；

步骤二、确定整体穿刺的钢针阵列；

步骤三、对图像进行二值化并标记，并分别从上下左右四个方向逐点遍历，找出十字光标的四个端点及中心点的大概位置，控制底板做横向、纵向移动，直至捕捉到一个十字连通域；

步骤四、逐点遍历，找出十字光标的中心点、横向和纵向的四个端点的位置，分别计算十字光标的中心点到横向和纵向四个端点的距离；

步骤五、判断十字光标的中心点到横向两个端点的距离是否相等，并控制所述底板做横向移动，直至十字光标的中心点到横向两个端点的距离相等；

判断十字光标的中心点到纵向两个端点的距离是否相等，并控制所述底板做纵向移动，直至中心点到纵向两个端点的距离相等；

判断十字光标的中心点到四个端点的距离是否相等，若十字光标的中心点到四个端点的距离相等，实现定位孔与布针基准孔同轴；根据落针孔与定位孔之间的相对位置关系，计算得出落针孔与布针基准孔之间的相对位置关系；

步骤六、根据步骤二确定的整体穿刺的钢针阵列，控制底板做横向、纵向移动，从而实现整体穿刺模板等距密排微小孔的定位。

3.根据权利要求2所述的整体穿刺模板等距密排微小孔定位方法，步骤一中，包括：

步骤1-1、定义世界坐标系（X_W，Y_W，Z_W）、摄像机坐标系（X_c,Y_c,Z_c）、图像像素坐标系（u，v）和图像物理坐标系（X,Y），其中：

世界坐标系（X_W，Y_W，Z_W）用来描述环境中任何物体的位置，世界坐标系中空间的一点M表示为（X_W，Y_W，Z_W）；

摄像机坐标系（X_c,Y_c,Z_c）的原点定义在摄像机镜头的光心，Z_c轴为光轴，Z_c轴和Y_c轴分别平行于图像平面的水平轴和垂直轴；

图像像素坐标系（u，v）以像素为单位，u，v分别代表数字图像中的列数与行数；

图像物理坐标系（X,Y）以摄像头的光轴与图像平面的交点为原点，X轴与Y轴分别与图像像素坐标系的u轴和v轴平行；

步骤1-2、建立空间物点和对应像点之间的数学关系，包括：

世界坐标系与摄像机坐标系的变换；

图像坐标系与摄像机坐标系的变换；

世界坐标系与图像坐标系的变换；

根据图像物理坐标系与图像坐标系的关系分别获得有畸变误差和无畸变误差的图像像素坐标，利用非线性成像模型的畸变误差模型进行畸变校正。

4.根据权利要求2所述的整体穿刺模板等距密排微小孔定位方法，步骤二中，底板上的落针孔与穿刺模板横向相对运动时，落针孔圆心运动轨迹与钢针阵列的每行小孔圆心连线平行或重合；落针孔与穿刺模板纵向相对运动时，落针孔圆心轨迹与钢针阵列每列小孔的圆心连线平行或重合。

5.根据权利要求2所述的整体穿刺模板等距密排微小孔定位方法，其中，设布针基准孔为位于穿刺模板左上角的小孔，穿刺模板等距密排微小孔的中心距为r，定位孔与落针孔的距离为l_x=a×r，a为整数，若定位孔与布针基准孔同轴，则定位孔与落针孔的连线与穿刺模板上钢针阵列的第一行小孔圆心的连线重合，从而得出落针孔（x，y）与布针基准孔的相对位置关系为：

$\left\{\begin{array}{c}x=a\×r\\ y=0\end{array}\right..$

Images