CN104280740A - 一种基于摄像机与激光测距传感器联合定位***孔的装置及定位方法 - Google Patents

Abstract

一种基于摄像机与激光测距传感器联合定位***孔的装置及定位方法，装置包括机械手，在机械手上安装有摄像机和激光测距传感器，摄像机通过图像采集卡及视觉模块与计算机连接；激光测距传感器及机械手通过控制模块与计算机连接，利用本装置，通过***孔搜索、空间直线取得、目标孔测距、三维坐标取得等步骤得到石壁***孔的具***置数据，达到将***孔进行三维定位的目的，利用机械手即可完成***植入作业。本发明具有***植入的准确性高，漏装率低的特点，降低了操作者的劳动强度。

Description

一种基于摄像机与激光测距传感器联合定位***孔的装置及定位方法

技术领域

本发明涉及测控技术领域，具体涉及到一种基于摄像机与激光测距传感器联合定位***孔的装置及利用该装置完成***孔定位的方法。

背景技术

在大型土木工程中通常需要对山体进行***，一般首先在石壁上钻孔，然后装入***。然而，由于野外环境中石壁很高、表面积大且表面形貌极不规则，采用人工植入***不仅劳动强度大、效率低，且危险性很高，若采用自动化设备植入***，又因大部分孔洞与设备上的操作者距离太远、孔口形貌不规则易与小石块混淆等原因使设备操作人员经常漏装或错装许多孔洞，因而需要开发***孔自动检测与定位装置，为操作者提供***孔的空间位置信息，提高***植入的准确性，降低漏装率和操作者的劳动强度。

发明内容

本发明提供一种基于摄像机与激光测距传感器联合定位***孔的装置及定位方法，该装置及方法能够为操作者提供***孔的空间位置信息，提高***植入的准确性，降低漏装率和操作者的劳动强度。

本发明的目的是这样实现的：一种基于摄像机与激光测距传感器联合定位***孔的装置，包括机械手，在机械手上安装有摄像机和激光测距传感器，摄像机通过图像采集卡及视觉模块与计算机连接；激光测距传感器及机械手通过控制模块与计算机连接。

所述的机械手上还设有位移和速度传感器。

所述的位移和速度传感器的信号传递给计算机。

利用上述装置定位***孔的方法，其定位步骤如下：

1)***孔搜索：利用摄像机对石壁上的孔进行搜索，搜索过程中若视觉模块判断拍摄区域内有孔，则得到孔的图像，并在视域中分割、锁定各孔为当前目标孔；

2)空间直线取得：通过视觉模块中的图像处理软件对孔的图像进行处理，得到孔的图像二维坐标，再结合正式工作前现场标定的摄像***参数矩阵，可以求得由摄像机坐标原点指向目标孔中心的空间直线；

3)目标孔测距：控制模块发出指令调整激光测距传感器对准步骤2)中获得的空间直线的方向进行测距，所得到的数据即为目标孔与激光测距传感器之间的距离；

4)三维坐标取得：将步骤2)中得到的空间直线以及步骤3)中的距离参数合成后进一步换算到机械手底座参考坐标系中，由此得到了目标孔的空间三维坐标，完成石壁***孔的定位，即可引导机械手植入***。

步骤1)－4)过程中运动的坐标数据均以机械手底座为基准参考坐标系，正式工作前需在现场对摄像机进行标定；工作过程中通过安装在机械手上的位移、速度传感器实时获取摄像机、激光测距传感器以及机械手末端执行机构相对于该参考坐标系的空间位置，进而可获取其他需要的相对坐标数据，同时获得了机械手末端执行器与目标孔间在各方向上的相对距离。

利用摄像机对石壁上的孔进行搜索时，若出现同一幅图像中拍摄到多个孔的情况，锁定其中一孔为当前目标孔。

步骤2)－4)中空间直线、三维坐标取得的方法是：

将得到的孔的图像中的孔进行分割，并锁定一个孔为当前目标孔，对给定图像，可知目标孔在图像中的二维坐标I(u,v)，首先将其转化为以摄像机为参考的坐标系C(X,Y,Z)中，结果为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=k\left[\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}& h_{14}\\ h_{21}& h_{22}& h_{23}& h_{24}\\ h_{31}& h_{32}& h_{33}& h_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ \text{Z}\\ 1\end{array}\right]---\left(1\right)$

其中h₁₁～h₃₄为已知的摄像机***参数，将(1)式展开可得：

$\left\{\begin{array}{c}({\mathrm{uh}}_{31}-h_{11})X+({\mathrm{uh}}_{32}-h_{12})Y+({\mathrm{uh}}_{33}-h_{13})Z=h_{14}-{\mathrm{uh}}_{34}\\ ({\mathrm{vh}}_{31}-h_{21})X+({\mathrm{vh}}_{32}-h_{22})Y+({\mathrm{vh}}_{33}-h_{23})Z=h_{21}-{\mathrm{vh}}_{31}\end{array}\right.---\left(2\right)$

通过式(2)可以确定由摄像机坐标原点指向目标孔中心的空间直线，但直线长度即相机与孔之间的距离未知，该距离可由激光传感器测量获得，由此即获得了目标孔在摄像机坐标系C中的三维坐标；

进一步，假设摄像机坐标系C(X,Y,Z)与机械手底座坐标系O(X₀,Y₀,Z₀)之间的空间转换矩阵为P，其中P中的各参数由安装在机械手关节部位的位移传感器实时测得，则可将摄像机坐标系C转换至机械手坐标系O中：

此后，获取任意目标孔后，***会自动通过以上计算步骤，将目标孔空间坐标转换到机械手底座坐标系中，实现目标孔相对于机械手底座坐标系的空间定位。

本发明提供的基于摄像机与激光测距传感器联合定位***孔的装置及定位方法，通过摄像机将***孔定位，再通过激光测距传感器得到距离信息，达到将***孔进行三维定位的目的，利用机械手即可完成***植入作业。本发明具有***植入的准确性高，漏装率低的特点，降低了操作者的劳动强度。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的结构示意图。

图2是本发明的***原理图。

图3是本发明得到的***孔图像。

具体实施方式

本发明的结构如图1所示：一种基于摄像机与激光测距传感器联合定位石壁***孔的装置，包括机械手7，在机械手7上安装有摄像机1和激光测距传感器8，摄像机1通过图像采集卡2及视觉模块4与计算机3连接；激光测距传感器8及机械手7通过控制模块5与计算机3连接。

本发明的工作原理如下：利用摄像机1对石壁上的孔进行搜索，搜索过程中若视觉模块4判断拍摄区域内有孔，则在视域中分割、锁定各孔；若出现同一幅图像中拍摄到多个孔的情况下，则锁定某一孔为当前目标孔以备机械手植入***。

通过视觉模块4中的图像处理软件对孔的图像进行处理，得到孔的图像二维坐标，再结合正式工作前现场标定的摄像***参数矩阵，可以求得由摄像机坐标原点指向目标孔中心的空间直线；图像处理软件可完成图像分割、图像形态学处理、图像校正、孔识别等，利用现有的程序及算法即可完成。

控制模块5发指令调整激光测距传感器8对准空间直线方向进行测距，所获得的数据即为目标孔与激光测距传感器8之间的距离，进一步换算到机械手固定参考坐标系中，由此得到了目标孔的空间三维坐标，即可引导机械手植入***。

以上过程中运动的移及坐标数据均以机械手底座为基准参考坐标系，正式工作前需在现场对摄像机进行标定；工作过程中通过安装在机械手上的位移、速度传感器实时获取摄像机、激光测距传感器以及机械手末端执行机构相对于该参考坐标系的空间位置，进而可通过控制软件计算获取其他需要的相对坐标数据，同时获得了机械手末端执行器与目标孔间在各方向上的相对距离。

本发明中取得***孔二维及三维坐标的过程如下：

将得到的孔的图像中的孔进行分割，并锁定一个孔为当前目标孔，对给定图像，可知目标孔在图像中的二维坐标I(u,v)，首先将其转化为以摄像机为参考的坐标系C(X,Y,Z)中，结果为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=k\left[\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}& h_{14}\\ h_{21}& h_{22}& h_{23}& h_{24}\\ h_{31}& h_{32}& h_{33}& h_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ \text{Z}\\ 1\end{array}\right]---\left(1\right)$

其中h₁₁～h₃₄为已知的摄像机***参数，将(1)式展开可得：

$\left\{\begin{array}{c}({\mathrm{uh}}_{31}-h_{11})X+({\mathrm{uh}}_{32}-h_{12})Y+({\mathrm{uh}}_{33}-h_{13})Z=h_{14}-{\mathrm{uh}}_{34}\\ ({\mathrm{vh}}_{31}-h_{21})X+({\mathrm{vh}}_{32}-h_{22})Y+({\mathrm{vh}}_{33}-h_{23})Z=h_{21}-{\mathrm{vh}}_{31}\end{array}\right.---\left(2\right)$

通过式(2)可以确定由摄像机坐标原点指向目标孔中心的空间直线，但直线长度即相机与孔之间的距离未知，该距离可由激光传感器测量获得，由此即获得了目标孔在摄像机坐标系C中的三维坐标；

进一步，假设摄像机坐标系C(X,Y,Z)与机械手底座坐标系O(X₀,Y₀,Z₀)之间的空间转换矩阵为P，其中P中的各参数由安装在机械手关节部位的位移传感器实时测得，则可将摄像机坐标系C转换至机械手坐标系O中：

此后，获取任意目标孔后，***会自动通过以上计算步骤，将目标孔空间坐标转换到机械手底座坐标系中，实现目标孔相对于机械手底座坐标系的空间定位。

以下为本发明的一个应用实例：

如图3所示：已知图3所示中的目标孔1直径为100mm，其中心点在机械手底座坐标系的坐标为(-180.32,720.60,1584.50)，单位为mm。

经本发明检测***测得***孔1的中心点在图像坐标系中的二维坐标为I(297.67,1552.45)，据式(2)计算可得孔1中心点在摄像机坐标系中的空间直线为X＝-0.4227Z，Y＝-0.1005Z；进一步，由激光传感器测量得到摄像机与孔1中心之间的距离L＝856.17mm，据Z²＝L²-X²-Y²可得Z＝785.32mm，进而可知X＝-331.98mm，Y＝-78.95mm，即得到***孔1中心点在摄像机坐标系中的坐标为C(-331.98,-78.95,785.32)。

此时，摄像机坐标相对于机械手基座转换矩阵为P(150.00,800.00,800.00)，代入(3)式可得***孔1的中心在机械手底座坐标系中的坐标为O(-181.98,721.05,1585.32)。

对比及结果：

由以上***孔1中心的实际坐标与测量坐标对比可知，两坐标间的最大误差为1.66mm(X方向)，故本发明有较高的测量精度(尤其对于较大直径的孔)和很好的可实现性。

Claims (7)

1.一种基于摄像机与激光测距传感器联合定位***孔的装置，其特征在于：包括机械手(7)，在机械手(7)上安装有摄像机(1)和激光测距传感器(8)，摄像机(1)通过图像采集卡(2)及视觉模块(4)与计算机(3)连接；激光测距传感器(8)及机械手(7)通过控制模块(5)与计算机(3)连接。

2.根据权利要求1所述的一种基于摄像机与激光测距传感器联合定位***孔的装置，其特征在于：所述的机械手(7)上还设有位移和速度传感器。

3.根据权利要求2所述的一种基于摄像机与激光测距传感器联合定位***孔的装置，其特征在于：所述的位移和速度传感器的信号传递给计算机(3)。

4.利用权利要求1－3中任一权利要求所述的装置定位***孔的方法，其特征在于：其定位步骤如下：

1)***孔搜索：利用摄像机对石壁上的孔进行搜索，搜索过程中若视觉模块(4)判断拍摄区域内有孔，则得到孔的图像，并在视域中分割、锁定各孔为当前目标孔；

2)空间直线取得：通过视觉模块(4)中的图像处理软件对孔的图像进行处理，得到孔的图像二维坐标，再结合正式工作前现场标定的摄像***参数矩阵，可以求得由摄像机坐标原点指向目标孔中心的空间直线；

3)目标孔测距：控制模块(5)发出指令调整激光测距传感器对准步骤2)中获得的空间直线的方向进行测距，所得到的数据即为目标孔与激光测距传感器之间的距离；

4)三维坐标取得：将步骤2)中得到的空间直线以及步骤3)中的距离参数合成后进一步换算到机械手底座参考坐标系中，由此得到了目标孔的空间三维坐标，完成石壁***孔的定位，即可引导机械手植入***。

5.根据权利要求4所述的方法，其特征在于：步骤1)－4)过程中运动的坐标数据均以机械手底座为基准参考坐标系，正式工作前需在现场对摄像机进行标定；工作过程中通过安装在机械手上的位移、速度传感器实时获取摄像机、激光测距传感器以及机械手末端执行机构相对于该参考坐标系的空间位置，进而可获取其他需要的相对坐标数据，同时获得了机械手末端执行器与目标孔间在各方向上的相对距离。

6.根据权利要求4所述的方法，其特征在于：利用摄像机对石壁上的孔进行搜索时，若出现同一幅图像中拍摄到多个孔的情况，锁定其中一孔为当前目标孔。

7.根据权利要求4所述的方法，其特征在于：步骤2)－4)中空间直线、三维坐标取得的方法是：

将得到的孔的图像中的孔进行分割，并锁定一个孔为当前目标孔，对给定图像，可知目标孔在图像中的二维坐标I(u,v)，首先将其转化为以摄像机为参考的坐标系C(X,Y,Z)中，结果为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=k\left[\begin{array}{cccc}{h}_{11}& h_{12}& h_{13}& h_{14}\\ h_{21}& h_{22}& h_{23}& h_{24}\\ h_{31}& h_{32}& h_{33}& h_{34}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

其中h₁₁～h₃₄为已知的摄像机***参数，将(1)式展开可得：

$\left\{\begin{array}{c}({\mathrm{uh}}_{31}-h_{11})X+({\mathrm{uh}}_{32}-h_{12})Y+({\mathrm{uh}}_{33}-h_{13})Z=h_{14}-{\mathrm{uh}}_{34}\\ ({\mathrm{vh}}_{31}-h_{21})X+({\mathrm{vh}}_{32}-h_{22})Y+({\mathrm{vh}}_{33}-h_{23})Z=h_{21}-{\mathrm{vh}}_{31}\end{array}\right.---\left(2\right)$

通过式(2)可以确定由摄像机坐标原点指向目标孔中心的空间直线，但直线长度即相机与孔之间的距离未知，该距离可由激光传感器测量获得，由此即获得了目标孔在摄像机坐标系C中的三维坐标；

进一步，假设摄像机坐标系C(X,Y,Z)与机械手底座坐标系O(X₀,Y₀,Z₀)之间的空间转换矩阵为P，其中P中的各参数由安装在机械手关节部位的位移传感器实时测得，则可将摄像机坐标系C转换至机械手坐标系O中：

此后，获取任意目标孔后，***会自动通过以上计算步骤，将目标孔空间坐标转换到机械手底座坐标系中，实现目标孔相对于机械手底座坐标系的空间定位。