CN103226828B - 一种水下机器人声视觉三维成像的图像配准方法 - Google Patents

Abstract

本发明涉及声纳图像处理领域，具体涉及一种服水下机器人摇摆引起的目标声纳图像旋转,消除三维重建扭曲失真的不利影响的水下机器人声视觉三维成像图像配准的方法。本发明包括如下步骤：（1）检测目标图像的旋转角度；（2）校正目标图像的旋转；（3）重建校正后的图像序列。本发明不需要任何先验知识，能够自适应的对声纳图像序列进行校正，使它们在轴向对齐。克服了传统配准方法必须有参考图像的缺点。本发明是一种快速的自动配准方法，计算量小。

Description

一种水下机器人声视觉三维成像的图像配准方法

技术领域

本发明涉及声纳图像处理领域，具体涉及一种服水下机器人摇摆引起的目标声纳图像旋转,消除三维重建扭曲失真的不利影响的水下机器人声视觉三维成像图像配准的方法。

背景技术

近年来，成像声纳在水声领域受到广泛关注和发展，其中三维成像声纳在水质浑浊和光照条件较差的条件下仍可获取水下目标的外形轮廓的细节信息和环境信息。借助计算机可视化技术，可将这些信息以生动的三维图形图像的方式表现出来，通过缩放、移动、转动和测距等操作从各种视角进行观察和分析，提高水下探测的效率。

三维成像声纳是一种高分辨率的图像声纳，能够提供非常优秀的图像质量。它以波束形成或声透镜技术为基础，主要有两种技术路线：一是采用一维线阵，通过其机械平移合成二维面阵；第二种是直接采用二维面阵，从而在水平、垂直、距离3个方向上直接获得分辨率。两种方式都是先形成轴向对齐的二维图像序列，然后进行计算机三维合成。

把图像声纳装载到各种水下智能机器人（Automatic Underwater Vechile，AUV）、遥控水下机器人（ROV）和水下无人潜器(UUV)上进行水下作业,可对水下堤坝、管道、桥墩和海港等进行探测。水下机器人携带高分辨率图像声纳从水面垂直下潜，对目标坝体等进行扫描，获得目标一帧一帧的二维图像。为了确保图像序列的垂直轴向对齐，在下潜过程中声纳与目标的相对方向必须保持一致。

水下机器人依靠螺旋桨控制其在水中运动，但由于其非线性水动力学特性、水流的随机干扰和差分反馈控制机制等因素的影响，在下潜过程中会左右摇摆。与机器人刚性连接的图像声纳也跟着左右摇摆，其采集的目标图像则以声纳为中心左右旋转，导致各帧图像不能轴向对齐，三维重建的图像会出现扭曲失真的现象。现有的图像配准技术主要应用在医学图像领域，以相位相关技术为主，但相位相关技术需要原始图像或者参考图像的全部和部分信息，使应用受到限制。

本发明涉及的声纳图像三维重建配准技术不依靠任何先验知识，能够自适应的对声纳图像序列进行自动校正，使其轴向对齐，解决由于水下机器人左右摇摆引起的声纳图像三维重建扭曲失真。

发明内容

本发明的目的在于提供了一种更简便、计算量更小的水下机器人声视觉三维成像图像配准方法。

本发明的目的是这样实现的：

本发明包括如下步骤：

（1）检测目标图像的旋转角度：

1）分割目标图像，将图像声纳获取的图像I(x,y)转变成灰度图像I_gray(x,y)，将目标与背景分离，即

$f(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{gray}},& I_{\mathrm{gray}}\&GreaterEqual;T\\ 0,& I_{\mathrm{gray}}<T\end{array},\right.$ 其中T为阈值；

2）提取目标边缘，其中I_gray(x,y)的梯度向量为

$\&dtri;f(x,y)={\left[\begin{array}{cc}{G}_x& G_y\end{array}\right]}^T={\left[\begin{array}{cc}\frac{\&PartialD;f}{\&PartialD;x}& \frac{\&PartialD;f}{\&PartialD;y}\end{array}\right]}^T,$

向量的幅值为

$|\&dtri;f(x,y)|={(G_x^2+G_y^2)}^{1/2},$

对梯度图像进行二值化处理，即

$G(x,y)=\left\{\begin{array}{cc}1,& |\&dtri;f(x,y)|\&GreaterEqual;\frac{\max \_\mathrm{value}+\min \_\mathrm{value}}{2}\\ 0,& |\&dtri;f(x,y)|<\frac{\max \_\mathrm{value}+\min \_\mathrm{value}}{2}\end{array}\right.$

其中，max_value和min_value为以梯度图像的每个像素为中心的一个邻域窗口的最大值和最小值，局部梯度最大的点就是图像的边缘点；

3）对二值化的边缘图像G(x,y)在角度θ∈(-90,90)进行Radon变换,

$R(\mathrm{\&theta;},x^{\&prime;})={\&Integral;}_{-\&infin;}^{\&infin;}g(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}-y^{\&prime;}\cos \mathrm{\&theta;})-d{y}^{\&prime;},$

其中 $\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right),$

4）检测水下机器人摇摆角度，将R(θ，x′)的每列的最大值投影到θ轴上，

$R\left(\mathrm{\&theta;}\right)=\underset{x^{\&prime;}\&Element;(-\&infin;,\&infin;)}{\max }R(\mathrm{\&theta;},x^{\&prime;}),$

R(θ)的最大值对应的角度为摇摆角度，

$R\left({\mathrm{\&theta;}}_{\mathrm{rotation}}\right)=\underset{\mathrm{\&theta;}\&Element;(-\mathrm{90,90})}{\max }R\left(\mathrm{\&theta;}\right)=\underset{\mathrm{\&theta;}\&Element;(-\mathrm{90,90})}{\max }\left(\underset{x^{\&prime;}\&Element;(-\&infin;,\&infin;)}{\max }R(\mathrm{\&theta;},x^{\&prime;})\right);$

（2）校正目标图像的旋转：

把二值化的声纳图像G(x,y)反向旋转θ_rotation度，则旋转后的图像像素和原图像像素的关系为：

$\left[\begin{array}{c}{x}^{\&prime;\&prime;}\\ y^{\&prime;\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos {\mathrm{\&theta;}}_{\mathrm{rotation}}& \sin {\mathrm{\&theta;}}_{\mathrm{rotation}}\\ -\sin {\mathrm{\&theta;}}_{\mathrm{rotation}}& \cos {\mathrm{\&theta;}}_{\mathrm{rotation}}\end{array}\right]\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right];$

（3）重建校正后的图像序列：

1）读入三维离散数据场；

2）扫描相邻两层图像数据，逐个构造体素，每个体素的八个顶点来自相邻的两层图像数据；

3）将每个体素顶点的函数值与给定的等值面作比较，构造索引表；

4）从索引表中获取与等值面相交的边界体素；

5）确定体素棱边与等值面的交点，形成三角面片；

6）计算体素顶点和三角面片顶点的法向量；

7）根据三角面片顶点坐标和法向量绘制等值面。

本发明的有益效果在于：

本发明专门针对携带高分辨率图像声纳的水下机器人对堤坝、港口、管道和桥墩等具有较规则边界的水下目标进行探测而设计，用于消除由于机器人左右摇摆引起的三维成像几何畸变。本发明不需要任何先验知识，能够自适应的对声纳图像序列进行校正，使它们在轴向对齐。克服了传统配准方法必须有参考图像的缺点。本发明是一种快速的自动配准方法，计算量小。传统的基于灰度图配准方法的遍历搜索和基于特征的配准方法都是非常耗时的计算，克服了传统方法计算量大的缺点。

附图说明

图1是本发明方法的步骤流程图；

图2是Radon变换的原理；

图3是目标边缘图像在（-90°，90°）上的Radon变换；

图4是Radon变换的最大值在θ轴上的投影。

具体实施方式

为了克服水下机器人摇摆引起的目标声纳图像旋转,消除三维重建扭曲失真的不利影响，本发明提供了一种自动检测图像旋转角度并对其进行校正的方法。该方法不需要参考图像等先验知识，能够自适应的使目标的二维声纳图像序列在垂直轴向对齐，实现三维重建时的图像序列配准。

本发明是专门针对水下机器人利用高分辨率图像声纳对堤坝、港口、管道和桥墩等水下目标进行探测而设计的方法。其工作原理是利用目标边界蕴含的丰富特征在垂直方向的走势比较稳定的特点，利用Radon变换检测各帧图像的相对旋转角度。

下面对本发明做进一步描述，整个处理流程如附图1所示：

水下机器人携带图像声纳在信道水池中垂直下潜，把用采集到的声纳图像序列作为实施数据对象，目标为水池池壁。选取其中的40帧图像序列，每幅图像的大小为500×700。

（1）首先将声纳图像I(x,y)转换成灰度图像Igray(x,y)，简单地采用matlab函数rgb2gray就可实现，其中x为图像的横坐标，y为图像的纵坐标；

（2）令T=64,根据下面的公式对目标进行分割：

$f(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{gray}},& I_{\mathrm{gray}}\&GreaterEqual;64\\ 0,& I_{\mathrm{gray}}<64\end{array}\right.$

（3）用Roberts算子计算目标图像的梯度，其计算公式如下：

$\&dtri;f(x,y)={\{{(\sqrt{f(x,y)}-\sqrt{f(x+1,y+1)})}^2+{(\sqrt{f(x+1,y)}-\sqrt{f(\mathrm{xy}+1)})}^2\}}^{\frac{1}{2}}$

也可简单的应用Matlab函数edge来实现，参数用“roberts”。

（4）根据下面的公式将梯度图像二值化：

$G(x,y)=\left\{\begin{array}{cc}1,& |\&dtri;f(x,y)|\&GreaterEqual;\frac{\max \_\mathrm{value}+\min \_\mathrm{value}}{2}\\ 0,& |\&dtri;f(x,y)|<\frac{\max \_\mathrm{value}+\min \_\mathrm{value}}{2}\end{array}\right.$

（5）对二值化的图像在正负90度之间做Radon变换，其原理如附图2所示，计算公式如下：

$R(\mathrm{\&theta;},x^{\&prime;})={\&Integral;}_{-\&infin;}^{\&infin;}g(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}-y^{\&prime;}\cos \mathrm{\&theta;})-d{y}^{\&prime;}$

其中，

$\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)$

（6）用matlab函数radon来实现，角度范围为（-900，900），如附图3所示。

（7）根据下面的公式，把Radon变换投影到θ轴上，其结果如附图4所示：

$R\left(\mathrm{\&theta;}\right)=\underset{x^{\&prime;}\&Element;(-550,550)}{\max }R(\mathrm{\&theta;},x^{\&prime;})$

（8）根据下面的公式，计算投影的最大值对应的角度就是机器人旋转的角度，图4中峰值对应的横坐标就是旋转角度。

$R\left({\mathrm{\&theta;}}_{\mathrm{rotation}}\right)=\underset{\mathrm{\&theta;}\&Element;(-\mathrm{90,90})}{\max }R\left(\mathrm{\&theta;}\right)$

（9）用下面的公式，根据检测的角度，反向旋转目标图像,这样目标都被校正到同一标准。

$\left[\begin{array}{c}{x}^{\&prime;\&prime;}\\ y^{\&prime;\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos {\mathrm{\&theta;}}_{\mathrm{rotation}}& \sin {\mathrm{\&theta;}}_{\mathrm{rotation}}\\ -\sin {\mathrm{\&theta;}}_{\mathrm{rotation}}& \cos {\mathrm{\&theta;}}_{\mathrm{rotation}}\end{array}\right]\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]$

（10）对所有的所有图像重复（1）～（9）的操作。

（11）校正后的图像序列形成离散三维数据场，用可视化工具软件VTK（VisualizationToolkit）进行三维重建。具体实现的步骤如下：

a)用vtkRenderer创建流水线绘制对象;

b)用vtkRenderWindow创建绘制窗口；

c)用vtkBMPReader创建读取数据对象，读取声纳图像序列，用SetDataExtent函数设置读取数据的大小和范围，用SetFilePrefix函数设置数据路径；

d)用vtkMarchingCubes对象抽取等值面，用函数SetValue设置抽取的等值面灰度值为32；

e)用vtkStripper和vtkPolyDataMapper建立三角带和数据映射对象；

f)用vtkActor对象实现绘制，并用SetMapper函数来接受几何数据，设置颜色和透明度等属性；

g)用vtkCamera对象设置视角、观察位置和焦点等参数；

h)用vtkRenderWindowInteractor对象实现与三维绘制的目标进行交互。

Claims (1)

1.一种水下机器人声视觉三维成像的图像配准方法，其特征在于，包括如下步骤：

(1)检测目标图像的旋转角度：

1)分割目标图像，将图像声纳获取的图像I(x,y)转变成灰度图像I_gray(x,y)，将目标与背景分离，即

$f(x,y)=\left\{\begin{array}{cc}{I}_{\mathrm{gray}},& I_{\mathrm{gray}}\&GreaterEqual;T\\ 0,& I_{\mathrm{gray}}<T\end{array}\right.,$ 其中T为阈值；

2)提取目标边缘，其中I_gray(x,y)的梯度向量为

$\&dtri;f(x,y)={\left[\begin{array}{cc}{G}_x& G_y\end{array}\right]}^T={\left[\begin{array}{cc}\frac{\&PartialD;f}{\&PartialD;x}& \frac{\&PartialD;f}{\&PartialD;y}\end{array}\right]}^T,$

向量的幅值为

$|\&dtri;f(x,y)|={(G_x^2+G_y^2)}^{1/2},$

对梯度图像进行二值化处理，即

$G(x,y)=\left\{\begin{array}{cc}1,& |\&dtri;f(x,y)|\&GreaterEqual;\frac{\max \_\mathrm{value}+\min \_\mathrm{value}}{2}\\ 0,& |\&dtri;f(x,y)|<\frac{\max \_\mathrm{value}+\min \_\mathrm{value}}{2}\end{array}\right.$

其中，max_value和min_value为以梯度图像的每个像素为中心的一个邻域窗口的最大值和最小值，局部梯度最大的点就是图像的边缘点；

3)对二值化的边缘图像G(x,y)在角度θ∈(-90°,90°)进行Radon变换,

$R(\mathrm{\&theta;},x^{\&prime;})={\&Integral;}_{-\&infin;}^{\&infin;}g(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}-y^{\&prime;}\cos \mathrm{\&theta;})d{y}^{\&prime;},$

其中 $\left(\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right),$

4)检测水下机器人摇摆角度，将R(θ，x′)的每列的最大值投影到θ轴上，

$R\left(\mathrm{\&theta;}\right)=\underset{x^{\&prime;}\&Element;(-\&infin;,\&infin;)}{\max }R(\mathrm{\&theta;},x^{\&prime;}),$

R(θ)的最大值对应的角度为摇摆角度，

$R\left({\mathrm{\&theta;}}_{\mathrm{rotation}}\right)=\underset{\mathrm{\&theta;}\&Element;(-\mathrm{90,90})}{\max }R\left(\mathrm{\&theta;}\right)=\underset{\mathrm{\&theta;}\&Element;(-\mathrm{90,90})}{\max }\left(\underset{x^{\&prime;}\&Element;(-\&infin;,\&infin;)}{\max }R(\mathrm{\&theta;},x^{\&prime;})\right);$

(2)校正目标图像的旋转：

把二值化的边缘图像G(x,y)反向旋转θ_rotation度，则旋转后的图像像素和原图像像素的关系为：

$\left[\begin{array}{c}{x}^{\&prime;\&prime;}\\ y^{\&prime;\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos {\mathrm{\&theta;}}_{\mathrm{rotation}}& \sin {\mathrm{\&theta;}}_{\mathrm{rotation}}\\ -\sin {\mathrm{\&theta;}}_{\mathrm{rotation}}& \cos {\mathrm{\&theta;}}_{\mathrm{rotation}}\end{array}\right]\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right];$

(3)重建校正后的图像序列：

1)读入三维离散数据场；

2)扫描相邻两层图像数据，逐个构造体素，每个体素的八个顶点来自相邻的两层图像数据；

3)将每个体素顶点的函数值与给定的等值面作比较，构造索引表；

4)从索引表中获取与等值面相交的边界体素；

5)确定体素棱边与等值面的交点，形成三角面片；

6)计算体素顶点和三角面片顶点的法向量；

7)根据三角面片顶点坐标和法向量绘制等值面。