CN103390273B - 一种基于gps定位辅助的多波束侧扫声纳图像配准方法 - Google Patents

Abstract

本发明属于声学图像配准领域，具体涉及一种基于GPS定位辅助的多波束侧扫声纳图像配准方法。本发明包括：读取多波束侧扫声纳数据，生成参考图像和待配准图像；依次记录航迹点的GPS定位辅助信息；分别对多波束侧声纳数据生成的参考图像和待配准图像提取特征点，并建立特征向量；对参考图像和待配准图像中的特征点进行匹配：对于参考图像中的特征点，找出待配准图像中特征点的汉明距离之间的异或之和最小的点，则认为该点为匹配点；根据确定的配准控制点得到空间变换关系，完成配准。本发明通过计算特征点在大地坐标系下的经纬度坐标，有效剔除了误匹配点，得到了最优化的空间变换关系，使得配准更加准确。

Description

一种基于GPS定位辅助的多波束侧扫声纳图像配准方法

技术领域

本发明属于声学图像配准领域，具体涉及一种基于GPS定位辅助的多波束侧扫声纳图像配准方法。

背景技术

随着海洋经济成为世界各国拉动国民经济发展的重要引擎，海洋开发成为衡量国家发展的重要领域。近年来，由于侧扫声纳技术的不断发展，在采集信号的稳定性和声纳图像数据的分辨率及清晰度等方面都有所提高，为海洋测绘提供了更有利的硬件支持。利用侧扫声纳采集的数据绘制海底地形图可以帮助海底电缆光纤及管线路由的铺设，石油井场调查，锚地选址，跨海大桥建设等海底工程获得前期的地形数据，避开海底灾害易发区或不适宜进行工程建设的区域，为海底工程的安全顺利进行提供有力保障。

声纳设备获得的图像并不是整个海底的地貌图像，而是条带形的扫描图像，为了得到完整的海底地形图，则需要对侧扫声纳图像进行空间配准，然后通过图像镶嵌手段得到完整地形图。然而多波束侧扫声纳图像在配准过程中，由于声纳图像的灰度分布相似，得到特征向量后，现有方法单纯依赖相似度度量，如文献2011年由P.Vanish,Vardy.A,Walker.D,Dobre.O.A.在2011IEEEsymposiumonand2011WorkshoponScientificUseofSubmarineCablesandRelatedTechnolgies(SSC)中1-7页发表的“Side-ScansonarimageregistrationforAUVnavigation.”采用SIFT算法提取声纳图像特征点，然后通过计算特征向量的最近和次近欧氏距离的比值来确定潜在的匹配点对，比值小于一定阈值的视为匹配点，然而这种方法，阈值的选取会左右匹配结果，导致误匹配点较多，往往无法得到最佳的空间变换关系，使得图像无法镶嵌，因此，在配准过程中剔除误匹配点，寻找到最佳的空间变换关系，对于后续的声纳图像处理任务具有重要的意义。

发明内容

本发明的目的在于提供一种配准更加准确的基于GPS定位辅助的多波束侧扫声纳图像配准方法。

本发明的目的是这样实现的：

（1）读取多波束侧扫声纳数据，生成参考图像和待配准图像；

（2）依次记录航迹点的GPS定位辅助信息；

（3）分别对多波束侧声纳数据生成的参考图像和待配准图像提取特征点，并建立特征向量：

1）对图像进行特征点检测，对于以像素点p为中心的圆周上一点的图像灰度值I(x)，

$N=\underset{x\∀\left(\mathrm{circle}\left(p\right)\right)}{\mathrm{\Σ}}|I\left(x\right)-I\left(p\right)|>\mathrm{\ϵ},$

N为以p为圆心上满足上式的像素点的个数，I(x)为圆周上任一点的灰度，ε为阈值，若N大于等于圆周点数的四分之三，则p确定为特征点；

2）生成特征向量：计算特征点主方向：

$m_{\mathrm{pq}}=\underset{i,j}{\mathrm{\Σ}}{x}^p{y}^{q}I(i,j),$

$\mathrm{\θ}=\arctan \left(\frac{m_{01}}{m_{10}}\right)=\arctan \left(\frac{\underset{i,j}{\mathrm{\Σ}}\mathrm{jI}(i,j)}{\underset{i,j}{\mathrm{\Σ}}\mathrm{iI}(i,j)}\right),$

其中，m_pq为特征点邻域的p+q阶几何矩，i,j是特征点的坐标，θ为特征点主方向，I(i,j)为点(i,j)处的灰度值，选定主方向后，生成特征向量，选取特征点附近11×11邻域的像素，将该邻域按主方向旋转后顺时针依次选取3×3的像素块对，对这些像素块对的灰度值和的大小进行比较，组合成二进制串，即为该特征点的特征描述向量，表达式为：

$\mathrm{\&tau;}(g;x,y)=\left\{\begin{array}{cc}1& :g\left(x\right)<g\left(y\right)\\ 0& :g\left(x\right)>g\left(y\right)\end{array}\right.,$

$f_n\left(g\right)=\underset{1\&le;m\&le;n}{\mathrm{\&Sigma;}}{2}^{m-1}\mathrm{\&tau;}(g;x_m,y_m),$

其中，g(x)、g(y)为以点x和y为中心的3×3像素块内的灰度值和，τ(g;x,y)为二进制串，f_n(g)为特征向量，n为像素块对的个数，即特征向量维数，m表示邻域中第m个像素块对；

（4）对参考图像和待配准图像中的特征点进行匹配：对于参考图像中的特征点，找出待配准图像中特征点的汉明距离之间的异或之和最小的点，则认为该点为匹配点，即F₁,F₂为参考图像和待配准图像中的特征点向量：

F₁＝x₀x₁x₂…x_n，F₂＝y₀y₁y₂…y_n，H(F₁,F₂)表示两个特征向量的汉明距离异或和，即

$H(F_1,F_2)=\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i\&CirclePlus;y_i,$

其中，n表示向量的维数，i表示向量中第i个元素，H(F₁,F₂)最小的点为匹配点；

（5）根据GPS定位辅助信息计算参考图像和待配准图像每个特征点在大地坐标系下的经纬度坐标，

$\left\{\begin{array}{c}\mathrm{lon}\left[l\right]=\mathrm{lon}\left[k\right]+(l-\frac{\mathrm{width}}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{\mathrm{width}}{2}}\&times;\frac{360}{40009000}\&times;\sin \left(\mathrm{courseangle}\right[k\left]\right)\\ \mathrm{lat}\left[l\right]=\mathrm{lat}\left[k\right]+(l-\frac{\mathrm{width}}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{\mathrm{width}}{2}}\&times;\frac{360}{40075412}\&times;\cos \left(\mathrm{courseangle}\right[k\left]\right)\end{array}\right.,$

其中，l为任意像素点，其经度和纬度分别为lon[l]和lat[l]，k为航迹点，courseangle[k]为该点处的航向角，width为图像宽度，range为声纳的斜距，altitude为声纳的深度，

将参考图像和待配准图像中进行匹配的特征点的经纬度坐标分别相减，若差值大于阈值，则判断为误匹配点，进行剔除；

（6）根据确定的配准控制点得到空间变换关系，完成配准。

GPS定位辅助信息包括经纬度信息和航向角信息。

本发明的有益效果在于：本发明通过对多波束侧扫声纳图像进行特征提取，得到参考图像和待配准图像的特征点的特征向量，针对由于声纳图像的灰度分布相似，仅仅使用相似性度量方法会导致误匹配点较多的问题，充分利用声纳数据的GPS定位辅助信息，通过计算特征点在大地坐标系下的经纬度坐标，有效剔除了误匹配点，得到了最优化的空间变换关系，使得配准更加准确。

附图说明

图1是本发明方法的基本流程图；

图2是现有方法只依赖相似性度量进行配准的结果；

图3是根据GPS辅助信息剔除误匹配点后的配准结果。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

本发明的基本步骤如图1所示：

（1）读取多波束侧扫声纳数据，生成参考图像和待配准图像；

（2）依次记录航迹点的GPS定位辅助信息；

（3）分别对声纳数据生成的参考图像和待配准图像提取特征点，并建立特征向量；

（4）通过采用汉明距离作为相似性判断度量的最近邻算法对参考图像和待配准图像中的特征点进行匹配；

（5）根据GPS定位辅助信息计算参考图像和待配准图像每个特征点在大地坐标系下的经纬度坐标，相同的特征点在大地坐标系下的经纬度相同，则正确匹配点对中经纬度坐标分别相减，差值应很小，若差值大于某一阈值，则判断为误匹配点，进行剔除；

（6）根据确定的配准控制点得到空间变换关系，完成配准。

本发明的特点是：

1.步骤（2）中航迹点的GPS定位辅助信息包括经纬度信息和航向角信息；

2.步骤（3）中特征点提取的具体步骤是：

①首先对图像进行特征点检测，设p是任一像素点，I(x)表示以p为中心的圆周上任意一点的图像灰度值，ε为一很小的阈值，则特征点可由下式确定：

$N=\underset{x\&ForAll;\left(\mathrm{circle}\left(p\right)\right)}{\mathrm{\&Sigma;}}|I\left(x\right)-I\left(p\right)|>\mathrm{\&epsiv;}---\left(1\right)$

其中N为以p为圆心上满足上式的像素点的个数，通常为圆周点数的四分之三，即若圆周有16个点，则当N＞12时p确定为特征点；

②特征向量的生成：为了使特征点具有旋转不变性，通过下式计算特征点主方向：

$m_{\mathrm{pq}}=\underset{i,j}{\mathrm{\&Sigma;}}{x}^p{y}^{q}I(i,j)---\left(2\right)$

$\mathrm{\&theta;}=\arctan \left(\frac{m_{01}}{m_{10}}\right)=\arctan \left(\frac{\underset{i,j}{\mathrm{\&Sigma;}}\mathrm{jI}(i,j)}{\underset{i,j}{\mathrm{\&Sigma;}}\mathrm{iI}(i,j)}\right)---\left(3\right)$

其中，m_pq为特征点邻域的p+q阶几何矩，i,j是特征点的特征点的坐标，θ为特征点主方向，I(i,j)为点(i,j)处的灰度值，选定主方向后，就可生成特征向量，其方法是在选取特征点附近11×11邻域的像素，将该邻域按主方向旋转后顺时针依次选取3×3的像素块对，对这些像素块对的灰度值和的大小进行比较，组合成二进制串，即为该特征点的特征描述向量，表达式如下：

$\mathrm{\&tau;}(g;x,y)=\left\{\begin{array}{cc}1& :g\left(x\right)<g\left(y\right)\\ 0& :g\left(x\right)>g\left(y\right)\end{array}\right.---\left(4\right)$

$f_n\left(g\right)=\underset{1\&le;m\&le;n}{\mathrm{\&Sigma;}}{2}^{m-1}\mathrm{\&tau;}(g;x_m,y_m)---\left(5\right)$

其中，g(x)、g(y)为以点x和y为中心的3×3像素块内的灰度值和，τ(g;x,y)为二进制串，f_n(g)为特征向量，n为像素块对的个数，即特征向量维数，m表示邻域中第m个像素块对。

3.步骤（4）中最近邻算法采用汉明距离作为相似性判断度量，对于参考图像中的某特征点，找出待配准图像中它的汉明距离之间的异或之和最小的点，则认为该点为匹配点。

4.步骤（5）中参考图像和待配准图像每个特征点在大地坐标系下的经纬度坐标由下式计算：

$\left\{\begin{array}{c}\mathrm{lon}\left[l\right]=\mathrm{lon}\left[k\right]+(l-\frac{\mathrm{width}}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{\mathrm{width}}{2}}\&times;\frac{360}{40009000}\&times;\sin \left(\mathrm{courseangle}\right[k\left]\right)\\ \mathrm{lat}\left[l\right]=\mathrm{lat}\left[k\right]+(l-\frac{\mathrm{width}}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{\mathrm{width}}{2}}\&times;\frac{360}{40075412}\&times;\cos \left(\mathrm{courseangle}\right[k\left]\right)\end{array}\right.---\left(6\right)$

其中，l为任意像素点，其经度和纬度分别为lon[l]和lat[l]，k为航迹点，courseangle[k]为该点处的航向角，width为图像宽度，range为声纳的斜距，altitude为声纳的深度，根据相同的特征点在大地坐标系下的经纬度相同，则正确匹配点对中经纬度坐标分别相减，差值应很小，若差值大于某一阈值，则判断为误匹配点，进行剔除。

结合图1，本发明基于GPS定位辅的多波束侧扫声纳图像配准方法的具体步骤如下：

（1）读取多波束侧扫声纳数据，生成参考图像和待配准图像；

（2）依次记录航迹点的GPS定位辅助信息；

（3）分别对声纳数据生成的参考图像和待配准图像提取特征点，并建立特征向量，其具体操作方法是：

①首先对图像进行特征点检测，设p是任一像素点，I(x)表示以p为中心的圆周上任意一点的图像灰度值，ε为一很小的阈值，则特征点可由下式确定：

$N=\underset{x\&ForAll;\left(\mathrm{circle}\left(p\right)\right)}{\mathrm{\&Sigma;}}|I\left(x\right)-I\left(p\right)|>\mathrm{\&epsiv;}---\left(1\right)$

其中N为以p为圆心上满足上式的像素点的个数，通常为圆周点数的四分之三，即若圆周有16个点，则当N＞12时p确定为特征点；

②特征向量的生成：为了使特征点具有旋转不变性，通过下式计算特征点主方向：

$m_{\mathrm{pq}}=\underset{i,j}{\mathrm{\&Sigma;}}{x}^p{y}^{q}I(i,j)---\left(2\right)$

$\mathrm{\&theta;}=\arctan \left(\frac{m_{01}}{m_{10}}\right)=\arctan \left(\frac{\underset{i,j}{\mathrm{\&Sigma;}}\mathrm{jI}(i,j)}{\underset{i,j}{\mathrm{\&Sigma;}}\mathrm{iI}(i,j)}\right)---\left(3\right)$

其中，m_pq为特征点邻域的p+q阶几何矩，i,j是特征点的特征点的坐标，θ为特征点主方向，I(i,j)为点(i,j)处的灰度值，选定主方向后，就可生成特征向量，其方法是在选取特征点附近11×11邻域的像素，将该邻域按主方向旋转后顺时针依次选取3×3的像素块对，对这些像素块对的灰度值和的大小进行比较，组合成二进制串，即为该特征点的特征描述向量，表达式如下：

$\mathrm{\&tau;}(g;x,y)=\left\{\begin{array}{cc}1& :g\left(x\right)<g\left(y\right)\\ 0& :g\left(x\right)>g\left(y\right)\end{array}\right.---\left(4\right)$

$f_n\left(g\right)=\underset{1\&le;m\&le;n}{\mathrm{\&Sigma;}}{2}^{m-1}\mathrm{\&tau;}(g;x_m,y_m)---\left(5\right)$

其中，g(x)、g(y)为以点x和y为中心的3×3像素块内的灰度值和，τ(g;x,y)为二进制串，f_n(g)为特征向量，n为像素块对的个数，即特征向量维数，m表示邻域中第m个像素块对。

（4）通过采用汉明距离作为相似性判断度量的最近邻算法对参考图像和待配准图像中的特征点进行匹配，对于参考图像中的某特征点，找出待配准图像中它的汉明距离之间的异或之和最小的点，则认为该点为匹配点。

（5）根据GPS定位辅助信息计算参考图像和待配准图像每个特征点在大地坐标系下的经纬度坐标，相同的特征点在大地坐标系下的经纬度相同，则正确匹配点对中经纬度坐标分别相减，差值应很小，若差值大于某一阈值，则判断为误匹配点，进行剔除，其中参考图像和待配准图像每个特征点在大地坐标系下的经纬度坐标由下式计算：

$\left\{\begin{array}{c}\mathrm{lon}\left[l\right]=\mathrm{lon}\left[k\right]+(l-\frac{\mathrm{width}}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{\mathrm{width}}{2}}\&times;\frac{360}{40009000}\&times;\sin \left(\mathrm{courseangle}\right[k\left]\right)\\ \mathrm{lat}\left[l\right]=\mathrm{lat}\left[k\right]+(l-\frac{\mathrm{width}}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{\mathrm{width}}{2}}\&times;\frac{360}{40075412}\&times;\cos \left(\mathrm{courseangle}\right[k\left]\right)\end{array}\right.---\left(6\right)$

其中其中，l为任意像素点，其经度和纬度分别为lon[l]和lat[l]，k为航迹点，courseangle[k]为该点处的航向角，width为图像宽度，range为声纳的斜距，altitude为声纳的深度。

（6）根据确定的配准控制点得到空间变换关系，完成配准。

如图3所示，通过对比可以看到，用现有方法进行声纳图像配准，参考图像和待配准图像误匹配点非常多，配准效果不佳，而用本发明方法借助GPS辅助信息处理后，误匹配点全部消除，配准结果很好。

Claims (1)

1.一种基于GPS定位辅助的多波束侧扫声纳图像配准方法，其特征在于：

(1)读取多波束侧扫声纳数据，生成参考图像和待配准图像；

(2)依次记录航迹点的GPS定位辅助信息；

(3)分别对多波束侧声纳数据生成的参考图像和待配准图像提取特征点，并建立特征向量：

1)对图像进行特征点检测，对于以像素点p为中心的圆周上一点的图像灰度值I(x)，

$N=\underset{x\&ForAll;\left(circle\right(p))}{\&Sigma;}|I\left(x\right)-I\left(p\right)|>\mathrm{\&epsiv;},$

N为以p为圆心上满足上式的像素点的个数，I(x)为圆周上任一点的灰度，ε为阈值，若N大于等于圆周点数的四分之三，则p确定为特征点；

2)生成特征向量：计算特征点主方向：

$m_{pq}=\underset{i,j}{\&Sigma;}{x}^p{y}^{q}I(i,j),$

$\mathrm{\&theta;}=arctan\left(\frac{m_{01}}{m_{10}}\right)=arctan\left(\frac{\underset{i,j}{\&Sigma;}jI(i,j)}{\underset{i,j}{\&Sigma;}iI(i,j)}\right),$

其中，m_pq为特征点邻域的p+q阶几何矩，i,j是特征点的坐标，θ为特征点主方向，I(i,j)为点(i,j)处的灰度值，选定主方向后，生成特征向量，选取特征点附近11×11邻域的像素，将该邻域按主方向旋转后顺时针依次选取3×3的像素块对，对这些像素块对的灰度值和的大小进行比较，组合成二进制串，即为该特征点的特征描述向量，表达式为：

$\mathrm{\&tau;}(g;x,y)=\{\begin{array}{cc}1& :g\left(x\right)<g\left(y\right)\\ 0& :g\left(x\right)>g\left(y\right)\end{array},$

$f_n\left(g\right)=\underset{1\&le;m\&le;n}{\&Sigma;}{2}^{m-1}\mathrm{\&tau;}(g;x_m,y_m),$

其中，g(x)、g(y)为以点x和y为中心的3×3像素块内的灰度值和，τ(g；x,y)为二进制串，f_n(g)为特征向量，n为像素块对的个数，即特征向量维数，m表示邻域中第m个像素块对；

(4)对参考图像和待配准图像中的特征点进行匹配：对于参考图像中的特征点，找出待配准图像中特征点的汉明距离之间的异或之和最小的点，则认为该点为匹配点，即F₁,F₂为参考图像和待配准图像中的特征点向量：

F₁＝x₀x₁x₂…x_n，F₂＝y₀y₁y₂…y_n，H(F₁,F₂)表示两个特征向量的汉明距离异或和，即

$H(F_1,F_2)=\underset{i=0}{\overset{n}{\&Sigma;}}{x}_i\&CirclePlus;y_i,$

其中，n表示向量的维数，i表示向量中第i个元素，H(F₁,F₂)最小的点为匹配点；

(5)根据GPS定位辅助信息计算参考图像和待配准图像每个特征点在大地坐标系下的经纬度坐标，

$\left\{\begin{array}{c}lon\&lsqb;l\&rsqb;=lon\&lsqb;k\&rsqb;+(l-\frac{width}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{width}{2}}\&times;\frac{360}{40009000}\&times;sin(courseangle\&lsqb;k\&rsqb;)\\ lat\&lsqb;l\&rsqb;=lat\&lsqb;k\&rsqb;+(l-\frac{width}{2})\&times;\frac{\sqrt{{\mathrm{range}}^2-{\mathrm{altitude}}^2}}{\frac{width}{2}}\&times;\frac{360}{40075412}\&times;\cos (courseangle\&lsqb;k\&rsqb;)\end{array}\right.,$

其中，l为任意像素点，其经度和纬度分别为lon[l]和lat[l]，k为航迹点，courseangle[k]为该点处的航向角，width为图像宽度，range为声纳的斜距，altitude为声纳的深度，

将参考图像和待配准图像中进行匹配的特征点的经纬度坐标分别相减，若差值大于阈值，则判断为误匹配点，进行剔除；

(6)根据确定的配准控制点得到空间变换关系，完成配准；

所述的GPS定位辅助信息包括经纬度信息和航向角信息。