CN105787886A - 一种基于多波束图像声纳的实时图像处理方法 - Google Patents

一种基于多波束图像声纳的实时图像处理方法 Download PDF

Info

Publication number
CN105787886A
CN105787886A CN201410810208.XA CN201410810208A CN105787886A CN 105787886 A CN105787886 A CN 105787886A CN 201410810208 A CN201410810208 A CN 201410810208A CN 105787886 A CN105787886 A CN 105787886A
Authority
CN
China
Prior art keywords
image
sonar
real
cluster centre
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410810208.XA
Other languages
English (en)
Inventor
高雷
徐红丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201410810208.XA priority Critical patent/CN105787886A/zh
Publication of CN105787886A publication Critical patent/CN105787886A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多波束图像声纳的实时图像处理方法,本发明通过实时处理水下无人无缆潜器(AUV)的多波束前视声纳图像数据,为AUV提供实时水下障碍信息,从而实现AUV的水下避障功能。本发明基于图像声纳成像原理基础上采用动态距离衰减门限法滤波和增强算法将声纳图像中大量噪声和噪声斑点滤去,并且提高图像信噪比;利用模糊聚类和形态学算法将声纳图像中障碍物的信息从声纳图像中分割出来。本发明中所提到的算法稳定可靠、实时性好,能准确有效地提供AUV在航行过程中的障碍信息,进而提高AUV在水下的安全性。

Description

一种基于多波束图像声纳的实时图像处理方法
技术领域
本发明涉及水下机器人技术领域,尤其涉及一种基于AUV前视多波束图像声纳的实时图像处理方法。
背景技术
自主水下机器人(AutonomousUnderwaterVehicle,AUV)是一种无人、无缆、自带能源、在水下自主完成作业任务的智能机器人。随着各种应用需求的日益增长,对自主水下机器人作业空间要求也越来越高:从已知地图、平坦海底区域向近岸、近海底的未知复杂地形海区扩展。实际未知环境给自主水下机器人引入大量不确定性,其中对其危险最大的是未知障碍:那些海底突起的山脊、珊瑚礁、沉船、水雷、系泊平台、人工结构物、以及潜艇、大型海洋生物都可能给自主水下机器人带来致命的伤害。如何快速准确的感知实际海洋环境中的未知障碍是制约自主水下机器人广泛应用的关键问题之一。AUV要实现实时躲避未知障碍,必须具备实时感知和获取未知环境障碍信息的能力。因此,前视图像声纳的实时图像处理获取障碍信息的能力,是AUV完成实时避碰决策和完成使命任务的基础和前提。
发明内容
为了实时感知和获取未知环境障碍信息的能力,本发明要解决的技术问题是利用AUV前视避碰声纳实时采集声纳图像,并通过实时图像处理方法将水下障碍物目标信息的提取出来。
本发明为实现上述目的所采用的技术方案是:一种基于多波束图像声纳的实时图像处理方法,包括以下步骤:
进行图像滤波处理,滤除图像中的噪声和噪声斑点;
进行图像增强处理,提高图像信噪比;
进行图像模糊聚类处理,将障碍物的信息从声纳图像中分割出来;
进行图像形态学处理,去除较小的亮斑、填补图像的漏洞和裂缝。
所述图像滤波处理是通过图像声纳自带的软件工具开发包获取实时声纳图像,并将声纳图像投影到潜器坐标系中,从而获取图像中每个像素点的灰度值和每个像素点距离声纳的距离,并根据声纳作用距离与目标回波强度之间的关系,采用动态距离衰减门限法对图像进行滤波。
所述图像增强处理是通过处理滤波后的声纳图像,获取图像中最大最小值,根据障碍回波强度随距离的衰减关系采用动态距离衰减门限法,使灰度值在阈值以上的像素点被增强,以提高信噪比,从而突出图像中水下障碍的轮廓信息。
所述动态距离衰减门限法,是将声波随距离的衰减值20·lgR加入门限中,使该滤波不是单一的门限滤波,而是门限值随传播距离增加而衰减的,其中R为声波传播距离。
所述模糊聚类处理方法采用K均值聚类算法,将n个数据对象划分为k个类,使类内聚拢,类间疏散,采用均方差作为相似度测度函数,包括以下步骤:
1)确定聚类数目k,任意选择k个对象作为初始聚类中心;
2)对于每个样本,找到其最近的聚类中心,并将其分配到距离最近的类中,聚类中心表示为:
Σ i = 1 n min j ∈ { 1,2 . . . k } | | x i - p j | | 2
其中k为聚类中心个数,i是声纳图像中的第i个像素点,j是K中的第j个聚类中心,,xi为图像中第i像素点的灰度值,pj为第j个聚类中心的数值;
3)重新计算更新每类的新聚类中心,不断重复迭代直至目标函数式达到最小值即聚类中心不再改变为止。
所述形态学处理方法包括以下步骤:
1)腐蚀处理,用于滤掉噪声:
IΘJ = { x | J x ⋐ I }
其中,I为图像声纳原始图像,J是结构元素,x是原始二值图像中不为零的任意一点,结构元素J平移x后得到Jx,若Jx包含于I,则所有满足上述条件的x点组成的点集称做I被J腐蚀的结果;
2)膨胀处理,用于平滑图像的轮廓、填补轮廓上的缝隙,具体为:
I ⊕ J = [ I C Θ ( - J ) ] C
即,将J相对于原点旋转180°得到-J,再利用-J对IC进行腐蚀,腐蚀结果的补集就是膨胀结果;其中,I为图像声纳原始图像,J是结构元素,IC表示I的补集。
本发明具有以下优点及有益效果:
1.本发明基于图像声纳成像原理基础上采用动态距离衰减门限法滤波和增强算法将声纳图像中大量噪声和噪声斑点滤去,并且提高图像信噪比。
2.利用模糊聚类和形态学算法将声纳图像中障碍物的信息从声纳图像中分割出来。
3.本发明中所提到的算法稳定可靠、实时性好,能准确有效地提供AUV在航行过程中的障碍信息,进而提高AUV在水下的安全性。
4.采用先腐蚀后膨胀的运算(即数学形态学上的开运算),因为声纳图像时最难去掉的就是回波强度相对很大的斑点,这样处理可以去除较小的亮点、清除图像的边缘毛刺及孤立点、填补图像的漏洞和裂缝,同时保留所有的灰度和较大的亮区特征不变。
5.图像滤波处理是通过图像声纳自带的软件工具开发包获取实时声纳图像,通过算法获取图像中每个像素点的灰度值与距离值,并根据声纳作用距离与目标回波强度之间的关系设置动态门限已到达图像滤波的功能。这种处理方法可去除大部分由换能器灵敏度差异、温度波动、海洋环境、多途干、量化不均匀等因素形成的高斯噪声、椒盐噪声、斑点噪声等形式的噪声。
附图说明
图1是本发明的组成示意图;
图2是本发明的图像处理流程图;
图3是本发明的算法流程图。
具体实施方式
下面结合附图及实例对本发明做进一步的详细说明。
本发明由搭载于潜器上的多波束图像声纳(用于实时采集声纳图像数据)和图像处理计算机(实时获取处理多波束图像声纳数据)组成,如图1所示,包括:
多波束图像声纳,搭载于潜器上,用于实时采集声纳图像数据;
潜器声纳图像处理计算机,连接多波束图像声纳,用于实时获取记录多波束图像声纳数据,并通过实时图像处理软件获得前视声纳视角范围内实时障碍信息,并将障碍信息发送上层控制计算机。
图像处理计算机通过连接多波束图像声纳,用于实时获取、处理多波束图像声纳数据,图像处理软件通过图像声纳自带的软件工具开发包获取实时声纳图像,通过算法进行图像滤波和增强算法将声纳图像中大量噪声和噪声斑点滤去和提高图像信噪比,并利用模糊聚类和形态学算法将声纳图像中障碍物的信息从声纳图像中分割出来,如图2所示。其中所述的模糊聚类处理方法具体为:
K均值聚类算法将n个数据对象合理地划分为k个类,使类内聚拢,类间疏散。采用均方差作为相似度测度函数。算法流程如下:
1)确定聚类数目k,任意选择k个对象作为初始聚类中心。
2)对于每个样本,找到其最近的聚类中心,并将其分配到距离最近的类中,聚类中心表示为:
Σ i = 1 n min j ∈ { 1,2 . . . k } | | x i - p j | | 2
其中k为聚类中心个数,为第i样本点,为第j个聚类中心值。
3)重新计算更新每类的新聚类中心,不断重复迭代直至目标函数式达到最小值即聚类中心不再改变为止,算法流程图如图3所示。
采用先腐蚀后膨胀的运算(即数学形态学上的开运算),因为声纳图像时最难去掉的就是回波强度相对很大的斑点,这样处理可以去除较小的亮点、清除图像的边缘毛刺及孤立点、填补图像的漏洞和裂缝,同时保留所有的灰度和较大的亮区特征不变。

Claims (6)

1.一种基于多波束图像声纳的实时图像处理方法,其特征在于,包括以下步骤:
进行图像滤波处理,滤除图像中的噪声和噪声斑点;
进行图像增强处理,提高图像信噪比;
进行图像模糊聚类处理,将障碍物的信息从声纳图像中分割出来;
进行图像形态学处理,去除较小的亮斑、填补图像的漏洞和裂缝。
2.根据权利要求1所述的一种基于多波束图像声纳的实时图像处理方法,其特征在于,所述图像滤波处理是通过图像声纳自带的软件工具开发包获取实时声纳图像,并将声纳图像投影到潜器坐标系中,从而获取图像中每个像素点的灰度值和每个像素点距离声纳的距离,并根据声纳作用距离与目标回波强度之间的关系,采用动态距离衰减门限法对图像进行滤波。
3.根据权利要求1所述的一种基于多波束图像声纳的实时图像处理方法,其特征在于,所述图像增强处理是通过处理滤波后的声纳图像,获取图像中最大最小值,根据障碍回波强度随距离的衰减关系采用动态距离衰减门限法,使灰度值在阈值以上的像素点被增强,以提高信噪比,从而突出图像中水下障碍的轮廓信息。
4.根据权利要求2或3所述的一种基于多波束图像声纳的实时图像处理方法,其特征在于,所述动态距离衰减门限法,是将声波随距离的衰减值20·lgR加入门限中,使该滤波不是单一的门限滤波,而是门限值随传播距离增加而衰减的,其中R为声波传播距离。
5.根据权利要求1所述的一种基于多波束图像声纳的实时图像处理方法,其特征在于,所述模糊聚类处理方法采用K均值聚类算法,将n个数据对象划分为k个类,使类内聚拢,类间疏散,采用均方差作为相似度测度函数,包括以下步骤:
1)确定聚类数目k,任意选择k个对象作为初始聚类中心;
2)对于每个样本,找到其最近的聚类中心,并将其分配到距离最近的类中,聚类中心表示为:
Σ i = 1 n min j ∈ { 1,2 . . . k } | | x i - p j | | 2
其中k为聚类中心个数,i是声纳图像中的第i个像素点,j是K中的第j个聚类中心,xi为图像中第i像素点的灰度值,pj为第j个聚类中心的数值;
3)重新计算更新每类的新聚类中心,不断重复迭代直至目标函数式达到最小值即聚类中心不再改变为止。
6.根据权利要求1所述的一种基于多波束图像声纳的实时图像处理方法,其特征在于,所述形态学处理方法包括以下步骤:
1)腐蚀处理,用于滤掉噪声:
IΘJ = { x | J x ⋐ I }
其中,I为图像声纳原始图像,J是结构元素,x是原始二值图像中不为零的任意一点,结构元素J平移x后得到Jx,若Jx包含于I,则所有满足上述条件的x点组成的点集称做I被J腐蚀的结果;
2)膨胀处理,用于平滑图像的轮廓、填补轮廓上的缝隙,具体为:
IΘJ = [ I C Θ ( - J ) ] C
即,将J相对于原点旋转180°得到-J,再利用-J对IC进行腐蚀,腐蚀结果的补集就是膨胀结果;其中,I为图像声纳原始图像,J是结构元素,IC表示I的补集。
CN201410810208.XA 2014-12-22 2014-12-22 一种基于多波束图像声纳的实时图像处理方法 Pending CN105787886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410810208.XA CN105787886A (zh) 2014-12-22 2014-12-22 一种基于多波束图像声纳的实时图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410810208.XA CN105787886A (zh) 2014-12-22 2014-12-22 一种基于多波束图像声纳的实时图像处理方法

Publications (1)

Publication Number Publication Date
CN105787886A true CN105787886A (zh) 2016-07-20

Family

ID=56376983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410810208.XA Pending CN105787886A (zh) 2014-12-22 2014-12-22 一种基于多波束图像声纳的实时图像处理方法

Country Status (1)

Country Link
CN (1) CN105787886A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870621A (zh) * 2016-10-25 2018-04-03 中国科学院沈阳自动化研究所 在未知复杂海底地形环境中的自主水下机器人避碰方法
CN108170888A (zh) * 2017-11-29 2018-06-15 西北工业大学 基于最小化加权向量动态范围的波束图综合设计方法
CN108413926A (zh) * 2018-01-31 2018-08-17 上海荟蔚信息科技有限公司 用于海上风电场群桩桩基水下地形高程高精度测量的方法
CN109164436A (zh) * 2018-10-24 2019-01-08 海鹰企业集团有限责任公司 高频多波束声纳所探测目标物的尺寸测量方法及装置
CN109239719A (zh) * 2018-10-19 2019-01-18 武汉理工大学 一种融合多帧信息的多波束前视声呐障碍区域提取方法
CN109658386A (zh) * 2018-11-26 2019-04-19 江苏科技大学 一种声纳图像管线检测***及方法
CN110470308A (zh) * 2019-09-06 2019-11-19 北京云迹科技有限公司 一种避障***及方法
CN112082558A (zh) * 2020-09-14 2020-12-15 哈尔滨工程大学 基于多项式拟合的uuv海底地形跟踪路径滚动生成方法
CN112082557A (zh) * 2020-09-14 2020-12-15 哈尔滨工程大学 基于贝塞尔拟合的uuv海底地形跟踪路径滚动生成方法
CN112130155A (zh) * 2020-09-29 2020-12-25 中国船舶重工集团公司第七二四研究所 一种导航声纳灰度图像时变增强方法
CN112526524A (zh) * 2020-12-09 2021-03-19 青岛澎湃海洋探索技术有限公司 一种基于前视声纳图像和auv平台的水下渔网检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879786A (zh) * 2012-09-19 2013-01-16 上海大学 一种针对水下障碍物的检测定位方法和***
CN103033817A (zh) * 2012-11-25 2013-04-10 中国船舶重工集团公司第七一○研究所 大型auv避碰用障碍物自主识别***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879786A (zh) * 2012-09-19 2013-01-16 上海大学 一种针对水下障碍物的检测定位方法和***
CN103033817A (zh) * 2012-11-25 2013-04-10 中国船舶重工集团公司第七一○研究所 大型auv避碰用障碍物自主识别***

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
GAO LEI 等: "An Image Processing Method of the Ship Wake Based on Image Sonar", 《PROCEEDINGS OF THE TWENTY-FOURTH (2014) INTERNATIONAL OCEAN AND POLAR ENGINEERING CONFERENCE》 *
GAO LEI 等: "Research of Ship Wake Tracking Based on Image Sonar", 《OCEANS 2014 - TAIPEI》 *
HONGLI XU 等: "Applying Multibeam Imaging Sonar As an AUV"s Obstacle Avoidance Sensor", 《SEA TECHNOLOGY》 *
KEN TEO 等: "Obstacle Detection, Avoidance and Anti Collision for MEREDITH AUV", 《OCEANS 2009》 *
LEI GAO 等: "Real-Time Image Processing and Mapping Algorithm for Forward-looking Sonar of AUV", 《2013 OCEANS - SAN DIEGO》 *
张铁栋: "前视声呐的后置图像处理算法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
王兴梅: "水下声呐图像目标分割方法的研究及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870621A (zh) * 2016-10-25 2018-04-03 中国科学院沈阳自动化研究所 在未知复杂海底地形环境中的自主水下机器人避碰方法
CN108170888B (zh) * 2017-11-29 2021-05-25 西北工业大学 基于最小化加权向量动态范围的波束图综合设计方法
CN108170888A (zh) * 2017-11-29 2018-06-15 西北工业大学 基于最小化加权向量动态范围的波束图综合设计方法
CN108413926A (zh) * 2018-01-31 2018-08-17 上海荟蔚信息科技有限公司 用于海上风电场群桩桩基水下地形高程高精度测量的方法
CN109239719A (zh) * 2018-10-19 2019-01-18 武汉理工大学 一种融合多帧信息的多波束前视声呐障碍区域提取方法
CN109239719B (zh) * 2018-10-19 2020-10-13 武汉理工大学 一种融合多帧信息的多波束前视声呐障碍区域提取方法
CN109164436A (zh) * 2018-10-24 2019-01-08 海鹰企业集团有限责任公司 高频多波束声纳所探测目标物的尺寸测量方法及装置
CN109658386A (zh) * 2018-11-26 2019-04-19 江苏科技大学 一种声纳图像管线检测***及方法
CN110470308A (zh) * 2019-09-06 2019-11-19 北京云迹科技有限公司 一种避障***及方法
CN112082557A (zh) * 2020-09-14 2020-12-15 哈尔滨工程大学 基于贝塞尔拟合的uuv海底地形跟踪路径滚动生成方法
CN112082558A (zh) * 2020-09-14 2020-12-15 哈尔滨工程大学 基于多项式拟合的uuv海底地形跟踪路径滚动生成方法
CN112130155A (zh) * 2020-09-29 2020-12-25 中国船舶重工集团公司第七二四研究所 一种导航声纳灰度图像时变增强方法
CN112130155B (zh) * 2020-09-29 2022-10-21 中国船舶重工集团公司第七二四研究所 一种导航声纳灰度图像时变增强方法
CN112526524A (zh) * 2020-12-09 2021-03-19 青岛澎湃海洋探索技术有限公司 一种基于前视声纳图像和auv平台的水下渔网检测方法
CN112526524B (zh) * 2020-12-09 2022-06-17 青岛澎湃海洋探索技术有限公司 一种基于前视声纳图像和auv平台的水下渔网检测方法

Similar Documents

Publication Publication Date Title
CN105787886A (zh) 一种基于多波束图像声纳的实时图像处理方法
Galceran et al. A real-time underwater object detection algorithm for multi-beam forward looking sonar
Zhang et al. Subsea pipeline leak inspection by autonomous underwater vehicle
CN103033817B (zh) 大型auv避碰用障碍物自主识别***
CN102879786B (zh) 一种针对水下障碍物的检测定位方法和***
Bagnitsky et al. Side scan sonar using for underwater cables & pipelines tracking by means of AUV
Guth et al. Underwater SLAM: Challenges, state of the art, algorithms and a new biologically-inspired approach
CN109213204B (zh) 基于数据驱动的auv海底目标搜寻航行***及方法
CN112529841B (zh) 多波束水柱数据中海底气体羽状流处理方法、***及应用
Zhang et al. Submarine pipeline tracking technology based on AUVs with forward looking sonar
CN111443344B (zh) 一种侧扫声呐海底线自动提取方法及装置
CN110570361B (zh) 声呐图像结构化噪声的抑制方法、***、装置和存储介质
CN105741284A (zh) 一种多波束前视声纳目标检测方法
CN107632305A (zh) 一种基于剖面声纳扫测技术的海底局部地形自主感知方法及装置
Zhang et al. Object detection and tracking method of AUV based on acoustic vision
Xu et al. Shipwrecks detection based on deep generation network and transfer learning with small amount of sonar images
Sung et al. Crosstalk noise detection and removal in multi-beam sonar images using convolutional neural network
CN109872358B (zh) 一种基于活动轮廓模型的船载雷达图像海上油膜识别方法
CN116597141A (zh) 一种基于声呐图像语义分割的海底电缆检测跟踪方法
CN111260674B (zh) 从声呐图像中提取目标轮廓线的方法、***及存储介质
CN116523822A (zh) 一种基于侧扫声呐的海缆检测识别方法
CN112539886A (zh) 一种基于图像处理模式多波束声呐水柱数据中海底气体羽状流提取方法及应用
CN113869148A (zh) 基于自主水下航行器的触发式任务管理***的方法
CN116930976B (zh) 基于小波模极大值的侧扫声呐图像的海底线检测方法
Song et al. A Statistical Probability Model for Underwater Object Detection From Sonar Images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720