CN106971395A - 一种基于点云平均背景差的三维声纳图像建模方法 - Google Patents

一种基于点云平均背景差的三维声纳图像建模方法 Download PDF

Info

Publication number
CN106971395A
CN106971395A CN201710134480.4A CN201710134480A CN106971395A CN 106971395 A CN106971395 A CN 106971395A CN 201710134480 A CN201710134480 A CN 201710134480A CN 106971395 A CN106971395 A CN 106971395A
Authority
CN
China
Prior art keywords
image
pixel
diff
background
background model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710134480.4A
Other languages
English (en)
Inventor
陈耀武
周凡
田翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201710134480.4A priority Critical patent/CN106971395A/zh
Publication of CN106971395A publication Critical patent/CN106971395A/zh
Priority to US16/075,946 priority patent/US11217018B2/en
Priority to PCT/CN2017/115173 priority patent/WO2018161664A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于点云平均背景差的三维声纳图像建模方法,包含:(1)获取声纳数据,将每帧声纳数据对应的三维声纳范围图像信息转换为全局坐标下的点云数据,该点云数据组成图像的像素;(2)将一系列连续帧图像中相同位置的像素的平均值u(x,y,z)作为背景模型中相同位置的像素,得到背景模型,并根据每帧图像中的像素确定用于确定背景标准的阈值TH;(3)根据背景模型和阈值TH对当前帧图像I(x,y,z)进行检测,得到输出图像;(4)利用当前帧图像I(x,y,z)对背景模型和阈值TH进行更新。该方法能够快速识别背景中的前景目标,建立对应的数学模型供后续处理,处理速度快,并且能够随环境变化自动更新背景模型。

Description

一种基于点云平均背景差的三维声纳图像建模方法
技术领域
本发明属于三维声纳图像建模领域,具体涉及一种基于点云平均背景差的三维声纳图像建模方法。
背景技术
我国是沿海大国,可持续发展必然越来越多地依赖海洋。另外海洋因其战略上的重要地位和经济上的巨大潜力,也越来越受到人们的重视。全面发展海洋科学技术的重要性不言而喻。
作为海洋科学技术的一个重要分支,水声探测在开发海洋资源的事业中得到了广泛的应用,水声成像技术已经成为大规模水下探测的重要手段,在蛙人的探测及跟踪、水雷和水雷类目标的识别监测、水下遥控航行器及水下自动航行器的避障及导航等多方面具有广阔的应用前景。
三维声纳***能够获得距离、水平、垂直三维空间的目标信息,具有图像清晰、可视性好等特点,但是水下环境复杂,又受到采集环境、噪声影响,如何根据大量的数据进行三维重建,准确识别并建立目标的数学模型,实现在复杂水下环境中便捷快速的搜索和监控,具有较大的技术难度。
相对于要监控的前景目标,背景在较长时间内具有一定的稳定性和重复性,通过建立当前环境的背景模型,将背景模型和当前图像进行比较,减去已知的背景信息,可以大致得到所求的前景目标。因此,发明一种基于点云平均背景差的三维声纳图像建模方法具有重要的工程实用价值。
发明内容
鉴于上述,本发明提供了一种基于点云平均背景差的三维声纳图像建模方法,该方法能够快速识别背景中的前景目标,建立对应的数学模型供后续处理,处理速度快,并且能够随环境变化自动更新背景模型。
一种基于点云平均背景差的三维声纳图像建模方法,包含以下步骤:
(1)获取声纳数据,将每帧声纳数据对应的三维声纳范围图像信息转换为全局坐标下的点云数据,该点云数据组成图像的像素;
(2)将一系列连续帧图像中相同位置的像素的平均值u(x,y,z)作为背景模型中相同位置的像素,得到背景模型,并根据每帧图像中的像素确定用于确定背景标准的阈值TH;
(3)根据背景模型和阈值TH对当前帧图像I(x,y,z)进行检测,得到输出图像;
(4)利用当前帧图像I(x,y,z)对背景模型和阈值TH进行更新。
所述的步骤(2)的具体步骤为:
(2-1)对于一系列连续帧图像中不存在点云数据的位置,统一标定为空,得到预处理的图像集;
(2-2)计算预处理的图像集中所有图像相同位置的像素的平均值u(x,y,z)作为背景模型中相同位置的像素,得到背景模型;
(2-3)计算相邻两帧图像相同位置的像素差绝对值F(t)(x,y,z),并求得所有像素差绝对值的平均值udiff(x,y,z),所用公式为:
F(t)(x,y,z)=|It(x,y,z)-It-gap(x,y,z)|
其中,It(x,y,z)表示t时刻图像中坐标(x,y,z)处的像素值,gap表示两帧图像之间的时间间隔,It-gap(x,y,z)表示t-gap时刻图像中坐标(x,y,z)处的像素值,M为图像的总帧数;
(2-4)求取所有像素差的标准差diffstd(x,y,z),所用公式为:
(2-5)根据所有像素差的平均值udiff(x,y,z)和所有像素差的标准差diffstd(x,y,z)确定阈值TH,所用公式为:
TH=udiff(x,y,z)+β×diffstd(x,y,z)
其中,β为阈值系数,一般设置为2。
所述的步骤(3)的具体过程为:利用当前帧图像的像素I(x,y,z)减去背景模型中相同位置的像素u(x,y,z),得到像素差d(x,y,z),并将该像素差d(x,y,z)与阈值TH进行比较,得到输出图像output(x,y,z),如下:
其中,0表示点(x,y,z)认为是背景的一部分,不输出,1表示点(x,y,z)不同于背景模型,于输出图像中进行显示,输出图像为二值图像。
所述的步骤(4)的具体步骤为:
(4-1)利用当前帧图像I(x,y,z)将背景模型的像素u(x,y,z)更新为u′(x,y,z),具体所用公式为:
u′(x,y,z)=(1-α)×u(x,y,z)+α×I(x,y,z)
(4-2)利用当前帧图像I(x,y,z)将阈值TH更新为TH′,具体所用公式为:
u′diff(x,y,z)=(1-α)×udiff(x,y,z)+α×d(x,y,z)
diff′std(x,y,z)
=(1-α)×diffstd(x,y,z)+α×|d(x,y,z)-u′diff(x,y,z)|
TH′=u′diff(x,y,z)+β×diff′std(x,y,z)
其中,α为学习率,且0<α<1,α越大,对背景变化的适应速度越快。
相较于现有的技术,本发明具有以下有益的技术效果:
(1)在建立背景模型后,本发明能够快速识别出前景目标并进行相应的数学建模,对于背景变化不大的水下环境场景效果很好。
(2)该方法具有较强的鲁棒性,能够根据环境的改变自动更新背景模型,减少由于环境的突变带来的不确定因素,增强目标识别的可靠性。
(3)该方法简单,在建立背景模型后能够快速高效地建模,对于运动目标的识别具有较高的准确性。
附图说明
图1为本发明基于点云平均背景差的三维声纳图像建模方法的流程图。
具体实施方式
为了更为具体地描述本发明,下面结合附图1及具体实施方式对本发明的技术方案进行详细说明。
如图1所示,本发明基于点云平均背景差的三维声纳图像建模方法,包括:
S01,获取声纳数据,将每帧声纳数据对应的三维声纳范围图像信息转换为全局坐标下的点云数据,该点云数据组成图像的像素。
S02,对于一系列连续帧图像中不存在点云数据的位置,统一标定为空,得到预处理的图像集。
S03,计算预处理的图像集中所有图像相同位置的像素的平均值u(x,y,z)作为背景模型中相同位置的像素,得到背景模型。
S04,计算相邻两帧图像相同位置的像素差F(t)(x,y,z),并求得所有像素差的平均值udiff(x,y,z),所用公式为:
F(t)(x,y,z)=|It(x,y,z)-It-gap(x,y,z)|
其中,It(x,y,z)表示t时刻图像中坐标(x,y,z)处的像素值,gap表示两帧图像之间的时间间隔,It-gap(x,y,z)表示t-gap时刻图像中坐标(x,y,z)处的像素值,M为图像的总帧数。
S05,求取所有像素差的标准差diffstd(x,y,z),所用公式为:
S06,根据所有像素差的平均值udiff(x,y,z)和所有像素差的标准差diffstd(x,y,z)确定阈值TH,所用公式为:
TH=udiff(x,y,z)+β×diffstd(x,y,z)
其中,β为阈值系数,设置为2。
S07,利用当前帧图像的像素I(x,y,z)减去背景模型中相同位置的像素u(x,y,z),得到像素差d(x,y,z),并将该像素差d(x,y,z)与阈值TH进行比较,得到输出图像output(x,y,z),如下:
其中,0表示该点认为是背景的一部分,不输出,1表示该点不同于背景模型,在输出图像中进行显示,输出图像为二值图像。
S08,利用当前帧图像I(x,y,z)将背景模型的像素u(x,y,z)更新为u′(x,y,z),具体所用公式为:
u′(x,y,z)=(1-α)×u(x,y,z)+α×I(x,y,z)
S09,利用当前帧图像I(x,y,z)将阈值TH更新为TH′,具体所用公式为:
u′diff(x,y,z)=(1-α)×udiff(x,y,z)+α×d(x,y,z)
diff′std(x,y,z)
=(1-α)×diffstd(x,y,z)+α×|d(x,y,z)-u′diff(x,y,z)|
TH′=u′diff(x,y,z)+β×diff′std(x,y,z)
其中,α为学习率,且0<α<1。
利用上述方法能够很快速地识别出前景目标,并进行相应的数学建模,且能根据环境的改变自动更新背景模型,减少由于环境的突变带来的不确定因素,增强目标识别的可靠性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于点云平均背景差的三维声纳图像建模方法,包含以下步骤:
(1)获取声纳数据,将每帧声纳数据对应的三维声纳范围图像信息转换为全局坐标下的点云数据,该点云数据组成图像的像素;
(2)将一系列连续帧图像中相同位置的像素的平均值u(x,y,z)作为背景模型中相同位置的像素,得到背景模型,并根据每帧图像中的像素确定用于确定背景标准的阈值TH;
(3)根据背景模型和阈值TH对当前帧图像I(x,y,z)进行检测,得到输出图像;
(4)利用当前帧图像I(x,y,z)对背景模型和阈值TH进行更新。
2.如权利要求1所述的基于点云平均背景差的三维声纳图像建模方法,其特征在于,所述的步骤(2)的具体步骤为:
(2-1)对于一系列连续帧图像中不存在点云数据的位置,统一标定为空,得到预处理的图像集;
(2-2)计算预处理的图像集中所有图像相同位置的像素的平均值u(x,y,z)作为背景模型中相同位置的像素,得到背景模型;
(2-3)计算相邻两帧图像相同位置的像素差绝对值F(t)(x,y,z),并求得所有像素差绝对值的平均值udiff(x,y,z),所用公式为:
F(t)(x,y,z)=|It(x,y,z)-It-gap(x,y,z)|
u d i f f ( x , y , z ) = 1 M Σ t = g a p + 1 M F t ( x , y , z )
其中,It(x,y,z)表示t时刻图像中坐标(x,y,z)处的像素值,gap表示两帧图像之间的时间间隔,It-gap(x,y,z)表示t-gap时刻图像中坐标(x,y,z)处的像素值,M为图像的总帧数;
(2-4)求取所有像素差的标准差diffstd(x,y,z),所用公式为:
diff s t d ( x , y , z ) = 1 M Σ t = g a p + 1 M ( F t ( x , y , z ) - u d i f f ( x , y , z ) ) 2
(2-5)根据所有像素差的平均值udiff(x,y,z)和所有像素差的标准差diffstd(x,y,z)确定阈值TH,所用公式为:
TH=udiff(x,y,z)+β×diffstd(x,y,z)
其中,β为阈值系数。
3.如权利要求1所述的基于点云平均背景差的三维声纳图像建模方法,其特征在于,所述的步骤(3)的具体过程为:利用当前帧图像的像素I(x,y,z)减去背景模型中相同位置的像素u(x,y,z),得到像素差d(x,y,z),并将该像素差d(x,y,z)与阈值TH进行比较,得到输出图像output(x,y,z),如下:
o u t p u t ( x , y , z ) = 1 , | d ( x , y , z ) | > T H 0 , o t h e r s i z e
其中,0表示点(x,y,z)认为是背景的一部分,不输出,1表示点(x,y,z)不同于背景模型,于输出图像中进行显示,输出图像为二值图像。
4.如权利要求1所述的基于点云平均背景差的三维声纳图像建模方法,其特征在于,所述的步骤(4)的具体步骤为:
(4-1)利用当前帧图像I(x,y,z)将背景模型的像素u(x,y,z)更新为u′(x,y,z),具体所用公式为:
u′(x,y,z)=(1-α)×u(x,y,z)+α×I(x,y,z)
(4-2)利用当前帧图像I(x,y,z)将阈值TH更新为TH′,具体所用公式为:
u′diff(x,y,z)=(1-α)×udiff(x,y,z)+α×d(x,y,z)diff′std(x,y,z)
=(1-α)×diffstd(x,y,z)+α×|d(x,y,z)-u′diff(x,y,z)|
TH′=u′diff(x,y,z)+β×diff′std(x,y,z)
其中,α为学习率,且0<α<1。
CN201710134480.4A 2017-03-08 2017-03-08 一种基于点云平均背景差的三维声纳图像建模方法 Pending CN106971395A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710134480.4A CN106971395A (zh) 2017-03-08 2017-03-08 一种基于点云平均背景差的三维声纳图像建模方法
US16/075,946 US11217018B2 (en) 2017-03-08 2017-12-08 Point cloud mean background subtraction based method for 3D sonar image modeling
PCT/CN2017/115173 WO2018161664A1 (zh) 2017-03-08 2017-12-08 一种基于点云平均背景差的三维声纳图像建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710134480.4A CN106971395A (zh) 2017-03-08 2017-03-08 一种基于点云平均背景差的三维声纳图像建模方法

Publications (1)

Publication Number Publication Date
CN106971395A true CN106971395A (zh) 2017-07-21

Family

ID=59329459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710134480.4A Pending CN106971395A (zh) 2017-03-08 2017-03-08 一种基于点云平均背景差的三维声纳图像建模方法

Country Status (3)

Country Link
US (1) US11217018B2 (zh)
CN (1) CN106971395A (zh)
WO (1) WO2018161664A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161664A1 (zh) * 2017-03-08 2018-09-13 浙江大学 一种基于点云平均背景差的三维声纳图像建模方法
CN110991398A (zh) * 2019-12-18 2020-04-10 长沙融创智胜电子科技有限公司 一种基于改进步态能量图的步态识别方法及***
CN111383340A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及***
CN112652074A (zh) * 2020-12-29 2021-04-13 湖北工业大学 基于平面模型的点云数据滤波算法
CN113256697A (zh) * 2021-04-27 2021-08-13 武汉理工大学 水下场景的三维重建方法、***、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197308A (zh) * 2013-03-15 2013-07-10 浙江大学 基于多波束相控阵声纳***的三维声纳可视化处理方法
CN103593877A (zh) * 2013-11-07 2014-02-19 清华大学 合成孔径声纳图像的仿真方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8334893B2 (en) 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
US9558564B1 (en) * 2014-05-02 2017-01-31 Hrl Laboratories, Llc Method for finding important changes in 3D point clouds
US10281577B2 (en) * 2015-04-20 2019-05-07 Navico Holding As Methods and apparatuses for constructing a 3D sonar image of objects in an underwater environment
KR102439245B1 (ko) * 2016-01-29 2022-09-01 삼성전자주식회사 전자 장치 및 그 제어 방법
CN106971395A (zh) * 2017-03-08 2017-07-21 浙江大学 一种基于点云平均背景差的三维声纳图像建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197308A (zh) * 2013-03-15 2013-07-10 浙江大学 基于多波束相控阵声纳***的三维声纳可视化处理方法
CN103593877A (zh) * 2013-11-07 2014-02-19 清华大学 合成孔径声纳图像的仿真方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
朱韵琳 等: "基于激光扫描***的机车车顶异物检测", 《激光杂志》 *
李旭: "基于视觉的车辆违章轧线与违停监管***研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
林鹏飞 等: "基于点云三维重构的轨道线路异物检测***研究", 《科学咨询(科技管理)》 *
王会: "基于视频的车辆异常行为检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018161664A1 (zh) * 2017-03-08 2018-09-13 浙江大学 一种基于点云平均背景差的三维声纳图像建模方法
CN111383340A (zh) * 2018-12-28 2020-07-07 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及***
CN111383340B (zh) * 2018-12-28 2023-10-17 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及***
CN110991398A (zh) * 2019-12-18 2020-04-10 长沙融创智胜电子科技有限公司 一种基于改进步态能量图的步态识别方法及***
CN112652074A (zh) * 2020-12-29 2021-04-13 湖北工业大学 基于平面模型的点云数据滤波算法
CN113256697A (zh) * 2021-04-27 2021-08-13 武汉理工大学 水下场景的三维重建方法、***、装置和存储介质

Also Published As

Publication number Publication date
WO2018161664A1 (zh) 2018-09-13
US20210217240A1 (en) 2021-07-15
US11217018B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
CN105930819B (zh) 基于单目视觉和gps组合导航***的实时城区交通灯识别***
CN106971395A (zh) 一种基于点云平均背景差的三维声纳图像建模方法
Prasad et al. Challenges in video based object detection in maritime scenario using computer vision
CN108492323B (zh) 融合机器视觉与听觉的水下运动物体检测与识别方法
Zhang et al. Visual SLAM for underwater vehicles: A survey
US20220051425A1 (en) Scale-aware monocular localization and mapping
CN106022266A (zh) 一种目标跟踪方法及装置
Raza et al. Framework for estimating distance and dimension attributes of pedestrians in real-time environments using monocular camera
Rahman et al. Contour based reconstruction of underwater structures using sonar, visual, inertial, and depth sensor
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和***
Gopal et al. Tiny object detection: Comparative study using single stage CNN object detectors
CN113536959A (zh) 一种基于立体视觉的动态障碍物检测方法
Gabaldon et al. A framework for enhanced localization of marine mammals using auto-detected video and wearable sensor data fusion
Cafaro et al. Towards Enhanced Support for Ship Sailing
Xu et al. An effective stereo SLAM with high-level primitives in underwater environment
Yoonseok et al. Railway track extraction from mobile laser scanning data
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
Ren et al. Underwater visual tracking method based on kcf algorithm of aruco marker
Song et al. Acoustic-VINS: Tightly coupled acoustic-visual-inertial navigation system for autonomous underwater vehicles
Bhaganagar et al. A novel machine-learning framework with a moving platform for maritime drift calculations
Yang et al. Road detection by RANSAC on randomly sampled patches with slanted plane prior
Rahman A Multi-Sensor Fusion-Based Underwater Slam System
Cheng et al. A robust visual servo scheme for underwater pipeline following
Wang et al. Deep learning-based robust positioning scheme for imaging sonar guided dynamic docking of autonomous underwater vehicle
Li et al. Binocular matching method for detecting and locating marine resources using binocular cameras and deep learning

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170721

RJ01 Rejection of invention patent application after publication