CN113283278B - 一种抗干扰的激光水下目标识别仪 - Google Patents

一种抗干扰的激光水下目标识别仪 Download PDF

Info

Publication number
CN113283278B
CN113283278B CN202110025036.5A CN202110025036A CN113283278B CN 113283278 B CN113283278 B CN 113283278B CN 202110025036 A CN202110025036 A CN 202110025036A CN 113283278 B CN113283278 B CN 113283278B
Authority
CN
China
Prior art keywords
feature
map
channel
neural network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110025036.5A
Other languages
English (en)
Other versions
CN113283278A (zh
Inventor
吕以豪
陈金水
高洁
王文海
卢建刚
刘兴高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110025036.5A priority Critical patent/CN113283278B/zh
Publication of CN113283278A publication Critical patent/CN113283278A/zh
Application granted granted Critical
Publication of CN113283278B publication Critical patent/CN113283278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种抗干扰的激光水下目标识别仪，由水下激光扫描装置、计算装置与显示装置依次相连组成，水下激光扫描装置对待检测水下区域进行扫描，将所得激光点云传输至计算装置，将其转化为二维图像数据，进行目标识别工作。所述的计算装置包括神经网络识别模块与存储模块。神经网络识别模块利用EfficientNet卷积神经网络与注意力机制相结合，引导网络忽略图像中的噪声，提高对于目标有效特征位置的关注，从而增加网络的抗干扰能力。本发明实现了智能化、抗干扰、高精度的激光水下目标识别。

Description

一种抗干扰的激光水下目标识别仪
技术领域
本发明涉及激光水下目标识别领域，具体地，涉及一种抗干扰的激光水下目标识别仪。
背景技术
激光水下目标识别技术是一项目前正在发展的先进的探测技术，它集激光技术、通信技 术、信号处理与目标识别和电子技术等于一体，并且具有广阔的应用前景。对该技术的研究 与开发无论是在理论上还是在实际应用上都具有十分重要的价值。
为了改善已有的深度学习网络的表现与能力，许多学者提出进一步模仿人类大脑的工作 模式，将注意力机制引入神经网络模型中。目前在自然语言处理与图像理解分析两大深度学 习经典应用场景已经有了许多成功的尝试。前者将注意力机制引入循环神经网络(RNN)中， 对输入文本语句中的关键字、词汇、句子、段落甚至章节关系在模型训练过程中赋予不同的 重要性，从而更加准确地完成内容理解，机器翻译等复杂任务。后者将注意力机制与卷积神 经网络相结合，在训练过程中不断学习特征图中对于最终任务完成更加重要的部分，从而赋 予这部分内容更高的权重，相当于对自身训练结果的二次强化，在分类，检测，分割等许多 视觉应用场景都有十分成功的应用。
发明内容
本发明的目的是针对现有技术的不足，提供一种抗干扰的激光水下目标识别仪。
本发明解决其技术问题所采用的技术方案是：一种抗干扰的激光水下目标识别仪，包括 依次相连的水下激光扫描装置、计算装置与显示装置，所述水下激光扫描装置对待检测水下 区域进行扫描，将所得激光点云传输至计算装置，将其转化为二维图像数据，进行目标识别 工作。所述的计算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合，利用 结构高度优化的EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操 作***等数据的存储模块。
进一步地，所述神经网络识别模块实现目标识别工作，过程如下：
(1)将激光点云数据处理为三通道的图片数据，输入储存在数据存储模块中的包含注意力机 模块的EfficientNet卷积神经网络模型。
(2)卷积神经网络对输入图片进行特征提取，生成多个阶段的特征图，赋予特征图每个通道 一个权重，再将该权重回乘到该通道特征图的每个元素中，从而使得该层特征图不同通道的 激活量在原本基础上呈现新的数值差异，其中某通道的权重越高，新生成的该通道的特征图 的数值越大，即重要性越高。其实现过程为：
(2.1)对原特征图在通道维度上做全局平均池化，其表达式如(1)式。其中pi是图像中的第i 个像素点，n是图像中的总像素点数，
Figure BDA0002890060560000021
是输出的池化值。因此可将通道数为C的特征图转化 为1×1×C的特征向量F。/>
Figure BDA0002890060560000022
(2.2)将特征向量F输入几层全连接结构，特征维度通过映射先降低再升高，最终得到与输 入维度相同的权重向量W。
(2.3)将W经过sigmoid激活函数层后乘回到原特征图中，赋予该特征图不同通道以不同权 重。
(3)生成类激活映射图(CAM)，这是一种卷积神经网络抽象特征提取情况的可视化方式，也 可以看做对于网络关注区域的可视化手段，具体过程如下：
(3.1)对输入特征图做全局平均池化，最终得到维度与CONV通道数相同的特征向量。
(3.2)利用式(2)计算对应当前输入样本的类激活映射图(CAM)。
Figure BDA0002890060560000023
其中w1,w2...wn是当前输入样本所属类别在全连接层中对应的权重向量w，其维度与特征向 量相同；Mi是特征图的第i通道图像；f是将图像中小于均值像素点置零的函数。式(2)表示 权重向量w与对应的特征图相乘再做和，最终得到的热图即为网络关注的区域对应到输入图 像中的情况。因为w中的元素代表着网络做出此输入样本属于该类别判断所依据的特征向量 中各元素的权重，又因为此方法中特征向量由最后一层特征图经过GAP而来，则特征向量代 表着特征图各通道的激活情况，即相应代表的特征在输入样本中的分布情况。
(4)对于EfficientNet卷积神经网络的每一个block输出的特征图，计算注意力热图，其实现 如式(3)。其中hi是步骤(2)所述的特征图每个通道的权重，n是该层特征图的通道数，Mi是 特征图的第i个通道图像。
Figure BDA0002890060560000024
(5)将EfficientNet卷积神经网络的每一个block生成的热图(Heat)与其更深层的block生成 的热图(Heat)做式(4)的平方误差损失(MSE Loss)，最后一层特征图的热图(Heat)与网络的类激 活映射图(CAM)做平方误差损失(MSE Loss)，并将计算的所有损失加入网络的总损失中。
Figure BDA0002890060560000031
其中，pi，qi分别为输入的两个图像的第i个像素点，n是图片的总像素点数。
上述过程是一个层级结构，使网络由浅至深每个block输出的特征图都能受到注意力机 制的引导，从而增强关键特征，提高网络的识别精度。因为特征图的每个通道都对一类输入 数据中的特征敏感，因此通道的权重即为特征的权重，上述过程是一个特征选择过程。
本发明的技术构思为：将水下激光扫描装置、计算装置与显示装置，水下激光扫描装置、 计算装置与显示装置依次相连，其特征是所述水下激光扫描装置对待检测水下区域进行扫描， 将所得激光点云传输至计算装置，将其转化为二维图像数据，进行目标识别工作。所述的计 算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合，利用结构高度优化的 EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操作***等数据的 储存模块。由于水体的流动与折射率的变化，采集到的各类水下目标的激光图像中存在较多 的噪点，对深度学习网络的识别效果造成影响。本专利中的神经网络识别模块利用EfficientNet 卷积神经网络与注意力机制相结合，引导网络忽略图像中的噪声，提高对于目标有效特征位 置的关注，从而增加网络的抗干扰能力。
本发明的有益效果主要表现在：本发明抗干扰的激光水下目标识别仪具有很快的推理速 度与抗干扰能力，能够迅速稳定准确地完成激光水下目标的识别。
附图说明
图1是抗干扰的激光水下目标识别仪识别实现过程流程图。
具体实施方式
下面根据附图具体说明本发明。
本发明的抗干扰的激光水下目标识别仪包括依次相连的水下激光扫描装置、计算装置与 显示装置，所述水下激光扫描装置对待检测水下区域进行扫描，将所得激光点云传输至计算 装置，将其转化为二维图像数据，进行目标识别工作，识别结果由显示装置显示。所述的计 算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合，利用结构高度优化的 EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操作***等数据的 存储模块。
本发明的工作过程如图1，具体步骤如下：
1)水下激光扫描装置在作业区域进行激光扫描，形成点云数据后通过线缆回传计算装置。
2)计算装置中集成了包含注意力机模块的EfficientNet卷积神经网络模型和数据存储模 块，其识别过程如下：
2.1)将激光点云数据处理为三通道的图片数据，输入储存在数据存储模块中的包含注意 力机模块的EfficientNet卷积神经网络模型。
2.2)卷积神经网络对输入图片进行特征提取，生成多个阶段的特征图，赋予特征图每个 通道一个权重，再将该权重回乘到该通道特征图的每个元素中，从而使得该层特征图不同通 道的激活量在原本基础上呈现新的数值差异，其中某通道的权重越高，新生成的该通道的特 征图的数值越大，即重要性越高。其实现过程为：
2.2.1)对原特征图在通道维度上做全局平均池化，其表达式如(1)式。其中pi是图像中的 第i个像素点，n是图像中的总像素点数，
Figure BDA0002890060560000041
是输出的池化值。因此可将通道数为C的特征图 转化为1×1×C的特征向量F。
Figure BDA0002890060560000042
2.2.2)将特征向量F输入几层全连接结构，特征维度通过映射先降低再升高，最终得到 与输入维度相同的权重向量W。
2.2.3)将W经过sigmoid激活函数层后乘回到原特征图中，赋予该特征图不同通道以不 同权重。
2.3)生成类激活映射图(CAM)，这是一种卷积神经网络抽象特征提取情况的可视化方式， 也可以看做对于网络关注区域的可视化手段，具体过程如下：
2.3.1)对输入特征图做全局平均池化，最终得到维度与CONV通道数相同的特征向量。
2.3.2)利用式(2)计算对应当前输入样本的类激活映射图(CAM)：
Figure BDA0002890060560000043
其中，w1,w2...wn是当前输入样本所属类别在全连接层中对应的权重向量w，其维度与 特征向量相同；Mi是特征图的第i通道图像；f是将图像中小于均值像素点置零的函数。式(2) 表示权重向量w与对应的特征图相乘再做和，最终得到的热图即为网络关注的区域对应到输 入图像中的情况。因为w中的元素代表着网络做出此输入样本属于该类别判断所依据的特征 向量中各元素的权重，又因为此方法中特征向量由最后一层特征图经过GAP而来，则特征向 量代表着特征图各通道的激活情况，即相应代表的特征在输入样本中的分布情况。
2.4)对于EfficientNet卷积神经网络的每一个block输出的特征图，计算注意力热图，其 实现如式(3)。其中hi是2.2)所述的特征图每个通道的权重，n是该层特征图的通道数，Mi是 特征图的第i个通道图像。
Figure BDA0002890060560000044
2.5)将EfficientNet卷积神经网络的每一个block生成的热图(Heat)与其更深层的block 生成的热图(Heat)做式(4)的平方误差损失(MSE Loss)。最后一层特征图的热图(Heat)与网络的 类激活映射图(CAM)做平方误差损失(MSE Loss)。将计算得到的所有损失加入网络的总损失 中。
Figure BDA0002890060560000051
其中pi，qi分别为输入的两个图像的第i个像素点，n是图片的总像素点数。
上述过程是一个层级结构，使网络由浅至深每个block输出的特征图都能受到注意力机 制的引导，从而增强关键特征，提高网络的识别精度。因为特征图的每个通道都对一类输入 数据中的特征敏感，因此通道的权重即为特征的权重，上述过程是一个特征选择过程。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要 求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (1)

1.一种抗干扰的激光水下目标识别仪，其特征在于，包括依次相连的水下激光扫描装置、计算装置与显示装置，所述水下激光扫描装置对待检测水下区域进行扫描，将所得激光点云传输至计算装置，将其转化为二维图像数据，进行目标识别工作，识别结果由显示装置显示；所述的计算装置包括将传统通道域深度学习注意力模型与类激活映射图相结合，利用结构高度优化的EfficientNet卷积神经网络完成识别的神经网络识别模块与储存网络参数、操作***的存储模块；
所述神经网络识别模块实现目标识别工作，过程如下：
(1)将激光点云数据处理为三通道的图片数据，输入储存在数据存储模块中的包含注意力机模块的EfficientNet卷积神经网络模型；
(2)卷积神经网络对输入图片进行特征提取，生成多个阶段的特征图，赋予特征图每个通道一个权重，再将该权重回乘到该通道特征图的每个元素中，从而使得该特征图不同通道的激活量在原本基础上呈现新的数值差异，其中某通道的权重越高，新生成的该通道的特征图的数值越大，即重要性越高；其实现过程为：
(2.1)对原特征图在通道维度上做全局平均池化，其表达式如(1)式；其中pi是图像中的第i个像素点，n是图像中的总像素点数，
Figure FDA0003819334450000011
是输出的池化值；因此可将通道数为C的特征图转化为1×1×C的特征向量F；
Figure FDA0003819334450000012
(2.2)将特征向量F输入几层全连接结构，特征维度通过映射先降低再升高，最终得到与输入维度相同的权重向量W；
(2.3)将W经过sigmoid激活函数层后乘回到原特征图中，赋予该特征图不同通道以不同权重；
(3)生成类激活映射图，这是一种卷积神经网络抽象特征提取情况的可视化方式，也可以看做对于网络关注区域的可视化手段，具体过程如下：
(3.1)对输入特征图做全局平均池化，最终得到维度与CONV通道数相同的特征向量；
(3.2)利用式(2)计算对应当前输入样本的类激活映射图；
Figure FDA0003819334450000013
其中w1,w2…wn是当前输入样本所属类别在全连接层中对应的权重向量w，其维度与特征向量相同；Mi是特征图的第i通道图像；f是将图像中小于均值像素点置零的函数；式(2)表示权重向量w与对应的特征图相乘再做和，最终得到的热图即为网络关注的区域对应到输入图像中的情况；因为w中的元素代表着网络做出此输入样本属于该类别判断所依据的特征向量中各元素的权重，又因为此方法中特征向量由最后一层特征图经过GAP而来，则特征向量代表着特征图各通道的激活情况，即相应代表的特征在输入样本中的分布情况；
(4)对于EfficientNet卷积神经网络的每一个block输出的特征图，计算注意力热图，其实现如式(3)；其中hi是步骤(2)所述的特征图每个通道的权重，n是该层特征图的通道数，Mi是特征图的第i个通道图像；
Figure FDA0003819334450000021
(5)将EfficientNet卷积神经网络的每一个block生成的热图与其更深层的block生成的热图做式(4)的平方误差损失，最后一层特征图的热图与网络的类激活映射图做平方误差损失，并将计算的所有损失加入网络的总损失中；
Figure FDA0003819334450000022
其中，pi，qi分别为输入的两个图像的第i个像素点，n是图片的总像素点数。
CN202110025036.5A 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪 Active CN113283278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110025036.5A CN113283278B (zh) 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110025036.5A CN113283278B (zh) 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪

Publications (2)

Publication Number Publication Date
CN113283278A CN113283278A (zh) 2021-08-20
CN113283278B true CN113283278B (zh) 2023-03-24

Family

ID=77275485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110025036.5A Active CN113283278B (zh) 2021-01-08 2021-01-08 一种抗干扰的激光水下目标识别仪

Country Status (1)

Country Link
CN (1) CN113283278B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140792B (zh) * 2022-02-08 2022-07-01 山东力聚机器人科技股份有限公司 基于动态滑动窗口的微小目标检测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073301A (zh) * 2017-08-02 2019-07-30 强力物联网投资组合2016有限公司 工业物联网中具有大数据集的数据收集环境下的检测方法和***
CN110738698B (zh) * 2019-11-08 2023-07-04 青岛合启立智能科技有限公司 浮水式海底数据测量方法、装置和电子设备
CN111126134B (zh) * 2019-11-11 2022-03-22 浙江大学 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153908A1 (zh) * 2018-02-11 2019-08-15 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***

Also Published As

Publication number Publication date
CN113283278A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
US20230186056A1 (en) Grabbing detection method based on rp-resnet
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN111179314A (zh) 一种基于残差密集孪生网络的目标跟踪方法
CN107844743A (zh) 一种基于多尺度分层残差网络的图像多字幕自动生成方法
CN112907602B (zh) 一种基于改进k-近邻算法的三维场景点云分割方法
US20230260255A1 (en) Three-dimensional object detection framework based on multi-source data knowledge transfer
CN109932708A (zh) 一种基于干涉条纹和深度学习的水面水下分类目标的方法
CN110020681A (zh) 基于空间注意力机制的点云特征提取方法
CN110334584B (zh) 一种基于区域全卷积网络的手势识别方法
CN112784782B (zh) 一种基于多视角双注意网络的三维物体识别方法
CN113536925A (zh) 一种基于引导注意力机制的人群计数方法
CN110084240A (zh) 一种文字提取***、方法、介质和计算设备
CN113283278B (zh) 一种抗干扰的激光水下目标识别仪
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN115858808A (zh) 深度神经网络中关键神经元层次关系的知识图谱表示方法
CN114067359B (zh) 融合人体关键点与可见部位注意力特征的行人检测方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
CN115375729A (zh) 基于深度脉冲神经网络的单目标短程跟踪方法及装置
CN111914751B (zh) 一种图像人群密度识别检测方法及***
CN114723049A (zh) 一种基于梯度优化的类激活映射方法及装置
CN114529949A (zh) 一种基于深度学习的轻量级手势识别方法
CN114049567A (zh) 自适应软标签生成方法以及在高光谱图像分类中的应用
CN116563313B (zh) 基于门控融合注意力的遥感影像大豆种植区域分割方法
Yuan et al. Intelligent identification of ocean parameters based on RBF neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant