CN110807752B - 一种基于卷积神经网络的图像注意力机制处理方法 - Google Patents
一种基于卷积神经网络的图像注意力机制处理方法 Download PDFInfo
- Publication number
- CN110807752B CN110807752B CN201910896954.8A CN201910896954A CN110807752B CN 110807752 B CN110807752 B CN 110807752B CN 201910896954 A CN201910896954 A CN 201910896954A CN 110807752 B CN110807752 B CN 110807752B
- Authority
- CN
- China
- Prior art keywords
- target image
- image
- preset
- channel
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 28
- 230000007246 mechanism Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000007499 fusion processing Methods 0.000 claims abstract description 9
- 230000004913 activation Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络的图像注意力机制处理方法，采用全新控制逻辑，结合卷积神经网络，在残差模块的基础上引入注意力机制，其中，为了更好的处理冗余信息，首先对目标图像进行空间位置注意力和通道注意力处理，这样可以先把由于叠加图像所产生的冗余信息去除，然后再对接预设卷积层对目标图像进行融合处理，最后采用跳连方法连接该模块的输入与输出，获得针对目标图像的处理结果，由此能够更准确的实现空间位置注意力和通道注意力添加。
Description
技术领域
本发明涉及一种基于卷积神经网络的图像注意力机制处理方法，属于图像处理技术领域。
背景技术
随着大数据时代的到来，深度神经网络即深度学习得到了飞跃发展，已经在很多工业领域进行了成功应用。作为深度神经网络的一种，卷积神经网络在图像处理领域得到了广泛的应用。传统机器视觉方法在进行图像处理时，需要手工设计特征，这些手工设计的特征无法应付复杂多变的光线、颜色、纹理等条件，处理效果不太好。
卷积神经网络方法是采用卷积神经网络建立图像处理模型，相比于传统的机器视觉方法，不需要手工设计图像特征，而是由网络自己学习得到，这样就使得模型能够应付复杂多变的光线、颜色、纹理等条件。目前卷积神经网络在图像识别、语义分割、目标检测、人体姿态估计等图像处理领域的许多方向都取得了很大成功，有些表现已经超越了人类。如人类一样，在卷积神经网络处理图像时增加注意力机制，能够获得更好的效果。
目前图像处理中的注意力机制主要包括两个方面，一种是关于空间位置信息的，另一种是关于特征图通道的。空间位置信息方面的注意力机制可以让网络更好的处理与空间位置有关的信息，对感兴趣的区域给一个大的比重，对不感兴趣的区域给一个小的比重。但目前的方法都是分开使用它们，或者先进行卷积运算，再依次进行空间位置和通道的注意力运算，这样对于叠加后的特征图存在的冗余信息不能进行很好的处理。
发明内容
本发明所要解决的技术问题是提供一种基于卷积神经网络的图像注意力机制处理方法，采用全新控制逻辑，结合卷积神经网络，能够更准确的实现空间位置注意力和通道注意力添加。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于卷积神经网络的图像注意力机制处理方法，用于实现针对目标图像的注意力处理，包括如下步骤：
步骤A. 复制一份目标图像，作为原始目标图像，然后进入步骤B；
步骤B. 针对目标图像添加空间注意力信息进行更新，获得更新后的目标图像，然后进入步骤C；
步骤C. 针对目标图像添加通道注意力信息进行更新，获得更新后的目标图像，然后进入步骤D；
步骤D. 采用预设层数的预设类型卷积层，针对目标图像进行融合处理，更新目标图像，然后进入步骤E；
步骤E. 将原始目标图像上各像素点的像素值、分别与目标图像上相同位置像素点的像素值进行相加，获得最终目标图像，作为针对目标图像进行注意力处理的结果。
作为本发明的一种优选技术方案：所述步骤B包括如下步骤B1至步骤B2；
步骤B1. 根据目标图像上各预设划分区域的预设权重，获得与目标图像尺寸相同的图像，作为权重图像，且权重图像中各像素点的像素值、为目标图像上相同位置像素点所在预设划分区域的预设权重，然后进入步骤B2；
步骤B2. 分别针对目标图像对应预设类型各通道下的通道图像，将通道图像中各像素点的相应属性值、分别乘以权重图像中相同位置像素点的像素值，更新该通道图像，进而更新目标图像对应预设类型各通道下的通道图像，由此更新目标图像，然后进入步骤C。
作为本发明的一种优选技术方案：步骤B1中，采用一个1×1卷积层输出与目标图像尺寸相同的图像，作为权重图像，且权重图像中各像素点的像素值、为目标图像上相同位置像素点所在预设划分区域的预设权重。
作为本发明的一种优选技术方案，所述步骤C包括如下步骤C1至步骤C3；
步骤C1. 根据目标图像所对应预设类型各通道下、通道图像上各像素点的像素值，获得目标图像所对应的N维数组，N表示目标图像所对应预设类型通道的通道数目，N维数组的各维度分别与目标图像所对应预设类型各通道一一对应，然后进入步骤C2；
步骤C2. 根据N维数组，获得目标图像所对应预设类型各通道的权重，然后进入步骤C3；
步骤C3. 分别针对目标图像对应预设类型各通道下的通道图像，将通道图像中各像素点的相应属性值、分别乘以相应通道的权重，更新该通道图像，进而更新目标图像对应预设类型各通道下的通道图像，由此更新目标图像，然后进入步骤D。
作为本发明的一种优选技术方案：所述步骤C1中，根据目标图像所对应预设类型各通道下、通道图像上各像素点的像素值，采用全局池化方式对目标图像进行处理，获得目标图像所对应的N维数组。
作为本发明的一种优选技术方案：所述步骤D中，采用三层预设类型卷积层，针对目标图像进行融合处理，更新目标图像。
作为本发明的一种优选技术方案，所述步骤D中的三层预设类型卷积层依次包括如下：
第一层采用1×1的卷积核，后面接一个批归一化层，激活函数采用ReLu；第二层采用3×3的卷积核，后面接一个批归一化层，激活函数采用ReLu；最后一层采用1×1的卷积核，后面接一个批归一化层，不采用激活函数。
作为本发明的一种优选技术方案：所述步骤E中，采用跳连方法，将原始目标图像上各像素点的像素值、分别与目标图像上相同位置像素点的像素值进行相加，获得最终目标图像，作为针对目标图像进行注意力处理的结果。
有益效果
本发明所述一种基于卷积神经网络的图像注意力机制处理方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计基于卷积神经网络的图像注意力机制处理方法，采用全新控制逻辑，结合卷积神经网络，在残差模块的基础上引入注意力机制，其中，为了更好的处理冗余信息，首先对目标图像进行空间位置注意力和通道注意力处理，这样可以先把由于叠加图像所产生的冗余信息去除，然后再对接预设卷积层对目标图像进行融合处理，最后采用跳连方法连接该模块的输入与输出，获得针对目标图像的处理结果，由此能够更准确的实现空间位置注意力和通道注意力添加。
附图说明
图1是本发明设计基于卷积神经网络的图像注意力机制处理方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于卷积神经网络的图像注意力机制处理方法，用于实现针对目标图像的注意力处理，如图1所示，实际应用当中，具体执行如下步骤A至步骤E。
空间注意力用来处理图像的空间信息，它是模仿人类的视觉***中的注意力机制，对想要关注的点给与更多的关注，模糊掉不太重要的信息，从而能够专注于重要的信息。在图像处理中，空间注意力机制会依据重要程度，针对图像中的各个位置分别设定相应的权重。
步骤A. 复制一份目标图像，作为原始目标图像，然后进入步骤B。
步骤B. 针对目标图像添加空间注意力信息进行更新，获得更新后的目标图像，然后进入步骤C。
上述步骤B在实际应用当中，具体包括如下步骤B1至步骤B2。
步骤B1. 根据目标图像上各预设划分区域的预设权重，采用一个1×1卷积层输出与目标图像尺寸相同的图像，作为权重图像，且权重图像中各像素点的像素值、为目标图像上相同位置像素点所在预设划分区域的预设权重，然后进入步骤B2。
步骤B2. 分别针对目标图像对应预设类型各通道下的通道图像，将通道图像中各像素点的相应属性值、分别乘以权重图像中相同位置像素点的像素值，更新该通道图像，进而更新目标图像对应预设类型各通道下的通道图像，由此更新目标图像，然后进入步骤C。
步骤C. 针对目标图像添加通道注意力信息进行更新，获得更新后的目标图像，然后进入步骤D。
上述步骤C在实际应用当中，具体执行如下步骤C1至步骤C3。
步骤C1. 根据目标图像所对应预设类型各通道下、通道图像上各像素点的像素值，采用全局池化方式对目标图像进行处理，获得目标图像所对应的N维数组，N表示目标图像所对应预设类型通道的通道数目，N维数组的各维度分别与目标图像所对应预设类型各通道一一对应，然后进入步骤C2。
步骤C2. 根据N维数组，获得目标图像所对应预设类型各通道的权重，然后进入步骤C3。
步骤C3. 分别针对目标图像对应预设类型各通道下的通道图像，将通道图像中各像素点的相应属性值、分别乘以相应通道的权重，更新该通道图像，进而更新目标图像对应预设类型各通道下的通道图像，由此更新目标图像，然后进入步骤D。
如此基于上述步骤C的操作，通过对每个通道添加权重，去除特征图各个通道之间的冗余信息。
步骤D. 采用预设层数的预设类型卷积层，针对目标图像进行融合处理，更新目标图像，然后进入步骤E。
具体来讲，步骤D中，采用三层预设类型卷积层，针对目标图像进行融合处理，更新目标图像，其中，三层预设类型卷积层依次包括如下：
第一层采用1×1的卷积核，后面接一个批归一化层，激活函数采用ReLu；第二层采用3×3的卷积核，后面接一个批归一化层，激活函数采用ReLu；最后一层采用1×1的卷积核，后面接一个批归一化层，不采用激活函数。
步骤E. 采用跳连方法，将原始目标图像上各像素点的像素值、分别与目标图像上相同位置像素点的像素值进行相加，获得最终目标图像，作为针对目标图像进行注意力处理的结果。
上述技术方案所设计基于卷积神经网络的图像注意力机制处理方法，采用全新控制逻辑，结合卷积神经网络，在残差模块的基础上引入注意力机制，其中，为了更好的处理冗余信息，首先对目标图像进行空间位置注意力和通道注意力处理，这样可以先把由于叠加图像所产生的冗余信息去除，然后再对接预设卷积层对目标图像进行融合处理，最后采用跳连方法连接该模块的输入与输出，获得针对目标图像的处理结果，由此能够更准确的实现空间位置注意力和通道注意力添加。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种基于卷积神经网络的图像注意力机制处理方法，用于实现针对目标图像的注意力处理，其特征在于，包括如下步骤：
步骤A. 复制一份目标图像，作为原始目标图像，然后进入步骤B；
步骤B. 针对目标图像添加空间注意力信息进行更新，获得更新后的目标图像，然后进入步骤C；
步骤C. 针对步骤B更新后的目标图像添加通道注意力信息进行更新，获得更新后的目标图像，然后进入步骤D；
步骤D. 采用预设层数的预设类型卷积层，针对步骤C更新后的目标图像进行融合处理，更新目标图像，然后进入步骤E；
步骤E. 将原始目标图像上各像素点的像素值分别与步骤D更新后的目标图像上相同位置像素点的像素值进行相加，获得最终目标图像，作为针对目标图像进行注意力处理的结果；
所述步骤B包括如下步骤B1至步骤B2；
步骤B1. 根据目标图像上各预设划分区域的预设权重，获得与目标图像尺寸相同的图像，作为权重图像，且权重图像中各像素点的像素值为目标图像上相同位置像素点所在预设划分区域的预设权重，然后进入步骤B2；
步骤B2. 分别针对目标图像对应预设类型各通道下的通道图像，将通道图像中各像素点的相应属性值、分别乘以权重图像中相同位置像素点的像素值，更新该通道图像，进而更新目标图像对应预设类型各通道下的通道图像，由此更新目标图像，然后进入步骤C。
2.根据权利要求1所述一种基于卷积神经网络的图像注意力机制处理方法，其特征在于：步骤B1中，采用一个1×1卷积层输出与目标图像尺寸相同的图像，作为权重图像，且权重图像中各像素点的像素值、为目标图像上相同位置像素点所在预设划分区域的预设权重。
3.根据权利要求1至2中任意一项所述一种基于卷积神经网络的图像注意力机制处理方法，其特征在于，所述步骤C包括如下步骤C1至步骤C3；
步骤C1. 根据目标图像所对应预设类型各通道下、通道图像上各像素点的像素值，获得目标图像所对应的N维数组，N表示目标图像所对应预设类型通道的通道数目，N维数组的各维度分别与目标图像所对应预设类型各通道一一对应，然后进入步骤C2；
步骤C2. 根据N维数组，获得目标图像所对应预设类型各通道的权重，然后进入步骤C3；
步骤C3. 分别针对目标图像对应预设类型各通道下的通道图像，将通道图像中各像素点的相应属性值、分别乘以相应通道的权重，更新该通道图像，进而更新目标图像对应预设类型各通道下的通道图像，由此更新目标图像，然后进入步骤D。
4.根据权利要求3所述一种基于卷积神经网络的图像注意力机制处理方法，其特征在于：所述步骤C1中，根据目标图像所对应预设类型各通道下、通道图像上各像素点的像素值，采用全局池化方式对目标图像进行处理，获得目标图像所对应的N维数组。
5.根据权利要求1所述一种基于卷积神经网络的图像注意力机制处理方法，其特征在于：所述步骤D中，采用三层预设类型卷积层，针对目标图像进行融合处理，更新目标图像。
6.根据权利要求5所述一种基于卷积神经网络的图像注意力机制处理方法，其特征在于，所述步骤D中的三层预设类型卷积层依次包括如下：
第一层采用1×1的卷积核，后面接一个批归一化层，激活函数采用ReLu；第二层采用3×3的卷积核，后面接一个批归一化层，激活函数采用ReLu；最后一层采用1×1的卷积核，后面接一个批归一化层，不采用激活函数。
7.根据权利要求1所述一种基于卷积神经网络的图像注意力机制处理方法，其特征在于：所述步骤E中，采用跳连方法，将原始目标图像上各像素点的像素值、分别与目标图像上相同位置像素点的像素值进行相加，获得最终目标图像，作为针对目标图像进行注意力处理的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910896954.8A CN110807752B (zh) | 2019-09-23 | 2019-09-23 | 一种基于卷积神经网络的图像注意力机制处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910896954.8A CN110807752B (zh) | 2019-09-23 | 2019-09-23 | 一种基于卷积神经网络的图像注意力机制处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807752A CN110807752A (zh) | 2020-02-18 |
| CN110807752B true CN110807752B (zh) | 2022-07-08 |
Family
ID=69487633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910896954.8A Active CN110807752B (zh) | 2019-09-23 | 2019-09-23 | 一种基于卷积神经网络的图像注意力机制处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807752B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113288162B (zh) * | 2021-06-03 | 2022-06-28 | 北京航空航天大学 | 基于自适应注意力机制的短时心电信号房颤自动检测*** |
| CN113139627B (zh) * | 2021-06-22 | 2021-11-05 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、***及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航（四川）西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
| CN110046598A (zh) * | 2019-04-23 | 2019-07-23 | 中南大学 | 即插即用的多尺度空间和通道注意遥感影像目标检测方法 |
| CN110188611A (zh) * | 2019-04-26 | 2019-08-30 | 华中科技大学 | 一种引入视觉注意力机制的行人重识别方法及*** |
-
2019
- 2019-09-23 CN CN201910896954.8A patent/CN110807752B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753903A (zh) * | 2019-02-27 | 2019-05-14 | 北航（四川）西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
| CN110046598A (zh) * | 2019-04-23 | 2019-07-23 | 中南大学 | 即插即用的多尺度空间和通道注意遥感影像目标检测方法 |
| CN110188611A (zh) * | 2019-04-26 | 2019-08-30 | 华中科技大学 | 一种引入视觉注意力机制的行人重识别方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807752A (zh) | 2020-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| CN109726627B (zh) | 一种神经网络模型训练及通用接地线的检测方法 | |
| CN111652899A (zh) | 一种时空部件图的视频目标分割方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN110807752B (zh) | 一种基于卷积神经网络的图像注意力机制处理方法 | |
| CN113822284B (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
| CN109903323B (zh) | 用于透明物体识别的训练方法、装置、存储介质及终端 | |
| CN112084934A (zh) | 基于骨骼数据双通道深度可分离卷积的行为识别方法 | |
| CN112927209A (zh) | 一种基于cnn的显著性检测***和方法 | |
| KR101563569B1 (ko) | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 | |
| CN113989340A (zh) | 一种基于分布的点云配准方法 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN112884648A (zh) | 多类模糊图像超分辨率重建的方法和*** | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN111126561B (zh) | 一种基于多路并行卷积神经网络的图像处理方法 | |
| CN111667401B (zh) | 多层次渐变图像风格迁移方法及*** | |
| CN111340088A (zh) | 图像特征训练方法、模型、装置和计算机存储介质 | |
| CN111340089A (zh) | 图像特征学习方法、模型、装置和计算机存储介质 | |
| CN113012072A (zh) | 一种基于注意力网络的图像运动去模糊方法 | |
| CN114022458A (zh) | 骨架检测方法、装置、电子设备和计算机可读存储介质 | |
| CN114549958A (zh) | 基于上下文信息感知机理的夜间和伪装目标检测方法 | |
| CN111667397A (zh) | 用于卷积神经网络的填充方法 | |
| JPWO2021015232A5 (zh) | ||
| CN114359089B (zh) | 一种基于点云滤波网络的三维点云数据去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 211100 floor 5, block a, China Merchants high speed rail Plaza project, No. 9, Jiangnan Road, Jiangning District, Nanjing, Jiangsu (South Station area) Applicant after: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd. Address before: 211100 No. 18 Zhilan Road, Science Park, Jiangning District, Nanjing City, Jiangsu Province Applicant before: JIANGSU AIJIA HOUSEHOLD PRODUCTS Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |