CN113112005A - 一种基于注意力机制的领域自适应方法 - Google Patents
一种基于注意力机制的领域自适应方法 Download PDFInfo
- Publication number
- CN113112005A CN113112005A CN202110456916.8A CN202110456916A CN113112005A CN 113112005 A CN113112005 A CN 113112005A CN 202110456916 A CN202110456916 A CN 202110456916A CN 113112005 A CN113112005 A CN 113112005A
- Authority
- CN
- China
- Prior art keywords
- domain
- sample
- attention
- loss function
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000007246 mechanism Effects 0.000 title claims abstract description 47
- 230000006978 adaptation Effects 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 113
- 238000010586 diagram Methods 0.000 claims description 32
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000004576 sand Substances 0.000 description 7
- 230000003042 antagnostic effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于注意力机制的领域自适应方法，包括以下步骤，基于无监督领域自适应模型的第一领域的第一源域的第一样本和第一领域的第一目标域的第二样本，通过无监督领域自适应模型的转化器，获得无监督领域自适应模型的第二领域的第二源域的第三样本和第二领域的第二目标域的第四样本，通过神经网络模型和注意力获得机制，获得无监督领域自适应模型的转化预测结果，通过损失函数模型，获得预测损失模型，用于通过最小化基于注意力的域内一致性函数，实现跨领域基于注意力机制的对齐，提升无监督领域自适应模型的性能，本发明提高了模型的效率和跨领域适应的准确性，可以定位到有区分性的区域，对于这些区域的微小变化有很高的敏感性。
Description
技术领域
本发明涉及深度神经网络领域，尤其涉及一种基于注意力机制的领域自适应方法。
背景技术
使用深度神经网络训练任务往往需要数据集的人工标注作为监督信息。然而，人工标注数据集费时费力。一种可行的方法是使用相关任务领域已经标注好的数据。但是，不同任务领域的数据分布往往相差较大，在进行模型迁移时，模型的性能会大幅下降。因此，无监督领域自适应方法近些年受到了广泛关注。
经典无监督领域自适应学习场景的定义为当源域有大量有标注的样本，而目标域没有或仅有少量标注好的样本时，我们希望在源域训练出的模型能够在目标域上也有较好的泛化性能，这就形成了一个。这是一种利用信息丰富的源域样本训练模型，并且该模型能够很好的适应目标域的样本分布的迁移学习方法。
目前无监督领域自适应的方法可以简要分为两类：
(1)基于非对抗性学习的方法
这类方法通常使用一个度量准则来衡量并最小化源域和目标域高阶特征的差异。例如使最大均值差异(MMD，MaximumMeanDiscrepancy)作为准则，找到一个核函数后将源域和目标域特征都映射到一个再生核的希尔伯特(Hilbert)空间上，在该空间中拉近分布距离，以抽取到域不变(domaininvariant)的特征。对于简单的分布，这种方法可以很好的对齐两个领域分布，但是对于复杂的分布往往效果不佳。
(2)基于对抗性学习的方法。
这类方法通常在源域和目标域分布差异较大时使用。基于对抗性的学习方法通过学习域分布来最小化源域和目标域的差异。
例如Ganin等人提出域对抗迁移网络(DANN，Domain-AdversarialNeuralNetwork)不仅包含对于标签预测的损失，还包含领域分类的损失，使得网络同时学习到分类目标和领域信息。Saito等人提出的最大分类差异(MCD，MaximumClassifierDiscrepancy)方法建立了两个分类器用于对源域样本的分类。对于目标样本，这两个分类器必须有不同的针对任务的决策边界。Lee等人提出了Drop-to-Adapt(DTA)，它利用对抗性Dropout通过实施集群假设来学习强歧视性特征和鲁棒性。
然而，这些方法的性能仍然有待提高，因为他们仅仅直接对齐两个域分布，但是没有利用好两个领域直接的潜在分布信息。并且，这些方法对齐过程中只使用了两个领域全局特征，而全局特征网络包含大量冗余信息且计算低效。从全局的角度出发，传统的基于全局特征的对齐两个域分布的一致性学习方法效率不高。对于一些细粒化分类任务，具有识别性的特征对输出预测往往起到决定的作用，其他部分可能会传达多余的噪声。
发明内容
本发明的目的是引入基于注意力机制的域适应方法，更多关注有识别性的区域，提高领域自适应模型的性能。
为了解决上述技术问题，本发明提出了一种基于注意力机制的领域自适应方法，包括以下步骤：
S1.基于无监督领域自适应模型的第一领域的第一源域的第一样本和第一领域的第一目标域的第二样本，通过无监督领域自适应模型的转化器，获得无监督领域自适应模型的第二领域的第二源域的第三样本和第二领域的第二目标域的第四样本；
S2.基于第一样本、第二样本、第三样本、第四样本，通过神经网络模型和注意力获得机制，获得无监督领域自适应模型的转化预测结果；
S3.基于转化预测结果，通过损失函数模型，获得预测损失模型，用于通过最小化基于注意力的域内一致性函数，实现跨领域基于注意力机制的对齐，提升无监督领域自适应模型的性能。
优选地，损失函数模型包括输入损失函数模型、域内损失函数模型、域间损失函数模型；
输入损失函数模型用于获得第一样本、第二样本分别通过转化器时的输入损失；
域内损失函数模型用于获得通过注意力获得机制处理后的第一样本和第三样本之间的第一域内损失，以及第二样本和第四样本之间的第二域内损失；
域间损失函数模型用于获得第一样本和第三样本之间的第一域间损失，以及第二样本和第四样本之间的第二域间损失。
优选地，第一样本和第三样本的第一标签一致；
第二样本和第四样本的第二标签一致。
优选地，输入损失函数模型包括但不限于交叉熵损失函数。
优选地，域间损失函数模型包括输出损失函数模型；
基于第一目标域和第二目标域的输出预测结果一致性，构建输出损失函数模型，用于限制转换前后语义信息一致性；
基于输出损失函数模型和输入损失函数模型，通过加入正则化项，构建域间损失函数模型。
优选地，输入损失函数模型包括源域输入损失函数模型和目标域输入损失函数模型；
源域输入损失函数模型用于获得第一样本的第一输入损失；
目标域输入损失函数模型用于获得第二样本的第二输入损失。
优选地，域内损失函数模型的构建方法包括以下步骤：
S2.1.基于第一样本、第二样本、第三样本、第四样本，通过神经网络模型，获得第一样本对应的第一特征图、第二样本对应的第二特征图、第三样本对应的第三特征图、第四样本对应的第四特征图；
S2.2.基于注意力获得机制，将第一特征图、第二特征图、第三特征图、第四特征图分别转化为第一特征图对应的第一注意力图、第二特征图对应的第二注意力图、第三特征图对应的第三注意力图、第四特征图对应的第四注意力图；
S2.3.基于第一注意力图和第四注意力图，通过设置第一判别器，构建第一域内损失函数；
S2.4.基于第二注意力图和第三注意力图，通过设置第二判别器，构建第二域内损失函数；
S2.5.基于对抗学习环境，通过第一域内损失函数和第二域内损失函数，构建基于注意力一致性的域内损失函数模型。
优选地，第一域内损失函数为基于源域的第一域内注意力一致性损失函数；
第二域内损失函数为基于目标域的第二域内注意力一致性损失函数。
优选地，基于注意力一致性的域内损失函数模型
的表达式为：
其中，A表示注意力图,s表示源域，t表示目标域，DAS表示第一判别器，DAt表示第二判别器，At→s为第三注意力图，At表示第二注意力图，Y`是维度与注意力图A相同维度的表示样本来源领域的标签。
优选地，神经网络模型至少包括Resnet50神经网络模型；
注意力计算机制至少包括CAM注意力计算机制。
本发明公开了以下技术效果：
与现有方法相比，本发明所述的方法添加了基于注意力的域适应，提高了模型的效率和跨领域适应的准确性，可以定位到有区分性的区域，对于这些区域的微小变化有很高的敏感性，而对于无关区域给予较少的关注，因此准确度更高。
鉴别器使得网络对于两个领域之间不一致区域给予更多注意力以消除微小的差异。
基于以上两点，该方法尤其适合细粒度高的任务，大幅提高准确性。
该发明可以利用现有数据集实现对于无标签数据集的自动批量标注，不依赖特定人类先验知识，因此具有很好的泛化性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还根据这些附图获得其他的附图。
图1为本发明实施例所述的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明公开了一种基于注意力机制的领域自适应方法，包括以下步骤：
S1.基于无监督领域自适应模型的第一领域的第一源域的第一样本和第一领域的第一目标域的第二样本，通过无监督领域自适应模型的转化器，获得无监督领域自适应模型的第二领域的第二源域的第三样本和第二领域的第二目标域的第四样本；
S2.基于第一样本、第二样本、第三样本、第四样本，通过神经网络模型和注意力获得机制，获得无监督领域自适应模型的转化预测结果；
S3.基于转化预测结果，通过损失函数模型，获得预测损失模型，用于通过最小化基于注意力的域内一致性函数，实现跨领域基于注意力机制的对齐，提升无监督领域自适应模型的性能。
损失函数模型包括输入损失函数模型、域内损失函数模型、域间损失函数模型；输入损失函数模型用于获得第一样本、第二样本分别通过转化器时的输入损失；域内损失函数模型用于获得通过注意力获得机制处理后的第一样本和第三样本之间的第一域内损失，以及第二样本和第四样本之间的第二域内损失；域间损失函数模型用于获得第一样本和第三样本之间的第一域间损失，以及第二样本和第四样本之间的第二域间损失。
第一样本和第三样本的第一标签一致；第二样本和第四样本的第二标签一致。
输入损失函数模型包括但不限于交叉熵损失函数。
域间损失函数模型包括输出损失函数模型；基于第一目标域和第二目标域的输出预测结果一致性，构建输出损失函数模型，用于限制转换前后语义信息一致性；基于输出损失函数模型和输入损失函数模型，通过加入正则化项，构建域间损失函数模型。
输入损失函数模型包括源域输入损失函数模型和目标域输入损失函数模型；源域输入损失函数模型用于获得第一样本的第一输入损失；目标域输入损失函数模型用于获得第二样本的第二输入损失。
域内损失函数模型的构建方法包括以下步骤：
S2.1.基于第一样本、第二样本、第三样本、第四样本，通过神经网络模型，获得第一样本对应的第一特征图、第二样本对应的第二特征图、第三样本对应的第三特征图、第四样本对应的第四特征图；
S2.2.基于注意力获得机制，将第一特征图、第二特征图、第三特征图、第四特征图分别转化为第一特征图对应的第一注意力图、第二特征图对应的第二注意力图、第三特征图对应的第三注意力图、第四特征图对应的第四注意力图；
S2.3.基于第一注意力图和第四注意力图，通过设置第一判别器，构建第一域内损失函数；
S2.4.基于第二注意力图和第三注意力图，通过设置第二判别器，构建第二域内损失函数；
S2.5.基于对抗学习环境，通过第一域内损失函数和第二域内损失函数，构建基于注意力一致性的域内损失函数模型。
第一域内损失函数为基于源域的第一域内注意力一致性损失函数；第二域内损失函数为基于目标域的第二域内注意力一致性损失函数。
基于注意力一致性的域内损失函数模型
的表达式为：
其中，A表示注意力图,s表示源域，t表示目标域，DAS表示第一判别器，DAt表示第二判别器，At→s为第三注意力图，At表示第二注意力图，Y`是维度与注意力图A相同维度的表示样本来源领域的标签。
神经网络模型至少包括Resnet50神经网络模型；
注意力计算机制至少包括CAM注意力计算机制。
实施例1：基于注意力、特征和输出的域适应
1、令源域为S，目标域为T，以单组样本输入为例，从领域S，T中各随机抽取一个样本Xs，Xt作为输入，使用转化器分别生成另一个领域的样本分别为Xs→t和Xt→s，转化器包含一个生成器和一个判别器，其损失为LG和LD。
被转换样本与其原始样本标签一致，因为转化器只改变样本风格等知识，但基本保持语义的一致；即Xs与Xs→t标签一致，Xt与Xt→s标签一致。
2、将样本经过处理输入Resnet50等神经网络，得到预测结果。
3、使用损失函数计算输入Xs与Xs→t的预测损失，以交叉熵损失(CEL,CrossEntropyloss)为例，计算如下：
其中C为神经网络中的分类器，S′和T′为转化生成的图像的特征分布。
4、基于3.1，Xt→s和Xt的输出预测结果应当一致，因此本发明实施提出输出一致性损失以限制转换前后语义信息一致性：
5、域间一致性主要包含跨领域样本的标签预测一致性，加入λ为正则化项，因此域间一致性损失函数为：
6、在训练过程中将域间一致性损失函数用于参数更新和模型优化，通常情况下源域和目标域在此过程中会共享神经网络的参数。
7、训练过程中试图最小化域间损失函数以缩小源域和目标域特征分布差异，达到限制源域和目标域样本语义信息和风格一致的目的，实现基于输出的域适应。
8、对于细粒化的任务，仅基于输出的域适应对于细小区域欠缺敏感度。
9、仅用输出一致的方法缺乏对于域内样本的约束，即Xs和Xt→s，以及Xt和Xs→t。
基于8和9，本发明在此基础上结合基于特征和注意力的域适应以提高分类任务准确性。具体方法如下：
10、将被转换样本与其原始样本均通过特征提取器(可以通过Resnet50等神经网络模型实现)后得到特征图得到Fs，Ft→s，Ft，Fs→t。
11、使用对抗生成学习策略使得源域和目标域之间的特征分布对齐。
12、为了实现基于特征的领域自适应方法，提出两个判别器DFs,DFt，用于判别特征图的领域分布(即用于判别特征图所属样本的来源领域)。
具体实施方法如下：
13、在对抗学习环境下，损失函数为：
其中Y是维度与注意力图A相同维度的表示样本来源领域的标签。
14、由于两对跨领域特征被共同优化，因此最终的一致性损失是两个特征引起误差的累积。
15、在判别过程中，源域的域内特征一致性试图达到Fs,Ft→s的特征对齐，因此源域的损失函数被定义为：
同理，目标域的特征对齐可被定义为：
16、由于特征图F会传递样本的全局信息，存在一定的冗余。而对有识别度的特征给予更多关注可以让分类预测等任务更简单且准确率更高。
17、尤其对于细粒化的任务，源域和目标域之间即便是微小的变化也会对模型预测结果造成很大的影响。
18、基于16和17，本发明加入对于源域样本和目标域转换为源域样本的注意力对齐，即对齐Xs和Xt→s的注意力图。
19、将被转换样本与其原始样本均通过特征提取器(可以通过Resnet50等神经网络模型实现)后得到的特征图Fs，Ft→s，Ft，Fs→t再通过CAM等注意力计算机制得到注意力图，分别为As，At→s，At，As→t。
以源域原始样本为例,以CAM注意力计算机制为例，其特征映射为
其中F′s,j是第j个通道的输出特征映射Fs′(Fs′是GAP之前的特征)，
是预测第i个类别的全连接层的第j个权重。
20、为了提高无监督领域自适应方法的性能，在以上基于输出和特征的领域自适应方法基础上，本发明实施结合注意力机制，提出了一种新的基于输出、特征和注意力机制的领域自适应方法以及相关的损失函数。
21、为了实现发明中基于注意力机制的领域自适应方法部分，提出两个判别器DAs，DAt，用于判别注意力图的领域分布(即用于判别注意力图所属样本的来源领域)。
DAs应用于As，At→s；DAt应用于At，As→t。
22、注意力一致性损失函数被定义为：
其中Y'是维度与注意力图A相同维度的表示样本来源领域的标签。
23、对于源域的基于注意力的域内一致性损失函数为：
24、对于目标域的基于注意力的域内一致性损失函数为：
基于以上，DAs对齐了As和At→s的域分布。
25、基于以上，域内一致性总损失函数为：
26、基于以上，总体的损失函数为：
本发明实施例中，可以使用Resnet50等神经网络作为特征提取的主干网络，将样本通过神经网络得到输出，并通过最小化对于输出的损失函数保持跨领域样本的语义信息一致性。将样本通过特征提取器得到特征图提供全局信息，再将特征图通过CAM等注意力计算机制，得到注意力图提供局部信息，经过不断的迭代和参数优化，特征抽取网络将抽取到注意力图分布在源域和目标域上具有一致性的特征，使得利用源域有监督信息训练的模型，在目标域上也能够获得很好的性能。并且通过注意力机制，使得模型更加注重具有识别性的局部区域，提升模型的预测性能。随着模型性能的提升，注意力机制的准确性也将不断提高，提取出更具有识别意义的部位。通过最小化基于注意力的域内一致性函数，实现跨领域基于注意力机制的对齐。通过这些方法，本发明有效提升无监督领域自适应模型的性能，即基于输出、特征和注意力机制的领域自适应。
本发明上述方案可以应用到多个具体的工作中，下面仅示例性的给出一些具体应用方向：对于无标签数据集的标注以用于机器学习模型训练。例如对于漫画人脸特征的分类，目前很少有带有标注的漫画人脸特征，但已存在大量带有标注的真实人脸样本数据集。该方法可将真实人脸样本数据集作为源域，批量预测漫画的人脸特征。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于注意力机制的领域自适应方法，其特征在于，包括以下步骤：
S1.基于无监督领域自适应模型的第一领域的第一源域的第一样本和所述第一领域的第一目标域的第二样本，通过所述无监督领域自适应模型的转化器，获得所述无监督领域自适应模型的第二领域的第二源域的第三样本和所述第二领域的第二目标域的第四样本；
S2.基于所述第一样本、所述第二样本、所述第三样本、所述第四样本，通过神经网络模型和注意力获得机制，获得所述无监督领域自适应模型的转化预测结果；
S3.基于所述转化预测结果，通过损失函数模型，获得预测损失模型，用于通过最小化基于注意力的域内一致性函数，实现跨领域基于注意力机制的对齐，提升所述无监督领域自适应模型的性能。
2.根据权利要求1所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述损失函数模型包括输入损失函数模型、域内损失函数模型、域间损失函数模型；
所述输入损失函数模型用于获得所述第一样本、所述第二样本分别通过所述转化器时的输入损失；
所述域内损失函数模型用于获得通过所述注意力获得机制处理后的所述第一样本和所述第三样本之间的第一域内损失，以及所述第二样本和所述第四样本之间的第二域内损失；
所述域间损失函数模型用于获得所述第一样本和所述第三样本之间的第一域间损失，以及所述第二样本和所述第四样本之间的第二域间损失。
3.根据权利要求2所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述第一样本和所述第三样本的第一标签一致；
所述第二样本和所述第四样本的第二标签一致。
4.根据权利要求2所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述输入损失函数模型包括但不限于交叉熵损失函数。
5.根据权利要求3所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述域间损失函数模型包括输出损失函数模型；
基于所述第一目标域和所述第二目标域的输出预测结果一致性，构建所述输出损失函数模型，用于限制转换前后语义信息一致性；
基于所述输出损失函数模型和所述输入损失函数模型，通过加入正则化项，构建所述域间损失函数模型。
6.根据权利要求5所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述输入损失函数模型包括源域输入损失函数模型和目标域输入损失函数模型；
所述源域输入损失函数模型用于获得所述第一样本的第一输入损失；
所述目标域输入损失函数模型用于获得所述第二样本的第二输入损失。
7.根据权利要求2所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述域内损失函数模型的构建方法包括以下步骤：
S2.1.基于所述第一样本、所述第二样本、所述第三样本、所述第四样本，通过所述神经网络模型，获得所述第一样本对应的第一特征图、所述第二样本对应的第二特征图、所述第三样本对应的第三特征图、所述第四样本对应的第四特征图；
S2.2.基于注意力获得机制，将所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图分别转化为所述第一特征图对应的第一注意力图、所述第二特征图对应的第二注意力图、所述第三特征图对应的第三注意力图、所述第四特征图对应的第四注意力图；
S2.3.基于所述第一注意力图和所述第四注意力图，通过设置第一判别器，构建第一域内损失函数；
S2.4.基于所述第二注意力图和所述第三注意力图，通过设置第二判别器，构建第二域内损失函数；
S2.5.基于对抗学习环境，通过所述第一域内损失函数和所述第二域内损失函数，构建基于注意力一致性的所述域内损失函数模型。
8.根据权利要求7所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述第一域内损失函数为基于源域的第一域内注意力一致性损失函数；
所述第二域内损失函数为基于目标域的第二域内注意力一致性损失函数。
9.根据权利要求8所述的一种基于注意力机制的领域自适应方法，其特征在于，
所述基于注意力一致性的所述域内损失函数模型
的表达式为：
其中，A表示注意力图,s表示源域，t表示目标域，DAS表示第一判别器，DAt表示第二判别器，At→s为第三注意力图，At表示第二注意力图，Y`是维度与注意力图A相同维度的表示样本来源领域的标签。
10.根据权利要求1所述一种基于注意力机制的领域自适应方法，其特征在于，
所述神经网络模型至少包括Resnet50神经网络模型；
所述注意力计算机制至少包括CAM注意力计算机制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456916.8A CN113112005A (zh) | 2021-04-27 | 2021-04-27 | 一种基于注意力机制的领域自适应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456916.8A CN113112005A (zh) | 2021-04-27 | 2021-04-27 | 一种基于注意力机制的领域自适应方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113112005A true CN113112005A (zh) | 2021-07-13 |
Family
ID=76720138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110456916.8A Pending CN113112005A (zh) | 2021-04-27 | 2021-04-27 | 一种基于注意力机制的领域自适应方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112005A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268266A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Surveillance system for recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
| CN111160462A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于多传感器数据对齐的无监督个性化人类活动识别方法 |
| CN111242157A (zh) * | 2019-11-22 | 2020-06-05 | 北京理工大学 | 联合深度注意力特征和条件对抗的无监督域自适应方法 |
| CN111814854A (zh) * | 2020-06-28 | 2020-10-23 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN111832514A (zh) * | 2020-07-21 | 2020-10-27 | 内蒙古科技大学 | 基于软多标签的无监督行人重识别方法及装置 |
| CN111860678A (zh) * | 2020-07-29 | 2020-10-30 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
| CN112183581A (zh) * | 2020-09-07 | 2021-01-05 | 华南理工大学 | 基于自适应迁移神经网络的半监督机械故障诊断方法 |
| US20210117737A1 (en) * | 2019-10-18 | 2021-04-22 | Korea University Research And Business Foundation | Earthquake event classification method using attention-based convolutional neural network, recording medium and device for performing the method |
-
2021
- 2021-04-27 CN CN202110456916.8A patent/CN113112005A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268266A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Surveillance system for recognition in unlabeled videos with domain adversarial learning and knowledge distillation |
| US20210117737A1 (en) * | 2019-10-18 | 2021-04-22 | Korea University Research And Business Foundation | Earthquake event classification method using attention-based convolutional neural network, recording medium and device for performing the method |
| CN111242157A (zh) * | 2019-11-22 | 2020-06-05 | 北京理工大学 | 联合深度注意力特征和条件对抗的无监督域自适应方法 |
| CN111160462A (zh) * | 2019-12-30 | 2020-05-15 | 浙江大学 | 一种基于多传感器数据对齐的无监督个性化人类活动识别方法 |
| CN111814854A (zh) * | 2020-06-28 | 2020-10-23 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN111832514A (zh) * | 2020-07-21 | 2020-10-27 | 内蒙古科技大学 | 基于软多标签的无监督行人重识别方法及装置 |
| CN111860678A (zh) * | 2020-07-29 | 2020-10-30 | 中国矿业大学 | 一种基于聚类的无监督跨域行人重识别方法 |
| CN112183581A (zh) * | 2020-09-07 | 2021-01-05 | 华南理工大学 | 基于自适应迁移神经网络的半监督机械故障诊断方法 |
Non-Patent Citations (1)
| Title |
|---|
| 季雯: ""无监督领域自适应方法研究及跨模态视觉应用"", 《中国优秀硕士学位论文全文数据库》, 15 February 2022 (2022-02-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086658B (zh) | 一种基于生成对抗网络的传感器数据生成方法与*** | |
| Li et al. | Cost-sensitive and hybrid-attribute measure multi-decision tree over imbalanced data sets | |
| Giusto et al. | Identifying business cycle turning points in real time with vector quantization | |
| CN110084610B (zh) | 一种基于孪生神经网络的网络交易欺诈检测*** | |
| CN111339990B (zh) | 一种基于人脸特征动态更新的人脸识别***和方法 | |
| Lowe et al. | Shakespeare vs. Fletcher: A stylometric analysis by radial basis functions | |
| Zhu et al. | Semi-supervised streaming learning with emerging new labels | |
| CN111414461A (zh) | 一种融合知识库与用户建模的智能问答方法及*** | |
| CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
| CN113269647B (zh) | 基于图的交易异常关联用户检测方法 | |
| CN115410088B (zh) | 一种基于虚拟分类器的高光谱图像领域自适应方法 | |
| Pang et al. | Improving deep forest by screening | |
| CN114255371A (zh) | 一种基于组件监督网络的小样本图像分类方法 | |
| CN114093445B (zh) | 一种基于偏多标记学习的患者筛选标记方法 | |
| CN112668633B (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
| CN112395901A (zh) | 一种改进型复杂环境下人脸检测定位识别方法 | |
| Liu et al. | Learning a similarity metric discriminatively with application to ancient character recognition | |
| CN113112005A (zh) | 一种基于注意力机制的领域自适应方法 | |
| CN115018006A (zh) | 一种基于Dempster-Shafer框架的分类方法 | |
| Wang et al. | TIToK: A solution for bi-imbalanced unsupervised domain adaptation | |
| CN110942089B (zh) | 一种基于多级决策的击键识别方法 | |
| Zhou et al. | Difficult novel class detection in semisupervised streaming data | |
| CN116561591B (zh) | 科技文献语义特征提取模型训练方法、特征提取方法及装置 | |
| Ramazan | Classification of historical Anatolian coins with machine learning algorithms | |
| US20240161930A1 (en) | Prediction method using static and dynamic data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |