CN115374943A - 一种基于域对抗迁移网络的数据认知计算方法及其*** - Google Patents

一种基于域对抗迁移网络的数据认知计算方法及其*** Download PDF

Info

Publication number
CN115374943A
CN115374943A CN202211067956.4A CN202211067956A CN115374943A CN 115374943 A CN115374943 A CN 115374943A CN 202211067956 A CN202211067956 A CN 202211067956A CN 115374943 A CN115374943 A CN 115374943A
Authority
CN
China
Prior art keywords
data
domain
layer
target domain
source domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211067956.4A
Other languages
English (en)
Inventor
李凯
秦宇晖
李灯强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Donghu Big Data Trading Center Co ltd
Original Assignee
Wuhan Donghu Big Data Trading Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Donghu Big Data Trading Center Co ltd filed Critical Wuhan Donghu Big Data Trading Center Co ltd
Priority to CN202211067956.4A priority Critical patent/CN115374943A/zh
Publication of CN115374943A publication Critical patent/CN115374943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于域对抗迁移网络的数据认知计算方法及其***，包括以下步骤：S1，获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；S2，基于自动寻优卷积神经网络(CNN)，得到上述数据的判别特征信息，供分类器进行学习；S3，通过建立迁移学习模型，实现源域训练模型在目标域的应用；S4，基于迁移学习模型，进行小样本数据认知计算。本发明采用域对抗迁移网络，在源域和目标域中引入对抗训练，实现小样本数据条件下的认知计算能力，且建立迁移学习模型，实现了源域训练模型在目标域的应用。

Description

一种基于域对抗迁移网络的数据认知计算方法及其***
技术领域
本发明涉及数据认知计算领域，尤其涉及一种基于域对抗迁移网络的数据认知计算方法及其***。
背景技术
由CN112288078A《一种基于脉冲神经网络的自学习、小样本学习和迁移学习的方法与***》，数据认知方法基于脉冲神经网络、人工神经网络或卷积神经网络等深度学习方法，卷积神经网络的深度学习方法因其强大的特征提取和分类能力，被广泛应用于数据认知计算中，并取得了一定的突破。然而，目前的方法假设训练和测试样本满足同一概率分布。具体到现实情况下，对于某个领域或任务而言，数据不断被收集导致训练和测试集不满足同分布假设，导致现有的数据认知计算方法的现场应用受到掣肘。一种基于域对抗迁移网络的数据认知计算方法及其***，通过在卷积神经网络中引入对抗训练，实现小样本数据条件下的认知计算的能力。特别是在对抗训练中引入两个领域分类器进行决策边界和域空间的匹配，实现了两个域下更合适的特征匹配。
发明内容
有鉴于此，本发明提出了一种基于域对抗迁移网络的数据认知计算方法及其***，用于解决不满足独立同分布的条件而影响计算模型的问题。
本发明的技术方案是这样实现的：本发明提供了一种基于域对抗迁移网络的数据认知计算方法，包括以下步骤，
S1，获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；
S2，基于自动寻优卷积神经网络(CNN)，得到上述数据的判别特征信息，供分类器进行学习；
S3，通过建立迁移学习模型，实现源域训练模型在目标域的应用；
S4，基于迁移学习模型，进行小样本数据认知计算。
在以上技术方案的基础上，优选的，步骤S1具体包括以下步骤：
对源域数据样本和目标域数据样本做特征处理，得到过滤后的源域数据样本和目标域数据样本的特征信息，然后做归一化处理。
在以上技术方案的基础上，优选的，步骤S2具体包括以下步骤：
(1)通过第一个卷积层提取最初特征，输出特征图；
(2)通过第一个采样层对(1)中特征图进行特征选择，去除多余特征，重构新的特征图；
(3)通过第二个卷积层对第一个采样层重构的新特征图进行二次特征提取，输出特征图；
(4)通过第二个采样层对(3)中输出特征图进行二次特征选择；
(5)通过全连接层将得到的所有特征进行分类。
在以上技术方案的基础上，优选的，步骤S3具体包括以下步骤：
(1)设定源域；
(2)设定目标域；
(3)建立迁移学习模型。
另一方面，本发明还提供一种基于域对抗迁移网络的数据认知计算***，所述***包括：
数据提取模块：用于获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；
自动寻优模块：用于基于自动寻优卷积神经网络(CNN)，得到上述数据的判别特征信息，供分类器进行学习；
迁移学习模块：用于通过建立迁移学习模型，实现源域训练模型在目标域的应用；
认知计算模块：用于基于迁移学习模型，进行小样本数据认知计算。
优选的，所述数据提取模块具体用于：
对源域数据样本和目标域数据样本做特征处理，得到过滤后的源域数据样本和目标域数据样本的特征信息，然后做归一化处理。
优选的，所述自动寻优模块具体用于：
(1)通过第一个卷积层提取最初特征，输出特征图；
(2)通过第一个采样层对(1)中特征图进行特征选择，去除多余特征，重构新的特征图；
(3)通过第二个卷积层对第一个采样层重构的新特征图进行二次特征提取，输出特征图；
(4)通过第二个采样层对(3)中输出特征图进行二次特征选择；
(5)通过全连接层将得到的所有特征进行分类。
优选的，所述迁移学习模块具体用于：
(1)设定源域；
(2)设定目标域；
(3)建立迁移学习模型。
本发明的一种基于域对抗迁移网络的数据认知计算方法及其***相对于现有技术具有以下有益效果：
(1)通过采用源域和目标域两种领域分类器以及引入对抗训练，提高了小样本数据条件下的认知计算的能力，减小了测试样本不满足独立同分布带来的影响；
(2)引入迁移学习使海量样本下训练的认知计算网络，能够部署到现场小样本下，显著提升了在现场工况复杂和小样本条件下的认知计算精度，为目前海量数据下构建的各种认知计算方网络的现场应用提供了有效途径。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于域对抗迁移网络的数据认知计算方法流程图；
图2为本发明的一种基于域对抗迁移网络的数据认知计算***模块图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例一
提供一种基于域对抗迁移网络的数据认知计算方法，如图1所示，包括以下步骤：
S1，获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；
S2，基于自动寻优卷积神经网络(Convolutional Neural Networks，CNN)，得到上述数据的判别特征信息，供分类器进行学习；
S3，通过建立迁移学习模型，实现源域训练模型在目标域的应用；
S4，基于迁移学习模型，进行小样本数据认知计算。
该方法可以有效学习可迁移特征，实现小样本数据认知计算的高精度、鲁棒性识别结果。
其中，所述步骤S1具体包括以下步骤，
对源域数据样本和目标域数据样本做特征处理，得到过滤后的源域数据样本和目标域数据样本的特征信息，然后做归一化处理。
对于文本数据，采用TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆向文件频率)算法并进行预处理，得到对应的文本数据特征集合。这里，采用TF-IDF对文本数据进行特征提取具体包括：对文本数据进行分词并去除停用词处理，提取预处理后的文本数据的特征；
计算目标分词在所述文本数据中出现的频率，其计算公式为：
Figure BDA0003828723210000051
其中，TF表示目标分词在所述文本数据中出现的频率，ni,j表示目标分词在所述文本数据中出现的次数，∑knk,j表示所述文本数据中的分词总数；
计算目标分词的逆向文本频率，其计算公式为：
Figure BDA0003828723210000052
其中，IDF表示目标分词的逆向文本频率，D表示所述文本数据中的文本总数，|{j:ti∈dj}|表示包含目标分词的文本数目；
计算各个目标分词的加权值，其计算公式为：
TF-IDF＝TF*IDF (3)
将各个目标分词的加权值按照从大到小排列，输出前N个词语，即为文本数据特征。
对于语音和图像数据，采用VGG(Visual Geometry Group)卷积神经网络对语音数据和图像数据进行特征提取。具体包括：
获取语音数据的各音频帧，对各音频帧进行傅里叶变换得到频谱值，根据频谱值生成语谱图数据，将语谱图数据输入预先训练好的VGG卷积神经网络，得到语音数据特征；
对图像数据进行缩放以及灰度化处理，并将所有处理后的图像数据进行汇总形成训练集，将训练集输入预先训练好的VGG卷积神经网络，得到图像数据特征。
这里，VGG卷积神经网络包括若干个卷积层、若干个池化层以及一个全连接层，每一个卷积层后连接一个对应的池化层，通过卷积层、池化层以及全连接层对所述训练集进行特征提取；
VGG卷积神经网络的图像卷积公式为：
Figure BDA0003828723210000061
其中，
Figure BDA0003828723210000062
表示第t特征图层中的第i个点，Mt表示窗口的数量，
Figure BDA0003828723210000063
表示第t-1输入层中的第j个单元，
Figure BDA0003828723210000064
表示第t特征图层中的第i个卷积层中的第j个单元，
Figure BDA0003828723210000065
表示第t个卷积层中的第i个偏移量，f表示一个激励函数。
归一化处理，数据类型这一项可以转换为多个列的one-hot编码(一位有效编码)形式，而其它属性则直接用0与1表示否与是，即最终条件向量是完全由0与1的离散值构成。
其中，所述步骤S2具体包括以下步骤，
(1)通过第一个卷积层提取最初特征，输出特征图；
(2)通过第一个采样层对(1)中特征图进行特征选择，去除多余特征，重构新的特征图；
(3)通过第二个卷积层对第一个采样层重构的新特征图进行二次特征提取，输出特征图；
(4)通过第二个采样层对(3)中输出特征图进行二次特征选择；
(5)通过全连接层将得到的所有特征进行分类。
CNN是一类特别设计用来处理二维数据的多层神经网络。CNN通过挖掘数据中的空间上的相关性，来减少网络中的可训练参数的数量，达到改进前向传播网络的反向传播算法效率。
CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积。这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN后面还可以跟全连接层。CNN中每一层的由多个map(特征图)组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核(即权重)，卷积核往往代表一个特征。卷积神经网络通常包含以下几种层：
1)卷积层，卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征；
2)线性整流层，这一层神经的活性化函数使用线性整流；
3)池化层，通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征；
4)全连接层，把所有局部特征结合变成全局特征，用来计算最后每一类的得分。
其中，所述步骤S3具体包括以下步骤，
(1)设定源域；
(2)设定目标域；
(3)建立迁移学习模型。
通过建立迁移学习模型，实现源域训练模型在目标域的应用，即通过将某个领域或任务上学习到的知识(源域，关键特征信息)应用到不同但相关的领域(目标域)中，解决数据量小和样本不满足同一概率分布的问题。迁移学习是指充分考虑数据、任务、或者模型的相似性，将在旧领域学习到的模型，应用到新的领域的一种学习过程。
迁移学习对应于两个基本的领域：源领域(Source Domain)和目标领域(TargetDomain)。源领域就是有知识、有大量数据标注的领域，是要迁移的对象；目标领域就是最终要赋予知识、赋予标注的对象。知识从源领域传递到目标领域，就完成了迁移。
迁移学习具体原理：给定一个有标记的源域
Figure BDA0003828723210000081
和一个无标记的目标域
Figure BDA0003828723210000082
这两个领域的数据分布P(xs)和P(xt)不同，即P(xs)≠P(xt)。迁移学习的目的就是要借助Ds的知识，来学习目标域Dt的知识。
具体应用于迁移学习模型，给定一个有标记的源域
Figure BDA0003828723210000083
和一个无标记的目标域
Figure BDA0003828723210000084
假设它们的特征空间相同，即Xs＝Xt，并且它们的类别空间也相同，即Ys＝Yt以及条件概率分布也相同，即Qs(ys|xs)＝Qt(yt|xt)。但是这两个域的边缘分布不同，即Ps(xs)≠Pt(xt)。迁移学习的目标就是利用有标记的源域数据Ds去学习一个分类器f:
Figure BDA0003828723210000085
来预测目标域数据Dt的标签yt∈Yt。
其中，Ds表示源域(源领域)，Dt表示目标域(目标领域)，x表示领域上的数据，X表示一个领域的所有数据集合，是矩阵形式，s指代源域，t指代目标域，概率分布P是逻辑上的概念，Qs(ys|xs)和Qt(yt|xt)是条件概率分布。
传统的机器学习算法有一个很重要的假设：训练数据和测试数据都是独立同分布的，这样在训练数据上得到的模型在测试数据上才会有比较好的泛化能力，但是实际上的数据往往很难服从独立同分布这一假设，因而迁移迁移学习本质上要解决的问题是当数据不满足独立同分布的条件(有可能不是独立的，也有可能不是同分布的)时，怎样让学习到的模型具有比较好的泛化能力。
实施例二
提供一种一种基于域对抗迁移网络的数据认知计算***，如图2所示，所述***包括：
数据提取模块，用于获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；
自动寻优模块，用于基于自动寻优卷积神经网络(Convolutional NeuralNetworks，CNN)，得到上述数据的判别特征信息，供分类器进行学习；
迁移学习模块，用于通过建立迁移学习模型，实现源域训练模型在目标域的应用；
认知计算模块，用于基于迁移学习模型，进行小样本数据认知计算。
该方法可以有效学习可迁移特征，实现小样本数据认知计算的高精度、鲁棒性识别结果。
其中，所述数据提取模块具体用于以下场景：
对源域数据样本和目标域数据样本做特征处理，得到过滤后的源域数据样本和目标域数据样本的特征信息，然后做归一化处理。
对于文本数据，采用TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆向文件频率)算法并进行预处理，得到对应的文本数据特征集合。这里，采用TF-IDF对文本数据进行特征提取具体包括：对文本数据进行分词并去除停用词处理，提取预处理后的文本数据的特征；
计算目标分词在所述文本数据中出现的频率，其计算公式为：
Figure BDA0003828723210000091
其中，TF表示目标分词在所述文本数据中出现的频率，ni,j表示目标分词在所述文本数据中出现的次数，∑knk,j表示所述文本数据中的分词总数；
计算目标分词的逆向文本频率，其计算公式为：
Figure BDA0003828723210000092
其中，IDF表示目标分词的逆向文本频率，D表示所述文本数据中的文本总数，|{j:ti∈dj}|表示包含目标分词的文本数目；
计算各个目标分词的加权值，其计算公式为：
TF-IDF＝TF*IDF (3)
将各个目标分词的加权值按照从大到小排列，输出前N个词语，即为文本数据特征。
对于语音和图像数据，采用VGG(Visual Geometry Group)卷积神经网络对语音数据和图像数据进行特征提取。具体包括：
获取语音数据的各音频帧，对各音频帧进行傅里叶变换得到频谱值，根据频谱值生成语谱图数据，将语谱图数据输入预先训练好的VGG卷积神经网络，得到语音数据特征；
对图像数据进行缩放以及灰度化处理，并将所有处理后的图像数据进行汇总形成训练集，将训练集输入预先训练好的VGG卷积神经网络，得到图像数据特征。
这里，VGG卷积神经网络包括若干个卷积层、若干个池化层以及一个全连接层，每一个卷积层后连接一个对应的池化层，通过卷积层、池化层以及全连接层对所述训练集进行特征提取；
VGG卷积神经网络的图像卷积公式为：
Figure BDA0003828723210000101
其中，
Figure BDA0003828723210000102
表示第t特征图层中的第i个点，Mt表示窗口的数量，
Figure BDA0003828723210000103
表示第t-1输入层中的第j个单元，
Figure BDA0003828723210000104
表示第t特征图层中的第i个卷积层中的第j个单元，
Figure BDA0003828723210000105
表示第t个卷积层中的第i个偏移量，f表示一个激励函数。
归一化处理，数据类型这一项可以转换为多个列的one-hot编码(一位有效编码)形式，而其它属性则直接用0与1表示否与是，即最终条件向量是完全由0与1的离散值构成。
其中，所述自动寻优模块具体用于以下场景：
(1)通过第一个卷积层提取最初特征，输出特征图；
(2)通过第一个采样层对(1)中特征图进行特征选择，去除多余特征，重构新的特征图；
(3)通过第二个卷积层对第一个采样层重构的新特征图进行二次特征提取，输出特征图；
(4)通过第二个采样层对(3)中输出特征图进行二次特征选择；
(5)通过全连接层将得到的所有特征进行分类。
CNN是一类特别设计用来处理二维数据的多层神经网络。CNN通过挖掘数据中的空间上的相关性，来减少网络中的可训练参数的数量，达到改进前向传播网络的反向传播算法效率。
CNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积。这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN后面还可以跟全连接层。CNN中每一层的由多个map(特征图)组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核(即权重)，卷积核往往代表一个特征。卷积神经网络通常包含以下几种层：
1)卷积层，卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征；
2)线性整流层，这一层神经的活性化函数使用线性整流；
3)池化层，通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征；
4)全连接层，把所有局部特征结合变成全局特征，用来计算最后每一类的得分。
其中，所述迁移学习模块具体用于以下场景：
(1)设定源域；
(2)设定目标域；
(3)建立迁移学习模型。
通过建立迁移学习模型，实现源域训练模型在目标域的应用，即通过将某个领域或任务上学习到的知识(源域，关键特征信息)应用到不同但相关的领域(目标域)中，解决数据量小和样本不满足同一概率分布的问题。迁移学习是指充分考虑数据、任务、或者模型的相似性，将在旧领域学习到的模型，应用到新的领域的一种学习过程。
迁移学习对应于两个基本的领域：源领域(Source Domain)和目标领域(TargetDomain)。源领域就是有知识、有大量数据标注的领域，是要迁移的对象；目标领域就是最终要赋予知识、赋予标注的对象。知识从源领域传递到目标领域，就完成了迁移。
迁移学习具体原理：给定一个有标记的源域
Figure BDA0003828723210000121
和一个无标记的目标域
Figure BDA0003828723210000122
这两个领域的数据分布P(xs)和P(xt)不同，即P(xs)≠P(xt)。迁移学习的目的就是要借助Ds的知识，来学习目标域Dt的知识。
具体应用于迁移学习模型，给定一个有标记的源域
Figure BDA0003828723210000123
和一个无标记的目标域
Figure BDA0003828723210000124
假设它们的特征空间相同，即Xs＝Xt，并且它们的类别空间也相同，即Ys＝Yt以及条件概率分布也相同，即Qs(ys|xs)＝Qt(yt|xt)。但是这两个域的边缘分布不同，即Ps(xs)≠Pt(xt)。迁移学习的目标就是利用有标记的源域数据Ds去学习一个分类器f:
Figure BDA0003828723210000125
来预测目标域数据Dt的标签yt∈Yt。
其中，Ds表示源域(源领域)，Dt表示目标域(目标领域)，x表示领域上的数据，X表示一个领域的所有数据集合，是矩阵形式，s指代源域，t指代目标域，概率分布P是逻辑上的概念，Qs(ys|xs)和Qt(yt|xt)是条件概率分布。
传统的机器学习算法有一个很重要的假设：训练数据和测试数据都是独立同分布的，这样在训练数据上得到的模型在测试数据上才会有比较好的泛化能力，但是实际上的数据往往很难服从独立同分布这一假设，因而迁移迁移学习本质上要解决的问题是当数据不满足独立同分布的条件(有可能不是独立的，也有可能不是同分布的)时，怎样让学习到的模型具有比较好的泛化能力。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于域对抗迁移网络的数据认知计算方法，其特征在于：包括以下步骤，
S1，获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；
S2，基于自动寻优卷积神经网络，得到上述数据的判别特征信息，供分类器进行学习；
S3，通过建立迁移学习模型，实现源域训练模型在目标域的应用；
S4，基于迁移学习模型，进行小样本数据认知计算。
2.如权利要求1所述的一种基于域对抗迁移网络的数据认知计算方法，其特征在于：所述步骤S1具体包括以下步骤：
对源域数据样本和目标域数据样本做特征处理，得到过滤后的源域数据样本和目标域数据样本的特征信息，然后做归一化处理。
3.如权利要求2所述的一种基于域对抗迁移网络的数据认知计算方法，其特征在于：所述步骤S2具体包括以下步骤：
(1)通过第一个卷积层提取最初特征，输出特征图；
(2)通过第一个采样层对(1)中特征图进行特征选择，去除多余特征，重构新的特征图；
(3)通过第二个卷积层对第一个采样层重构的新特征图进行二次特征提取，输出特征图；
(4)通过第二个采样层对(3)中输出特征图进行二次特征选择；
(5)通过全连接层将得到的所有特征进行分类。
4.如权利要求3所述的一种基于域对抗迁移网络的数据认知计算方法，其特征在于：所述步骤S3具体包括以下步骤：
(1)设定源域；
(2)设定目标域；
(3)建立迁移学习模型。
5.一种基于域对抗迁移网络的数据认知计算***，其特征在于，所述***包括：
数据提取模块：用于获取具体场景下的源域数据样本和目标域数据样本，提取关键特征信息；
自动寻优模块：用于基于自动寻优卷积神经网络，得到上述数据的判别特征信息，供分类器进行学习；
迁移学习模块：用于通过建立迁移学习模型，实现源域训练模型在目标域的应用；
认知计算模块：用于基于迁移学习模型，进行小样本数据认知计算。
6.如权利要求5所述的一种基于域对抗迁移网络的数据认知计算***，其特征在于，所述数据提取模块具体用于：
对源域数据样本和目标域数据样本做特征处理，得到过滤后的源域数据样本和目标域数据样本的特征信息，然后做归一化处理。
7.如权利要求6所述的一种基于域对抗迁移网络的数据认知计算***，其特征在于：所述自动寻优模块具体用于：
(1)通过第一个卷积层提取最初特征，输出特征图；
(2)通过第一个采样层对(1)中特征图进行特征选择，去除多余特征，重构新的特征图；
(3)通过第二个卷积层对第一个采样层重构的新特征图进行二次特征提取，输出特征图；
(4)通过第二个采样层对(3)中输出特征图进行二次特征选择；
(5)通过全连接层将得到的所有特征进行分类。
8.如权利要求7所述的一种基于域对抗迁移网络的数据认知计算***，其特征在于：所述迁移学习模块具体用于：
(1)设定源域；
(2)设定目标域；
(3)建立迁移学习模型。
CN202211067956.4A 2022-09-01 2022-09-01 一种基于域对抗迁移网络的数据认知计算方法及其*** Pending CN115374943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211067956.4A CN115374943A (zh) 2022-09-01 2022-09-01 一种基于域对抗迁移网络的数据认知计算方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211067956.4A CN115374943A (zh) 2022-09-01 2022-09-01 一种基于域对抗迁移网络的数据认知计算方法及其***

Publications (1)

Publication Number Publication Date
CN115374943A true CN115374943A (zh) 2022-11-22

Family

ID=84069021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211067956.4A Pending CN115374943A (zh) 2022-09-01 2022-09-01 一种基于域对抗迁移网络的数据认知计算方法及其***

Country Status (1)

Country Link
CN (1) CN115374943A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630679A (zh) * 2023-03-29 2023-08-22 南通大学 一种基于ct图像和域不变特征的骨质疏松识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630679A (zh) * 2023-03-29 2023-08-22 南通大学 一种基于ct图像和域不变特征的骨质疏松识别方法
CN116630679B (zh) * 2023-03-29 2024-06-04 南通大学 一种基于ct图像和域不变特征的骨质疏松识别方法

Similar Documents

Publication Publication Date Title
CN110334705B (zh) 一种结合全局和局部信息的场景文本图像的语种识别方法
Zheng et al. PAC-Bayesian framework based drop-path method for 2D discriminative convolutional network pruning
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN102156871B (zh) 基于类别相关的码本和分类器投票策略的图像分类方法
Lei et al. Patent analytics based on feature vector space model: A case of IoT
Salman et al. Classification of real and fake human faces using deep learning
CN109977199B (zh) 一种基于注意力池化机制的阅读理解方法
CN111414461A (zh) 一种融合知识库与用户建模的智能问答方法及***
CN112749274B (zh) 基于注意力机制和干扰词删除的中文文本分类方法
Anand et al. Real time noisy dataset implementation of optical character identification using CNN
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN111553419A (zh) 一种图像识别方法、装置、设备以及可读存储介质
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、***、终端及介质
Sadr et al. Convolutional neural network equipped with attention mechanism and transfer learning for enhancing performance of sentiment analysis
CN110110724A (zh) 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN113988079A (zh) 一种面向低数据的动态增强多跳文本阅读识别处理方法
CN112786160A (zh) 基于图神经网络的多图片输入的多标签胃镜图片分类方法
Suratkar et al. Deep-fake video detection approaches using convolutional–recurrent neural networks
Khayyat et al. A deep learning based prediction of arabic manuscripts handwriting style.
CN114881173A (zh) 基于自注意力机制的简历分类方法和装置
CN115374943A (zh) 一种基于域对抗迁移网络的数据认知计算方法及其***
Tilki et al. Gender classification using deep learning techniques
CN112925983A (zh) 一种电网资讯信息的推荐方法及***
CN111460817A (zh) 一种刑事法律文书相关法条的推荐方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination