CN107958287A - 面向跨界大数据分析的对抗迁移学习方法及*** - Google Patents
面向跨界大数据分析的对抗迁移学习方法及*** Download PDFInfo
- Publication number
- CN107958287A CN107958287A CN201711183974.8A CN201711183974A CN107958287A CN 107958287 A CN107958287 A CN 107958287A CN 201711183974 A CN201711183974 A CN 201711183974A CN 107958287 A CN107958287 A CN 107958287A
- Authority
- CN
- China
- Prior art keywords
- data
- tensor
- loss function
- predetermined depth
- neutral net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013526 transfer learning Methods 0.000 title claims abstract description 30
- 238000007405 data analysis Methods 0.000 title claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 126
- 230000007935 neutral effect Effects 0.000 claims abstract description 98
- 238000013480 data collection Methods 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 230000001052 transient effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 33
- 230000000694 effects Effects 0.000 abstract description 12
- 210000004218 nerve net Anatomy 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种面向跨界大数据分析的对抗迁移学习方法及***。该方法包括：将所述源领域和目标领域各自的未标注数据集对应张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播，调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；所述张量集中张量为所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；基于该当前最佳损失函数更新所述预设深度神经网络参数并进入下一次所述预设深度神经网络参数的更新直至参数收敛。通过本发明得到的预设深度神经网络预设数据层集合中多个数据层的联合分布偏移减小，应用于目标领域效果较佳。
Description
技术领域
本发明涉及数据分析技术领域，更具体地，涉及一种面向跨界大数据分析的对抗迁移学习方法及***。
背景技术
在众多的机器学习任务处理中，深度神经网络方法为目前效果最好的方法。但深度神经网络只有在获得了足够丰富的有标签数据后，经过监督学习训练才能获得很好的任务效果。为了在目标领域的已标注数据较少的情况下，仍能获得效果较好的用于完成目标任务的深度神经网络，通常采用跨领域学习，将源领域丰富的已标注数据用于目标领域的深度神经网络的获取。基于源领域丰富的已标注数据获取的深度神经网络下，源领域的数据与目标领域的数据存在分布偏移的问题，因而该深度神经网络应用目标领域完成目标任务时效果不佳。
针对这一问题，通常采用迁移学习方法解决，即训练一个鉴别器用于调整深度神经网络的参数，使得参数调整后的深度神经网络下，源领域的数据与目标领域的数据间的分布偏移减小，从而深度神经网络应用目标领域完成目标任务时有较佳的效果。其中，对抗迁移学习方法是目前效果最好的迁移学习方法之一，其通过根据深度神经网络中间层的单个数据层的数据向量，构建鉴别器的损失函数，最小化该鉴别器的损失函数获取该鉴别器的参数，并固定该鉴别器的损失函数的参数，最小化深度神经网络的损失函数与该鉴别器的损失函数之差，获取深度神经网络的参数这一方式不断调整深度神经网络的参数直至收敛。
通过对抗迁移学习方法，参数调整后的深度神经网络顶层的若干数据层下，源领域的数据与目标领域的数据可能仍然存在数据分布偏移，进而深度神经网络应用目标领域完成目标任务时效果可能不佳。尤其，当源领域与目标领域的数据分布呈现多模式的复杂结构时，根据深度神经网络中间层的单个数据层的数据向量，构建鉴别器的损失函数用于调整深度神经网络的参数，参数调整后的深度神经网络的可能难以捕捉繁杂的数据分布特征以将分布细粒度对齐，使得源领域与目标领域的数据分布偏移仍较大，深度神经网络应用目标领域完成目标任务时效果不佳。
发明内容
本发明提供一种面向跨界大数据分析的对抗迁移学习方法及***，以克服现有对抗迁移学习方法得到的深度神经网络顶层的若干数据层下，源领域的数据与目标领域的数据可能仍然存在数据分布偏移，以及当源领域与目标领域的数据分布呈现多模式的复杂结构时，得到深度神经网络可能难以捕捉繁杂的数据分布特征以将分布细粒度对齐，使得源领域与目标领域的数据分布偏移仍较大，应用目标领域完成目标任务时效果不佳的问题。
根据本发明的第一方面，提供一种面向跨界大数据分析的对抗迁移学***衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。
其中，所述步骤1具体包括：步骤11，将所述源领域和目标领域各自的未标注数据集中的每个未标注数据依次输入至预设深度神经网络并正向传播，获取所述每个未标注数据下所述预设深度神经网络中预设数据层集合中每个数据层的数据向量；步骤12，计算所述数据向量的张量积，将所述张量积作为所述每个未标注数据对应的张量；步骤13，根据所述源领域的未标注数据集中每个未标注数据对应的张量，得到所述源领域的未标注数据集对应的张量集，并根据所述目标领域的未标注数据集中每个未标注数据对应的张量，得到所述目标领域的未标注数据集对应的张量集。
其中，在步骤1中，所述预设数据层集合由所述预设深度神经网络顶层和中间层中的若干数据层构成。
其中，在步骤2中，所述鉴别器为一个输入为d维向量、输出在区间[0,1]上的全连接预设深度神经网络鉴别器；所述鉴别器的原始损失函数设定为：
其中，和分别为所述源领域和所述目标领域的未标注数据集对应的张量集，和分别为所述源领域和所述目标领域的第i个未标注数据的张量，ns和nt分别为所述源领域和所述目标领域的未标注数据集中未标注数据的数目，和分别为所述源领域和所述目标领域的第i个未标注数据的张量的随机多线性融合表示；为所述预设数据层集合，z为张量，⊙是阿达马积，是一个维度为的随机矩阵，是数据层的维度，d为鉴别器输入向量的维度，为数据层的数据向量。
其中，在步骤3中，所述预设深度神经网络在所述源领域的损失函数为在所述源领域的已标注数据集中所有已标注数据的交叉熵损失的均值。
其中，所述预设深度神经网络在所述源领域的损失函数设定为：
其中，ns为所述源领域的已标注数据集中已标注数据的数目，为所述源领域的第i个已标注数据的特征向量，为所述预设深度神经网络的决策函数，为所述源领域的第i个已标注数据的标签，J(·,·)是交叉熵损失函数。
根据本发明的第二方面，提供一种面向跨界大数据分析的对抗迁移学***衡参数乘以所述当前最佳损失函数。
根据本发明的第三方面，提供一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如第一方面所述的方法。
根据本发明的第四方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的方法。
本发明提出的面向跨界大数据分析的对抗迁移学习方法及***，通过将预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积作为输入数据对应的张量，将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，进而基于该鉴别器的当前损失函数对预设深度神经网络的参数进行更新，使得得到的预设深度神经网络预设数据层集合中多个数据层的联合分布偏移减小，应用于目标领域完成目标任务时效果较佳，同时，对张量采用随机多线性融合表示，大大减小了后续数据计算量，加快了对抗迁移学习过程。此外，本发明避免了基于现有迁移学习方法得到的预设深度神经网络顶层的若干数据层可能仍存在的数据分布偏移，同时，也避免了当源领域与目标领域的数据分布呈现多模式的复杂结构时，基于现有迁移学习方法得到的预设深度神经网络难以捕捉繁杂的数据分布特征以将分布细粒度对齐，导致数据分布偏移较大，应用于目标领域完成目标任务时效果不佳。
附图说明
图1为根据本发明实施例的一种面向跨界大数据分析的对抗迁移学习方法流程图；
图2为根据本发明实施例的源领域和目标领域各自的未标注数据集下鉴别器的当前损失函数的获取流程图；
图3为根据本发明实施例的一种面向跨界大数据分析的对抗迁移学习***流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，本发明实施例提供一种面向跨界大数据分析的对抗迁移学习方法，该方法包括：
步骤1，将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积。
在本实施例中，预设深度神经网络可应用于众多机器学习任务，如:图像识别和语音识别等。以非监督图像识别迁移学习任务为例，可在Caffe深度学习框架下实现预设深度神经网络AlexNet或ResNet，为了提高预设深度神经网络的性能，可在进行迁移学习之前先使用已标注的ImageNet数据集对预设深度神经网络进行预训练；目标领域的未标注数据集为待分类图像的特征向量集。
在本实施例中，具体地，将源领域和目标领域各自的未标注数据集中的每个未标注数据依次输入至预设深度神经网络并正向传播，获取所述预设深度神经网络中预设数据层集合中每个数据层的数据向量。计算所述数据向量的张量积，将所述张量积作为输入的未标注数据对应的张量。根据所述源领域的未标注数据集中每个未标注数据对应的张量，得到所述源领域的未标注数据集对应的张量集，并根据所述目标领域的未标注数据集中每个未标注数据对应的张量，得到所述目标领域的未标注数据集对应的张量集。其中，所述预设数据层集合由所述预设深度神经网络顶层和中间层中的若干数据层构成。例如，当预设深度神经网络为AlexNet时,设定预设数据层集合当预设深度神经网络为ResNet时,设定预设数据层集合
根据将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集在预设数据层集合的各数据层下的数据向量的过程如图2所示。其中，Xs为源领域的未标注数据集，Xt为目标领域的未标注数据集，Zsi为源领域的未标注数据集在预设数据层集合的第i个数据层下的数据向量，Zti为目标领域的未标注数据集在预设数据层集合的第i个数据层下的数据向量。
步骤2，将所述源领域和目标领域各自的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数。
在本实施例中，所述鉴别器为一个输入为d维向量、输出在区间[0,1]上的全连接预设深度神经网络鉴别器。所述鉴别器的原始损失函数设定为：
其中，和分别为所述源领域和所述目标领域的未标注数据集对应的张量集，和分别为所述源领域和所述目标领域的第i个未标注数据的张量，ns和nt分别为所述源领域和所述目标领域的未标注数据集中未标注数据的数目，和分别为所述源领域和所述目标领域的第i个未标注数据的张量的随机多线性融合表示；为所述预设数据层集合,z为张量，⊙是阿达马积，是一个维度为的随机矩阵，是数据层的维度，d为鉴别器输入向量的维度，为数据层的数据向量。对于随机矩阵每一个矩阵元的分布需要满足可用的矩阵元分布包括高斯分布，伯努利分布和一致分布。
所述源领域和目标领域各自的未标注数据集在预设数据层集合的各数据层下的张量，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数的过程如图2所示。其中，Ri为预设数据层集合的第i个数据层对应的随机矩阵，⊙是阿达马积，D为鉴别器的当前损失函数。Ys为源领域的未标注数据集对应的输出集，Yt为目标领域的未标注数据集对应的输出集。
在本实施例中，得到鉴别器的当前损失函数后，利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数的过程中采用小批量随机梯度下降并将冲量设为0.9。在随机梯度下降的每一轮迭代中，学习速率为其中，参数p随着迭代轮数线性从0增长到1，η0＝0.01，α＝10，β＝0.75。
步骤3，利用反向传播，将所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。
在本实施例中，所述预设深度神经网络在所述源领域的损失函数为在所述源领域的已标注数据集中所有已标注数据的交叉熵损失的均值，所述预设深度神经网络在所述源领域的损失函数设定为：
其中，ns为所述源领域的已标注数据集中已标注数据的数目，为所述源领域的第i个已标注数据的特征向量，为所述预设深度神经网络的决策函数，为所述源领域的第i个已标注数据的标签，J(·,·)是交叉熵损失函数。
在本实施例中，所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积为：
其中，λ为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。
在本实施例中，利用所述反向传播，最小化所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的权衡量之差的过程中，采用小批量随机梯度下降并将冲量设为0.9。在随机梯度下降的每一轮迭代中，学***衡参数λ同样设定为渐变参数，其中δ＝10。在此过程中，具体调整了预设深度神经网络F(x)的所有卷积数据层、池化数据层和分类器数据层，且分类器数据层的学习速率是其它数据层的10倍。
本发明提出的面向跨界大数据分析的对抗迁移学习方法，通过将预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积作为输入数据对应的张量，将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，进而基于该鉴别器的当前损失函数对预设深度神经网络的参数进行更新，使得得到的预设深度神经网络预设数据层集合中多个数据层的联合分布偏移减小，应用于目标领域完成目标任务时效果较佳，同时，对张量采用随机多线性融合表示，大大减小了后续数据计算量，加快了对抗迁移学习过程。此外，本发明避免了基于现有迁移学习方法得到的预设深度神经网络顶层的若干数据层可能仍存在的数据分布偏移，同时，也避免了当源领域与目标领域的数据分布呈现多模式的复杂结构时，基于现有迁移学习方法得到的预设深度神经网络难以捕捉繁杂的数据分布特征以将分布细粒度对齐，导致数据分布偏移较大，应用于目标领域完成目标任务时效果不佳。
如图3所示，本发明实施例提供一种面向跨界大数据分析的对抗迁移学***衡参数乘以所述当前最佳损失函数。
本发明提出的面向跨界大数据分析的对抗迁移学习***，通过将预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积作为输入数据对应的张量，将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，进而基于该鉴别器的当前损失函数对预设深度神经网络的参数进行更新，使得得到的预设深度神经网络预设数据层集合中多个数据层的联合分布偏移减小，应用于目标领域完成目标任务时效果较佳，同时，对张量采用随机多线性融合表示，大大减小了后续数据计算量，加快了对抗迁移学习过程。此外，本发明避免了基于现有迁移学习方法得到的预设深度神经网络顶层的若干数据层可能仍存在的数据分布偏移，同时，也避免了当源领域与目标领域的数据分布呈现多模式的复杂结构时，基于现有迁移学习方法得到的预设深度神经网络难以捕捉繁杂的数据分布特征以将分布细粒度对齐，导致数据分布偏移较大，应用于目标领域完成目标任务时效果不佳。
本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述方法实施例所提供的方法，例如包括：将源领域的未标注数据集和目标领域的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域的未标注数据集对应的张量集和所述目标领域的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播，调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；利用所述反向传播，最小化所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的权衡量之差，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述当前最佳损失函数的权衡量为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数乘以所述当前最佳损失函数。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述方法实施例所提供的方法，例如包括：将源领域的未标注数据集和目标领域的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域的未标注数据集对应的张量集和所述目标领域的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播，调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；利用所述反向传播，最小化所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的权衡量之差，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述当前最佳损失函数的权衡量为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数乘以所述当前最佳损失函数。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种面向跨界大数据分析的对抗迁移学习方法，其特征在于，包括：
步骤1，将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；
步骤2，将所述源领域和目标领域各自的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；
步骤3，利用反向传播，将所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。
2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：
步骤11，将所述源领域和目标领域各自的未标注数据集中的每个未标注数据依次输入至预设深度神经网络并正向传播，获取所述每个未标注数据下所述预设深度神经网络中预设数据层集合中每个数据层的数据向量；
步骤12，计算所述数据向量的张量积，将所述张量积作为所述每个未标注数据对应的张量；
步骤13，根据所述源领域的未标注数据集中每个未标注数据对应的张量，得到所述源领域的未标注数据集对应的张量集，并根据所述目标领域的未标注数据集中每个未标注数据对应的张量，得到所述目标领域的未标注数据集对应的张量集。
3.根据权利要求1所述的方法，其特征在于，在步骤1中，所述预设数据层集合由所述预设深度神经网络顶层和中间层中的若干数据层构成。
4.根据权利要求1所述的方法，其特征在于，在步骤2中，所述鉴别器为一个输入为d维向量、输出在区间[0,1]上的全连接预设深度神经网络鉴别器；
所述鉴别器的原始损失函数设定为：
其中，和分别为所述源领域和所述目标领域的未标注数据集对应的张量集，和分别为所述源领域和所述目标领域的第i个未标注数据的张量，ns和nt分别为所述源领域和所述目标领域的未标注数据集中未标注数据的数目，和分别为所述源领域和所述目标领域的第i个未标注数据的张量的随机多线性融合表示；为所述预设数据层集合，z为张量，⊙是阿达马积，Rl是一个维度为d×dl的随机矩阵，dl是数据层l的维度，d为鉴别器输入向量的维度，zl为数据层l的数据向量。
5.根据权利要求1所述的方法，其特征在于，在步骤3中，所述预设深度神经网络在所述源领域的损失函数为在所述源领域的已标注数据集中所有已标注数据的交叉熵损失的均值。
6.根据权利要求5所述的方法，其特征在于，所述预设深度神经网络在所述源领域的损失函数设定为：
<mrow>
<mfrac>
<mn>1</mn>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
</mfrac>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>n</mi>
<mi>s</mi>
</msub>
</msubsup>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>F</mi>
<mo>(</mo>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>)</mo>
<mo>,</mo>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，ns为所述源领域的已标注数据集中已标注数据的数目，为所述源领域的第i个已标注数据的特征向量，为所述预设深度神经网络的决策函数，为所述源领域的第i个已标注数据的标签，J(·,·)是交叉熵损失函数。
7.一种面向跨界大数据分析的对抗迁移学习***，其特征在于，包括：张量集获取模块和鉴别器的当前最佳损失函数获取模块和更新模块；
所述张量集获取模块，用于将源领域的未标注数据集和目标领域的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域的未标注数据集对应的张量集和所述目标领域的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；
所述鉴别器的当前最佳损失函数获取模块，用于将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播，调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；
所述更新模块，用于利用所述反向传播，最小化所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的权衡量之差，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述当前最佳损失函数的权衡量为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数乘以所述当前最佳损失函数。
8.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711183974.8A CN107958287A (zh) | 2017-11-23 | 2017-11-23 | 面向跨界大数据分析的对抗迁移学习方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711183974.8A CN107958287A (zh) | 2017-11-23 | 2017-11-23 | 面向跨界大数据分析的对抗迁移学习方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107958287A true CN107958287A (zh) | 2018-04-24 |
Family
ID=61961754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711183974.8A Pending CN107958287A (zh) | 2017-11-23 | 2017-11-23 | 面向跨界大数据分析的对抗迁移学习方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107958287A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165562A (zh) * | 2018-07-27 | 2019-01-08 | 深圳市商汤科技有限公司 | 神经网络的训练方法、横向控制方法、装置、设备及介质 |
| CN109948645A (zh) * | 2019-01-23 | 2019-06-28 | 西安交通大学 | 一种基于深度对抗迁移学习的企业偷漏税识别方法 |
| CN110234085A (zh) * | 2019-05-23 | 2019-09-13 | 深圳大学 | 基于对抗迁移网络的室内位置指纹地图生成方法及*** |
| CN110489661A (zh) * | 2019-07-24 | 2019-11-22 | 武汉大学 | 一种基于生成对抗网络和迁移学习的社交关系预测方法 |
| WO2019228358A1 (zh) * | 2018-05-31 | 2019-12-05 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| CN110751207A (zh) * | 2019-10-18 | 2020-02-04 | 四川大学 | 基于深度卷积域对抗迁移学习的故障诊断方法 |
| CN110827258A (zh) * | 2019-10-31 | 2020-02-21 | 西安交通大学 | 一种基于半监督对抗学习的糖尿病视网膜疾病的筛查装置及方法 |
| CN111488979A (zh) * | 2019-01-28 | 2020-08-04 | 斯特拉德视觉公司 | 设备上持续学习用于分析输入数据的神经网络的方法及装置 |
| CN112313044A (zh) * | 2018-06-15 | 2021-02-02 | 谷歌有限责任公司 | 用于机器人操纵的深度强化学习 |
| CN113869342A (zh) * | 2020-06-30 | 2021-12-31 | 微软技术许可有限责任公司 | 预估性建模中的标记偏移检测和调整 |
-
2017
- 2017-11-23 CN CN201711183974.8A patent/CN107958287A/zh active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019228358A1 (zh) * | 2018-05-31 | 2019-12-05 | 华为技术有限公司 | 深度神经网络的训练方法和装置 |
| CN112313044A (zh) * | 2018-06-15 | 2021-02-02 | 谷歌有限责任公司 | 用于机器人操纵的深度强化学习 |
| CN109165562A (zh) * | 2018-07-27 | 2019-01-08 | 深圳市商汤科技有限公司 | 神经网络的训练方法、横向控制方法、装置、设备及介质 |
| CN109165562B (zh) * | 2018-07-27 | 2021-06-04 | 深圳市商汤科技有限公司 | 神经网络的训练方法、横向控制方法、装置、设备及介质 |
| CN109948645A (zh) * | 2019-01-23 | 2019-06-28 | 西安交通大学 | 一种基于深度对抗迁移学习的企业偷漏税识别方法 |
| CN111488979B (zh) * | 2019-01-28 | 2023-11-07 | 斯特拉德视觉公司 | 设备上持续学习用于分析输入数据的神经网络的方法及装置 |
| CN111488979A (zh) * | 2019-01-28 | 2020-08-04 | 斯特拉德视觉公司 | 设备上持续学习用于分析输入数据的神经网络的方法及装置 |
| CN110234085A (zh) * | 2019-05-23 | 2019-09-13 | 深圳大学 | 基于对抗迁移网络的室内位置指纹地图生成方法及*** |
| CN110489661A (zh) * | 2019-07-24 | 2019-11-22 | 武汉大学 | 一种基于生成对抗网络和迁移学习的社交关系预测方法 |
| CN110751207B (zh) * | 2019-10-18 | 2022-08-05 | 四川大学 | 基于深度卷积域对抗迁移学习的故障诊断方法 |
| CN110751207A (zh) * | 2019-10-18 | 2020-02-04 | 四川大学 | 基于深度卷积域对抗迁移学习的故障诊断方法 |
| CN110827258A (zh) * | 2019-10-31 | 2020-02-21 | 西安交通大学 | 一种基于半监督对抗学习的糖尿病视网膜疾病的筛查装置及方法 |
| CN110827258B (zh) * | 2019-10-31 | 2022-02-11 | 西安交通大学 | 一种基于对抗学习的糖尿病视网膜疾病的筛查装置及方法 |
| CN113869342A (zh) * | 2020-06-30 | 2021-12-31 | 微软技术许可有限责任公司 | 预估性建模中的标记偏移检测和调整 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958287A (zh) | 面向跨界大数据分析的对抗迁移学习方法及*** | |
| CN109960759B (zh) | 基于深度神经网络的推荐***点击率预测方法 | |
| EP3570222B1 (en) | Information processing device and method, and computer readable storage medium | |
| Pietrzak et al. | Framework of Strategic Learning: The PDCA Cycle. | |
| Chandra et al. | DIVACE: Diverse and accurate ensemble learning algorithm | |
| CN109543502A (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
| CN107766794A (zh) | 一种特征融合系数可学习的图像语义分割方法 | |
| US11526733B2 (en) | Neural network execution block and transfer learning | |
| CN107665339B (zh) | 一种通过神经网络实现人脸属性转换的方法 | |
| CN110168572A (zh) | 信息处理方法、信息处理装置、计算机可读存储介质 | |
| Chen et al. | Automated design of neural network architectures with reinforcement learning for detection of global manipulations | |
| CN107169031A (zh) | 一种基于深度表达的图片素材推荐方法 | |
| CN106203616A (zh) | 神经网络模型训练装置和方法 | |
| CN106355191A (zh) | 一种深度生成网络随机训练算法及装置 | |
| Whitelam et al. | Training neural networks using Metropolis Monte Carlo and an adaptive variant | |
| Liu et al. | Adaptive transfer learning for PINN | |
| CN110232118A (zh) | 一种新型的基于gru注意力机制的答案选择模型 | |
| CN109948589A (zh) | 基于量子深度信念网络的人脸表情识别方法 | |
| Chen et al. | AlphaMath Almost Zero: process Supervision without process | |
| Nam et al. | Predicting airline passenger volume | |
| CN109117946A (zh) | 神经网络计算处理模型 | |
| Wu et al. | Complex Behavior Analysis of a Fractional‐Order Land Dynamical Model with Holling‐II Type Land Reclamation Rate on Time Delay | |
| Toro-Zapata et al. | Conditions on the energy market diversification from adaptive dynamics | |
| Lacko | From perceptrons to deep neural networks | |
| Didandeh et al. | AVLR-EBP: a variable step size approach to speed-up the convergence of error back-propagation algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180424 |
|
| RJ01 | Rejection of invention patent application after publication |