CN117494584A - 基于神经网络对抗迁移学习的高维可靠性设计优化方法 - Google Patents

基于神经网络对抗迁移学习的高维可靠性设计优化方法 Download PDF

Info

Publication number
CN117494584A
CN117494584A CN202311828448.8A CN202311828448A CN117494584A CN 117494584 A CN117494584 A CN 117494584A CN 202311828448 A CN202311828448 A CN 202311828448A CN 117494584 A CN117494584 A CN 117494584A
Authority
CN
China
Prior art keywords
domain
source domain
samples
neural network
design
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311828448.8A
Other languages
English (en)
Other versions
CN117494584B (zh
Inventor
张哲�
王子聪
刘海波
姜潮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202311828448.8A priority Critical patent/CN117494584B/zh
Publication of CN117494584A publication Critical patent/CN117494584A/zh
Application granted granted Critical
Publication of CN117494584B publication Critical patent/CN117494584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/27—Regression, e.g. linear or logistic regression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/08—Probabilistic or stochastic CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及高维可靠性设计技术领域，公开了基于神经网络对抗迁移学习的高维可靠性设计优化方法；在源域进行基于抽样的可靠性分析，获得源域MCS样本及其响应，以及源域失效概率；将源域失效概率及其随机敏感性信息和高维目标函数，送入优化器以获得目标域的分布信息，获得目标域MCS样本；根据源域MCS样本及其响应和目标域MCS样本，构建DARNN，以实现目标域MCS样本响应的预测，并根据预测结果计算目标域失效概率及其随机敏感性信息；判断是否达到优化器的收敛条件，收敛则优化设计结束并输出优化参数，不收敛则重复有关过程，直到达到优化器的收敛条件为止。该方法不需要耗时漫长的有限元计算过程，计算时间和精度较高。

Description

基于神经网络对抗迁移学习的高维可靠性设计优化方法
技术领域
本发明涉及可靠性设计技术领域，具体涉及一种基于神经网络对抗迁移学习的高维可靠性设计优化方法。
背景技术
不确定性是客观世界的固有属性，这也是现代结构可靠性理论研究的重要背景和根源。由于测量技术和认知能力的限制，导致实际工程问题中广泛存在不确定性，如材料参数的不确定性、几何尺寸的不确定性、外部载荷的不确定性、边界条件的不确定性以及模型的不确定性等。为了保证产品的可靠性和安全性，在对不确定性进行适当的量化和控制后继续进行优化分析，以获得在给定条件下，使得产品较为可靠的优化参数是十分有必要的。
为了保证产品的可靠性和安全性，对不确定性进行适当的量化和控制是十分有必要的。例如在机械制造中，通过对不确定性进行分析和评估，可以提高机械***的设计可靠性，减小故障发生的概率，提高机械***的运行效率和生产效益；在航空航天领域中，对不确定性进行评价可以提高航空器的设计可靠性和安全性，保证航空器在各种环境和工况下的正常运行；在能源领域中，通过对不确定性进行评估，可以提高能源***的运行效率和稳定性，减少能源浪费和污染，实现可持续发展；在建筑工程中，对不确定性进行分析和评估可以提高建筑的稳定性，保证人类生命财产安全。因此，研究不确定性已经成为工程领域中的热点问题。
根据不确定性的类别，可靠性分析可以分为随机可靠性和认知可靠性分析。带有认知不确定性的可靠性分析被认为是可靠性分析领域的重点和难点。
传统的基于可靠性的高维设计优化（RBDO）方法是一个两层的嵌套优化，外层是设计变量的寻优，内层是可靠性分析，这意味着每进行一次设计优化都要同时进行一次可靠性分析。由于实际约束通常是计算成本很高的有限元模型，再加上高维问题导致的计算膨胀问题，导致RBDO的计算效率非常低。为了解决上述问题，一系列经典的RBDO方法被提了出来，例如（1）双循环方法，这是求解RBDO较为原始的方法，外层是设计变量的寻优，内层是可靠性分析；（2）解耦方法，该方法的主要思想是利用可靠性分析的结果将概率约束转化为确定性约束，从而消除可靠性评估和目标函数优化之间的嵌套关系；（3）单循环方法，主要的思想是避免RBDO过程中的可靠性分析过程，将原本双循环转化成确定性优化的单循环。
在传统基于抽样的RBDO过程中，常使用基于神经网络的代理模型的可靠性分析方法以降低计算成本，这些代理模型往往由于其强大的拟合能力而引起广泛关注。然而，当神经网络的训练样本的分布（称为源域）及其预测样本的分布（称为目标域）不一致时，会产生领域适应问题；即上一步的神经网络代理模型，不能直接用于下一步的优化过程。
因此，现提供一种在基于抽样且使用代理模型的RBDO的基础上，通过构建基于DARNN的迁移学习模型对代理模型进行处理的基于神经网络对抗迁移学习的高维可靠性设计优化方法。
发明内容
因此，本发明为了解决现有技术中的以上缺陷，提供一种在基于抽样且使用代理模型的RBDO的基础上，通过构建基于DARNN的迁移学习模型对代理模型进行处理的基于神经网络对抗迁移学习的高维可靠性设计优化方法。
本发明提供一种基于神经网络对抗迁移学习的高维可靠性设计优化方法，包括以下步骤：
S1.根据原始物理模型的参数输入以及极限面状态方程搭建基于可靠性的设计优化算法，并定义可靠性分析需要计算的可靠性；
S2.在训练样本的基础上构建一个前馈神经网络，用于预测测试样本的响应；其中，将初始设计点所在的样本空间及其分布定义为源域，优化设计点所在样本空间及其分布定义为目标域，源域训练样本定义为从源域中收集的多个源域训练样本点；
S3.源域随机采样；其中，假设初始设计点的均值，首先在源域根据输入变量的PDF随机采样出多个源域训练样本，通过约束函数计算出多个源域训练样本的真实响应；然后在源域根据输入变量的PDF随机采样出多个源域MCS样本用于后续在源域进行可靠性分析；
S4.根据S3采样出的多个源域训练样本及其真实响应，构建标准的前馈神经网络；
S5.计算源域概率约束的失效概率；采用S4中构建好的标准的前馈神经网络对源域的多个源域MCS样本的响应进行预测，并计算每一个概率约束的失效概率；
S6.获取失效概率的随机敏感性信息，并确定一阶打分函数；将源域失效概率及其随机敏感性信息和预设的高维目标函数送入优化器，获得目标域的分布信息；
S7.使用S6中的一阶打分函数对S6得到的目标域分布信息进行随机敏感性分析，并检查是否收敛；
如果收敛则优化设计结束，提前计算优化参数；否则更新设计，根据目标域的分布产生多个目标域MCS样本，并进入下一步；
S8.构建领域对抗神经网络DARNN模型，根据多个源域MCS样本及其预测响应和多个目标域MCS样本训练DARNN模型，直接预测出多个目标域MCS样本的响应并进行S1中所定义的可靠性算法进行可靠性分析，同时使用S6中的一阶打分函数进行随机敏感性分析；
S9.检查是否收敛；如果收敛则优化设计结束，输出优化参数；如果不收敛则回到S7，并将上一个目标域的失效概率及其随机敏感性信息和目标函数放入优化器获得下一个目标域的分布信息，并重复上述过程，直到达到优化器的收敛条件为止。
在S1中，基于可靠性的设计优化（RBDO）模型，其数学公式可以表示为：
(1)；
其中，是设计向量，是/>维随机变量构成的向量/>的均值；/>，/>和/>分别表示随机输入/>的随机变量和随机参数分量；/>是第/>个目标约束的失效概率；/>、/>、/>分别表示概率约束、设计变量、随机变量加参数的数目；
可靠性分析中需要计算的可靠性定义为：
(2)；
其中，是分布参数向量，包括随机输入变量/>的均值/>和方差/>；/>是概率度量；/>是失效集，/>；/>是/>的联合PDF，/>表示求期望；
在式(2)中被叫作指示函数，被定义为：
(3)；
由于随机输入的均值/>被当作设计向量，因此在计算公式(3)中的失效概率时，分布参数向量/>可以简单地用均值/>替换。
在S2中，初始设计点所在的样本空间及其分布定义为源域，优化设计点所在样本空间及其分布定义为目标域/>，源域训练样本/>定义为从源域/>中收集的个源域样本点，其中，/>、/>；在源域训练样本的基础上构建前馈神经网络（FNN），表示为：
(4)；
其中，表示FNN，/>表示激活函数，W和b表示权重和偏置。
在S3中，假设初始设计点的均值为，首先在源域/>根据输入变量/>的PDF随机采样出/>个源域训练样本/>，通过约束函数计算出/>个源域训练样本/>的真实响应/>，即：
(5)；
其中，表示概率约束的个数；然后在源域/>根据输入变量/>的PDF/>随机采样出/>个源域MCS样本/>用于后续在源域/>进行可靠性分析。
在S4中，根据S3采样出的个源域训练样本/>及其真实响应/>，构建标准的前馈神经网络（FNN）如下：
(6)；
其中，表示第/>个概率约束的FNN，W和b表示权重和偏置，/>表示激活函数。
在S5中，采用S4中构建好的标准的前馈神经网络（FNN）对个源域MCS样本的响应进行预测，即：
(7)；
并计算每一个概率约束的失效概率，/>。
在S6中，获取失效概率的敏感性信息，并确定一阶打分函数为：
取失效概率关于第个设计变量/>的偏导数为：
(8)；
根据莱布尼茨微分法则，积分算子和微分算子可以进行互换，式(8)可以写为：
(9)；
将源域失效概率及其随机敏感性信息和预设的高维目标函数送入优化器，获得目标域的分布信息。
在S7中，使用S6中的一阶打分函数对S6得到的目标域分布信息进行随机敏感性分析，并检查是否收敛；如果收敛则优化设计结束，提前计算优化参数；否则更新设计，根据目标域的分布产生/>个MCS样本/>。
在S8中，领域对抗神经网络DARNN模型的构建为：
模型的输入空间由维输入数据构成，即输入变量/>，将其输入到带有模型参数/>的特征提取器/>中，特征提取器将输入向量映射到一个新的/>维特征空间；
将提取的特征，送入/>和/>两个神经网络模块；其中，是带有模型参数/>的回归模型，其将/>映射到1维空间/>，表示输入对应的输出值的空间/>；同时，带有模型参数/>的域分类器/>，将特征/>映射到一维二进制空间/>的分类器，/>表示输入样本的域标签空间/>；如果一个样本属于源域/>或目标域/>，则域分类器的输出期望分别为0或1；
特征提取器和响应预测器/>两个模块建立了标准的FNN，领域分类器/>检测输入样本是来自源域/>还是目标域/>；
其中，输出值估计的回归损失定义如下:
(10)；
域分类的损失定义如下：
(11)；
其中，训练后的特征提取器和响应预测器/>为适应目标领域的迁移回归模型；特征提取器/>的优化代价函数如下：
(12)；
参数，/>和/>按照以下方式进行更新：
(13)；
其中，和/>表示源域MCS样本和目标域MCS样本的数量；
DARNN模型采用梯度下降(GD)算法进行训练，通过神经网络的对抗训练解决优化问题；其参数的更新值计算如下:
(14)；
其中，是领域适应权重参数，/>是学习率。
在S8中，根据个源域MCS样本/>及其预测响应/>和/>个目标域MCS样本/>训练所搭建的DARNN模型，并直接预测出/>个目标域MCS样本的响应/>，
其中，，/>；
并进行S1中所定义的可靠性分析，同时使用S6中的一阶打分函数进行随机敏感性分析。
本发明技术方案，具有如下优点：
本发明提供的基于神经网络对抗迁移学习的高维可靠性设计优化方法，一方面整个基于抽样的设计优化过程只依赖源域可靠性分析所产生的函数调用，避免了传统基于抽样设计优化问题中重复构建代理模型产生的额外函数调用，另一方面通过构建的DARNN可以直接获得优化设计过程中目标域大量样本的预测响应，进而避免遇到因高维目标函数而导致的计算膨胀问题。
同时，本发明提供的方法在可靠性数值的精度中比传统方法更高；首先，构建的DARNN模型通过源域样本和目标域样本的对抗训练找到域不变特征，随后在源域样本的域不变特征上训练一个回归模型，由于源域样本和目标域样本的域不变特征具有相同的分布，因此在源域样本的域不变特征上训练的回归模型能够对目标域样本响应进行高精度的预测，同时高精度的预测响应使得求解的概率约束的敏感性也会更加准确，优化过程也更加平稳；其次，求解失效概率的随机敏感性，不需要使用真实性能函数的敏感性以及代理模型的敏感性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 本发明方法的流程示意框图；
图2 本发明所述方法的FNN模型结构示意图；
图3 本发明所述方法的DARNN模型结构示意图；
图4 实施例2中源域样本特征和目标域样本特征直接PCA可视化示意图；
图5 实施例2中源域样本迁移特征和目标域样本迁移特征PCA可视化示意图；
图6 实施例2中优化过程中失效概率的变化曲线示意图；
图7 实施例2中优化过程中目标函数的变化曲线示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1：在实际的工程案例中，例如具有高维测量参数的压水堆燃料组件，其有限元模型由其具体的测量参数确定；但由于测量参数维度过高，且相互之间存在强关联性，传统的可靠性分析算法难以进行有效的计算，而本申请的方法可以有效的对这种复杂模型进行稳定且高效的分析。
如图1、2和3所示，本实施例提供一种基于神经网络对抗迁移学习的高维可靠性设计优化方法，包括以下步骤：
S1.根据原始物理模型的参数输入以及极限面状态方程搭建基于可靠性的设计优化算法，并定义可靠性分析需要计算的可靠性；
即RBDO模型，其数学公式可以表示为：
(1)；
其中，是设计向量，是/>维随机变量构成的向量/>的均值；/>，/>和/>分别表示随机输入/>的随机变量和随机参数分量；/>是第/>个目标约束的失效概率；/>、/>、/>分别表示概率约束、设计变量、随机变量加参数的数目；
可靠性分析中需要计算的可靠性定义为：
(2)；
其中，是分布参数向量，包括随机输入变量/>的均值/>和方差/>；/>是概率度量；/>是失效集，/>；/>是/>的联合PDF，/>表示求期望；
在式(2)中被叫作指示函数，被定义为：
(3)；
由于随机输入的均值/>被当作设计向量，因此在计算公式(3)中的失效概率时，分布参数向量/>可以简单地用均值/>替换。
S2.为了进一步降低计算瓶颈，在训练样本的基础上构建一个前馈神经网络；为了便于说明，在基于抽样的RBDO过程中，将初始设计点所在的样本空间及其分布定义为源域，优化设计点所在样本空间及其分布定义为目标域/>，源域训练样本/>定义为从源域/>中收集的/>个源域样本点，其中，/>、/>；在源域训练样本的基础上构建前馈神经网络（FNN），表示为：
(4)；
其中，表示FNN，/>表示激活函数，W和b表示权重和偏置；
一旦构建了FNN，它就可以用于预测个测试样本/>的响应/>。
S3.源域随机采样；假设初始设计点的均值为，首先在源域/>根据输入变量/>的PDF/>随机采样出/>个源域训练样本/>，通过约束函数计算出/>个源域训练样本/>的真实响应/>，即：
(5)；
其中，表示概率约束的个数；然后在源域/>根据输入变量/>的PDF/>随机采样出/>个源域MCS样本/>用于后续在源域/>进行可靠性分析。
S4.训练在S2中由概率约束的神经网络代理模型；根据S3采样出的个源域训练样本/>及其真实响应/>，构建标准的前馈神经网络（FNN）如下：
(6)；
其中，表示第/>个概率约束的FNN，W和b表示权重和偏置，/>表示激活函数。一般来说，激活函数包括Tanh激活函数、ReLU激活函数和Logistic激活函数等，本实施例选择ReLU激活函数作为隐藏层的非线性函数。
S5.计算概率约束的失效概率，采用S4中构建好的标准的前馈神经网络（FNN）对个源域MCS样本/>的响应进行预测，即：
(7)；
并计算每一个概率约束的失效概率，/>。
S6.获取失效概率的敏感性信息；为了寻找优化解，需要获取失效概率的敏感性信息；
并确定一阶打分函数为：
取失效概率关于第个设计变量/>的偏导数为：
(8)；
根据莱布尼茨微分法则，积分算子和微分算子可以进行互换，式(8)可以写为：
(9)；
将源域失效概率及其随机敏感性信息和预设的高维目标函数送入优化器，获得目标域的分布信息；其中，预设的高维目标函数为由专家给出的或实际工程问题存在的高维目标函数。
S7.使用S6中的一阶打分函数即公式（8）和公式（9）对S6得到的目标域分布信息进行随机敏感性分析，并检查是否收敛；如果收敛则优化设计结束，提前计算优化参数；否则更新设计，根据目标域的分布产生/>个MCS样本/>。
S8.领域对抗神经网络DARNN模型的构建为：
模型的输入空间由维输入数据构成，即输入变量/>，将其输入到带有模型参数/>的特征提取器/>中，特征提取器将输入向量映射到一个新的/>维特征空间/>；
将提取的特征，送入/>和/>两个神经网络模块；其中，是带有模型参数/>的回归模型，其将/>映射到1维空间/>，表示输入对应的输出值的空间/>；同时，带有模型参数/>的域分类器/>，将特征/>映射到一维二进制空间/>的分类器，/>表示输入样本的域标签空间/>；如果一个样本属于源域/>或目标域/>，则域分类器的输出期望分别为0或1。
特征提取器和响应预测器/>两个模块建立了标准的FNN，领域分类器/>检测输入样本是来自源域/>还是目标域/>；
其中，输出值估计的回归损失定义如下：
(10)；
域分类的损失定义如下：
(11)；
域之间的差异可以用区分源域和目标域样本问题的泛化误差来近似。因此，如果训练得当，域分类器的分类损失可以作为提取特征/>的域差异指标。该网络的主要思想是训练特征提取器/>使域分类器/>不能对提取的特征进行域分类；因此，通过使用特征提取器/>，不同的域将被转换到一个相同的空间，进而实现迁移学习。
如果不同的域能够通过某种特征表示进行对齐，那么基于该特征表示并且对源域数据工作良好的预测模型有望在目标域数据上正常工作。本实施例的预测模型为；因此，优化目标是训练特征提取器/>使域分类器/>无法通过特征提取器提取的特征对源域样本和目标域样本进行分类。同时，也需要特征提取器提取到的特征是对回归问题有用的信息。换句话说，特征提取器/>应该为预测模型/>提取合适的特征。因此，训练后的特征提取器/>和响应预测器为适应目标领域的迁移回归模型；
为了找到具有上述特性的特征提取器，优化代价函数如下：
(12)；
参数、/>和/>按照以下方式进行更新：
(13)；
其中，和/>表示源域MCS样本和目标域MCS样本的数量；
DARNN模型采用梯度下降(GD)算法进行训练，通过神经网络的对抗训练解决优化问题；其参数的更新值计算如下：
(14)；
其中，是领域适应权重参数，/>是学习率。
同时，在S8中，根据个源域MCS样本/>及其预测响应/>和/>个目标域MCS样本/>训练所搭建的DARNN模型，并直接预测出/>个目标域MCS样本的响应/>，并进行S1中所定义的可靠性分析，同时使用S6中的一阶打分函数公式（8）和公式（9）进行随机敏感性分析；
其中，，/>。
S9.检查是否收敛；如果收敛则优化设计结束，并输出优化参数；如果不收敛则回到S7，并将上一个目标域的失效概率及其随机敏感性信息和目标函数放入优化器获得下一个目标域的分布信息，并重复上述过程，直到达到优化器的收敛条件为止。
本实施例提供的基于神经网络对抗迁移学习的高维可靠性设计优化方法，将初始设计点所在的样本空间及其分布称作源域，将优化过程中设计点改变后的样本空间及其分布称为目标域。首先在源域进行基于抽样的可靠性分析，获得源域MCS样本及其响应，以及源域失效概率。其次，将源域失效概率及其随机敏感性信息和目标函数，送入优化器以获得目标域的分布信息，获得目标域MCS样本。再次，根据源域MCS样本及其响应和目标域MCS样本，构建DARNN，以实现目标域MCS样本响应的预测，并根据预测结果计算目标域失效概率及其随机敏感性信息。最后，判断是否达到优化器的收敛条件，如果没有达到，将上一个目标域的失效概率及其随机敏感性信息和目标函数放入优化器获得下一个目标域的分布信息，并重复上述过程，直到达到优化器的收敛条件为止。由于该方法不需要耗时漫长的有限元计算过程，计算时间得到了极大的优化。
综上，本方法可以有效地对压水堆燃料组件的有限元模型这种复杂模型进行稳定且高效的分析；当然，该方法同样适用于对机械***/航空航天领域/能源领域/建筑工程等领域的可靠性组件/元器件的各种有限元模型进行稳定且高效的分析。
实施例2：下面，本实施例结合附图以含有40维约束的可靠性设计优化的具体实例对本申请作进一步详细说明。
S1a：给出一个含有40维约束的可靠性设计优化的例子，搭建基于可靠性的设计优化算法，其优化问题的公式组成如下：
(1b)；
其中，每一个随机变量都服从均值为/>标准差为0.3的正态分布，设计变量为/>，优化目标是最小化所有设计变量的和。
S2a：为了进一步降低计算瓶颈，在训练样本的基础上构建一个前馈神经网络（FNN）：
(2b)；/>
其中,表示FNN，/>表示激活函数，W和b表示权重和偏置。
S3a：源域随机采样；假设优化的初始点，首先基于源域的分布信息，可以采样出400个样本点/>，随后计算出这400个样本点的真实响应/>即。将这400个样本点及其真实响应/>作为训练样本构建在第二步中设计的FNN模型，随后在源域采样105个MCS样本点/>。源域400个样本点的部分数据如表1所示，可以在Pytorch中通过设置随机种子为308以复现全部随机采样数据。通过构建的FNN预测源域105个MCS样本点的响应/>，其中/>。
表1源域400个样本点的部分数据
S4a：训练在S2a中由概率约束的神经网络代理模型，训练的FNN参数以及超参数如表2所示。
表2 训练FNN过程中的参数和超参数
其中，本实施例优选ReLU激活函数作为隐藏层的非线性函数。
S5a：计算概率约束的失效概率；用S4a构建好的FNN对源域个MCS样本的响应进行预测，即：
(3b)；
根据源域MCS样本点的预测响应计算源域的失效概率。
S6a：获取随机敏感性信息；为了寻找优化解，需要获取失效概率的敏感性信息；
同时，确定一阶打分函数；
取失效概率关于第个设计变量/>的偏导数：
(4b)；
根据莱布尼茨微分法则，积分算子和微分算子可以进行互换，式(4b)可以写为：
(5b)；
将失效概率及其随机敏感性信息和目标函数传给优化器，它给出下一步设计变量的值：
(6b)；
也就是目标域的分布信息。
S7a：使用S6中的一阶打分函数即公式（4b）和公式（5b）对S6a得到的目标域分布信息进行随机敏感性分析，并检查是否收敛；如果收敛则计算提前结束；否则更新设计点，根据目标域的分布产生/>个MCS样本/>。
S8a：构建领域对抗神经网络；其中，模型的输入空间由维输入数据构成，，输入到带有模型参数/>的特征提取器/>。特征提取器将输入向量映射到一个新的/>维特征空间/>。然后，将提取的特征/>，同时送入/>和两个神经网络。/>是带有模型参数/>的回归模型，它将/>映射到1维空间/>，表示输入对应的输出值的空间/>。带有模型参数/>的域分类器/>，是将特征/>映射到一维二进制空间/>的分类器，/>表示输入样本的域标签空间/>。如果一个样本属于/>或/>，则域分类器的输出期望分别为0或1。
特征提取器和响应预测器/>这两个模块建立了一个标准的FNN。领域分类器/>尝试检测输入样本是来自源域/>还是目标域/>。
其中，输出值估计的回归损失如下：
(7b)；
而域分类的损失定义如下：
(8b)；
使用的特征提取器的优化代价函数如下：
(9b)；
参数，/>和/>按照以下方式进行更新：
(10b)；
其中，和/>表示源域MCS样本和目标域MCS样本的数量。
DARNN采用梯度下降(GD)算法进行训练；通过神经网络的对抗训练来解决上述优化问题。因此，参数的更新值计算如下：
(11b)；
其中是领域适应权重参数，/>是学习率。
进一步，在 S8a中，根据个源域MCS样本/>和它们的预测响应/>和个目标域MCS样本/>训练所搭建的DARNN模型，并直接预测出/>个目标域MCS样本的响应/>，其中/>，/>并进行 S1a中所定义的可靠性分析。/>
具体地，首先根据目标域的分布信息，在目标域采样105个目标域MCS样本，随后使用表3内的参数对DARNN模型进行训练。
表3 训练DARNN过程中的参数和超参数
训练结束后使用 S6中的一阶打分函数进行随机敏感性分析。
S9a：检查是否收敛，如果不收敛则回到 S7a，至到满足收敛条件，如果收敛则优化设计结束，输出优化参数，结束。
本实施例中，最终迭代过程在36次迭代之后停止。从图6中可以看出，该发明方法在优化过程中，对失效概率的估计结果和MCS方法对失效概率的估计结果相差不大，说明该发明方法和MCS方法对失效概率的估计精度相当。图7给出了采用该发明方法的代价函数的收敛过程。目标函数先增大后减少，在初始阶段，初始点不满足概率约束，通过优化先满足概率约束，目标函数增大，随后概率约束得到满足，但是目标函数并没有最小化，继续朝着目标函数最小化的方向进行优化，直至满足收敛条件。
为了验证DARNN是否训练成功，将源域105个源域MCS样本，以及目标域105个目标域MCS样本送入到特征提取器中。随后将特征提取器提取到的源域样本迁移特征和目标域样本迁移特征，通过PCA绘制在图4和图5中，可以发现特征提取器已经将两个域对齐，仅仅只有些许偏差，表明DARNN已经训练成功。
最终训练的结果和相对误差记录在表4中。
表4 不同方法求解出的目标域失效概率
通过与MCS和传统的FNN方法相比较，本方法的计算时间更快，且相对误差更小。综上所述，本发明方法兼具有高精度和高效率的双重特点，值得推广。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，包括以下步骤：
S1.根据原始物理模型的参数输入以及极限面状态方程搭建基于可靠性的设计优化算法，并定义可靠性分析需要计算的可靠性；
S2.在训练样本的基础上构建一个前馈神经网络，用于预测测试样本的响应；其中，将初始设计点所在的样本空间及其分布定义为源域，优化设计点所在样本空间及其分布定义为目标域，源域训练样本定义为从源域中收集的多个源域训练样本点；
S3.源域随机采样；其中，假设初始设计点的均值，首先在源域根据输入变量的PDF随机采样出多个源域训练样本，通过约束函数计算出多个源域训练样本的真实响应；然后在源域根据输入变量的PDF随机采样出多个源域MCS样本用于后续在源域进行可靠性分析；
S4.根据S3采样出的多个源域训练样本及其真实响应，构建标准的前馈神经网络；
S5.计算源域概率约束的失效概率；采用S4中构建好的标准的前馈神经网络对源域的多个源域MCS样本的响应进行预测，并计算每一个概率约束的失效概率；
S6.获取失效概率的随机敏感性信息，并确定一阶打分函数；将源域失效概率及其随机敏感性信息和预设的高维目标函数送入优化器，获得目标域的分布信息；
S7.使用S6中的一阶打分函数对S6得到的目标域分布信息进行随机敏感性分析，并检查是否收敛；
如果收敛则优化设计结束，提前计算优化参数；否则更新设计，根据目标域的分布产生多个目标域MCS样本，并进入下一步；
S8.构建领域对抗神经网络DARNN模型，根据多个源域MCS样本及其预测响应和多个目标域MCS样本训练DARNN模型，直接预测出多个目标域MCS样本的响应并使用S1中所定义的可靠性算法进行可靠性分析，同时使用S6中的一阶打分函数进行随机敏感性分析；
S9.检查是否收敛；如果收敛则优化设计结束，输出优化参数；如果不收敛则回到S7，并将上一个目标域的失效概率及其随机敏感性信息和目标函数放入优化器获得下一个目标域的分布信息，并重复上述过程，直到达到优化器的收敛条件为止。
2.根据权利要求1所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S1中，基于可靠性的设计优化（RBDO），其数学公式可以表示为：
(1)；
其中，是设计向量，是/>维随机变量构成的向量的均值；/>，/>和/>分别表示随机输入/>的随机变量和随机参数分量；/>是第/>个目标约束的失效概率；/>、/>、/>分别表示概率约束、设计变量、随机变量加参数的数目；
可靠性分析中需要计算的可靠性定义为：
(2)；
其中，是分布参数向量，包括随机输入变量/>的均值/>和方差；/>是概率度量；/>是失效集，/>；/>是/>的联合PDF，表示求期望；
在式(2)中被叫作指示函数，被定义为：
(3)；
由于随机输入的均值/>被当作设计向量，因此在计算公式(3)中的失效概率时，分布参数向量/>用均值/>替换。
3.根据权利要求1所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S2中，初始设计点所在的样本空间及其分布定义为源域，优化设计点所在样本空间及其分布定义为目标域/>，源域训练样本/>定义为从源域/>中收集的个源域样本点，其中，/>、/>；在源域训练样本的基础上构建前馈神经网络（FNN），表示为：
(4)；
其中，表示FNN，/>表示激活函数，W和b表示权重和偏置。
4.根据权利要求1所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S3中，假设初始设计点的均值为，首先在源域/>根据输入变量/>的PDF随机采样出/>个源域训练样本/>，通过约束函数计算出/>个源域训练样本/>的真实响应/>，即：
(5)；
其中，表示概率约束的个数；然后在源域/>根据输入变量/>的PDF/>随机采样出/>个源域MCS样本/>用于后续在源域/>进行可靠性分析。
5.根据权利要求4所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S4中，根据S3采样出的个源域训练样本/>及其真实响应/>，构建标准的前馈神经网络（FNN）如下：
(6)；
其中，表示第/>个概率约束的FNN，W和b表示权重和偏置，/>表示激活函数。
6.根据权利要求5所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S5中，采用S4中构建好的标准的前馈神经网络（FNN）对个源域MCS样本的响应进行预测，即：
(7)；
并计算每一个概率约束的失效概率，/>。
7.根据权利要求6所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S6中，获取失效概率的敏感性信息，并确定一阶打分函数为：
取失效概率关于第个设计变量/>的偏导数为：
(8)；
根据莱布尼茨微分法则，积分算子和微分算子可以进行互换，公式(8)可以写为：
(9)；
将源域失效概率及其随机敏感性信息和预设的高维目标函数送入优化器，获得目标域的分布信息。
8.根据权利要求7所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S7中，使用S6中的一阶打分函数对S6得到的目标域分布信息进行随机敏感性分析，并检查是否收敛；如果收敛则优化设计结束，提前计算优化参数；否则更新设计，根据目标域的分布产生/>个MCS样本/>。
9.根据权利要求8所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S8中，领域对抗神经网络DARNN模型的构建为：
模型的输入空间由维输入数据构成，即输入变量/>，将其输入到带有模型参数/>的特征提取器/>中，特征提取器将输入向量映射到一个新的/>维特征空间；
将提取的特征，送入/>和/>两个神经网络模块；其中，/>是带有模型参数/>的回归模型，其将/>映射到1维空间/>，表示输入对应的输出值的空间；同时，带有模型参数/>的域分类器/>，将特征/>映射到一维二进制空间/>的分类器，/>表示输入样本的域标签空间/>；如果一个样本属于源域/>或目标域/>，则域分类器的输出期望分别为0或1；
特征提取器和响应预测器/>两个模块建立了标准的FNN，领域分类器检测输入样本是来自源域/>还是目标域/>；
其中，输出值估计的回归损失定义如下:
(10)；
域分类的损失定义如下：
(11)；
其中，训练后的特征提取器和响应预测器/>为适应目标领域的迁移回归模型；特征提取器/>的优化代价函数如下：
(12)；
参数，/>和/>按照以下方式进行更新：
(13)；
其中，和/>表示源域MCS样本和目标域MCS样本的数量；
DARNN模型采用梯度下降(GD)算法进行训练，通过神经网络的对抗训练解决优化问题；其参数的更新值计算如下：
(14)；
其中，是领域适应权重参数，/>是学习率。
10.根据权利要求8所述的基于神经网络对抗迁移学习的高维可靠性设计优化方法，其特征在于，在S8中，根据个源域MCS样本/>及其预测响应/>和/>个目标域MCS样本/>训练所搭建的DARNN模型，并直接预测出/>个目标域MCS样本/>的响应/>，
其中，，/>；
并进行S1中所定义的可靠性分析，同时使用S6中的一阶打分函数进行随机敏感性分析。
CN202311828448.8A 2023-12-28 2023-12-28 基于神经网络对抗迁移学习的高维可靠性设计优化方法 Active CN117494584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311828448.8A CN117494584B (zh) 2023-12-28 2023-12-28 基于神经网络对抗迁移学习的高维可靠性设计优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311828448.8A CN117494584B (zh) 2023-12-28 2023-12-28 基于神经网络对抗迁移学习的高维可靠性设计优化方法

Publications (2)

Publication Number Publication Date
CN117494584A true CN117494584A (zh) 2024-02-02
CN117494584B CN117494584B (zh) 2024-06-28

Family

ID=89676742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311828448.8A Active CN117494584B (zh) 2023-12-28 2023-12-28 基于神经网络对抗迁移学习的高维可靠性设计优化方法

Country Status (1)

Country Link
CN (1) CN117494584B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932347A (zh) * 2024-03-22 2024-04-26 四川大学 基于对抗性迁移学习的小样本时序预测方法及***
CN117952024A (zh) * 2024-03-26 2024-04-30 中国人民解放军国防科技大学 异构数据融合的固体发动机先验模型构建方法及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860677A (zh) * 2020-07-29 2020-10-30 湖南科技大学 一种基于部分域对抗的滚动轴承迁移学习故障诊断方法
US20210390355A1 (en) * 2020-06-13 2021-12-16 Zhejiang University Image classification method based on reliable weighted optimal transport (rwot)
CN114548199A (zh) * 2021-10-09 2022-05-27 中国舰船研究设计中心 一种基于深度迁移网络的多传感器数据融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210390355A1 (en) * 2020-06-13 2021-12-16 Zhejiang University Image classification method based on reliable weighted optimal transport (rwot)
CN111860677A (zh) * 2020-07-29 2020-10-30 湖南科技大学 一种基于部分域对抗的滚动轴承迁移学习故障诊断方法
CN114548199A (zh) * 2021-10-09 2022-05-27 中国舰船研究设计中心 一种基于深度迁移网络的多传感器数据融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王璋奇;段巍;: "基于神经网络和分解技术的叶片强度可靠性设计及敏感性分析", 中国工程机械学报, no. 03, 15 September 2008 (2008-09-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932347A (zh) * 2024-03-22 2024-04-26 四川大学 基于对抗性迁移学习的小样本时序预测方法及***
CN117932347B (zh) * 2024-03-22 2024-06-11 四川大学 基于对抗性迁移学习的pm2.5预测方法及***
CN117952024A (zh) * 2024-03-26 2024-04-30 中国人民解放军国防科技大学 异构数据融合的固体发动机先验模型构建方法及应用

Also Published As

Publication number Publication date
CN117494584B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
CN117494584B (zh) 基于神经网络对抗迁移学习的高维可靠性设计优化方法
Hsu et al. Multiple time-series convolutional neural network for fault detection and diagnosis and empirical study in semiconductor manufacturing
CN111902781B (zh) 用于控制***的设备和方法
JP2020119605A (ja) 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
EP1960853B1 (en) Evaluating anomaly for one-class classifiers in machine condition monitoring
Ismail et al. Quality monitoring in multistage manufacturing systems by using machine learning techniques
CN112327701B (zh) 面向非线性动态工业过程的慢特征网络监测方法
CN112069685A (zh) 一种考虑可解释性的复杂机电***健康评估方法及***
CN116557787B (zh) 管网状态智能评估***及其方法
Yong et al. Bayesian autoencoders for drift detection in industrial environments
Wang et al. An intelligent process fault diagnosis system based on Andrews plot and convolutional neural network
JP2001526418A (ja) 処理装置の監視方法
Yousefpour et al. Unsupervised anomaly detection via nonlinear manifold learning
CN117419828B (zh) 基于光纤传感器的新能源电池温度监测方法
Wang et al. An artificial immune and incremental learning inspired novel framework for performance pattern identification of complex electromechanical systems
He et al. A new distributed echo state network integrated with an auto-encoder for dynamic soft sensing
Yu et al. An unsupervised fault detection and diagnosis with distribution dissimilarity and lasso penalty
CN116894180B (zh) 一种基于异构图注意力网络的产品制造质量预测方法
KR102623389B1 (ko) 센서 데이터에 기반한 복수의 제조 공정 장비 간 정합성검사 방법, 장치 및 프로그램
Jiang et al. Multi-objective optimal placement of sensors based on quantitative evaluation of fault diagnosability
Huang et al. A hybrid bayesian deep learning model for remaining useful life prognostics and uncertainty quantification
Wang et al. Joint learning of failure mode recognition and prognostics for degradation processes
JP2024050510A (ja) トレーニングされた機械学習モデルを用いて根本原因分析を実行するための方法及びシステム
CN116402777A (zh) 基于机器视觉的电力设备检测方法及***
CN114154266B (zh) 基于偏秩相关的流因果结构学习的燃气轮机故障预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant