CN113159292A - 一种基于神经网络最小化熵的因果网络发现方法及*** - Google Patents
一种基于神经网络最小化熵的因果网络发现方法及*** Download PDFInfo
- Publication number
- CN113159292A CN113159292A CN202110454250.2A CN202110454250A CN113159292A CN 113159292 A CN113159292 A CN 113159292A CN 202110454250 A CN202110454250 A CN 202110454250A CN 113159292 A CN113159292 A CN 113159292A
- Authority
- CN
- China
- Prior art keywords
- neural network
- causal
- variable data
- entropy
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000001364 causal effect Effects 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 42
- 125000002015 acyclic group Chemical group 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 26
- 238000010276 construction Methods 0.000 claims description 21
- 238000013138 pruning Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 44
- 230000009194 climbing Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出一种基于神经网络最小化熵的因果网络发现方法及***，克服了当前因果网络发现方法无法识别马尔可夫等价类、在有向无环图搜索时容易陷入局部最优的缺陷，解决了采用最小二乘损失作为损失函数的神经网络搜索方法适用性不广、准确率不高的问题，首先构建数据集，对数据集中的变量数据进行预处理，然后根据变量数据的特征构建神经网络，以损失函数为残差的熵，约束条件为无环性约束训练，进而得到数据之间的因果结构，以邻接矩阵表示因果关系的图，再对邻接矩阵进行剪枝处理，最后可视化输出因果网络，克服了传统方法无法识别马尔科夫等价类的困难，提高了局部结构的可识别性。
Description
技术领域
本发明涉及机器学习的技术领域，更具体地，涉及一种基于神经网络最小化熵的因果网络发现方法及***。
背景技术
在大数据时代，发掘数据之间的因果关系在神经***学、经济学、传染病学、社会学等各个科学领域变得逐渐重要，因果关系可以帮助人们理解事物的本质特征，为决策者提供决策建议。因果关系发现问题可以描述为：给定一组变量的样本数据集，因果关系发现算法识别出变量中的原因变量与结果变量，进而构成一个完整的因果网络，其用有向无环图(DAG)表示。然而，如何从可观测数据中有效发现因果关系，将其利用在各个科学领域，是一个基础性的难题，也是研究热点。
挖掘因果关系的传统方法是基于约束的，如PC算法，其利用数据之间的条件独立性识别因果网络，识别出来的是一个部分有向无环图(PDAG或PCDAG)，具有相同的条件独立性，但通过检测条件独立性无法判断有向无环图中所有边的方向，因此，该方法往往无法区分马尔科夫等价类。另外，也存在一种基于结构因果模型的方法，通过假设因果机制，利用不对称性发现因果结构，这种方法的应用如2020年12月22日，中国发明专利(公布号：CN1121163787A)中公开了一种基于因果关系的信息预测方法，该专利即是以构建的自变量与因变量的因果关系模型为基础，然后将业务行为与业务目标建立联系，根据因果关系模型选择业务策略，但实际上在多变量情况下做因果关系发现时，往往采用爬山法搜索，极易陷入局部最优的情况。
近年来，有学者也提出了一种无环性约束，使得有向无环图的搜索优化问题从离散空间转到了连续空间，从而可以使用神经网络这种强大的拟合器帮助搜索全局最优解，在此过程中，神经网络均使用了最小二乘损失(Least Square Loss,LSL)作为损失函数，然而该损失函数隐含地假设了数据噪声的分布是标准高斯分布，这种对数据的强假设存在一定缺陷，适用性不广，准确率不高。
发明内容
为克服当前因果网络发现方法无法识别马尔可夫等价类、在有向无环图搜索时容易陷入局部最优的缺陷，解决采用最小二乘损失作为损失函数的神经网络搜索方法适用性不广、准确率不高的问题，本发明提出一种基于神经网络最小化熵的因果网络发现方法及***，对输入数据中的因果关系进行挖掘，输出输入数据内在的因果网络。
为了达到上述技术效果，本发明的技术方案如下：
一种基于神经网络最小化熵的因果网络发现方法，所述方法至少包括：
S1.构建含有n个变量数据的数据集X′，对数据集X′中的n个变量数据进行预处理；
S2.根据预处理后n个变量数据的特征，构建输入输出维度均为n的神经网络，将神经网络的第一层作为待训练的邻接矩阵W，所述邻接矩阵W表示因果关系的图；
S3.将预处理后n个变量数据划批次输入至神经网络进行拟合，设置神经网络的损失函数为残差的熵，约束条件为无环性约束；
S4.将含约束条件的损失函数转化为不含约束条件的损失函数，对神经网络进行训练，并使用可微分的熵损失函数进行梯度更新，直至损失函数收敛，训练完成；
S5.对训练完成得到的邻接矩阵W进行剪枝操作；
S6.将已进行剪枝操作的邻接矩阵W输出，以有向无环图形式可视化表示，得到因果网络。
优选地，步骤S1中，设数据集X′表示为X′＝{x′1,x′2,x′3,…,x′n}；其中x′1,x′2,x′3,…,x′n分别表示n个变量数据，所述对数据集X中的n个变量数据进行预处理的过程为标准化处理过程，任意一个变量数据标准化处理过程满足公式：
X＝{x1,x2,x3,…,xn}
其中，μi表示变量数据x′i的均值；σi为变量数据x′i的标准差；xi表示变量数据x′i进行标准化过程后的值，X表示经过标准化处理后的数据集，进行标准化处理以便后续输入至神经网络进行训练。
优选地，步骤S2中，所述n个变量数据的特征为线性或非线性，当变量数据为线性变量数据时，构建线性神经网络，线性神经网络仅含有一层线性层，将线性神经网络的第一层作为待训练的邻接矩阵W，网络形式为：
其中，
表示线性神经网络的拟合输出；X表示经过标准化处理后的数据集；当变量数据为非线性变量数据时，构建非线性神经网络，将非线性神经网络的第一层作为待训练的邻接矩阵W，之后经过k层线性层与非线性层，用于拟合非线性因果函数f，网络形式为：
线性神经网络与非线性神经网络的第一层作为训练的邻接矩阵W，采用满足KKT条件的训练形式：
W＝W+-W-,
其中，W+与W-均大于0；
用于拟合非线性因数函数f的神经网络层具体表示为：
h01＝(W+-W-)X；
hi2＝sigmoid(h(i-1)1)；
hi1＝W3hi2，i＝1,2，…，k
其中，h01表示第一层神经网络层输出；hi2表示中间层网络输出，i＝1，2，…，k。
优选地，步骤S3中，神经网络的损失函数为残差的熵，其中，残差εi的形式为：
其中，xi表示第i个变量数据，
表示第i个变量数据经神经网络的拟合输出；
无环性约束的形式为：
tr(eW)-n＝0
其中，tr(.)表示矩阵的迹。
在此，基于无环性约束的方法可以克服常规采用爬山法易陷入局部最优的困难，使得神经网络全局搜索在准确性上得到提升。
优选地，步骤S4中，将含约束条件的损失函数转化为不含约束条件的损失函数的方法为增广拉格朗日函数法，具体过程为：
其中，H(εi)表示残差εi的熵；然后，利用梯度下降法对神经网络进行训练，神经网络的目标函数为：
其中，ρ与α为随训练过程逐渐增大的参数，使约束条件逐步成立，h(W)表示是约束条件的值。
优选地，使用可微分的熵损失函数进行梯度更新前，估计残差E的熵，估计残差E的熵的具体公式为：
其中，
以及
然后，利用LBFGSB算法进行梯度更新，直至损失函数收敛。
优选地，对训练完成得到的邻接矩阵W进行剪枝操作的方法为阈值法。
优选地，对训练完成得到的邻接矩阵W进行剪枝操作的具体过程为：
设置因果强度阈值o，若邻接矩阵W的第l行第m列的值不为零，则xl→xm，其中，第l行第m列的值表示边的因果强度；
判断第l行第m列的值是否小于因果强度阈值，若是，去掉第l行第m列对应的邻接矩阵W的边；否则，保留。
本发明还提出一种基于神经网络最小化熵的因果网络发现***，所述***用于所述的基于神经网络最小化熵的因果网络发现方法，所述***包括：
数据集构建处理模块，用于构建含有n个变量数据的数据集X，对数据集X中的n个变量数据进行预处理；
神经网络构建模块，根据预处理后n个变量数据的特征，构建输入输出维度均为n的神经网络，将神经网络的第一层作为待训练的邻接矩阵W；
神经网络拟合设置模块，将预处理后n个变量数据划批次输入至神经网络进行拟合，设置神经网络的损失函数为残差的熵，约束条件为无环性约束；
神经网络变换训练模块，将含约束条件的损失函数转化为不含约束条件的损失函数，对神经网络进行训练，并使用可微分的熵损失函数进行梯度更新，直至损失函数收敛，训练完成；
剪枝处理模块，对训练完成得到的邻接矩阵W进行剪枝操作；
可视化输出模块，将已进行剪枝操作的邻接矩阵W输出，以有向无环图形式可视化表示，得到因果网络。
优选地，所述神经网络构建模块包括线性神经网络构建模块及非线性神经网络构建模块，所述线性神经网络构建模块识别线性特征的变量数据，构建线性神经网络；所述非线性神经网络构建模块识别非线性特征的变量数据，构建非线性神经网络。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于神经网络最小化熵的因果网络发现方法及***，首先构建数据集，对数据集中的变量数据进行预处理，以便后续进行训练，然后根据变量数据的特征构建神经网络，以损失函数为残差的熵，约束条件为无环性约束训练，使用可微分的熵损失函数进行梯度更新，进而得到数据之间的因果结构，以邻接矩阵表示因果关系的图，再对邻接矩阵进行剪枝处理，最后可视化输出因果网络，这种最小化熵的方法可判断因果关系图中边的方向，克服了传统方法无法识别马尔科夫等价类的困难，提高了局部结构的可识别性。
其次，在本发明提出的方法中，神经网络的约束条件为无环性约束，克服了采用爬山法极易陷入局部最优的困难，使神经网络全局搜索在准确性上得到提升。
最后，本发明提出的方法并未对变量的分布做出任何假设，适用性广，准确率高。
附图说明
图1表示本发明实施例中提出的基于神经网络最小化熵的因果网络发现方法的流程图；
图2表示本发明实施例中提出的基于神经网络最小化熵的因果网络发现***的结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的。
附图中描述位置关系的仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
如图1所示的基于神经网络最小化熵的因果网络发现方法的流程图，参见图1，所述方法包括：
S1.构建含有n个变量数据的数据集X′，对数据集X′中的n个变量数据进行预处理；
在本实施例中，设数据集X′表示为X′＝{x′1，x′2，x′3，…，x′n}；其中x′1，x′2，x′3，…，x′n分别表示n个变量数据，所述对数据集X中的n个变量数据进行预处理的过程为标准化处理过程，任意一个变量数据标准化处理过程满足公式：
X＝{x1，x2，x3，…，xn}
其中，μi表示变量数据x′i的均值；σi为变量数据x′i的标准差；xi表示变量数据x′i进行标准化过程后的值，X表示经过标准化处理后的数据集，进行标准化处理以便后续输入至神经网络进行训练。
S2.根据预处理后n个变量数据的特征，构建输入输出维度均为n的神经网络，将神经网络的第一层作为待训练的邻接矩阵W，所述邻接矩阵W表示因果关系的图；
实际实施时，n个变量数据的特征为线性或非线性，当变量数据为线性变量数据时，构建线性神经网络，线性神经网络仅含有一层线性层，将线性神经网络的第一层作为待训练的邻接矩阵W，网络形式为：
其中，
表示线性神经网络的拟合输出；X表示经过标准化处理后的数据集；当变量数据为非线性变量数据时，构建非线性神经网络，将非线性神经网络的第一层作为待训练的邻接矩阵W，之后经过k层线性层与非线性层，用于拟合非线性因果函数f，网络形式为：
线性神经网络与非线性神经网络的第一层作为训练的邻接矩阵W，采用满足KKT条件的训练形式：
W＝W+-W-，
其中，W+与W-均大于0；
用于拟合非线性因数函数f的神经网络层具体表示为：
h01＝(W+-W-)X；
hi2＝sigmoid(h(i-1)1)；
hi1＝W3hi2，i＝1，2，…，k
其中，h01表示第一层神经网络层输出；hi2表示中间层网络输出，i＝1,2，…,k。
S3.将预处理后n个变量数据划批次输入至神经网络进行拟合，设置神经网络的损失函数为残差的熵，约束条件为无环性约束；
在本实施例中，选择小批量数据进行输入：一般不直接使用完整的数据样本输入，批次大小一般取64，单次循环输入为64个样本的数据；神经网络的损失函数为残差的熵，其中，残差εi的形式为：
其中，xi表示第i个变量数据，
表示第i个变量数据经神经网络的拟合输出；
无环性约束的形式为：
tr(eW)-n＝0
其中，tr(.)表示矩阵的迹，基于无环性约束的方法可以克服常规采用爬山法易陷入局部最优的困难，使得神经网络全局搜索在准确性上得到提升。
S4.将含约束条件的损失函数转化为不含约束条件的损失函数，对神经网络进行训练，并使用可微分的熵损失函数进行梯度更新，直至损失函数收敛，训练完成；
在本实施例中，将含约束条件的损失函数转化为不含约束条件的损失函数的方法为增广拉格朗日函数法，具体过程为：
其中，H(εi)表示残差εi的熵；然后，利用梯度下降法对神经网络进行训练，神经网络的目标函数为：
其中，ρ与α为随训练过程逐渐增大的参数，使约束条件逐步成立，h(W)表示是约束条件的值，使用可微分的熵损失函数进行梯度更新前，估计残差E的熵，估计残差E的熵的具体公式为：
其中，
以及
然后，利用LBFGSB算法进行梯度更新，直至损失函数收敛，在损失函数收敛过程中，若损失函数还未收敛，则跳转回步骤S3,若已收敛，则跳转至步骤S5。
S5.对训练完成得到的邻接矩阵W进行剪枝操作；进行剪枝操作的方法为阈值法，具体过程为：
设置因果强度阈值o，若邻接矩阵W的第l行第m列的值不为零，则xl→xm，其中，第l行第m列的值表示边的因果强度；
判断第l行第m列的值是否小于因果强度阈值，若是，去掉第l行第m列对应的邻接矩阵W的边；否则，保留。
S6.将已进行剪枝操作的邻接矩阵W输出，以有向无环图形式可视化表示，得到因果网络。
如图2所示，本发明还提出一种基于神经网络最小化熵的因果网络发现***，所述***用于所述的基于神经网络最小化熵的因果网络发现方法，所述***包括：
数据集构建处理模块，用于构建含有n个变量数据的数据集X，对数据集X中的n个变量数据进行预处理；
神经网络构建模块，根据预处理后n个变量数据的特征，构建输入输出维度均为n的神经网络，将神经网络的第一层作为待训练的邻接矩阵W；
神经网络拟合设置模块，将预处理后n个变量数据划批次输入至神经网络进行拟合，设置神经网络的损失函数为残差的熵，约束条件为无环性约束；
神经网络变换训练模块，将含约束条件的损失函数转化为不含约束条件的损失函数，对神经网络进行训练，并使用可微分的熵损失函数进行梯度更新，直至损失函数收敛，训练完成；
剪枝处理模块，对训练完成得到的邻接矩阵W进行剪枝操作；
可视化输出模块，将已进行剪枝操作的邻接矩阵W输出，以有向无环图形式可视化表示，得到因果网络。
具体的，所述神经网络构建模块包括线性神经网络构建模块及非线性神经网络构建模块，所述线性神经网络构建模块识别线性特征的变量数据，构建线性神经网络；所述非线性神经网络构建模块识别非线性特征的变量数据，构建非线性神经网络。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于神经网络最小化熵的因果网络发现方法，其特征在于，所述方法至少包括：
S1.构建含有n个变量数据的数据集X′，对数据集X′中的n个变量数据进行预处理；
S2.根据预处理后n个变量数据的特征，构建输入输出维度均为n的神经网络，将神经网络的第一层作为待训练的邻接矩阵W，所述邻接矩阵W表示因果关系的图；
S3.将预处理后n个变量数据划批次输入至神经网络进行拟合，设置神经网络的损失函数为残差的熵，约束条件为无环性约束；
S4.将含约束条件的损失函数转化为不含约束条件的损失函数，对神经网络进行训练，并使用可微分的熵损失函数进行梯度更新，直至损失函数收敛，训练完成；
S5.对训练完成得到的邻接矩阵W进行剪枝操作；
S6.将已进行剪枝操作的邻接矩阵W输出，以有向无环图形式可视化表示，得到因果网络。
2.根据权利要求1所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，步骤S1中，设数据集X′表示为X′＝{x′1,x′2,x′3,…,x′n}；其中x′1,x′2,x′3,…,x′n分别表示n个变量数据，所述对数据集X中的n个变量数据进行预处理的过程为标准化处理过程，任意一个变量数据标准化处理过程满足公式：
X＝{x1,x2,x3,…,xn}
其中，μi表示变量数据x′i的均值；σi为变量数据x′i的标准差；xi表示变量数据x′i进行标准化过程后的值,X表示经过标准化处理后的数据集。
3.根据权利要求2所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，步骤S2中，所述n个变量数据的特征为线性或非线性，当变量数据为线性变量数据时，构建线性神经网络，线性神经网络仅含有一层线性层，将线性神经网络的第一层作为待训练的邻接矩阵W，网络形式为：
其中，
表示线性神经网络的拟合输出；X表示经过标准化处理后的数据集；当变量数据为非线性变量数据时，构建非线性神经网络，将非线性神经网络的第一层作为待训练的邻接矩阵W，之后经过k层线性层与非线性层，用于拟合非线性因果函数f，网络形式为：
线性神经网络与非线性神经网络的第一层作为训练的邻接矩阵W，采用满足KKT条件的训练形式：
W＝W+-W-,
其中，W+与W-均大于0；
用于拟合非线性因数函数f的神经网络层具体表示为：
h01＝(W+-W-)X；
hi2＝sigmoid(h(i-1)1)；
hi1＝W3hi2，i＝1,2,…,k
其中，h01表示第一层神经网络层输出；hi2表示中间层网络输出，i＝1,2,…,k。
4.根据权利要求3所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，步骤S3中，神经网络的损失函数为残差的熵，其中，残差εi的形式为：
其中，xi表示第i个变量数据，
表示第i个变量数据经神经网络的拟合输出；
无环性约束的形式为：
tr(eW)-n＝0
其中，tr(.)表示矩阵的迹。
5.根据权利要求4所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，步骤S4中，将含约束条件的损失函数转化为不含约束条件的损失函数的方法为增广拉格朗日函数法，具体过程为：
其中，H(εi)表示残差εi的熵；然后，利用梯度下降法对神经网络进行训练，神经网络的目标函数为：
其中，ρ与α为随训练过程逐渐增大的参数，使约束条件逐步成立，h(W)表示是约束条件的值。
6.根据权利要求5所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，使用可微分的熵损失函数进行梯度更新前，估计残差E的熵，估计残差E的熵的具体公式为：
其中，
以及
然后，利用LBFGSB算法进行梯度更新，直至损失函数收敛。
7.根据权利要求6所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，对训练完成得到的邻接矩阵W进行剪枝操作的方法为阈值法。
8.根据权利要求7所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，对训练完成得到的邻接矩阵W进行剪枝操作的具体过程为：
设置因果强度阈值o，若邻接矩阵W的第l行第m列的值不为零，则xl→xm，其中，第l行第m列的值表示边的因果强度；
判断第l行第m列的值是否小于因果强度阈值，若是，去掉第l行第m列对应的邻接矩阵W的边；否则，保留。
9.一种基于神经网络最小化熵的因果网络发现***，所述***用于实现权利要求1～8任意一项所述的基于神经网络最小化熵的因果网络发现方法，其特征在于，所述***包括：
数据集构建处理模块，用于构建含有n个变量数据的数据集X，对数据集X中的n个变量数据进行预处理；
神经网络构建模块，根据预处理后n个变量数据的特征，构建输入输出维度均为n的神经网络，将神经网络的第一层作为待训练的邻接矩阵W；
神经网络拟合设置模块，将预处理后n个变量数据划批次输入至神经网络进行拟合，设置神经网络的损失函数为残差的熵，约束条件为无环性约束；
神经网络变换训练模块，将含约束条件的损失函数转化为不含约束条件的损失函数，对神经网络进行训练，并使用可微分的熵损失函数进行梯度更新，直至损失函数收敛，训练完成；
剪枝处理模块，对训练完成得到的邻接矩阵W进行剪枝操作；
可视化输出模块，将已进行剪枝操作的邻接矩阵W输出，以有向无环图形式可视化表示，得到因果网络。
10.根据权利要求9所述的基于神经网络最小化熵的因果网络发现***，其特征在于，所述神经网络构建模块包括线性神经网络构建模块及非线性神经网络构建模块，所述线性神经网络构建模块识别线性特征的变量数据，构建线性神经网络；所述非线性神经网络构建模块识别非线性特征的变量数据，构建非线性神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110454250.2A CN113159292A (zh) | 2021-04-26 | 2021-04-26 | 一种基于神经网络最小化熵的因果网络发现方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110454250.2A CN113159292A (zh) | 2021-04-26 | 2021-04-26 | 一种基于神经网络最小化熵的因果网络发现方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113159292A true CN113159292A (zh) | 2021-07-23 |
Family
ID=76871094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110454250.2A Pending CN113159292A (zh) | 2021-04-26 | 2021-04-26 | 一种基于神经网络最小化熵的因果网络发现方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159292A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113673609A (zh) * | 2021-08-24 | 2021-11-19 | 广东工业大学 | 一种基于线性隐变量的调查问卷数据分析方法 |
| CN114881124A (zh) * | 2022-04-21 | 2022-08-09 | 北京百度网讯科技有限公司 | 因果关系图的构建方法、装置、电子设备和介质 |
| US20220405158A1 (en) * | 2021-06-22 | 2022-12-22 | International Business Machines Corporation | Non-linear causal modeling from diverse data sources |
| WO2023217127A1 (zh) * | 2022-05-13 | 2023-11-16 | 华为技术有限公司 | 一种因果关系确定方法及相关设备 |
-
2021
- 2021-04-26 CN CN202110454250.2A patent/CN113159292A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220405158A1 (en) * | 2021-06-22 | 2022-12-22 | International Business Machines Corporation | Non-linear causal modeling from diverse data sources |
| US11860720B2 (en) * | 2021-06-22 | 2024-01-02 | International Business Machines Corporation | Non-linear causal modeling from diverse data sources |
| CN113673609A (zh) * | 2021-08-24 | 2021-11-19 | 广东工业大学 | 一种基于线性隐变量的调查问卷数据分析方法 |
| CN113673609B (zh) * | 2021-08-24 | 2023-06-06 | 广东工业大学 | 一种基于线性隐变量的调查问卷数据分析方法 |
| CN114881124A (zh) * | 2022-04-21 | 2022-08-09 | 北京百度网讯科技有限公司 | 因果关系图的构建方法、装置、电子设备和介质 |
| CN114881124B (zh) * | 2022-04-21 | 2023-07-25 | 北京百度网讯科技有限公司 | 因果关系图的构建方法、装置、电子设备和介质 |
| WO2023217127A1 (zh) * | 2022-05-13 | 2023-11-16 | 华为技术有限公司 | 一种因果关系确定方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159292A (zh) | 一种基于神经网络最小化熵的因果网络发现方法及*** | |
| CN109934261B (zh) | 一种知识驱动参数传播模型及其少样本学习方法 | |
| US20210232376A1 (en) | Vectorized representation method of software source code | |
| CN111639710A (zh) | 图像识别模型训练方法、装置、设备以及存储介质 | |
| CN115879535A (zh) | 一种自动驾驶感知模型的训练方法、装置、设备和介质 | |
| CN111612103A (zh) | 结合抽象语义表示的图像描述生成方法、***及介质 | |
| CN116644755B (zh) | 基于多任务学习的少样本命名实体识别方法、装置及介质 | |
| CN113344206A (zh) | 融合通道与关系特征学习的知识蒸馏方法、装置及设备 | |
| US20230401390A1 (en) | Automatic concrete dam defect image description generation method based on graph attention network | |
| CN110929802A (zh) | 基于信息熵的细分类识别模型训练、图像识别方法及装置 | |
| CN112732921B (zh) | 一种虚假用户评论检测方法及*** | |
| CN109543693B (zh) | 基于正则化标签传播的弱标注数据降噪方法 | |
| CN113010683B (zh) | 基于改进图注意力网络的实体关系识别方法及*** | |
| CN115131613B (zh) | 一种基于多向知识迁移的小样本图像分类方法 | |
| CN114548256A (zh) | 一种基于对比学习的小样本珍稀鸟类识别方法 | |
| CN114898121A (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
| CN112836051A (zh) | 一种在线自学习的法院电子卷宗文本分类方法 | |
| CN115860152A (zh) | 一种面向人物军事知识发现的跨模态联合学习方法 | |
| CN110867225A (zh) | 字符级临床概念提取命名实体识别方法及*** | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN111259176B (zh) | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 | |
| CN117197891A (zh) | 一种多模态骨骼动作识别方法及装置 | |
| CN116541507A (zh) | 一种基于动态语义图神经网络的视觉问答方法及*** | |
| CN114120367B (zh) | 元学习框架下基于圆损失度量的行人重识别方法及*** | |
| CN116208399A (zh) | 一种基于元图的网络恶意行为检测方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |