CN116704208B - 基于特征关系的局部可解释方法 - Google Patents
基于特征关系的局部可解释方法 Download PDFInfo
- Publication number
- CN116704208B CN116704208B CN202310978031.3A CN202310978031A CN116704208B CN 116704208 B CN116704208 B CN 116704208B CN 202310978031 A CN202310978031 A CN 202310978031A CN 116704208 B CN116704208 B CN 116704208B
- Authority
- CN
- China
- Prior art keywords
- model
- super
- features
- contribution
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000873 masking effect Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 239000004571 lime Substances 0.000 claims description 14
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 13
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 2
- 230000003094 perturbing effect Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 abstract description 6
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于特征关系的局部可解释方法，属于深度学习可解释领域。包括获得输入样本的超像素分割结果；对超像素进行遮蔽与组合遮蔽，获取特征间的关联大小；随机选择超像素块进行遮蔽，生成扰动数据集并通过该数据集训练一个简单模型；通过简单模型获取特征块的贡献并结合特征间关联大小进行特征块选择，得到最终的解释。本发明利用超像素遮蔽的方法，来获取特征间的关联大小，并结合特征本身的贡献大小，对深度学习模型进行解释，提高了解释的可信度，又降低了解释的随机性与敏感性。
Description
技术领域
本发明属于人工智能技术领域，涉及深度学习可解释方法，特别是基于特征关系的局部可解释方法。
背景技术
近年来，深度学习在图像处理、自然语言处理、语音识别等相关领域迅速发展，并且在各行各业展现出了超越人类的能力，这也使得人们越来越依赖人工智能所做出的决策，为满足人们在医疗保健、精密工业中不断提升的要求，模型的复杂性也大幅提升。但越是复杂的模型，其结构越不易被理解，它所做出的决策也越难被解释，这就带来一个问题，人们开始无法相信模型做出的决策。为了解决这个问题，可解释方法开始成为一个热门领域。人们开始不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。
可解释方法可以分为建模前的可解释方法、建模中的可解释方法和建模后的可解释方法，建模前的可解释方法通常会涉及数据的预处理等，目的是显示出特征的分布情况；建模中的可解释是通过构建结构可解释的模型来对决策过程进行解释；建模后的可解释方法则是针对黑盒模型对模型决策过程进行可视化分析或是对特征进行重要性分析。而目前许多的可解释方法都存在缺陷，例如针对白盒模型的可解释方法都需要事先知道模型的架构，这使得方法的泛用性很低，而针对黑盒模型的可解释方法中，最具代表性的LIME方法，忽略了特征间的关联对模型预测的影响，使得解释缺乏可信度，而在此基础上改进的G-LIME则只能针对文本以及表格数据，无法针对图片数据。因此，需要考虑特征间关联对模型预测的影响，设计一种结合特征关系的可解释方法。
发明内容
本发明解决的技术问题：提供一种结合特征间关联大小的针对图像数据与黑盒模型的局部可解释方法。
技术方案：为了解决上述技术问题，本发明采用的技术方案如下：
一种基于特征关系的局部可解释方法，包括以下步骤：
步骤1：首先获得输入样本的超像素分割结果；
步骤2：对超像素进行遮蔽与组合遮蔽，获取特征间的关联大小；
步骤3：随机选择超像素块进行遮蔽，生成扰动数据集并通过该数据集训练一个简单模型；
步骤4：通过简单模型获取特征块的贡献并结合特征间关联大小进行特征块选择，得到最终的解释。
进一步地，在步骤1中，获得输入样本的超像素分割结果的方法如下：
利用了k均值聚类方法，初始时，每一个聚类的中心被平均的分布在图像中，每一步迭代，种子像素合并周围距离小于设定值的像素，形成超像素。
进一步地，在步骤2中，对超像素进行遮蔽与组合遮蔽，获取特征间的关联大小，方法如下：
步骤2.1：首先屏蔽图片中除超像素块i的所有超像素块，并获取模型对屏蔽超像
素后图片的预测结果；
步骤2.2：屏蔽图片中除超像素块j的所有超像素块，并获取模型对屏蔽超像素后
图片的预测结果；
步骤2.3：屏蔽图片中除超像素块i和j的所有超像素块，并获取模型对屏蔽超像素
后图片的预测结果；
步骤2.4：通过公式获取i和j之间的关联对于模
型决策的影响。
进一步地，在步骤3中，随机选择超像素块进行遮蔽，生成扰动数据集并通过该数据集训练一个简单模型，方法如下：
步骤3.1：通过扰动感兴趣实例来生成一个扰动数据集；
步骤3.2：利用相似距离度量方式计算感兴趣实例与扰动生成的实例之间的距离，并将这种距离转化成相似度；
步骤3.3：获取原模型对扰动样本的预测结果；
步骤3.4：利用扰动数据集、距离权重以及原模型的预测结果可以训练出一个简单的可解释的模型。
进一步地，在步骤4中，通过简单模型获取特征块的贡献并结合特征间关联大小进
行特征块选择，得到最终的解释，方法如下：首先通过简单模型获取各特征块本身对预测结
果的贡献大小，随后将特征间关联大小的一半值分配给
特征块，并通过下式计算特征块的贡献大小，最后，通过该贡献的大小排序获取最终的解
释。
；
其中，表示超像素块的总块数，表示特征i对模型将图片预测为类x的贡
献程度，也即特征i的重要性，表示通过LIME方法得到的特征i的重要度大小，表示特征i与j之间的关系对模型预测结果的直接影响大小。
有益效果：与现有技术相比，本发明具有以下优点：
（1） 本发明提出了基于特征关系的局部可解释方法。在对深度学习模型进行解释时，结合特征间关联大小，提高了解释的完整度与可信度。
（2） 本发明将特征关联贡献与特征本身贡献结合，在保证解释效果的同时，降低了解释的随机性。
（3） 本发明将特征关联贡献与特征本身贡献结合，在保证解释效果的同时，降低了解释的敏感性。
（4） 近年来，深度学习模型开始协助人们在医疗保健、法律、精密工业等行业做出决策，而这决策是否可信一直存在着非议，例如法律行业，模型经过预测得出的结论时犯人有罪，但它得到这一结果的过程可能完全时错误的，因此，让人们理解模型怎么得出结论也是很重要的，该发明可以对模型做出决策的过程进行解释，可以协助人们做出是否相信模型预测结果的判断，更能让人们判断出一个模型是否依然存在某些问题，是否要重新训练它，从哪些方面重新训练它，从而提升模型的性能。并且通过实验证明，本发明的方法可以对模型预测结果进行解释，并且相对于现有的黑盒模型可解释方法，该方法提高了至少1.75%的稳定性以及降低了0.92%的敏感性，因此可以更加可信的运用到医疗保健、法律、精密工业等行业中，协助人们判断模型是否可以相信。
附图说明
图1是本发明基于特征关系的局部可解释方法的流程示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明的基于特征关系的局部可解释方法，首先获得输入样本的超像素分割结果；对超像素进行遮蔽与组合遮蔽，获取特征间的关联大小；随机选择超像素块进行遮蔽，生成扰动数据集并通过该数据集训练一个简单模型；通过简单模型获取特征块自身的贡献并结合特征间关联大小进行特征块选择，得到最终的解释。具体步骤和实现方式如下：
步骤1：获得输入样本的超像素分割结果，具体方式如下：
利用k均值聚类算法（k-means clustering algorithm），初始时，每一个聚类的中心被平均的分布在图像中。每一步迭代，种子像素合并周围距离小于设定值的像素，形成超像素。
步骤2：对超像素进行遮蔽与组合遮蔽，获取特征间的关联大小，具体方式包括以下步骤：
步骤2.1：首先，将图片中除超像素块i的所有超像素块的像素值设置为事先规定
好的值（0或图片中所有像素的平均值等），然后将该图片作为输入，输入到原模型中，获取
模型对该图片的预测结果；
步骤2.2：将图片中除超像素块j的所有超像素块的像素值设置为事先规定好的值
（0或图片中所有像素的平均值等），然后将该图片作为输入，输入到原模型中，获取模型对
该图片的预测结果；
步骤2.3：将图片中除超像素块i和超像素块j的所有超像素块的像素值设置为事
先规定好的值（0或图片中所有像素的平均值等），然后将该图片作为输入，输入到原模型
中，获取模型对该图片的预测结果。
步骤2.4：超像素块之间的关联对于模型决策的影响可以理解为一个超像素块a对
模型预测的影响是依赖于其他超像素块而不仅仅是a本身，假设一个超像素块a对模型预测
结果的贡献大小为，但当移除超像素块a，模型对目标类的预测概率下降了，且，那么就可以理解为超像素块a与其他超像素块之间的关联对于模型决策
的影响。通过以下公式获取超像素块i和j之间的关联对于模型决策的影响，
；
式中，表示在模型分类结果为x时，特征i与特征j之间的关系对模型预测结
果的直接影响大小，表示在只有特征i的情况下，模型分类结果为x的概率，表示
在只有特征j的情况下，模型分类结果为x的概率。
步骤3：随机选择超像素块进行遮蔽，集并通过该数据集训练一个简单模型，具体方式如下：
步骤3.1：通过对感兴趣实例扰动N次生成一个扰动数据集Z；
步骤3.2：通过L2范数距离计算感兴趣实例与扰动数据集中所有扰动实例之间的
距离，其中感兴趣实例与扰动数据集Z中一个实例的距离计算如下：
，
其中，表示图像实例与扰动生成的扰动数据集中某一实例间的距离，
而与则分别将把图片实例与表示成一个向量后，它们的第m维向量，代表将图
片转换成向量后的向量维度；并将这种距离转换为实例之间相似度，即
，
其中，代表样本与的相似度，代表样本与的距离，代表将
图片转换成向量后的向量维度；
步骤3.3：将扰动数据集中的扰动数据作为输入，输入到原模型中，从而获取原模
型对扰动样本的预测结果；
步骤3.4：利用扰动数据集、距离权重以及原模型的预测结果可以训练出一个简单的可解释的模型，训练模型的拟合函数设置为
，
其中,代表样本与的相似度，就是扰动样本，在维空间（原始特
征）上的预测值，并把该预测值作为目标，是在维空间（可解释特征）上的预测值。通
过上述线性回归的方法，可以训练出例如线性模型的简单模型，而线性模型的定义为：
，
其中，y是预测函数，是特征l的权重参数，是特征l的具体数值，b是偏置值，而
对于图像数据来说，只要超像素块l存在，那么就是1，那么便可以通过控制超像素块是否
存在控制的值，当将除特征l以外的特征值都设置为0时，便可得到式，其中，表示将除特征l以外的特征值都设置为0后模型的预测结果，这便是特征l对模型预测的
贡献度大小。
步骤4：通过简单模型获取特征块的贡献并结合特征间关联大小进行特征块选择，得到最终的解释，具体方式如下：
首先通过简单模型获取各特征块本身对预测结果的贡献大小，随后将
特征间关联大小的一半值分配给特征块，即通过下式计算特征块的
贡献大小，最后，通过该贡献的大小排序获取最终的解释。
；
其中，表示超像素块的总块数，表示特征i对模型将图片预测为类x的贡
献程度，也即特征i的重要性，表示通过LIME方法得到的特征i的重要度大小，表示特征i与j之间的关系对模型预测结果的直接影响大小。
本发明通过以下实验验证本发明的方法有效性和优势：
评估指标为忠实性/准确性、稳定性/一致性、敏感性。
首先选择数据集，本发明选择了ImageNet数据集，其中包含了ImageNet数据集中1000个分类，包含1,281,167个训练图像、50,000个验证图像和100,000个测试图像。接着本发明选择InceptionV3, ResNet50为实验模型。对比方法为原始LIME可解释方法。
表1 本发明找到的特征关系在不同黑盒模型下的准确率
表2 本发明在稳定性/一致性上的提高
表3 本发明在稳定性/一致性上的提高
表1的结果表示，本发明的方法得到的特征间关联和基于扰动思想进行验证得到的特征间关联大小有相对较高的相似度，说明得到的关系基本是正确的。
表2的结果表示使用本发明的重要特征选择方法替换LIME算法中的重要特征选择方法后，解释结果和标准一直的占比增加，因此可以认为可解释算法获得了更好地稳定性/一致性，证明当考虑特征间关联后，可以有效地提高可解释算法地稳定性/一致性。
表 3 的结果表示当替换了LIME中的重要特征选择方法后，本发明的算法可以取得与LIME基本相似的敏感度，且当N值够大时，随着N的变化，得到正确解释的数量占比的变化幅度更小，例如，当N从1000变为3000后，LIME的变化幅度为4.73%，而本发明的方法是3.23%，当N从3000变成5000后，LIME的变化幅度为10.81%，本发明的方法是9.89%，因此本发明的算法比LIME算法更加不敏感。
本发明提出了基于特征关系的局部可解释方法。在对深度学习模型进行解释时，结合特征间关联大小，提高了解释的完整度与可信度。本发明将特征关联贡献与特征本身贡献结合，在保证解释效果的同时，降低了解释的随机性。本发明将特征关联贡献与特征本身贡献结合，在保证解释效果的同时，降低了解释的敏感性。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种基于特征关系的局部可解释方法，其特征在于，包括以下步骤：
步骤1：首先获得输入样本的超像素分割结果；
利用k均值聚类方法，初始时，每一个聚类的中心被平均的分布在图像中，每一步迭代，种子像素合并周围距离小于设定值的像素，形成超像素；
步骤2：对超像素进行遮蔽与组合遮蔽，获取特征间的关联大小；方法如下：
步骤2.1：首先屏蔽图片中除超像素块i的所有超像素块，并获取模型对屏蔽超像素后图片的预测结果；
步骤2.2：屏蔽图片中除超像素块j的所有超像素块，并获取模型对屏蔽超像素后图片的预测结果；
步骤2.3：屏蔽图片中除超像素块i和j的所有超像素块，并获取模型对屏蔽超像素后图片的预测结果；
步骤2.4：通过公式获取超像素块i和超像素块j之间的关联对于模型决策的影响；
其中，表示在模型分类结果为x时，特征i与特征j之间的关系对模型预测结果的直接影响大小，/>表示在只有特征i的情况下，模型分类结果为x的概率，/>表示在只有特征j的情况下，模型分类结果为x的概率；
步骤3：随机选择超像素块进行遮蔽，生成扰动数据集并通过该数据集训练一个简单模型；方法如下：
步骤3.1：通过扰动感兴趣实例来生成一个扰动数据集；
步骤3.2：利用相似距离度量方式计算感兴趣实例与扰动生成的实例之间的距离，并将这种距离转化成相似度；
步骤3.3：获取原模型对扰动样本的预测结果；
步骤3.4：利用扰动数据集、距离权重以及原模型的预测结果训练出一个简单的可解释的模型；
步骤4：通过简单模型获取特征块的贡献并结合特征间关联大小进行特征块选择，得到最终的解释；方法如下：首先通过简单模型获取各特征块本身对预测结果的贡献大小，随后将特征间关联大小的一半值/>分配给特征块，并通过下式计算特征块的贡献大小，最后，通过该贡献的大小排序获取最终的解释；
；
其中，p表示超像素块的总块数，表示特征i对模型将图片预测为类x的贡献程度，就是特征i的重要性，/>表示通过LIME方法得到的特征i的重要度大小，表示特征i与j之间的关系对模型预测结果的直接影响大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310978031.3A CN116704208B (zh) | 2023-08-04 | 2023-08-04 | 基于特征关系的局部可解释方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310978031.3A CN116704208B (zh) | 2023-08-04 | 2023-08-04 | 基于特征关系的局部可解释方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704208A CN116704208A (zh) | 2023-09-05 |
| CN116704208B true CN116704208B (zh) | 2023-10-20 |
Family
ID=87824313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310978031.3A Active CN116704208B (zh) | 2023-08-04 | 2023-08-04 | 基于特征关系的局部可解释方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704208B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934450A (zh) * | 2024-03-13 | 2024-04-26 | 中国人民解放军国防科技大学 | 一种多源图像数据深度学习模型的可解释性方法及*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553389A (zh) * | 2020-04-08 | 2020-08-18 | 哈尔滨工程大学 | 一种用于理解深度学习模型决策机制的决策树生成方法 |
| CN111753995A (zh) * | 2020-06-23 | 2020-10-09 | 华东师范大学 | 一种基于梯度提升树的局部可解释方法 |
| CN112561074A (zh) * | 2020-11-09 | 2021-03-26 | 联想(北京)有限公司 | 一种机器学习可解释方法、装置及存储介质 |
| CN112784986A (zh) * | 2021-02-08 | 2021-05-11 | 中国工商银行股份有限公司 | 深度学习计算结果的特征解释方法、装置、设备及介质 |
| CN113892148A (zh) * | 2019-03-15 | 2022-01-04 | 斯宾泰尔斯公司 | 用于计算病理学的可解释的AI（xAI）平台 |
| CN114170485A (zh) * | 2021-11-23 | 2022-03-11 | 北京航空航天大学 | 深度学习可解释方法及设备、存储介质和程序产品 |
| CN114220549A (zh) * | 2021-12-16 | 2022-03-22 | 无锡中盾科技有限公司 | 一种基于可解释机器学习的有效生理学特征选择和医学因果推理方法 |
| CN114330109A (zh) * | 2021-12-14 | 2022-04-12 | 深圳先进技术研究院 | 无人驾驶场景下深度强化学习模型的可解释性方法及*** |
| WO2022194069A1 (zh) * | 2021-03-15 | 2022-09-22 | 华为技术有限公司 | 一种生成显著图的方法、异常对象检测的方法以及装置 |
| CN115358975A (zh) * | 2022-07-28 | 2022-11-18 | 西安邮电大学 | 一种对脑肿瘤分割深度学习网络进行可解释分析的方法 |
| CN115457365A (zh) * | 2022-09-15 | 2022-12-09 | 北京百度网讯科技有限公司 | 一种模型的解释方法、装置、电子设备及存储介质 |
| CN115527097A (zh) * | 2022-11-01 | 2022-12-27 | 厦门大学 | 一种基于消融分析的cnn解释图对象相关性分析方法 |
| CN115905926A (zh) * | 2022-12-09 | 2023-04-04 | 华中科技大学 | 基于样本差异的代码分类深度学习模型解释方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220129791A1 (en) * | 2020-10-28 | 2022-04-28 | Oracle International Corporation | Systematic approach for explaining machine learning predictions |
-
2023
- 2023-08-04 CN CN202310978031.3A patent/CN116704208B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113892148A (zh) * | 2019-03-15 | 2022-01-04 | 斯宾泰尔斯公司 | 用于计算病理学的可解释的AI（xAI）平台 |
| CN111553389A (zh) * | 2020-04-08 | 2020-08-18 | 哈尔滨工程大学 | 一种用于理解深度学习模型决策机制的决策树生成方法 |
| CN111753995A (zh) * | 2020-06-23 | 2020-10-09 | 华东师范大学 | 一种基于梯度提升树的局部可解释方法 |
| CN112561074A (zh) * | 2020-11-09 | 2021-03-26 | 联想(北京)有限公司 | 一种机器学习可解释方法、装置及存储介质 |
| CN112784986A (zh) * | 2021-02-08 | 2021-05-11 | 中国工商银行股份有限公司 | 深度学习计算结果的特征解释方法、装置、设备及介质 |
| WO2022194069A1 (zh) * | 2021-03-15 | 2022-09-22 | 华为技术有限公司 | 一种生成显著图的方法、异常对象检测的方法以及装置 |
| CN114170485A (zh) * | 2021-11-23 | 2022-03-11 | 北京航空航天大学 | 深度学习可解释方法及设备、存储介质和程序产品 |
| WO2023109640A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳先进技术研究院 | 无人驾驶场景下深度强化学习模型的可解释性方法及*** |
| CN114330109A (zh) * | 2021-12-14 | 2022-04-12 | 深圳先进技术研究院 | 无人驾驶场景下深度强化学习模型的可解释性方法及*** |
| CN114220549A (zh) * | 2021-12-16 | 2022-03-22 | 无锡中盾科技有限公司 | 一种基于可解释机器学习的有效生理学特征选择和医学因果推理方法 |
| CN115358975A (zh) * | 2022-07-28 | 2022-11-18 | 西安邮电大学 | 一种对脑肿瘤分割深度学习网络进行可解释分析的方法 |
| CN115457365A (zh) * | 2022-09-15 | 2022-12-09 | 北京百度网讯科技有限公司 | 一种模型的解释方法、装置、电子设备及存储介质 |
| CN115527097A (zh) * | 2022-11-01 | 2022-12-27 | 厦门大学 | 一种基于消融分析的cnn解释图对象相关性分析方法 |
| CN115905926A (zh) * | 2022-12-09 | 2023-04-04 | 华中科技大学 | 基于样本差异的代码分类深度学习模型解释方法及*** |
Non-Patent Citations (5)
| Title |
|---|
| A modified perturbed sampling method for local interpretable model-agnostic explanation;Sheng Shi等;https://arxiv.org/abs/2002.07434;1-5 * |
| Hyper-Mol: Molecular Representation Learning via Fingerprint-Based Hypergraph;Shicheng Cui等;Computational Intelligence and Neuroscience;第2023卷;1-9 * |
| 卷积神经网络的可解释性研究综述;窦慧等;软件学报;1-27 * |
| 基于深度学习的数字病理图像分割综述与展望;宋杰等;软件学报;第32卷(第05期);1427-1460 * |
| 高分辨率遥感影像耕地提取研究进展与展望;张新长等;武汉大学学报(信息科学版);1-15 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704208A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580501B (zh) | 一种基于变分自编码对抗网络的零样本图像分类方法 | |
| US11663489B2 (en) | Machine learning systems and methods for improved localization of image forgery | |
| CN110443293B (zh) | 基于双判别生成对抗网络文本重构的零样本图像分类方法 | |
| CN112101426A (zh) | 基于自编码器的无监督学习图像异常检测方法 | |
| Guan et al. | A unified probabilistic model for global and local unsupervised feature selection | |
| CN116704208B (zh) | 基于特征关系的局部可解释方法 | |
| CN109086794B (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
| CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN111325237B (zh) | 一种基于注意力交互机制的图像识别方法 | |
| CN115861715B (zh) | 基于知识表示增强的图像目标关系识别算法 | |
| CN114913923A (zh) | 针对单细胞染色质开放性测序数据的细胞类型识别方法 | |
| CN117011274A (zh) | 自动化玻璃瓶检测***及其方法 | |
| CN112580521A (zh) | 一种基于maml元学习算法的多特征真假视频检测方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| Su et al. | Going the extra mile in face image quality assessment: A novel database and model | |
| CN114627424A (zh) | 一种基于视角转化的步态识别方法和*** | |
| CN113222002B (zh) | 一种基于生成式鉴别性对比优化的零样本分类方法 | |
| Sameki et al. | ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently. | |
| Gao et al. | A robust improved network for facial expression recognition | |
| CN116563602A (zh) | 基于类别级软目标监督的细粒度图像分类模型训练方法 | |
| CN115953584A (zh) | 一种具有可学习稀疏性的端到端目标检测方法及*** | |
| CN116958615A (zh) | 图片识别方法、装置、设备和介质 | |
| Tereikovskyi et al. | A neural network model for object mask detection in medical images | |
| CN111626409B (zh) | 一种图像质量检测的数据生成方法 | |
| Atallah et al. | NEURAL NETWORK WITH AGNOSTIC META-LEARNING MODEL FOR FACE-AGING RECOGNITION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |