CN113537277A - 确定分类的解释 - Google Patents

确定分类的解释 Download PDF

Info

Publication number
CN113537277A
CN113537277A CN202110418134.5A CN202110418134A CN113537277A CN 113537277 A CN113537277 A CN 113537277A CN 202110418134 A CN202110418134 A CN 202110418134A CN 113537277 A CN113537277 A CN 113537277A
Authority
CN
China
Prior art keywords
classifier
filter
input
classification
generative model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110418134.5A
Other languages
English (en)
Inventor
A·M·穆诺斯德尔加多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN113537277A publication Critical patent/CN113537277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于解释由经训练的分类器对一个或多个分类器输入的分类的计算机实现的方法。使用生成模型，生成模型生成用于经训练的分类器的输入。生成模型包含多个滤波器。获得对应于一个或多个分类器输入的生成器输入，其中生成器输入使得生成模型近似地生成对应的分类器输入。针对生成模型的多个滤波器来确定滤波器抑制因子。滤波器的滤波器抑制因子指示针对滤波器的滤波器输出的抑制程度。基于根据滤波器抑制因子来适配分类器输入对经训练的分类器的分类的影响，从而确定滤波器抑制因子。分类解释基于滤波器抑制因子。

Description

确定分类的解释
技术领域
本发明涉及一种用于确定分类解释的计算机实现的方法，并且涉及对应的计算机实现的方法。本发明进一步涉及一种包括用于执行上述方法的指令的计算机可读介质。
背景技术
经机器学习的（“经训练的”）分类器（也被称为分类模型）被广泛用于许多现实生活应用领域，诸如制造中的光学质量检测；自主驾驶中的危险检测：机器人学；建筑物控制等。例如，诸如神经网络分类器之类的机器可学习分类器可以被训练成：基于由一个或多个传感器获取的传感器数据，对物理***（诸如，自主车辆或机器人等）、或者***的环境（例如，在制造工厂中制造的对象、车辆在其上行驶的道路、机器人的工作空间等）的状态进行分类。这种状态可以分类成两类或多于两类，例如“正常（OK）”或“不正常（not OK）”；“安全”或“不安全”；“猫”、“狗”或“树”等。在已经对状态进行分类之后，可以对物理***进行监测或控制，例如通过基于分类来调整制造***的控制参数；通过控制机器人的一个或多个致动器；等等。
通常，如在机器学习中已知的，诸如神经网络分类器之类的机器可学习分类器可以在训练数据上被训练以便提供分类。通过训练分类器，分类器可以提供这种分类，而无需关于如何这样做来对分类器进行明确编程。例如，为了对图像进行分类，可以在包括其分类已知的图像的训练数据集上训练分类器。例如，可以将分类器训练为多类标识符，通过该多类标识符，可以将图像分类为例如“猫”、“狗”或“树”。另一个示例是，经训练的分类器可以被训练成二元分类器，例如将输入分类成仅两个互补类别中的一个，“正常”或“不正常”。然而，经训练的分类器也可以在具有未知类别的数据集上被训练，例如通过聚类/自动分类。
随着经机器学习的分类器在现实生活情形中被部署，确定关于分类器为什么将一个或多个输入分类到某个类中的解释变得越来越重要。可解释性是模型检验（verification）（我们正确地构建了模型吗）和验证（validation）（我们构建了正确的模型吗）两者的核心要素。众所周知的发现是：大型的现有技术网络模型很容易被欺骗成提供假的、高置信度的预测；因此，它们真正的泛化性能受到了质疑。与意图用于在现场部署的任何其他软件组件一样，关键是可以对模型进行定量的检验和验证，例如以建立模型已经学习到期望的输入至输出关系的程度。机器和深度学习方面的当前现有技术缺乏度量和实践来测量这种效果，从而通常利用有限的、并且因此是固有的有偏差的数据集进行工作，并且产生了与可用的数据量相比被过度参数化的模型。因此，模型实际已经学习到的内容与实现者认为该模型学习到的内容之间往往有较大的差距。
在过去几年里，已经认识到需要提供解释以及模型分类，并且在学术层级已经提出和使用了若干种方法，它们取得了不同程度的成功。一系列工作试图通过可视化每个像素的激活图案来可视化神经网络分类器已经学习到的内容。目标是找出个体像素如何影响对输入图像的分类。
R. Fong和A. Vedaldi的论文“Interpretable explanations of black boxesby meaningful perturbation”（在https://arxiv.org/pdf/1704.03296可获得，并且通过引用并入本文）中提供了这种方法的示例。在该工作中，提出了一种优化，其中目标是找到最小的删除掩码（deletion mask），使得扰动该掩码所指示的图像导致其分类显著下降。因此，在对输入做出的改变与在所得分类中实现的对应改变之间寻求因果关系。对最终用户来说，这种改变可以确认该模型是否对预期元素敏感，例如行人检测器是否对行人、或者天空或天气状况敏感。
发明内容
改进用于解释分类的技术将是合期望的。尽管在文献中存在各种可解释性技术，但是发明人观察到这些现有技术经常彼此不一致。此外，现有技术通常无法呈现对于外行人理解和掌握而言直观的结果，从而需要来自该领域专家的大量解释。例如，在许多情况下，建立了导致改变分类器输出的分类的像素级解释，但是其不对应于图像中存在的有意义的概念。因为这种像素级解释实际上并不表示对该图像的有意义的改变，所以它们对于人类来说不仅是难以理解或无意义的，而且也难以用自动化的方式从中提取有用的信息，例如以便根据根本原因来对解释进行进一步分类。
此外，发明人认识到：现有技术扰动输入以得到分类中的改变的方式不适用于实践中出现的各种数据集。例如，发明人设想将可解释性技术用于光学质量检测。发明人发现，在各种制造过程中，所制造产品的图像具有与现有可解释性技术通常被应用到的数据集的种类显著不同的数据统计信息；因此，这种技术不适合该类型的数据。例如，如本发明人所认识到的，将黑色正方形作为扰动添加到所制造产品的黑白图像可能导致该扰动实际上添加了该分类器可能对其敏感的信息。因此，在这种情况下，不清楚输出分类中的改变是否真的源于信息被保留或删除，或者更确切地说，是否真的源于作为该模型试图解释的新信息的这种新元素的添加。因此，在这种情况下，该解释可能无法针对图像中存在的信息提供有意义的解释。
为了解决这些和其他问题，根据本发明的第一方面，描述了一种用于针对经训练的分类器来确定分类解释的计算机实现的方法，如权利要求1所定义的那样。根据本发明的另一方面，描述了如权利要求14所定义的对应***。根据本发明的一方面，描述了一种如权利要求15所定义的计算机可读介质。
各种特征涉及针对经训练的分类器来确定分类解释。该解释可以是针对均被分类器分类到同一类中的一个或多个分类器输入。该解释可以指示对分类器将输入分类到该类中有贡献的因素，换句话说，在被应用时影响分类器向该类中进行分类的适配（adaptation）。例如，该适配可能会导致该类的分类中的改变，或至少导致该类的分类得分下降。
使用对输入图像的像素级适配来解释其分类本身是已知的，例如来自较早记载的论文“Interpretable explanations of black boxes by meaningful perturbation”。例如，如已知的，如果涂黑分类器输入图像的特定输入像素会导致分类得分的显著下降，则这在指示对原始分类得分提供显著贡献的分类器输入的方面的意义上可以被视为解释。
然而，感兴趣的是，代替于使用这种像素级适配，发明人设想使用生成模型来适配分类输入。生成模型是在训练数据集上被训练以生成类似于训练数据集实例的合成实例的模型，例如生成对抗网络（GAN）的生成器部分、或变分自动编码器（VAE）的解码器部分。例如，当在真实人类面部图像的数据集上被训练时，生成模型可以学习以生成看起来逼真但是合成的面部图像。为了生成这种实例，生成模型可以使用多个滤波器。例如，生成模型可以是卷积网络（也称为卷积神经网络）或其他类型的神经网络，其中滤波器用于在网络的相应层处生成滤波器输出。
如事实证明，使用滤波器的这种生成模型具有感兴趣的特性，即对生成模型的特定滤波器的滤波器输出的抑制经常在所生成的合成实例中导致有意义的变化。因此，生成模型的相应滤波器可以与所生成的实例的相应方面相关联。例如，在图像生成模型中，相应滤波器或滤波器组可以与作为要生成的图像的一部分的相应对象（或其他类型的特征）的生成相关联。在面部图像生成器中，一组滤波器可能负责生成皱纹，而另一组滤波器可能负责生成一副眼镜。如果负责生成特定对象的一些或所有滤波器被抑制，例如它们的滤波器输出在生成过程中被调节，则这可能导致对应的对象在所得实例中不存在、或者至少不那么突出。然而，所得的实例通常仍然是看似逼真的。例如，对该副眼镜的抑制将不会在图像中留下空的空间，而是将导致例如生成合成皮肤。本质上，基于滤波器的生成模型因此可以通过包含其他信息来补偿由于对滤波器的抑制而导致的信息损失。
发明人设想使用这种性质来生成对分类器输入的有意义的适配，并且使用这些有意义的适配对经训练的分类器进行的分类具有的影响来解释该分类。为此，使用其输出可以被输入到经训练的分类器中的生成模型。给定要针对其确定解释的经训练的分类器的输入实例，可以确定（或以其他方式获得）使生成模型近似地生成分类器输入的生成器输入。通过操纵生成模型由此（近似地）生成分类器输入的方式，可以获得有意义的（例如，保留在自然图像流形上的）对分类器输入的适配。
因此，可以做出在被包含在分类器输入中的信息（例如，表示关于所生成的实例中的特定对象或其他类型的特征的存在的信息，例如表示人是否戴眼镜的信息）方面有意义的许多适配。然而，并非所有这些有意义的适配都与经训练的分类器相关（例如，经训练的分类器可以根据人是否具有晒伤来对面部图像进行分类，对于晒伤而言，戴眼镜将是不相关的）。发明人设想尝试各种这种有意义的适配，并且观察它们中的哪一个影响了由经训练的分类器进行的分类，从而根据这种有意义的适配来获得分类的解释。
具体地，可以根据生成模型的相应滤波器的滤波器抑制因子来捕获对生成模型的生成过程的适配。滤波器抑制因子可以指示针对滤波器的滤波器输出的抑制程度。通过根据这些滤波器抑制因子来适配分类器输入（意味着在生成模型生成分类器输入时调节生成模型的滤波器输出），并且然后将经训练的分类器应用到所得的经适配的分类器输入，可以确定滤波器抑制因子的影响。例如，可以单独地应用滤波器抑制因子以观察它们的相应影响，或者更优选地，可以确定同时调节若干个滤波器对分类的影响。
因此，可以基于这些滤波器抑制因子来解释经训练的分类器针对输入实例的分类。例如，如果通过相应的滤波器抑制因子对滤波器输出的调节导致了经适配的分类器输入被分类到与原始分类器输入不同的类中，则该经适配的分类器可以以针对原始分类器输入的反事实（counterfactual）的形式提供针对分类的解释。这种反事实提供了关于原始分类器输入的哪些特征导致经训练的分类器得出其分类的重要见解。
滤波器抑制因子本身也可以被认为表示解释。特别地，给定由经训练的分类器分类到同一类中的多个分类器输入，可以确定指示分类器输入的哪些方面通常影响由经训练的分类器进行的分类的一组滤波器抑制因子。这是可能的，因为感兴趣的是，针对不同的分类器输入，滤波器抑制因子通常具有相似的影响。例如，特定的生成器滤波器可以与树的生成相关联，因此对滤波器进行抑制可以去除不同图像中的树，即使这些树出现在相应图像中的不同位置处。由于生成模型的使用，此外还可以根据特定分类器输入的情境在所生成的实例中对这些树进行补偿，例如通过在相应的地方***草或花。例如，这与确定要应用到图像分类器的输入图像的像素掩码——相应图像通常将包含不同位置处的对象，因此在这种对象的存在或不存在方面，共同的像素掩码无法针对多个图像提供共同的解释——形成对照。
优选地，针对其确定滤波器抑制因子的该组滤波器表示可能对经训练的分类器的分类决策有贡献的广泛的对象或方面，而不仅仅是一个特定的有贡献的对象或方面。例如，可以针对生成模型的所有滤波器或针对生成模型的一个或多个层的所有滤波器确定滤波器抑制因子。生成模型的训练倾向于以如下这种方式来划分其隐空间：即跨不同的滤波器正交地表示不同的概念，从而允许不同的方面彼此独立地被抑制。还优选的是，使用在与经训练的分类器基本相同的数据集（例如，经训练的分类器的训练数据集的相同数据集或随机采样的子集）上被训练的生成模型。这样，由生成模型生成的实例更能表示经训练的分类器的典型输入，并且因此也表示了更有意义的适配。
一般而言，使用本文中提出的技术，针对经训练的分类器的解释可以根据对其输入实例的在语义上有意义的适配来获得。有效地，以更成熟的方式对扰动进行建模，使得对分类器输入的改变更有可能导致另一个自然的分类器输入。考虑如下图像分类器作为示例：该分类器依赖于人类面部上是否存在一副眼镜来做出分类决策。例如，在使用像素级方法的情况下，对于分类得分的下降来说，仅移除一只眼睛上的眼镜就足够了。然而，由于生成模型通常将被训练成要么生成眼镜要么不生成眼镜，因此抑制与眼镜相关的滤波器通常会导致移除两只眼睛上的眼镜，从而得到更自然并且因此更容易理解的解释。
作为以更自然的方式来适配分类器输入的结果，还减小了获得对抗型解释（例如，仍然导致由经训练的分类器进行的分类发生改变的几乎不可见的像素级改变）的概率。而且，还解决了像素级扰动可能将信息引入到分类器输入而不是将其移除的问题。此外，根据滤波器抑制因子提供解释允许以有效的方式来表示解释，例如，根据一组因子而不是作为图像来表示解释。这对于这些解释的进一步自动化处理是有利的，例如不仅对于在它们上应用进一步的机器学习模型是有利的，而且对于由人类来诠释（interpret）这些解释也是有利的。
还使得针对不同输入实例的解释更加可比较（comparable），例如，抑制输入图像中的不同位置处的眼镜可以根据滤波器抑制因子被类似地表示。例如，这允许编译统计信息或以其他方式获得关于如下的见解：经训练的分类器多久使用分类器输入的特定方面来得出决策。
感兴趣的是，经训练的分类器本质上可以被视为黑箱。因此，这些技术适用于许多经训练的分类器。经训练的分类器不需要提供除分类之外的附加功能，例如，在许多情况下，经训练的分类器不是分割模型等。因此，可以针对如下经训练的分类器来确定解释：针对该分类器的输出，还没有诠释可用。
可选地，经训练的分类器可以是图像分类器。对于图像分类，已知各种生成模型，这些生成模型与所呈现的技术（例如，卷积神经网络，并且更具体地，全卷积网络）相结合工作得特别好。已经在各种实际设置中观察到，通过抑制滤波器来适配这种网络中的图像生成导致了看起来逼真的适配，并且可以通过抑制滤波器来调整所生成图像的各种相关的语义上可解释的方面。
可选地，输入实例可以包括在制造过程中生产的产品的图像。经训练的分类器可以将这种图像分类成例如“正常”类和“不正常”（NOK）类。在这种情况下，重要的是，不仅要知道所生产的产品有问题，而且还要知道为什么会有问题。例如，针对个体产品或通过一批产品汇总的信息可以被报告给制造过程的监督者，以便采取适当的措施。作为另外的可选步骤，基于滤波器抑制因子确定的图像解释可以被分类到一组预定义的可能异常中。相应地检测到的异常可以例如被报告给监督者以帮助采取适当的措施，或者被自动地用于确定用于控制制造过程的控制信号，例如通过适配制造过程的一个或多个控制参数（诸如，速度/温度/压力），或者通过以安全模式来操作制造过程。
更一般地，经训练的分类器的输入实例可以是各种类型的传感器信号，包括视频数据、雷达数据、LiDAR数据、超声数据、运动数据和热成像相机数据。具体地，如本身已知的那样，各种这种传感器信号可以在2-D或N-D空间网格中表示，并且因此可以通过各种图像处理技术或其概括（例如，图像生成模型和/或图像分类器）来处理。因此，通过使用合适的生成模型和经训练的分类器，可以支持各种类型的传感器信号。
可选地，可以通过优化滤波器抑制因子一起对分类器输入的分类具有的影响来确定滤波器抑制因子。该优化可以包括：针对受滤波器抑制因子影响的一个或多个分类器输入，最小化目标分类器输出与经训练的分类器的受影响的分类器输出之间的差异。例如，目标分类器输出可以指示与（一个或多个）分类器输入被分类到的类不同的类，或者可以指示针对该类的决策边界。因此，该差异可以用于鼓励针对分类器输入的分类中的改变或至少分类得分的下降。该优化还可以包括正则化项，例如用于最小化由滤波器抑制因子指示的总体抑制程度的正则化项。正则化项优选地是稀疏诱导的（sparsity-inducing），例如使用L0范数或其近似来限制被抑制的滤波器的数量。这样，可以鼓励限制对分类器输入所做的改变的量，并且相应地获得尽可能与原始分类器输入相关的解释。
可选地，该优化可以进一步被配置成：最小化生成模型的输出看起来像是合成的程度。该程度可以由被称为判别模型的机器可学习模型来确定。例如，判别模型可以是生成对抗模型（GAN）的判别器部分，该生成对抗模型（GAN）例如具有生成器作为生成器部分的GAN。不过，这不是必需的；也可以与生成模型分开地训练判别模型。包括这种逼真性（realisticness）程度进一步鼓励该优化以确定对经训练的输入的看似逼真的适配，并且相应地进一步改进所确定的解释的质量。
可选地，当最小化由滤波器抑制因子指示的总体抑制程度时，更独特的滤波器可能比较不独特的滤波器受到更少的惩罚。滤波器在多大程度上是独特的可以通过相应滤波器的独特性得分来指示。因此，可以鼓励在分类的解释中包含更多独特的滤波器，从而导致减少输出解释中的冗余。这改进了解释的质量，例如通过降低对抗式解决方案的风险，这是因为个体滤波器抑制更直接地对应于对分类器输入的特定且单独的适配。
可选地，可以通过根据一个或多个度量确定分类器输入与对应经适配的分类器输入之间的差异来确定所输出的分类解释。例如，度量可以包括逐像素差异、颜色分布和/或熵的差异。这些度量或其组合可以是经训练的分类器做出决策的特定方式的特性。因此，例如，它们可以用作要应用到解释的进一步机器学习模型的特征。这允许获得分类决策的特别压缩的表示，从而简化进一步的自动化处理。
可选地，可以根据滤波器抑制因子通过将滤波器输出的元素与该滤波器抑制因子相乘来调节生成模型的滤波器的滤波器输出。例如，滤波器抑制因子可以是介于0和1之间的值，其中0指示滤波器将被完全抑制，并且1指示滤波器根本不被抑制。这是一个灵活但可有效实施（和优化）的解决方案，但也存在替代方案。例如，滤波器抑制因子可以是布尔值，指示没有抑制或完全抑制；或者可以通过使用除乘法之外的另一种类型的计算来应用滤波器抑制因子，例如根据在抑制因子将被应用到的激活值以及抑制因子本身两者中都增加的任何函数。
可选地，可以获得分类器输入，并且基于此，可以确定对应于分类器输入的生成器输入。这样，可以确定针对给定分类器输入的解释。在给定分类器输入的情况下，通常不可能确定确切地再现分类器输入的生成器输入，例如，这是因为可能的分类器输入的数量通常比可能的生成器输入的数量大得多。因此，可以确定近似地生成分类器输入的生成器输入，例如基于涉及分类器输入与它们的近似之间的差异的优化。例如，可以执行该优化以根据分类器输入来确定生成器输入（这本身对于生成对抗网络是已知的），或者将模型训练成根据分类器输入（例如，自动编码器的编码器）来确定生成器输入。在任何情况下，这种优化通常是启发式的和/或达到局部最优。因此，对应于分类器输入的生成器输入实际上将通常不会是在所有可能的生成器输入上提供绝对最佳近似的生成器输入。
可选地，可以获得经训练的分类器的类，并且基于此，可以生成一个或多个生成器输入，该生成器输入使得生成模型根据该类生成分类器输入。这样，可以确定经训练的分类器的更全局行为的解释，例如，关于为什么经训练的分类器通常将分类器输入分类到给定类中的解释。例如，来自该类的分类器输入可以通过拒绝采样来获得：通过生成分类器输入并检查它们是否属于该类。因此，可以获得生成器输入的代表性集合。还可以检查所生成的分类器输入除了属于该类之外是否还满足特定性质，或者人工挑选（hand-pick）生成器输入或分类器输入。这允许研究：针对共享特定特性的给定分类器输入集合，经训练的分类器如何针对该分类器输入集合得出其分类决策。
可选地，分类解释可以以感官可感知的方式被输出给用户，例如显示在屏幕上。例如，分类解释可以包括根据所确定的滤波器抑制因子对（一个或多个）分类器输入的适配，该（一个或多个）分类器输入的分类将被解释。这种其分类受到影响的经适配的分类器输入（例如，它可能属于不同的类或者可能位于决策边界）可以被称为反事实。例如，原始分类器输入可以与一个或多个反事实一起被输出；反事实可用于强调所呈现的分类器输入的部分；或者反过来亦然（the other way around）。基于滤波器抑制因子而确定的其他类型的解释（例如，滤波器抑制因子的分类）也可以以任何合适的方式来输出。因此，能够递送关于经训练的分类器的状态和/或可用数据的可行动信息。例如，无法例如使用如敏感性或特异性（specificity）测量等传统性能评估方法检测到的隐藏偏差可能会被揭示。
本文中提供的分类解释对于最终用户可能特别有用，例如想要理解所制造产品的问题的监督制造过程的人员，或者想要理解为什么医学图像分类模型得出给定分类的临床医生。在这种情况下，分类解释可以被视为关于分类器输入实际上为什么属于该给定类的解释。换句话说，可以假设分类器将输入分类到该类中是正确的，并且用户可能想要使用关于分类器为什么（正确地）将输入分类到该类中的信息，来改进他们自己关于该输出的理解。例如，这将对应于在现场部署的成熟的经训练的分类器。通过提供语义上更有意义的解释，例如已经以有意义和/或现实的方式被适配的分类器输入，这种最终用户获得的反馈得到了极大的改进。
然而，同样在其中经训练的分类器本身仍在被开发的阶段时（其可能是在现场部署之后），分类解释对用户可以是有价值的。在这种情况下，用户可以是模型开发者，其可以使用分类解释来进一步改进该模型。例如，如果分类解释指示分类器输入的看似与特定分类不相关的部分（例如图像区域），则这可以指示在训练情况下的问题，例如训练数据集中的隐藏偏差、给定类型的训练示例的缺乏、或经训练的分类器的模型架构的问题。在这种情况下，经训练的分类器的分类不一定被假设是正确的，并且分类解释可以用于理解分类器为什么错误地将输入分类在该类中，使得可以纠正这种错误的分类。
可选地，经适配的分类器输入可以被输出给用户，然后用户可以提供经适配的分类器输入的期望分类。然后，该期望分类可以与经适配的分类器输入相关联，以用于在使用经适配的分类器输入和期望分类来重新训练经训练的分类器时使用（例如，作为训练数据和/或测试数据）。重新训练可以由相同***或不同***来执行。例如，可以通过执行优化来获得经适配的分类器输入，该优化鼓励在经训练的分类器的决策边界附近的分类。因此，可以获得有价值的附加训练数据，通过该附加训练数据可以改进经训练的分类器。通过使用生成模型，经适配的分类器输入更加逼真，并且因此，可以获得更多高质量的训练数据。此外，通过改变现有训练实例的生成器输入，或者随机生成生成器输入，有可能针对任何给定数量的分类器或生成器输入以反事实的形式自由地生成附加训练数据。
例如，所生成的反事实可以例如在视觉上表示给定输入模型的决策边界。如果该决策边界表示不期望的偏差（例如，给定的反事实不应该与原始图像不同地被分类），则反事实可以用于相应地对现有模型进行重新训练和/或微调。
当使用在目标分类器输出和经适配的分类器输出之间的差异（一个方面）与总体抑制程度（另一个方面）之间进行平衡的优化时，这两个方面可以在优化中通过相应的超参数被加权。可以自动学习这些超参数，这可以包括重复针对相应的（例如随机的）生成器输入来确定滤波器抑制因子的过程若干次。通过适当地选择超参数，可以调整本文中呈现的技术的性能。例如，可以例如通过选择超参数使得分类器输出差异被充分地加权来确保经适配的分类器输入实际上表示不同类的反事实，但是在另一方面还例如通过选择超参数使得总体抑制程度被充分地加权来确保不允许与原始输入有太大的改变。例如，可以利用网格搜索来学习超参数。
本文中使用的各种经训练的模型（例如，经训练的分类器和生成模型）可以通过相应的参数集合而被参数化。例如，生成模型和/或经训练的分类器可以是神经网络。神经网络也被称为人工神经网络。示例包括深度神经网络和卷积神经网络。在这种情况下，参数集合可以包括神经网络的节点的权重。例如，模型的层的数量可以是至少5或至少10，节点和/或权重的数量可以是至少1000或至少10000。根据具体应用，可以使用神经网络的各种已知架构和其他类型的机器可学习模型。从训练效率的角度来看，使用服从基于梯度的优化的模型是有益的，例如，这些模型在其参数集合中是连续的和/或可微分的（differentiable）。
本领域技术人员将领会，本发明的两个或更多个上述实施例、实现方式和/或可选方面可以用被认为有用的任何方式来组合。
本领域技术人员可以在本描述的基础上对任何***和/或任何计算机可读介质进行修改和变化，这些修改和变化对应于对相应计算机实现的方法的所描述的修改和变化。
附图说明
本发明的这些和其他方面将通过参考以下描述中通过示例的方式描述的实施例并且参考附图而变得明显并且被进一步阐明，在附图中：
图1示出了用于针对经训练的分类器来确定分类解释的***；
图2a示出了生成模型的示例，在这种情况下，生成模型是自动编码器的解码器部分；
图2b示出了生成模型的示例，在这种情况下，生成模型是生成对抗网络（GAN）的生成器部分；
图3示出了包括多个滤波器的生成模型以及利用滤波器抑制因子的其操纵的示例；
图4a示出了如何确定用于对分类进行解释的一个或多个滤波器抑制因子的示例；
图4b示出了确定生成器输入的示例；
图4c示出了确定生成器输入的示例；
图5示出了确定分类解释并使用它来控制制造过程的示例；
图6示出了确定解释的计算机实现的方法；
图7示出了包括数据的计算机可读介质。
应当注意的是，这些附图纯粹是示意性的，并不是按比例绘制的。在附图中，对应于已经被描述的元件的元件可以具有相同的附图标记。
具体实施方式
图1示出了用于针对经训练的分类器来确定分类解释的***100。分类解释可以针对由经训练的分类器分类到同一类中的一个或多个分类器输入。***100可以包括数据接口120和处理器子***140，数据接口120和处理器子***140可以经由数据通信121进行内部通信。数据接口120可以用于访问定义了经训练的分类器的模型数据030。数据接口120还可以用于访问定义了生成模型的模型数据040。生成模型可以被配置成从生成器输入生成用于经训练的分类器的分类器输入。生成模型可以包括多个滤波器。生成模型的滤波器可以被配置成在生成模型的内部层处生成滤波器输出。
处理器子***140可以被配置成：在***100的操作期间并且通过使用数据接口120来访问模型数据030、040。例如，如图1所示，数据接口120可以提供对外部数据存储装置021的访问122，外部数据存储装置021可以包括所述模型数据030、040。替代地，可以从作为***100的一部分的内部数据存储装置来访问模型数据030、040。替代地，可以经由网络从另一个实体接收模型数据030、040。通常，数据接口120可以采用各种形式，诸如至局域网或广域网（例如，互联网）的网络接口、至内部或外部数据存储装置的存储接口等。数据存储装置021可以采用任何已知和合适的形式。
处理器子***140可以被配置成：在***100的操作期间并且通过使用数据接口120来获得对应于一个或多个分类器输入的生成器输入。生成器输入可以使生成模型近似地生成对应的分类器输入。
处理器子***140可以进一步被配置成：在***100的操作期间并且通过使用数据接口120来确定生成模型的多个滤波器的滤波器抑制因子。滤波器的滤波器抑制因子可以指示针对滤波器的滤波器输出的抑制程度。可以基于根据滤波器抑制因子来适配分类器输入对经训练的分类器的分类的影响，从而确定滤波器抑制因子。
为了确定这种影响，处理器子***140可以通过将生成模型应用到对应于分类器输入的生成器输入，同时根据一个或多个滤波器抑制因子来调节生成模型的滤波器的滤波器输出，从而根据一个或多个滤波器抑制因子来适配分类器输入。为了确定该影响，处理器子***140可以进一步将经训练的分类器应用到经适配的分类器输入，以获得受该一个或多个滤波器抑制因子影响的分类器输出。为了确定该影响，处理器子***14可以进一步基于滤波器抑制因子来确定分类解释，并且输出分类解释。
处理器子***140还可以被配置成例如基于公共数据集来训练分类器和/或生成模型。处理器子***140还可以被配置成学习在用于确定滤波器抑制因子的优化中使用的超参数。例如，对滤波器抑制因子的确定可以被执行多次，以例如在网格搜索中学习这种超参数。
作为可选组件，***100可以包括用于从传感器（诸如，相机071）获得传感器数据124的图像输入接口160或任何其他类型的输入接口。处理器子***140可以被配置成基于所获得的传感器数据124来确定去往经训练的分类器的一个或多个分类器输入。例如，分类器输入可以用于确定对应的生成器输入，基于该生成器输入，可以确定滤波器抑制因子，以用于解释经训练的分类器如何对这些分类器输入进行分类。例如，相机071可以被配置成捕获图像数据124，处理器子***140被配置成基于经由数据通信123从输入接口160获得的图像数据124来确定分类器输入。输入接口可以被配置用于各种类型的传感器信号，例如视频信号、雷达/LiDAR信号、超声信号等。
作为可选组件，***100可以包括用于将所确定的分类解释输出到呈现设备（例如显示器190）的显示输出接口180或任何其他类型的输出接口。例如，显示输出接口180可以生成用于显示器190的显示数据182，该显示数据182使得显示器190以感官可感知的方式呈现该解释，例如作为（一个或多个）分类器输入、以及根据所确定的滤波器抑制因子的对应适配的屏上可视化192。可选地，***100可以包括用户输入接口（未示出），诸如键盘或鼠标。使用用户输入接口，该***可以获得被输出到用户的经适配的分类器输入的期望分类。经适配的分类器输入可以与其期望分类一起被存储，以用于重新训练经训练的分类器。处理器子***140可以自己执行该重新训练，但是也可以向用于执行重新训练的另一方提供经适配的分类器输入和期望分类。
作为可选组件，***100可以包括控制接口（未示出），以用于提供控制信号以便控制外部过程（例如，被监测的制造过程）。例如，控制接口可以是专用控制接口，诸如基金会现场总线、PROFIBUS、HART、Modbus等；或者被布置成用于与控制***进行数字通信的通用通信接口，例如使用USB、IEEE 1394或类似的接口。控制接口可以通过计算机网络来通信，该计算机网络例如无线个人区域网、互联网、内联网、LAN、WLAN等。例如，控制接口可以包括连接器，例如适用于计算机网络的无线连接器、以太网连接器、Wi-Fi、4G或4G天线、ZigBee芯片等。控制接口还可以是内部通信接口，例如总线、API、存储接口等。具体地，控制接口可以是用于向致动器提供致动器数据的致动器接口，该致动器数据使得致动器在***100的环境中实现动作。例如，处理器子***140可以被配置成至少部分地基于所确定的分类解释来确定致动器数据。
将参考图2a-5来进一步阐述***100的操作的各种细节和方面，包括其可选方面。
通常，***100可以体现为或体现在单个设备或装置中，该单个设备或装置诸如工作站，例如基于膝上型或台式的工作站，或服务器。该设备或装置可以包括执行适当软件的一个或多个微处理器。例如，处理器子***可以由单个中央处理单元（CPU）来体现，但是也可以由这种CPU和/或其他类型的处理单元的组合或***来体现。软件可能已经被下载和/或存储在对应的存储器中，该存储器例如易失性存储器（诸如，RAM）或非易失性存储器（诸如，闪速存储器）。替代地，该***的功能单元（例如，数据接口和处理器子***）可以以可编程逻辑的形式在设备或装置中实现，例如作为现场可编程门阵列（FPGA）和/或图形处理单元（GPU）。通常，该***的每个功能单元可以以电路的形式实现。要注意的是，***100也可以以分布式方式实现，例如涉及不同的设备或装置，诸如采用云计算形式的分布式服务器。
图2a示出了生成模型的详细但非限制性的示例，在这种情况下，生成模型是自动编码器的解码器部分。本文中可以使用各种类型的自动编码器，包括正则化自动编码器和/或变分自动编码器。变分自动编码器由于其改进的泛化性而被优选。适用于各种类型的输入数据（例如图像）的许多自动编码器架构是已知的并且可以使用。
该图中示出了自动编码器，其包括编码器部分Enc 250和解码器部分Dec 240。给定输入实例II 210，自动编码器的编码器部分Enc可以被配置成确定输入实例II的表示GI220。基于该表示，解码器部分Dec可以被配置成确定合成输出GO 270。
可以在输入实例的训练数据集上训练自动编码器以输出尽可能类似于相应输入实例II的合成输出SO，例如在将训练输入实例II与对应合成输出SO之间的差异进行最小化（可能与其他项（例如，正则化项）结合）的优化中。因此，自动编码器可以学习以确定最允许这种重建的表示GI。在自动编码器的情境中，编码器部分Enc的输出可以被称为“代码”、“隐表示”或“编码”。
因此，自动编码器的解码器部分Dec可以用作生成模型，该生成模型可以从生成器输入GI来生成输出GO（例如，去往经训练的分类器的输入）。感兴趣的是，编码器部分Enc提供了从分类器输入到生成器输入的反向变换，例如，自动编码器提供了一种有效且准确的方法以在给定实例的情况下确定使得生成模型Dec近似地生成该实例的生成器输入。
图2b示出了生成模型的详细但非限制性的示例，在这种情况下，生成模型是生成对抗网络（GAN）的生成器部分。
该图中所示的GAN包括生成部分Gen 240’和判别部分Disc 260。生成部分Gen可以被配置成从生成器输入GI 220’来生成合成生成器输出GO 270’。判别部分Disc可以配置成提供在合成实例SII与训练实例TII 210’之间进行区分的判别器输出
Figure DEST_PATH_IMAGE001
280。
通过将生成部分Gen训练成生成判别器部分Disc无法将其与真实训练实例TII进行区分的实例GO，并且将判别器部分Disc训练成正确地在真实实例TII与合成实例SII之间进行区分，可以有效地训练这两个模型。例如，可以与判别器部分Disc一起训练生成器部分Gen，直到达到纳什均衡，在这种情况下，生成器Gen可以产生高效的判别器Disc无法再将其与实际样本TII进行区分的样本。以这种方式，生成器可以学习对输入TII的数据分布进行建模。
因此，生成对抗网络的生成部分Gen可以用作生成模型，该生成模型可以从生成器输入GI来生成输出GO（例如，去往经训练的分类器的输入）。感兴趣的是，判别部分Disc本身也是有用的，即，作为如下模型：该模型用于确定生成模型Gen的输出在多大程度上看似是合成的。
作为说明性示例，用于训练GAN的已知训练目标是：
Figure 558102DEST_PATH_IMAGE002
在此示例中，D是判别器Disc，G是生成器Gen，x是输入样本TII，并且z是从隐分布p z （例如，随机正态分布或类似分布）中提取的隐变量GI。然而，上述训练目标的许多变型是可能的。
图3示出了包括多个滤波器的生成模型以及利用滤波器抑制因子的其操纵的详细但非限制性的示例。
该图中示出了生成模型，其被配置成从生成器输入GI 320来生成输出GO 370（例如，去往经训练的分类器的输入实例）。例如，该生成模型可以是自动编码器的解码器部分，如例如关于图2a所讨论的；或者是生成对抗网络的生成器部分，如例如关于图2b所讨论的。
通常，生成器输入GI是特征向量，例如，包括至多或至少100个、或者至多或至少1000个条目。被生成的输出GO通常可以采用各种形状，但是在许多情况下是作为N-D空间数据（例如，2-D或3-D）而生成的。例如，图像数据是这种数据的示例，但是各种其他类型的传感器数据也可以以这种方式来表示，并且因此可以使用输出N-D空间数据的生成模型来合成地生成。
通常，在元素数量方面，去往生成模型的输入GI比所生成的输出GO小得多。例如，生成器输入GI的元素（例如，特征）的数量至多可以是它产生的输出的条目数量的10%或者甚至1%。因此，生成器输入GI可以有效地提供其产生的输出的压缩表示。在各种实际情形中已经观察到：例如，针对生成对抗网络以及针对自动编码器，可以将语义含义与生成器输入GI的特定条目或条目组合相关联；例如，生成器输入GI的一组条目可以负责生成面部图像中的耳朵，而另一组条目可以负责生成眼镜。因此，通过调整生成器输入GI，可以获得所生成的输出GO的变型。
该图中所示的生成模型使用一组滤波器来生成其输出GO。这些滤波器通常布置在生成模型的多个层处。特别地，可以通过基于先前层的激活体积来计算生成模型的后续层的激活值（从生成器输入GI开始，并且最终到达输出GO）来评估生成模型。例如，内部层（因此是除输入和输出层之外的所有层）的数量可以是至多或至少5个，至多或至少10个，或者至多或至少20个。
这些层中的至少一些层包括一个或多个滤波器。该图示出了生成模型的层Lk341，层Lk 341包括多个滤波器（并且在这种情况下，其实际上由多个滤波器组成）。该图示出了滤波器Fk,1 341-1，直到Fk,I 341-2。一层处的滤波器的数量可以是例如至多或至少128个，或者至多或至少1024个。
滤波器可以是根据前一层的激活体积AVk-1 371来计算层Lk的输出激活体积AVk372的一部分的参数化函数。因此，如该图所示，生成模型的层Lk处的激活体积可以包括由相应滤波器确定的切片，每个切片例如在2-D或3-D中具有相同的空间尺寸。例如，该图中示出了层Lk的激活体积AVk的相应切片373、374和375；切片375例如被确定为滤波器Fk,1的滤波器输出；切片373被确定为滤波器Fk,I的滤波器输出；等等。因此，一层可以被分解成多个滤波器Fk,j，这些滤波器可以被单独地评估以确定它们相应的滤波器输出，并且因此，它们的活动可以被单独地抑制。
通常，滤波器Fk,j是卷积滤波器，例如，通过对先前层处的激活体积Avk-1应用卷积算子来计算滤波器输出的滤波器。使用这种卷积算子的模型被称为卷积神经网络。可以通过卷积系数来对卷积滤波器进行参数化，卷积系数在训练生成模型时被相应地训练。然而，在生成模型的层处执行单独变换的其他滤波器也是可能的。
针对基于滤波器的生成模型的各种模型架构是已知的，并且其本身可以使用。一些模型是所谓的全卷积网络，其中网络的每一层包括多个卷积滤波器。在A. Radford等人的“Unsupervised Representation Learning with Deep Convolutional GenerativeAdversarial Networks”（在https://arxiv.org/abs/1511.06434可获得，并且通过引用并入本文）中给出了这种生成模型、即所谓的“DCGAN”的示例。全卷积网络的另一个示例是来自O. Ronneberger等人的“U-Net：Convolutional Networks for Biomedical ImageSegmentation”（在https://arxiv.org/abs/1505.04597可获得，并且通过引用并入本文）的U-NET架构。
然而，不需要在生成模型的所有层处都具有多个滤波器，例如该模型可以具有一个或多个全连接层，接着是均包括多个滤波器的多个层。在许多生成模型中，后续层处的滤波器的数量通常是减少的或者至少是不增加的，例如，一层可以具有前一层的一半数量的滤波器，例如512个滤波器，接着是256个滤波器，接着是128个滤波器，等等。因此，生成模型的滤波器的总数可以是例如至多或至少500个、至多或至少2000个、或者至多或至少2000个。后续激活体积的尺寸通常被选择为增加的或者至少是不减少的。例如，一层处的激活体积的宽度和高度可以是前一层的两倍。
如该图所示，可以通过根据滤波器抑制因子来调节生成模型的一个或多个滤波器，从而操纵基于给定生成器输入GI来生成输出GO的过程。因此，如果生成器输入GI对应于经训练的分类器的输入，则通过这种调节，可以获得用于经训练的分类器的经适配的输入。
具体地，该图中示出了生成模型的相应滤波器的滤波器抑制因子的向量FSV 380。具体地，示出了对应于层Lk的相应滤波器的滤波器抑制因子383、384和385；例如，滤波器抑制因子383对应于滤波器Fk,I，而滤波器抑制因子385对应于滤波器Fk,1。一般而言，向量FSV可以针对生成模型的所有滤波器或针对其子集（例如，针对层的给定子集处的所有滤波器、或针对任意滤波器子集）提供滤波器抑制因子。用于确定分类解释的滤波器的合适选择在其他地方进行讨论。
确定根据一组滤波器抑制因子FSV适配的生成模型的输出可以包括：根据相应滤波器抑制因子FSV来调节对应滤波器的滤波器输出。滤波器抑制因子可以以各种方式指示针对对应滤波器输出的抑制程度。例如，滤波器抑制因子可以是介于0和1之间的值，其中0指示完全抑制滤波器输出，并且1指示完全保留滤波器输出（例如，没有抑制）。因此，可以根据滤波器抑制因子通过将滤波器输出的每个特征与该滤波器抑制因子相乘来调节滤波器。类似地，滤波器抑制因子可以是布尔值，其中True指示抑制，并且False指示没有抑制，在这种情况下，如果滤波器抑制因子被设置为False，则可以通过保持滤波器输出来调节滤波器输出，否则重置滤波器输出（例如，重置为零或另一个中间值）。许多变体将是明显的。
因此，可以通过应用生成模型来获得生成模型的经适配的输出。这可以包括在一层（例如Lk）处确定生成模型在该层处的输出体积（例如AVk）。特别地，滤波器可以被应用到前一层的输出体积AVk-1。所确定的输出体积AVk可以包括要针对其应用滤波器抑制因子的一个或多个滤波器的滤波器输出。在这种情况下，被包括在输出体积中的滤波器的滤波器输出可以根据对应的滤波器抑制因子、例如通过如上所描述的乘法而被调节。例如，如该图中所图示的，可以根据滤波器抑制因子383来调节滤波器Fk,I的滤波器输出373；可以根据滤波器抑制因子384来调节滤波器输出374；并且可以根据滤波器抑制因子385来调节滤波器输出375。当然，可以跳过对完全抑制的滤波器的滤波器输出的计算。因此，可以获得经适配的输出体积AVk，该经适配的输出体积AVk可以用于评估生成模型的后续层（可能涉及附加的抑制）。因此，滤波器抑制因子FSV可以应用在生成模型的相应层处，以最终得出生成模型输出GO。
图4a示出了如何确定用于对分类进行解释的一个或多个滤波器抑制因子的详细但非限制性的示例。
在该示例中，确定经训练的分类器TC 430的一个或多个分类器输入CI 410的分类的解释。依照根据一组滤波器抑制因子FSV 480来适配分类器输入CI对分类的影响，从而解释该分类。为此，首先，可以确定生成器输入GI 420，该生成器输入GI 420使得生成模型Dec440近似地生成分类器输入CI。在已经确定了生成器输入GI的情况下，然后可以使用滤波器抑制因子FSV来操纵如下过程：通过该过程，从所确定的生成器输入GI生成了分类器输入，其中这些操纵导致了经适配的分类器输入ACI 470。如果这些操纵影响了经训练的分类器TC进行的分类（例如，经适配的分类器输入ACI被分类到不同的类中），则对应于这些操纵的滤波器抑制因子FSV指示与分类器TC进行的该分类相关的滤波器，并且可以相应地被认为解释了该分类。
该图中示出了其分类将被解释的分类器输入CI。在该图中，示出了单个分类器输入CI，但是如贯穿全文所讨论的，也可以确定全部被分类到同一类中的多个分类器输入CI的解释。例如，分类器输入CI可以是图像，例如其尺寸为M×N×l（灰度）或M×N×3（彩色，例如RGB）。分类器输入CI还可以表示各种其他类型的传感器数据，例如，表示为图像、表示为特征向量等。
该图还示出了经训练的分类器TC。在给定分类器输入CI的情况下，经训练的分类器TC可以被配置成将分类器输入CI分类成一组预定义的类中的一个。例如，分类器可以是二元分类器，其将分类器输入CI分类成两个类中的一个；或多类分类器，其将分类器输入CI分类成三个或更多个类中的一个。例如，所制造产品的图像可以被分类为“正常”或“不正常”，或者在自主车辆周围检测到的交通标志可以被分类为特定类型的交通标志，例如，速度标志、人行横道标志等。从文献中已知许多类型的分类器，并且通常，可以使用适合于分类器输入CI的类型的任何分类器。
经训练的分类器TC的输出在本文中被称为分类器输出。例如，如该图所示，在给定分类器输入CI的情况下，经训练的分类器TC可以确定原始分类器输出OCO 460。尽管由经训练的分类器TC确定的分类器输出可以简单地表示该输入被分类到的类，但是分类器输出通常包含附加信息。特别地，分类器输出可以包括针对相应类的分类得分。针对类的分类得分可以指示分类器输入CI与该类的相似性，或者换句话说，指示分类器输入CI属于该类的可能性。因此，分类器输入CI可以被分类到具有最高分类得分的类中。在二元分类的情况下，分类器输出还可以包括针对两个类中的仅一个类的分类得分，针对该另一个类的分类得分隐式地跟在后面。
该图中还示出了自动编码器的编码器部分Enc 450和解码器部分Dec 440。编码器部分Enc被配置成从分类器输入CI来确定生成器输入GI 420，而解码器部分Dec是生成模型，其被配置成从生成器输入GI来生成用于经训练的分类器TC的分类器输入。例如，编码器部分Enc和解码器部分Dec可以如图2a中所讨论的那样。如这里所解释的，编码器部分Enc和解码器部分Dec通常被训练成使得当编码器部分Enc被应用到分类器输入CI以获得生成器输入GI时，该生成器输入GI使得解码器部分Dec也尽可能地生成该分类器输入CI。这种生成通常是近似的，这是由于编码器部分Enc进行的编码通常会丢失被包含在分类器输入CI中的一些信息。
因此，在该特定示例中，分类器输入CI可以作为输入而获得。基于该分类器输入CI，可以由编码器部分Enc确定生成器输入GI，该生成器输入GI使得解码器部分Dec近似地生成该分类器输入。代替于使用自动编码器的解码器部分Dec，也可以使用其他类型的生成模型。同样在这种情况下，给定分类器输入CI，可以确定近似地生成该分类器输入的生成器输入GI。图4b中给出了该情况的示例。在其他情况下，生成器输入GI可以作为输入而获得，并且可以通过应用生成模型来从生成器输入GI确定分类器输入CI。图4c中给出了该情况的示例。
可以根据生成模型Dec的多个滤波器的一组滤波器抑制因子来解释（一个或多个）分类器输入CI的分类，在这种情况下，该组滤波器抑制因子由滤波器抑制因子的向量FSV来表示。如关于图3所解释的，可以通过根据一个或多个滤波器抑制因子来调节生成模型Dec的滤波器的滤波器输出，从而操纵生成模型Dec的生成过程。因此，通过操纵生成模型Dec在被应用到生成器输入GI时的生成过程，可以获得对分类器输入CI的适配ACI。如该图所示，通过将经训练的分类器TC应用到该适配的分类器输入ACI，可以获得受这些滤波器抑制因子影响的经适配的分类器输出ACO 462。
一般而言，可能有各种方式以基于滤波器抑制因子FSV对经训练的分类器TC的分类的影响来确定滤波器抑制因子FSV。例如，有可能抑制个体滤波器，例如以根据单独的相应滤波器抑制因子来适配分类器输入CI，并且选择对分类具有最大个体影响的滤波器抑制因子，例如导致针对分类器输入CI的类的分类得分的最大下降的滤波器抑制因子。例如，可以选择具有最大影响的固定数量的滤波器，或者其影响超过阈值的滤波器。
然而，在该图中，示出了基于相对于目标分类器输出TCO 461执行优化Opt 490来确定滤波器抑制因子FSV的向量的优选方式。该优化可以被配置成：针对受滤波器抑制因子FSV影响的一个或多个分类器输入，最小化目标分类器输出与经训练的分类器的受影响的分类器输出ACO之间的差异。同时，优化Opt可以最小化由滤波器抑制因子FSV指示的总体抑制程度。因此，该优化可以鼓励以最小程度的抑制来逼近目标分类输出TCO。实际上，这种优化可以提供一种折衷，其中只有当附加抑制对到达目标分类器的贡献超过了抑制程度的增加时，才在滤波器抑制因子FSV的向量中启用附加抑制。因此，可以提供对于分类器输入最适用且最相关的解释。
选择目标分类器输出TCO并且测量其与经适配的分类器输出ACO的差异的各种方法是可能的。例如，目标分类器输出TCO可以表示针对特定类的分类得分（例如，0到1之间的值，或布尔值）。与经适配的分类器输出的差异可以被测量为针对该特定类的分类得分中的差异。
例如，该类可以是由经训练的分类器TC将分类器输入CI分类到的原始类，如由原始分类器输出OCO所指示的。分类得分可以是针对该类的低得分。在这种情况下，该优化可以鼓励从分类器输入CI中移除如下方面：这些方面使得经训练的分类器TC将分类器输入CI分类到原始类中。因此，可以确定表示反事实的经适配的分类器输入ACI，从该反事实中移除了对于该分类所需的最小信息集合。
分类得分也可以被设置为或接近针对原始类的经训练的分类器的决策边界。这可以允许生成如下经适配的分类器输入ACI：针对该分类器输入ACI，经训练的分类器TC的不确定性增加。这种经适配的分类器实例可用于重新训练经训练的分类器，例如，可以获得经适配的分类器输入ACI的期望分类，该期望分类然后可以用作这种重新训练的标签。然而，要注意的是，其他经适配的分类器输入（例如，针对该分类器输入，经训练的分类器提供了错误的分类）也可以用于重新训练。
针对其使用分类得分的特定类也可以是除原始类之外的另一个类。针对另一个类的高分类得分可以鼓励优化Opt来确定该另一个类的经适配的分类器输入ACI。因此，可以确定表示反事实的经适配的分类器输入ACI，针对该反事实，信息的最小移除导致了到该特定类中的分类。
许多变型是可能的。目标分类输出TCO还可以包括相应类的多个分类得分，这些相应的分类得分例如在L1或L2距离上与经适配的分类器输出OCO的分类得分进行比较。例如，原始类的分类得分可以是低的，而一个或多个特定的其他类的分类得分可以是高的，以鼓励从这些类中生成反事实。目标分类得分可以例如基于原始分类器输出OCO来自动确定，或者作为例如来自用户的输入而获得。该差异也可能基于类而不是分类得分。
作为要被执行的优化Opt的具体示例，令P表示经训练的分类器，该分类器将输入实例CI（例如，M×N×d大小的输入图像）映射到1D输出向量y，该1D输出向量y表示相应类的分类得分，换句话说，是该输入图像中会存在类y k 的概率。
作为第一个具体示例，可以通过最小化以下损失函数，在多个生成器输入z上执行优化Opt：
Figure DEST_PATH_IMAGE003
（1）
该损失函数是在积分变量z上定义的。一个这种变量z对应于生成模型G Dec的可能的生成器输入GI。因此，可以针对被积分的多个生成器输入提供解释，并且相应地，可以确定在该多个生成器输入上的全局解释。该多个生成器输入GI可以被获得一次，并且遍及该优化而保持静态，但是也有可能随着该优化的进行来对属于给定类的生成器输入进行动态采样，如关于图4c所讨论的。通过在多个z上定义该损失，滤波器抑制因子FSV指示的滤波器可以反映一般需要进行的改变，而不是针对任何一个特定输入。
在公式（1）中，p t 以特定类的分类得分的形式来表示目标分类输出TCO。因此，p t 可以是0与1之间的标量值，该标量值指代我们希望达到的某个概率目标。例如，可以将目标分类输出设置为1以鼓励生成来自某个类的经适配的分类实例，或者设置为0以阻止该生成。
因此，这里所示的项
Figure 786827DEST_PATH_IMAGE004
是如下项的示例：该项测量目标分类输出TCO与概率输出
Figure DEST_PATH_IMAGE005
ACO之间的距离，该概率输出
Figure 628881DEST_PATH_IMAGE005
ACO是在Dec的滤波器已经如滤波器抑制值FSV的向量x所指定的那样被修改的约束下、当给定Dec的所生成的输出
Figure 24090DEST_PATH_IMAGE006
作为输入时由经训练的分类器TC所返回的。如其他地方所解释，代替于
Figure DEST_PATH_IMAGE007
，各种其他距离测量项也是可能的。
公式（1）中的第二项是可选的，但是表明了如何进一步配置优化Opt，以最小化生成模型的输出ACI看起来是合成的程度。该示例中的函数D被配置成：针对看起来是合成的输入提供高值，并且针对看起来是非合成的输入提供低值。例如，如果G是生成对抗网络的生成部分，则D可以是判别部分。然而，也有可能使用单独训练的模型，该模型被配置成确定生成模型的输出看似是合成的程度。包含合成性程度是有用的，因为它鼓励该优化Opt相比于可能看似更加人造的样本而优选更逼真的样本。
作为第三项，公式（3）包括正则化L(x)，该正则化L(x)将滤波器抑制因子FSV所指示的总体抑制程度最小化。用于最小化总体抑制程度的若干个选项是可用的。
例如，正则化L(x)可以是关于滤波器抑制因子FSV的稀疏诱导范数，例如L0范数或L1范数。当然，取决于滤波器抑制因子FSV如何表示抑制，例如可以在计算稀疏诱导范数之前对这些值进行变换，使得不指示抑制的滤波器抑制因子由0表示，并且指示抑制的滤波器抑制因子由非零值表示，例如针对完全抑制的1。通过优选滤波器抑制因子FSV的稀疏向量，确定了更具体的分类解释。而且，具有指示抑制的相对少量的滤波器抑制因子使得更容易例如向用户（例如，以文本形式）或在进一步的自动化处理中表示该解释。
基于指示相应滤波器的独特性的独特性得分，与较不独特的滤波器的抑制相比，正则化L(x)可以不那么强烈地惩罚更独特的滤波器的抑制。这也帮助提供更集中（focused）的解释。例如，根据更独特地负责生成所生成的实例ACI中的特定对象（例如，某情况的图像中的眼镜）的滤波器而不是执行类似任务的一组滤波器中的一个滤波器来提供解释是优选的，这是因为它使得更容易比较针对不同分类器输入CI的解释。另一个优点是：更独特的滤波器倾向于减少对抗解决方案的可能性，这是由于对更独特的滤波器的抑制更直接地对应于所生成的经适配的分类器输入ACI中的特定对象的操纵。
例如，滤波器的独特性得分可以通过在针对生成器输入GI的相应滤波器的激活上应用辅助网络（未示出）而获得。该网络可以针对每个滤波器返回附近邻居数量的定量量度。基于该定量量度，向具有许多附近邻居的滤波器指派高成本，而向更独特的滤波器指派低成本。代替于这种辅助网络，例如也可以使用诸如差分熵之类的统计信息来提供独特性得分等。
作为另一个具体示例，现在给出了用于在优化Opt中使用的损失函数，该损失函数针对单个分类器输入CI和对应的生成器输入GI来确定滤波器抑制因子FSV，并且相应地查看在该特定输入样本的条件下经训练的分类器的局部行为。与上述公式（1）相比，本损失函数使用近似地生成分类器输入T CI的单个生成器输入z* GI：
Figure 838462DEST_PATH_IMAGE008
（2）
在优化Opt中，目标分类器输出TCO与经适配的分类器输出ACO之间的差异的相对重要性、以及总体抑制程度可以通过借助于超参数对相应项进行加权来控制。因此，该损失函数中的总能量分布可以是平衡的，例如使得优化器Opt（诸如SGD或ADAM）能够收敛或更快地收敛。例如，这些超参数可以被包括在上述目标函数（1）和（2）中。可以自动地确定超参数，例如基于优化Opt是否成功地产生如下输出：模型TC与原始输入图像CI不同地将该输出进行分类。例如，可以在网格搜索中确定超参数，例如，通过在某个值处开始，并且如果优化Opt没有产生反事实，则增加对输出分类ACO到目标分类TCO的距离进行惩罚的项的权重。
如较早所提及，一般而言，可以确定针对生成模型Dec的所有滤波器或者针对滤波器的任何子集的滤波器抑制因子FSV。一般而言，对滤波器的广泛选择是优选的，以便允许根据实例中可能存在或可能不存在的广泛范围的对象或其他方面来提供解释。例如，可以使用生成模型的一些或所有层的所有滤波器（或至少80%）；例如一个、两个或者至多或至少五个层。例如，使用较早的层（例如，在网络的前半部分中）可以鼓励根据实例中存在的相对小的方面进行的更多低级解释，而使用较晚的层（例如，在网络的后半部分中）可以鼓励更多高级解释。另一个好的选择是选择生成模型中的所有滤波器中的至少25%、或甚至至少50%。出于效率原因，有可能随机选择滤波器并且使用这些滤波器，在这种情况下，例如，使用滤波器中的至少10%也可能足够了。
另一个好的选择是基于滤波器的独特性来选择滤波器子集。如上所提及，有可能获得相应滤波器的独特性得分。然后，优化Opt可以仅针对最独特的滤波器来确定滤波器抑制因子，该最独特的滤波器例如固定数量或百分比的最独特的滤波器，例如最独特的滤波器中的至多25%、或甚至至多10%。这不仅提供了更集中且更容易可比较的解释，而且还通过限制搜索空间使该优化更有效。
通常，可以使用任何已知的优化方案来执行优化Opt，例如使用基于梯度的优化，诸如随机梯度下降（SGD）或ADAM（参见Kingma和Ba的“Adam：A Method for StochasticOptimization”，在https://arxiv.org/abs/1412.6980可获得，并且通过引用并入本文）。众所周知，这种优化方法可以是启发式的和/或达到局部最优。训练可以在逐个实例的基础上执行，或者可以分批地执行，例如至多或至少64个实例、或者至多或至少256个实例。通常，从指示没有抑制的滤波器抑制因子（例如，值1.0）开始来初始化该优化。各种已知的停止标准可以用于该优化，例如最大迭代次数、相邻迭代之间的目标函数的相对改变的阈值等。
然后，可以基于滤波器抑制因子FSV来确定针对分类器输入CI的分类解释。对此，存在若干种可能性。一种可能性是输出滤波器抑制因子FSV本身作为解释。另一个选项是例如输出经适配的分类器输入ACI、连同对应的原始分类器输入CI。例如，分类器输入ACI可以用于突出显示分类器输入CI中的经适配的分类器输入在其中不同的部分，或者反过来亦然。
另一种可能性是在分类器输入CI与对应经适配的分类器输入ACI之间执行一个或多个比较，以计算相应的差异量度。这种差异量度可以用作分类解释的紧凑表示，并且因此用作可以用于进一步的自动化处理的分类决策本身的紧凑表示，例如作为机器学***均值和/或标准偏差）这些统计信息。
图4b示出了确定生成器输入的详细但非限制性的示例。该示例可以在图4a中用作获得分类器输入和/或生成器输入的替代方案。
在该示例中，可以获得分类器输入CI 410作为输入，并且根据该分类器输入CI，可以确定近似地生成分类器输入CI的生成器输入GI 420。在该示例中，这是通过执行优化IOpt 495来实现的。该优化被配置成：通过最小化生成器输入GI所生成的分类器输入CI’410与作为输入给出的分类器输入CI之间的差异，来确定生成器输入GI。例如，该优化可以包括最小化包含该差异的损失函数。因此，可以找到最佳近似于给定分类器输入CI的分类器输入CI’。分类器输入CI’通常由生成模型Gen在不应用特征抑制向量的情况下确定。该优化可以包括附加项，例如正则化项等。
例如，该示例在生成模型Gen是生成对抗网络的生成部分的情况下适用。例如，优化IOpt可以如在A. Creswell等人的“Inverting The Generator Of A GenerativeAdversarial Network（II）”（在https://arxiv.org/abs/1802.0570可获得，并且通过引用并入本文）中所公开的那样来实现。然而，优化IOpt也可以应用到其他类型的生成模型。通常，针对图4a的各种优化Opt的选项也适用于优化IOpt，例如可以使用随机梯度下降或ADAM。
图4c示出了确定生成器输入的详细但非限制性的示例。该示例可以在图4a中用作获得分类器输入和/或生成器输入的替代方案。
在该示例中，获得类CLS 463作为输入，并且生成属于该类CLS的一个或多个生成器输入GI 420以及对应的分类器输入CI 410。更具体地，使用采样器Sam 496来生成生成器输入GI，该生成器输入GI使得该模型生成来自类CLS的分类器输入CI。这可以使用拒绝采样来完成，例如采样器Sam（例如，随机地）生成生成器实例GI；生成模型Gen生成对应的分类器输入CI；经训练的分类器TC 430将分类器输入CI分类到某个类中；并且采样器Sam检查经训练的分类器是否已经将分类器输入CI分类到类CLS中。例如，这可以被重复给定次数，或者直到采样器Sam已经生成了给定数量的生成器实例GI从而使得生成模型生成来自类CLS的分类器输入为止。要生成的分类器输入的期望数量可以是例如一个或多于一个，例如至多或至少10个或者至多或至少50个。
虽然采样器Sam通常仅生成来自类CLS的实例，但是采样器可以另外应用附加的选择标准。例如，采样器可以要求针对给定类CLS的分类得分超过给定阈值，和/或针对一个或多个其他类的分类得分不超过给定阈值。附加的选择标准还可以基于进一步的机器学习模型，例如分类器（例如，采样器Sam）可以选择还满足由该进一步的机器学习模型所指示的另一个性质（例如，坏天气条件、另一个对象的存在）的来自类CLS的实例（例如，交通标志的图片）。这允许研究边界条件下的给定类的分类行为。
采样器Sam还可以根据需要生成来自类CLS的生成器输入GI和分类器输入CI。例如，还如关于图4a所描述，可以关于多个分类器和生成器输入来执行优化Opt；采样器Sam可以根据需要（例如，每次迭代）对新批次的输入进行采样。通过取得新样本，可以避免由于生成器/分类器输入的特定初始选择而导致的偏差。
图5示出了确定滤波器抑制因子并且使用所确定的滤波器抑制因子来控制制造过程的详细但非限制性的示例。
该图中所示的是制造过程MP 500。在制造过程中，发生了制造操作Man 540。制造操作可以是组装操作。制造过程MP基于控制参数CP 520。
如制造工程领域中所已知的，制造过程通常是高度参数化的过程，其定义了其物理***如何运行以便生产个体样本的严格规则。例如，在组装线中，制造过程的控制参数CP可以包括所施加的压力、热量、扭矩、力、焊接时间等的量。因此，获得关于变化的这些参数会如何影响例如不正常（NOK）的样本的生产的见解是有价值的。例如，施加太大的压力可能会使样本破裂等。例如，这种见解可以导致更有效的制造过程。本发明的各个方面可以被应用以获得解释，例如，从制造过程MP中生产的产品的、由光学质量检查***制作的图像OQI510来确定异常。可选地，这些见解可以被反馈到制造过程MP本身，从而通过并入例如不正常的样本如何被生产的知识来关闭自动化循环。
因此，光学质量检查图像OQI可以被馈送到经训练的分类器TC 530中，以确定所产生的过程是属于成功制造的产品的“正常”类，还是属于未被成功制造的产品的“不正常”（NOK）类。例如，基于经训练的分类器TC的输出，制造过程MP可以被配置成进一步处理该产品或丢弃该产品。
此外，如果该产品未被成功制造，则在解释操作Exp 590中，可以如本文中描述的那样确定分类解释CE 580。例如，分类解释CE可以基于如本文中描述的那样确定的滤波器抑制因子，例如分类解释CE可以包括滤波器抑制因子和/或从它们中导出的度量。
分类解释CE可以被馈送到另外的分类器FC 560中，以将分类解释CE分类到一组预定义的可能异常中。分类器可以被自动训练，但是也可以包括应用一个或多个预定义的定义标准，例如包括经适配的分类器输入在该图像的特定部分中不同于原始光学质量检查图像OQI的标准。对分类解释CE进行分类还可以包括应用预训练的模型或者执行如下操作：即，聚类到例如由预定义的一组验证数据样本产生的一组解释/异常中。
在制造控制操作MC 565中，到该组预定义的异常中的分类可以被信令通知回去，以控制制造过程MP。例如，可以使用已知的自动化协议来执行该信令通知。制造过程可以采取各种类型的动作，包括但不限于标记产品以用于手动检查、操纵分拣***、以安全模式来操作制造过程、或者更改制造过程MP的一个或多个控制参数CP以反映最新的解释。
例如，可以根据一组预定的规则来执行调整。例如，如果光学质量检查图像II与所确定的经适配的分类器实例之间的差异指示已知是处理流水线的某个阶段处的制造过程的特定设置（例如，高温、压力等）的可能副作用的小局部缺陷，则可以自动调整控制参数CP，以降低未来该缺陷再次发生的概率。也可以使用多个样本上的解释与操作参数设置之间的对应关系来训练机器学习***以学习最优操作参数设置。例如，可以使用基于强化学习的***，该***将分类解释CE和/或进一步的分类输出FCO作为输入，并且基于该输入来确定要执行的动作。基于强化的***也可以代替该另外的分类器。
通过使用一组预定义的异常，可以将解释限制为一组离散的可能性，例如样本上的特定位置中的物理缺陷、制造过程期间诸如照明之类的控制条件的改变等，例如这种物理缺陷可以由实质上突出显示了图像的特定区域的解释来表征，而照明条件的改变可能导致实质上突出显示了整个图像的解释。
图6示出了用于针对经训练的分类器来确定分类解释的计算机实现的方法600的框图。分类解释可以针对由经训练的分类器分类到同一类中的一个或多个分类器输入。方法600可以对应于图1的***100的操作。然而，这不是限制，因为也可以使用另一个***、装置或设备来执行方法600。
方法600可以包括：在题为“访问分类器、生成器”的操作中，访问610定义了经训练的分类器的模型数据和定义了生成模型的模型数据。生成模型可以被配置成从生成器输入来生成用于经训练的分类器的分类器输入。生成模型可以包括多个滤波器。生成模型的滤波器可以被配置成在生成模型的内部层处生成滤波器输出。
方法600可以包括：在题为“获得生成器输入”的操作中，获得620对应于一个或多个分类器输入的生成器输入。生成器输入可以使得生成模型近似地生成对应的分类器输入。
方法600可以包括：在题为“确定滤波器抑制因子”的操作中，确定630生成模型的多个滤波器的滤波器抑制因子。滤波器的滤波器抑制因子可以指示针对滤波器的滤波器输出的抑制程度。可以基于根据滤波器抑制因子来适配分类器输入对经训练的分类器的分类的影响，从而确定滤波器抑制因子。
确定630滤波器抑制因子可以包括：在题为“根据滤波器抑制因子来适配分类器输入”的操作中，通过将生成模型应用到对应于分类器输入的生成器输入，同时根据一个或多个滤波器抑制因子来调节生成模型的滤波器的滤波器输出，从而根据一个或多个滤波器抑制因子来适配632分类器输入。
确定630滤波器抑制因子可以进一步包括：在题为“将分类器应用到经适配的分类器输入”的操作中，将经训练的分类器应用634到经适配的分类器输入，以获得受一个或多个滤波器抑制因子影响的分类器输出。
方法600可以包括：在题为“确定解释”的操作中，基于滤波器抑制因子来确定640分类解释。方法600可以进一步包括：在题为“输出解释”的操作中，输出650分类解释。
应当领会的是，一般而言，图6的方法600的操作可以以任何合适的次序（例如，连续地、同时地或其组合）来执行，该次序在适用的情况下受制于例如通过输入/输出关系而必要的特定次序。
该（一个或多个）方法可以在计算机上实现为计算机实现的方法、专用硬件或其两者的组合。还如图7中图示，用于计算机的指令（例如，可执行代码）可以存储在计算机可读介质700上，该指令例如以机器可读物理标记序列710的形式来存储和/或存储为具有不同的电气、例如磁性或光学性质或值的元素序列。可执行代码可以以暂时或非暂时的方式来存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图7示出了光盘700。可选地，计算机可读介质700可以包括暂时或非暂时数据710，该暂时或非暂时数据710表示解码器模型数据，用于预测如本文中所述的多个交互的物理对象的对象特征向量；和/或编码器模型数据，用于将多个物理对象之间的成对交互分类到如本文中所述的一组多个交互类型中。
示例、实施例或可选特征，无论是否被指示为非限制性的，都不应被理解为对要求保护的本发明的限制。
应当注意的是，上述实施例说明而不是限制本发明，并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计出许多替代实施例。在权利要求中，括号中的任何附图标记都不应被理解为对权利要求的限制。动词“包括”及其变化形式的使用不排除权利要求中所记载的元件或阶段之外的元件或阶段的存在。元件前的冠词“一”或“一个”不排除多个这种元件的存在。诸如元件列表或元件组前面的“至少一个”之类的表述表示从该列表或组中选择所有元件或任何元件子集。例如，“A、B和C中的至少一个”应当理解为包括仅A、仅B、仅C、A和B两者、A和C两者、B和C两者、或全部A、B和C。本发明可以借助于包括若干个不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干个部件的设备权利要求中，这些部件中的若干个可以由同一个硬件项来体现。在相互不同的从属权利要求中记载了某些措施的区区事实并不指示不能有利地使用这些措施的组合。

Claims (15)

1.一种用于针对经训练的分类器来确定分类解释的计算机实现的方法（600），分类解释针对由经训练的分类器分类到同一类中的一个或多个分类器输入，所述方法包括：
- 访问（610）定义了经训练的分类器的模型数据和定义了生成模型的模型数据，生成模型被配置成从生成器输入生成用于经训练的分类器的分类器输入，生成模型包括多个滤波器，生成模型的滤波器被配置成在生成模型的内部层处生成滤波器输出；
- 获得（620）对应于一个或多个分类器输入的生成器输入，生成器输入使得生成模型近似地生成对应的分类器输入；
- 确定（630）生成模型的多个滤波器的滤波器抑制因子，滤波器的滤波器抑制因子指示针对滤波器的滤波器输出的抑制程度，基于根据滤波器抑制因子来适配分类器输入对经训练的分类器的分类的影响，从而确定滤波器抑制因子，所述确定包括：
- 通过将生成模型应用到对应于分类器输入的生成器输入，同时根据一个或多个滤波器抑制因子来调节生成模型的滤波器的滤波器输出，从而根据一个或多个滤波器抑制因子来适配（632）分类器输入；
- 将经训练的分类器应用（634）到经适配的分类器输入，以获得受一个或多个滤波器抑制因子影响的分类器输出；
- 基于滤波器抑制因子来确定（640）分类解释，并且输出（650）分类解释。
2.根据权利要求1所述的方法（600），其中经训练的分类器是图像分类器。
3.根据权利要求2所述的方法（600），其中分类器输入包括在制造过程中生产的产品的图像，所述方法进一步包括将分类解释分类到一组预定义的可能异常中。
4.根据权利要求3所述的方法（600），进一步包括基于分类解释的分类来控制制造过程。
5.根据任一项前述权利要求所述的方法（600），包括通过执行优化来确定滤波器抑制因子，所述优化被配置成：
- 针对受滤波器抑制因子影响的一个或多个分类器输入，最小化目标分类器输出与经训练的分类器的受影响的分类器输出之间的差异；
- 最小化由滤波器抑制因子指示的总体抑制程度。
6.根据权利要求5所述的方法（600），进一步包括访问判别模型，判别模型被配置成确定生成模型的输出看似是合成的程度，所述优化进一步被配置成针对一个或多个经适配的分类器输入来最小化所述程度。
7.根据权利要求5或6所述的方法（600），进一步包括获得指示相应滤波器的独特性的独特性得分，其中与较不独特的滤波器的抑制相比，对总体抑制程度的最小化不那么强烈地惩罚更独特的滤波器的抑制。
8.根据任一项前述权利要求所述的方法（600），其中确定分类解释包括确定分类器输入与对应经适配的分类器输入之间的差异，例如逐像素差异、颜色分布差异或熵差异。
9.根据任一项前述权利要求所述的方法（600），其中根据滤波器抑制因子通过将滤波器输出的元素与滤波器抑制因子相乘来调节生成模型的滤波器的滤波器输出。
10.根据任一项前述权利要求所述的方法（600），包括获得分类器输入，以及确定对应于分类器输入的生成器输入。
11.根据权利要求1至9中任一项所述的方法（600），包括获得经训练的分类器的类，以及生成一个或多个生成器输入，所述一个或多个生成器输入使得生成模型生成来自所述类的分类器输入。
12.根据任一项前述权利要求所述的方法（600），包括以感官可感知的方式向用户输出分类解释。
13.根据权利要求12所述的方法（600），其中至少将经适配的分类器输入输出到用户，所述方法进一步包括：从用户获得经适配的分类器输入的期望分类，以用于使用经适配的分类器输入和所述期望分类来重新训练经训练的分类器。
14.一种用于针对经训练的分类器来确定分类解释的***（100），分类解释针对由经训练的分类器分类到同一类中的一个或多个分类器输入，所述***包括：
- 数据接口（120），用于访问定义了经训练的分类器的模型数据（030）和定义了生成模型的模型数据（040），生成模型被配置成从生成器输入生成用于经训练的分类器的分类器输入，生成模型包括多个滤波器，生成模型的滤波器被配置成在生成模型的内部层处生成滤波器输出；
- 处理器子***（140），其被配置成：
- 获得对应于一个或多个分类器输入的生成器输入，生成器输入使得生成模型近似地生成对应的分类器输入；
- 确定生成模型的多个滤波器的滤波器抑制因子，滤波器的滤波器抑制因子指示针对滤波器的滤波器输出的抑制程度，基于根据滤波器抑制因子来适配分类器输入对经训练的分类器的分类的影响，从而确定滤波器抑制因子，所述确定包括：
- 通过将生成模型应用到对应于分类器输入的生成器输入，同时根据一个或多个滤波器抑制因子来调节生成模型的滤波器的滤波器输出，从而根据一个或多个滤波器抑制因子来适配分类器输入；
- 将经训练的分类器应用到经适配的分类器输入，以获得受一个或多个滤波器抑制因子影响的分类器输出；
- 基于滤波器抑制因子来确定分类解释，并且输出分类解释。
15.一种计算机可读介质（700），包括表示指令的暂时或非暂时数据（710），所述指令在被处理器***执行时使所述处理器***执行根据权利要求1至13中任一项所述的方法。
CN202110418134.5A 2020-04-20 2021-04-19 确定分类的解释 Pending CN113537277A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20170305.5 2020-04-20
EP20170305.5A EP3901830A1 (en) 2020-04-20 2020-04-20 Determining an explanation of a classification

Publications (1)

Publication Number Publication Date
CN113537277A true CN113537277A (zh) 2021-10-22

Family

ID=70333840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110418134.5A Pending CN113537277A (zh) 2020-04-20 2021-04-19 确定分类的解释

Country Status (3)

Country Link
US (1) US20210326661A1 (zh)
EP (1) EP3901830A1 (zh)
CN (1) CN113537277A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129794A1 (en) * 2020-10-27 2022-04-28 Accenture Global Solutions Limited Generation of counterfactual explanations using artificial intelligence and machine learning techniques
US20220237467A1 (en) * 2021-01-22 2022-07-28 GE Precision Healthcare LLC Model suitability coefficients based on generative adversarial networks and activation maps
US11843623B2 (en) * 2021-03-16 2023-12-12 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for anomaly detection
US11755688B2 (en) * 2021-03-30 2023-09-12 Singulos Research Inc. Apparatus and method for generating training data for a machine learning system
CN113946920A (zh) * 2021-10-22 2022-01-18 大连海事大学 一种数据不平衡且数据集存在偏差的滚动轴承故障诊断方法

Also Published As

Publication number Publication date
US20210326661A1 (en) 2021-10-21
EP3901830A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
CN113537277A (zh) 确定分类的解释
Azizah et al. Deep learning implementation using convolutional neural network in mangosteen surface defect detection
Zintgraf et al. A new method to visualize deep neural networks
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
CN113272827A (zh) 卷积神经网络中分类决策的验证
Olaniyi et al. Intelligent grading system for banana fruit using neural network arbitration
CN110348381A (zh) 一种基于深度学习的视频行为识别方法
Bahaghighat et al. Vision inspection of bottle caps in drink factories using convolutional neural networks
US11816185B1 (en) Multi-view image analysis using neural networks
CN114782761B (zh) 基于深度学习的智能仓储物料识别方法和***
Mohammed Abdelkader et al. A self-adaptive exhaustive search optimization-based method for restoration of bridge defects images
Shariff et al. Artificial (or) fake human face generator using generative adversarial network (GAN) machine learning model
CN112529025A (zh) 一种数据处理方法及装置
Jeevanantham et al. Deep learning based plant diseases monitoring and detection system
CN109934352B (zh) 智能模型的自动进化方法
CN113255715A (zh) 标识神经网络中的过滤器的方法、其***和存储介质
EP3739515B1 (en) Determining a perturbation mask for a classification model
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
EP3696771A1 (en) System for processing an input instance, method, and medium
Huang et al. Resolving intra-class imbalance for gan-based image augmentation
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
JP2023018316A (ja) 画像認識方法、画像認識装置、および画像認識プログラム
Santosa et al. A robust feature construction for fish classification using grey Wolf optimizer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination