CN117616431A - 针对大规模数据的可解释的机器学习 - Google Patents

Abstract

在借助代理模型解释机器学习模型的预测的***中，机器学习模型输入的特征向量可以基于局部敏感哈希或其他哈希进行分组，其他哈希反映了匹配哈希值中特征向量之间的相似性。对于要解释的给定预测和对应的输入特征向量，可以通过对输入特征向量进行哈希并检索具有匹配哈希值的所存储的特征向量以及其相应的预测，以低计算成本获得代理模型的合适训练集。

Description

针对大规模数据的可解释的机器学习

背景技术

近年来，由于深度学习和其他复杂模型的引入，人工智能(AI)，特别是机器学习，在推理任务上经历了显著的性能提升。然而，尽管这些模型性能更高，但并没有得到广泛使用，因为它们往往难以解释。机器生成的决策或“预测”的可解释性对于透明度和问责制非常重要—这是所谓的“负责任AI”的一个方面。因此，许多依赖机器学习完成日常任务的行业，特别是医疗保健、银行和人力资源等高度监管的行业，都无法利用最近以可解释性为代价的性能进步。已经提出了各种方法来解决这一限制，并提供对复杂机器学习模型预测的解释；其中包括局部可解释模型无关解释(LIME)和SHapley可加性解释(SHAP)。这些算法通常依赖于理解作为机器学习模型输入数据点提供的给定观察的邻居，并试图提取局部邻域的相关属性来解释复杂机器学习模型的预测。为了实现这一目标，这些算法可以涉及通过扰动特征在观察样本附近生成合成数据，这有时会引入不现实的样本，此外，大规模使用的计算成本很高。因此，仍然需要新的方法来更有效地大规模解释机器学习模型的预测。

附图说明

本文参考附图描述了用于解释机器学习模型预测的各种计算机实现的***和方法，其中：

图1是根据各种实施例的用于使用可解释的代理模型解释机器学习模型的预测的***的示意框图；

图2A和图2B是示意性地示出根据各种实施例的使用模糊哈希来为图1中所示的代理模型生成训练集的示意性框图；

图3是示出根据各种实施例的局部敏感哈希的流程图；

图4是示出根据各种实施例的用于解释机器学习模型的预测的方法的流程图；以及

图5是可以执行本文讨论的任何一个或多个方法的示例机器的框图。

具体实施方式

本文描述了一种计算机实现的方法来解释机器学习模型的预测，这些模型本身并不提供对其预测原因的洞察，以下也称为“黑盒”ML模型，借助可解释的局部“代理”机器学习模型，这些模型在局部近似黑盒模型的行为。对于感兴趣的给定输入数据点(或简称为“数据点”或“输入”)，可以基于形成感兴趣的输入“局部邻域”的类似输入，使用黑盒模型对这些输入的预测作为基准真实标签，以监督的方式训练代理模型。代理模型对输入的特征集合(至少两个，尽管在大多数情况下更多)进行操作，例如，黑盒模型利用的特征的子集或简化。在训练代理模型以至少在感兴趣的输入的局部邻域中做出与黑盒模型大致相同的预测的过程中，确定与各种特征相关联的权重，并且这些特征权重固有地提供了特征对预测的相关贡献的洞察。为了说明，考虑将基于文本的电子邮件分类为良性和恶意电子邮件的任务。在这种情况下，特征可以是单词集合中的每个单词的存在或不存在，或者每个单词在电子邮件文本中的出现频率。与给定单词相关联的更大权重将表示电子邮件的分类在很大程度上基于该单词。

获取用于代理模型的训练数据的一种方法是通过扰动感兴趣的输入，即略微改变一些特征，直接从感兴趣的输入推导出感兴趣的输入的局部邻域中的训练输入。例如，从给定的电子邮件或其他文本文档中，可以通过省略不同的单词组合来推导出类似的电子邮件或文本文档。导出的输入与通过设计的感兴趣的输入类似，然后，可以将导出的输入馈送到黑盒模型中，以生成用于训练代理模型的标签。备选地，通过计算感兴趣的输入和现有数据集中的输入之间的成对相似性，在现有数据集(例如用于黑盒模型的训练集)内标识给定感兴趣输入的局部邻域内的数据点。无论哪种情况，为代理模型生成训练数据的计算成本都是巨大的。

根据各种实施例，例如，在黑盒模型的训练期间，通过预先按照相似性对输入数据点进行分组来促使确定用于代理模型的训练数据。然后，在要解释针对感兴趣的输入的预测时，可以再次基于相似性将感兴趣的输入分配给一个组，并且可以检索构成感兴趣的输入的局部邻域的该组内的数据点以及它们先前确定的预测，以用作代理模型的训练集。相似性分组可以通过“模糊哈希”来完成，或者更具体地说，通过局部敏感哈希(LSH)来完成，LSH通过设计倾向于将匹配的哈希值分配给相似的数据点。使用的特定哈希函数取决于相似性度量。例如，正如下面更详细地解释的那样，使用Jaccard相似性来衡量两个特征集之间的重叠程度，最小哈希是一个合适的选择。有益的是，使用LSH可以以比执行成对比较或通过特征扰动在兴趣点附近生成合成数据更低的计算成本找到相似的数据点。一旦数据点集合已经根据局部敏感哈希值进行了表征，计算针对新数据点的哈希值可以轻松确定相似的数据点。例如，如果该数据点集合被分类为“桶”，其中每个桶内的数据点共享一个共同的局部敏感哈希值，则为新数据点计算的哈希值立即标识相似数据点的桶。

通过附图的以下详细描述，将更容易理解上述概述。

图1是根据各种实施例的用于使用可解释的代理模型104解释机器学习(ML)模型102的预测的***100的示意框图。机器学习模型102和用于解释其预测的***100可以在软件中实现，例如，由计算机的一个或通用处理器执行，使用软件和硬件加速器的组合，或者通常使用软件和/或硬件的任何合适的组合；图5图示了用于实现***100的示例机器。

机器学习模型102可以是例如神经网络模型、贝叶斯分类器、决策树或森林，或者通常是从数据中学习的任何类型的模型，其对从输入中提取的特征集合(在本文统称为“特征向量”106)进行操作，以产生输出，在本文称为“预测”108(而不暗示对输出的性质有任何限制)。例如，机器学习模型102可以是分类器模型，其预测108对应于输入被分到的类，或者是输出数值作为其预测108的回归模型。确定特征向量106的原始输入可以是但不限于文本、图像、表格数据、音频数据或其他时变信号等。为了列举几个说明性应用，机器学习模型102可以，例如，将法律文件分类为特权/非特权，分析放射学图像以进行医学诊断，评估贷款申请中包含的分类和/或数字信息以计算符合资格的贷款金额，或处理录音以标识说话者。在这些和其他情况下，理解模型102如何得出某个预测通常是重要的，特别是如果该预测是错误的或与人类得出的结论不一致。例如，理解错误的文档分类或基于图像的医学诊断的起源可以有助于提高模型的准确性。或者，在贷款申请的情况下，申请人可能想知道批准贷款金额的原因。然而，机器学习模型102在其操作中通常是复杂和不直观的，其预测108不容易解释，换句话说，从人类的角度来看，机器学习模型102可能是“黑盒”。

根据各种实施例，使用被训练以局部模仿黑盒模型102的行为的代理机器学习模型104来解释黑盒机器学习模型102的预测。与黑盒模型102类似，代理模型104将特征向量110作为输入，并输出从特征向量110计算的预测112(在本文也称为“代理预测”，以将其与黑盒模型102所做的预测108区分)。与黑盒模型102不同，代理模型104可以被人解释，因为其预测112可以容易地链接到负责预测112的特征向量110内的特征。这种可解释性可以由代理模型104的选择、特征向量110的较低维度或两者的组合产生。本质上易于解释并因此用作代理模型104的机器学习模型类型包括例如但不限于线性模型，例如线性或逻辑回归模型、最小绝对收缩和选择算子(LASSO)模型、决策树和朴素贝叶斯分类器。在一些实施例中，输入到代理模型104的特征向量110仅包括形成黑盒模型102操作的特征向量106的特征子集(至少两个)。

代理模型104的可解释性通常通过仅仅局部地近似黑盒模型102的行为来获得。也就是说，对于其相关联的黑盒预测114要被解释的任何给定感兴趣的输入，代理模型104被训练以在类似于感兴趣的输入的数据点的邻域内模仿黑盒模型102，而不是跨越黑盒模型102的输入的全局范围。在各种实施例中，如图所示，用于解释黑盒模型102的输出的***100除了代理模型104之外，还包括局部邻域生成器116，该局部邻域生成器116从感兴趣的输入的特征向量118确定在其附近的特征向量110的集合，代理模型104将在该特征向量110的集合上进行训练。特征向量110的集合通常包括至少两个特征向量110，尽管在实践中，为了实现代理模型104的良好精度，可以使用许多特征向量110(例如，取决于可用性和代理模型104的复杂性，数十、数百或数千个特征向量)。在许多场景中，感兴趣的特征向量118是稀疏的，这意味着对于黑盒模型102所利用的全局特征表示中可用的大量特征，它为零。这允许感兴趣的特征向量118及其特征向量110的局部邻域的较低维表示，例如，其中特征向量110仅包括在感兴趣的特征向量118中非零的全局特征集合的子集。

局部邻域生成器116获得在感兴趣的特征向量118附近的针对特征向量110的黑盒模型的预测120，并将特征向量110的局部邻域和相关联的黑盒预测120提供给代理模型104作为训练数据。而在常规方法中，局部邻域中的特征向量110通常在收到感兴趣的特征向量118时从特征向量118创建，然后被馈送到黑盒模型102中以计算黑盒预测120，本文所设想的局部邻域生成器116使用模糊哈希简单地检索在黑盒模型102的先前计算和存储的输入和输出对中标识的特征向量110的集合和黑盒预测120，如参考图2更详细地解释的。这种新方法极大地减少了用于解释黑盒模型102的预测的机器资源，从而能够对更大规模的数据进行解释。

用于解释黑盒模型102的预测的***100还包括学习算法122，该学习算法122基于输入特征向量110和相关黑盒预测120的训练数据，以监督的方式确定代理模型104的结构和/或可调整参数，特别是特征权重124。该过程通常涉及迭代地最小化成本或损失函数，该损失函数测量代理模型104从特征向量110生成的代理预测112和用作标签的那些特征向量110的黑盒预测120之间的差异。特定的学习算法122通常取决于代理模型104的类型。例如，回归模型可以通过回归分析学习，决策树可以通过贪心算法学习，并且可以使用最大似然估计来学习朴素贝叶斯分类器的参数。合适的监督训练算法通常为本领域普通技术人员所知。

在完成代理模型训练104时，与输入特征向量110的各种特征相关联的权重124是固定的。这些特征权重124表示不同输入特征在确定预测中的相对重要性。因此，在基于感兴趣的输入的局部邻域训练模型104时，代理模型104的特征权重124的排序126构成对相关感兴趣的黑盒标签114的解释，因此构成***100的输出。特征排序126或通过将其特征权重与设定阈值进行比较而获得的特征的子集可以被显示或以其他方式传达给用户，和/或用作各种自动算法的输入。例如，在一些实施例中，特征排序126用于手动或自动地细化黑盒模型102，例如，通过从模型102使用的特征表示中移除负责错误预测的(高排序)特征，或者通过从特征表示中省略具有很少预测价值的低排序特征来提高效率。

图2A和2B是示意性地示出根据各种实施例使用模糊哈希来生成针对图1中所示的代理模型104的训练集的示意框图。所描绘的方法涉及两个阶段的哈希：在黑盒模型102的训练和/或操作期间，以及随后在解释特定黑盒预测的过程中。这两个阶段利用相同的模糊哈希算法200，该模糊哈希算法200可以被实现为用于解释黑盒模型102的预测的***100的一部分，或者作为与***100通信的单独组件。

参考图2A，在黑盒模型102的训练或操作期间，由于输入的特征向量106由黑盒模型102处理以生成预测108，因此模糊哈希算法200将至少一些特征向量106映射到哈希值202上。如本文所使用的，哈希算法200被理解为包括一个或多个哈希函数的集合。也就是说，在一些实施例中，哈希算法200包括单个哈希函数，用于为每个被哈希的特征向量生成单个哈希值202，而在其他实施例中，哈希算法200包括多个哈希函数，从每个被哈希的特征向量106产生多个响应的哈希值202。哈希算法200被故意选择或配置为生成大量的“碰撞”意味着多个不同特征向量106映射到单个哈希函数的相同哈希值202上的实例，或者如果使用多个哈希函数，则在其计算的哈希值202中的一个或多个中重叠。更具体地说，模糊哈希算法，如本文所使用的术语，将相似的特征向量匹配到相同哈希上，或者在多个哈希函数的情况下，匹配到重叠的哈希集合上。模糊哈希算法的示例包括局部敏感哈希(LSH)算法，其将在下面参考图3进行解释，以及上下文触发的分段哈希(CTPH)，其使用传统和滚动哈希来生成两个相似输入之间相似的输入的签名。

这允许基于特征向量106的哈希值将特征向量106分类到相似特征向量106的“桶”。如图所示，成对的特征向量106及其相关联的黑盒预测108存储在(易失性或非易失性)计算机存储器中(例如，在位置204、205、206中)，通过基于从特征向量106计算的哈希值202的相似性进行分桶。在实践中，每个哈希值例如可以用于寻址存储器位置，其中存储映射到该特定哈希值202的所有特征向量106以及相关联的黑盒预测108，或者存储指向存储特征向量106和预测108的另一存储器位置的指针。在多个哈希函数的情况下，可以针对每个函数分别对特征向量106和预测108进行分桶。

参考图2B，当局部邻域生成器116接收到与寻求解释的黑盒预测114相关联的感兴趣的特征向量118时，它将特征向量118传递给模糊哈希算法200，模糊哈希算法200利用一个或多个哈希函数从感兴趣的特征向量118计算一个或多个哈希值210的集合。局部邻域生成器116然后使用返回的(多个)哈希值210查找与感兴趣的特征向量118共享(多个)哈希值210的特征向量106和预测108。对于单个哈希值210，局部邻域生成器116可以简单地检索存储在存储有相应存储桶的存储器位置(例如，204、205或206)中的所有特征向量106和预测108。当使用多个哈希函数时，局部邻域生成器116可以检索与相应的多个哈希值210相关联的特征向量106和预测108的桶。然后可以过滤特征向量106和预测108的聚合集合，以仅保留落在与哈希值210相关联的桶的指定最小数量中的那些对，作为在训练代理模型104时使用的特征向量110和黑盒预测120。桶的指定最小数量取决于所检索的特征向量106和感兴趣的特征向量118之间的期望相似度。例如，在为代理模型104选择训练集合的特征向量110的集合时，局部邻域生成器可以使用与感兴趣的特征向量118共享至少一个哈希值202、210的所有特征106；或者仅与感兴趣的特征向量118共享至少两个哈希值202、210的特征向量，反映更大程度的相似度；或者与感兴趣的特征向量118共享所有哈希值202、210的特征向量，反映在哈希中捕获的最大程度的相似度。作为过滤检索到的特征向量106的备选或附加，还可以在训练代理模型104时使用它们全部，但根据它们与感兴趣的特征向量的相似度具有不同的权重。例如，当学习算法122根据代理预测112和相应的黑盒预测120之间的差异计算代价函数时，可以基于各个特征向量110与感兴趣的特征向量118的相似度对差异进行加权(具有更大的相似性，获得更大的权重)。

图3是示出根据各种实施例的用于局部敏感哈希的方法300的流程图。从原始输入302开始，该方法涉及“特征化”或“向量化”该输入(动作304)，即提取特征以生成表示输入302的特征向量306。合适的特征表示对于本领域技术人员是众所周知的，并且通常取决于原始输入302的类型。在文本输入的情况下，特征化可能涉及“分块化(shingling)”文本，也就是说，将其分解为给定长度的重叠字符序列。例如，文本“Hello Sue”可以被分解为三字符分块的以下向量：[Hel，ell，llo，lo_，o_S，_Su，Sue]。分块可以被转换为数字表示，例如，通过连接各个字母的二进制表示并将得到的二进制数转换为整数。在一些实施例中，针对文档的特征向量由分块(分块的数字表示)本身按照它们出现的顺序组成，并且通过在相应长度处切割文档或根据需要填充短文档的特征向量来实现固定数量的维度。在其他实施例中，通过从大量文档中提取的分块的并集创建分块的“字典”，并且每个单独的文档由二进制向量表示，对于字典中的每个分块，指示该分块是否存在于文档中。如将容易理解的，代替分块，单词或短语也可以用于生成字典。

一旦为给定输入302创建了特征向量306，就使用第一哈希函数的集合对其进行“最小哈希”(动作308)。最小哈希是一种技术，实际上，通过确定跨特征向量的最小值来随机选择特征向量306的特征之一。在一些实施例中，使用N个第一哈希函数来生成N个最小哈希值。更具体地，第一哈希函数中的每个第一哈希函数单独应用于特征向量306的每个特征(在它们的数值表示中)或元素，并且选择跨所得哈希值的最小值作为最小哈希值310。例如，考虑一个哈希函数，它将输入与种子1相乘，加上种子2，并取结果的最后八位，可以表示为整数。种子1＝230，种子2＝350，这个哈希函数将映射示例特征向量[718,72,53]如下：

718→(718*230+350)＝165490→01110010→114

72→(72*230+350)＝16910→00001110→14

53→(53*230+350)＝12540→11111100→252

三个哈希值114、14和252中的最小值是14，在本示例中，这是向量[718，72，53]的最小哈希值。注意，如上所述，特征向量可以表示为二进制向量，指示针对特征字典中的每个条目，在文档中是否存在相应的特征。在这种情况下，作为将特征进行哈希(对应于二进制特征向量中为1的元素)本身的备选，可以通过确定置换特征向量中值为1的第一个元素的索引，基于特征向量中元素的随机置换来创建最小哈希值。N个不同的哈希函数将由N个不同的置换提供。这种备选方法适用于具有小到中等字典大小的应用程序。对于较大的字典，基于特征本身的哈希计算通常会在计算上更有效。

由来自特征向量306的第一哈希函数生成的N个最小哈希值310，或者最小哈希值310的表示，被连接以形成用于输入302的签名(动作312)。例如，在一实施例中，第一函数的集合包括64个哈希函数，并且二进制表示中的每个最小哈希值的最后两位被用于创建128位的签名314。签名314可以被划分为段，例如，划分为四个段，每个段32位，并且每个段的二进制表示可以被转换为十六进制表示。然后，签名314作为整体可以被写入，例如，作为由句点分隔的十六进制段表示的级联(例如，B0EFDDD9.13921F45.81C8A7F5.B196D1FE)。然后，在动作316中，签名314的段被哈希，使用第二哈希函数来生成用于对特征向量进行分桶的模糊哈希值318，针对每个段有一个模糊哈希值。注意，对签名314进行分段是可选的；因此，哈希方法300的输出可以是由第二哈希函数从签名314计算的单个模糊哈希值。如果每个输入特征向量被映射到单个模糊哈希值，则如果两个特征向量的哈希值匹配，则这两个特征向量被视为相似。在为每个特征向量确定多个模糊哈希值的实施例中，可以基于匹配哈希值的数目来确定相似度，并且例如，用于对代理模型的训练集中的特征向量110进行加权。

在前面的描述中，假设黑盒模型102、代理模型104和模糊哈希算法200都使用相同的特征表示(直到针对黑盒模型102和代理模型104的表示之间可能的降维)，这意味着为了确定相似输入的邻域而计算哈希值的输入特征和特征向量与流入黑盒模型102用于进行预测和流入代理模型104用于训练和黑盒结果的后续解释的输入特征和特征向量相同。本领域普通技术人员将理解，原则上也可以利用不同的特征表示，只要在哈希算法操作的特征中仍然捕获相关的相似性。允许不同的特征表示在黑盒模型102和代理模型104的类型中提供了更大的灵活性，并且当寻求对原始输入(例如，图像或文本)而不是黑盒模型所利用的特征的解释时是有意义的。然而，其代价是提起模糊哈希和将特征重要性(如与代理模型104的输入特征相关联的权重所提供的)汇总到原始特征变得更复杂。

图4是总结根据各种实施例用于解释(黑盒)机器学习模型102的预测的方法400的流程图。方法400包括使用哈希函数的集合对表示机器学习模型的(第一)输入的多个(第一)特征向量进行模糊哈希(动作402)。在一些实施例中，哈希函数实现局部敏感哈希。可选地，与相应的黑盒预测配对的(第一)特征向量被存储在存储器中，每个(第一)特征向量与利用哈希函数的集合从(第一)特征向量计算的一个或多个模糊哈希值相关联(动作404)。例如，如上所述，特征向量和相关联的黑盒预测可以存储在与各个哈希值相关联的存储器位置处的类似特征向量的组或桶中。备选地，针对每个特征向量的(多个)哈希值可以与特征向量一起显式地存储。

随后，在接收到机器学习模型的新(或第二)输入的新(或第二)特征向量以及由机器学习模型从新特征向量计算的相应预测时，使用相同的哈希函数的集合从新特征向量计算一个或多个模糊哈希值(动作406)。然后，使用这些模糊哈希值来标识先前存储的第一特征向量中的特征向量的集合，特征向量的集合在其计算出的模糊哈希值的一个或多个中与第二特征向量相匹配(动作408)。所标识的第一特征向量的集合以及它们相关的预测被用作训练可解释的局部代理机器学习模型的数据集(动作410)。在训练过程中，并且作为训练过程的固有部分，对代理模型的输入特征进行加权。一旦训练完成，基于特征权重提供解释黑盒机器学习模型预测的输出(动作412)。输出可以例如采取计算机显示器上的视觉输出、发送给用户的通信(例如，电子邮件)、生成并存储在存储器中以供用户将来检索的文件，或者甚至是***响应于解释而采取的一些自动化动作的形式。

在一些实施例中，动作412中提供的输出包括按特征权重对输入特征的排序，指示特征对于达到预测的相对重要性。这些特征可以直接链接到输入的原始特征，例如，文本中的某些单词，从而允许对预测的原因进行直观的解释。在一些实施例中，该输出标识特征的子集，例如，固定数目的最高排序特征，或者其关联的权重超过某个指定阈值权重的所有特征；这些特征对预测做出了高度贡献。因此，如果预测是错误的(例如，由人类评估)，从黑盒模型使用的输入特征的集合中移除高排序特征有可能改进模型。在一些实施例中，黑盒子模型在其特征集合更新后重新训练。对于包括最高排序的特征的备选，输出还可以通过特征权重标识最低范围的特征，或者其关联的权重低于指定阈值的特征；这些特征对预测没有实质性贡献。在这种情况下，通过删除低排序的特征，可以提高模型的效率，这些特征对预测的判别价值很小。

所描述的解释机器学***、温度)、表格数据(例如，包括年龄、性别等的患者人口统计数据，活动水平、情绪等的定性的自我评估；病史数据)和/或其他输入。在这种情况下，通常希望将诊断或治疗建议与触发它的输入数据中的基本特征联系起来，以帮助患者和他/她的医生更好地了解患者的病情，并且总体上进行研究的目的。作为另一个示例，在金融和相关服务中，机器学***台中，内容通常由机器学***性是可取的。

本文描述的***和方法的一个特定示例应用涉及电子邮件的分类，例如，用于过滤掉网络钓鱼电子邮件和垃圾邮件的目的。机器学习分类器可以基于被标记的训练集进行训练，该训练集包括特征化的电子邮件文本和/或电子邮件元数据(例如，发件人和收件人字段、发送时间、主题行等)，以及一方面作为良性电子邮件的(手动)分类，另一方面作为恶意电子邮件(例如，网络钓鱼)或垃圾邮件的(手动)分类。在分类器的训练期间，可以应用如上所述的局部敏感哈希算法来为每封电子邮件生成哈希值的集合，然后可以根据电子邮件的哈希值将电子邮件注册为属于某些桶。相似的电子邮件落在同一个哈希桶中，允许在哈希空间中进行有效搜索。在随后的模型推断过程中，当现在训练的机器学习分类器用于对新传入的电子邮件进行分类时，这样的分类可以触发对解释或说明的请求。为此，可以将局部敏感哈希算法应用于目标电子邮件，以确定类似电子邮件的一个或多个哈希桶。可以根据它们与目标电子邮件的接近程度对标识的电子邮件进行加权(例如，根据匹配哈希值的数量确定)，并以加权的方式用于训练代理模型，该代理模型以特征排序的形式为分类提供解释。如果目标文档被错误分类(例如，当它实际上是恶意的时，作为良性的)，可以标识导致错误分类的一个或多个特征，并从机器学习模型先前使用的特征集合中移除，然后可以使用修正的特征集合重新训练。

图5是示例机器500的框图，该示例机器500可以实现***100和/或其解释的机器学***板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、智能手机、网络设备、网络路由器、交换机或网桥、服务器计算机、数据库、会议室设备，或任何能够执行指令(顺序或其他)的机器，该指令指定该机器要采取的操作。此外，虽然仅示出了单个机器，但术语“机器”也应被视为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一个或多个方法的任何机器集合，例如云计算、软件即服务(SaaS)、其他计算机集群配置。

机器(例如，计算机***)500可以包括硬件处理器502(例如，中央处理器(CPU)、图形处理器(GPU)、硬件处理器核心或其任意组合)、主存储器504和静态存储器506，其中的一些或全部可以经由互连链路(例如，总线)508相互通信。机器500还可以包括显示单元510、字母数字输入设备512(例如，键盘)和用户界面(UI)导航设备514(例如，鼠标)。在示例中，显示单元510、输入设备512和UI导航设备514可以是触摸屏显示器。机器500可以附加包括存储设备(例如，驱动单元)516、信号生成设备518(例如，扬声器)、网络接口设备520、以及一个或多个传感器521，诸如全球定位***(GPS)传感器、指南针、加速度计，或其他传感器。机器500可以包括输出控制器528，诸如串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外线(IR)、近场通信(NFC)等)连接，以通信或控制一个或多个***设备(例如，打印机、读卡器等)。

存储设备516可以包括机器可读介质522，在该机器可读介质522上存储包含或利用本文所述的任何一个或多个技术或功能的一组或多组数据结构或指令524(例如，软件)。指令524还可以在机器500执行其期间完全或至少部分地驻留在主存储器504、静态存储器506或硬件处理器502内。在示例中，硬件处理器502、主存储器504、静态存储器506或存储设备516中的一个或任意组合可以构成机器可读介质。

虽然机器可读介质522被示出为单个介质，但术语“机器可读介质”可以包括单个介质或多个介质(例如，集中式或分布式数据库，和/或相关的缓存和服务器)，被配置为存储一个或多个指令524。

术语“机器可读介质”可以包括能够存储、编码或携带用于由机器500执行的指令并且使得机器500执行本公开的任何一个或多个技术的任何介质，或者能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构的任何介质。非限制性机器可读介质的示例可以包括固态存储器，以及光学和磁性介质。机器可读介质的具体示例可包括：非易失性存储器，诸如半导体存储器件(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存存储装置；磁盘，例如内部硬盘和可移动磁盘；磁光盘；随机存取存储器(RAM)；固态硬盘(SSD)；在一些示例中，机器可读介质可以包括非暂时性机器可读介质。在一些示例中，机器可读介质可以包括不是暂时性传播信号的机器可读介质。

指令524还可以经由网络接口设备520使用传输介质在通信网络526上发送或接收。机器500可以利用多个传输协议(例如，帧中继、网际互连协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任何一个与一个或多个其他机器通信。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如，电气和电子工程师协会(IEEE)802.11标准族称为 IEEE 802.16标准族称为)，IEEE 802.15.4标准族，长期演进(LTE)标准族、通用移动电信***(UMTS)标准族、点对点(P2P)网络等。在示例中，网络接口设备520可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线，以连接到通信网络526。在示例中，网络接口设备520可以包括多个天线，以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种进行无线通信。在一些示例中，网络接口设备820可以使用多用户MIMO技术进行无线通信。

如本文所述，示例可以包括逻辑或多个组件、模块或机制(以下统称为“模块”)，或者可以对其进行操作。模块是能够执行指定操作的有形实体(例如，硬件)，并且可以以某种方式被配置或布置。在示例中，电路可以以指定方式被布置(例如，在内部或相对于诸如其他电路的外部实体)作为模块。在示例中，一个或多个计算机***(例如，独立的、客户端或服务器计算机***)或一个或多个硬件处理器的全部或部分可以由固件或软件(例如，指令、应用程序部分或应用程序)配置为操作以执行指定操作的模块。在示例中，软件可以驻留在机器可读介质上。在示例中，软件当由模块的底层硬件执行时，使得硬件执行指定的操作。

因此，术语“模块”被理解为包括有形实体，该实体是物理构造、具体配置(例如，硬连线)或临时(例如，过渡地)配置(例如，编程)以指定方式操作或执行本文所述的任何操作的部分或全部的实体。考虑到模块被临时配置的示例，每个模块不需要在任何时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如，在一个时间实例中构成特定模块，并在不同时间实例中构成不同模块。

以下编号的示例是说明性的实施例。

示例1提供了一种用于解释机器学习模型的预测的计算机实现的方法。该方法包括在计算机存储器中存储机器学习模型的第一输入的多个第一特征向量。每个第一特征向量被存储与至少一个模糊哈希值相关联，该至少一个模糊哈希值利用至少一个哈希函数从第一特征向量被计算。该方法还包括：响应于接收到机器学习模型的第二输入的第二特征向量和由机器学习模型从第二特征向量计算的相应的预测，使用计算机处理器来执行操作，该操作包括：使用至少一个哈希函数从第二特征向量计算至少一个模糊哈希值，标识多个第一特征向量中的至少两个第一特征向量的集合，至少两个第一特征向量在其计算出的模糊哈希值的至少一个中与第二特征向量相匹配，基于所标识的第一特征向量的集合和由机器学习模型从第一特征向量计算的相应的预测，来训练可解释的局部代理模型，该训练包括确定与代理模型的至少两个输入特征的集合相关联的特征权重，以及基于特征权重提供输出。

示例2是根据示例1所述的方法，其中该输出包括预测的解释，该预测基于输入特征按特征权重的排序而从第二特征向量被计算。

示例3是根据示例1所述的方法，其中该输出标识代理模型的输入特征的集合的子集，该子集由至少一个按特征权重排序最高的特征组成，或由所关联的特征权重超过指定阈值的至少一个特征组成。

示例4是根据示例3所述的方法，其中代理模型的输入特征是机器学习模型的输入特征的集合的子集。进一步地，在该示例中，如果由机器学习模型从第二特征向量计算的预测是错误的，该方法还包括从机器学习模型的输入特征的集合中移除代理模型的所标识的输入特征的集合的子集。

示例5是根据示例4所述的方法，其中机器学习模型在从机器学习模型的输入特征的集合中移除所标识的子集之后被重新训练。

示例6是根据示例1所述的方法，其中代理模型的输入特征是机器学习模型的输入特征的集合的子集，并且该输出标识代理模型的输入特征的集合的子集。该子集由至少一个按特征权重排序最低的特征组成或由所关联的特征权重低于指定阈值的至少一个特征组成。该方法还包括从机器学习模型的输入特征的集合中移除所标识的子集。

示例7是根据示例1-6中任一项所述的方法，其中模糊哈希值通过局部敏感哈希来计算。

示例8是根据示例1-7中任一项所述的方法，其中第一和第二输入是文本输入，并且特征向量表示文本输入的分块。

示例9是根据示例1-8中任一项所述的方法，其中针对每个特征向量计算至少一个模糊哈希值涉及：使用第一哈希函数计算跨特征向量的相应的最小哈希值；将第一哈希函数的最小哈希值的表示连接到与特征向量相关联的签名向量中；以及将第二哈希函数应用于签名向量，以创建至少一个模糊哈希值。

示例10是根据示例9所述的方法，其中至少一个模糊哈希值包括多个模糊哈希值，多个模糊哈希值通过将签名向量划分为多个段并且将第二哈希函数应用于多个段中的每个段而被计算。

示例11是根据示例9或示例10所述的方法，其中使用第一哈希函数计算最小哈希值包括：将第一哈希函数中的每个第一哈希函数应用于特征向量中的每个特征，以计算针对第一哈希函数的特征哈希值，以及确定针对第一哈希函数中的每个第一哈希函数的特征哈希值的最小哈希值。

示例12是根据示例1-11中任一项所述方法，还包括：基于匹配的模糊哈希值的数目确定每个所标识的第一特征向量与第二特征向量之间的相似性；以及在训练可解释的局部代理模型中，基于所确定的相似性对所标识的第一特征向量进行加权。

示例13是根据示例1-12中任一项所述的方法，其中局部可解释代理模型是或包括决策树、线性回归模型、逻辑回归模型、最小绝对收缩和选择算子(LASSO)模型和/或朴素贝叶斯分类器模型。

示例14，一种计算机***，包括至少一个计算机处理器和计算机存储器，计算机存储器存储机器学习模型的第一输入的多个第一特征向量，每个第一特征向量与至少一个模糊哈希值相关联，至少一个模糊哈希值利用至少一个哈希函数从第一特征向量被计算，以及指令，当指令由至少一个计算机处理器执行时，使得至少一个计算机处理器执行用于解释预测的操作，预测由机器学习模型从机器学习模型的第二输入的第二特征向量来计算。该操作包括：使用至少一个哈希函数从第二特征向量计算至少一个模糊哈希值，标识多个第一特征向量中的至少两个第一特征向量的集合，至少两个第一特征向量在其计算出的模糊哈希值的至少一个中与第二特征向量相匹配，基于所标识的第一特征向量的集合和由机器学习模型从第一特征向量计算的相应的预测，来训练可解释的局部代理模型，该训练包括确定与代理模型的至少两个输入特征的集合相关联的特征权重，以及基于特征权重提供输出。

示例15是根据示例14所述的计算机***，其中该操作实现示例2-13中的任意一项所述的方法。

示例16是一种计算机可读介质或多种计算机可读介质，存储机器学习模型的第一输入的多个第一特征向量，每个第一特征向量与至少一个模糊哈希值相关联，至少一个模糊哈希值利用至少一个哈希函数从第一特征向量被计算，以及指令，当指令由至少一个计算机处理器执行时，使得至少一个计算机处理器执行用于解释预测的操作，预测由机器学习模型从机器学习模型的第二输入的第二特征向量来计算。该操作包括：使用至少一个哈希函数从第二特征向量计算至少一个模糊哈希值，标识多个第一特征向量中的至少两个第一特征向量的集合，至少两个第一特征向量在其计算出的模糊哈希值的至少一个中与第二特征向量相匹配，基于所标识的第一特征向量的集合和由机器学习模型从第一特征向量计算的相应的预测，来训练可解释的局部代理模型，该训练包括确定与代理模型的至少两个输入特征的集合相关联的特征权重，以及基于特征权重提供输出。

示例17是根据示例16的计算机可读介质或媒介，其中该操作实现示例2-13中任一项所述的方法。

尽管已经参照具体的实施例描述了实施例，但是显而易见的是，可以对这些实施例进行各种修正和改变，而不脱离本发明的更广泛的范围。因此，说明书和附图应被视为说明性而非限制性的意义。形成本文一部分的附图通过说明而非限制的方式示出了可以实践所述主题的具体实施例。所示的实施例被充分详细地描述，以使本领域技术人员能够实践本文公开的教导。可以使用和从中得出其他实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑上的替换和改变。因此，本说明书，不应被认为具有限制性意义，并且各种实施例的范围仅由所附权利要求连同这些权利要求所赋予的全部等效范围来限定。

Claims (15)

1.一种计算机***，包括:

至少一个计算机处理器；以及

计算机存储器，所述计算机存储器存储：

机器学习模型的第一输入的多个第一特征向量，每个所述第一特征向量与至少一个模糊哈希值相关联，所述至少一个模糊哈希值利用至少一个哈希函数从所述第一特征向量被计算；以及

指令，当所述指令由所述至少一个计算机处理器执行时，使得所述至少一个计算机处理器执行用于解释预测的操作，所述预测由所述机器学习模型从所述机器学习模型的第二输入的第二特征向量来计算，所述操作包括：

使用所述至少一个哈希函数从所述第二特征向量计算至少一个模糊哈希值，

标识所述多个第一特征向量中的至少两个第一特征向量的集合，所述至少两个第一特征向量在其计算出的模糊哈希值的至少一个中与所述第二特征向量相匹配，

基于所标识的第一特征向量的所述集合和由所述机器学习模型从所述第一特征向量计算的相应的预测，来训练可解释的局部代理模型，所述训练包括确定与所述代理模型的至少两个输入特征的集合相关联的特征权重，以及

基于所述特征权重提供输出。

2.根据权利要求1所述的***，其中所述输出包括所述预测的解释，所述预测基于所述输入特征按特征权重的排序而从所述第二特征向量被计算。

3.根据权利要求1所述的***，其中所述输出标识所述代理模型的所述输入特征的集合的子集，所述子集由至少一个按特征权重排序最高的特征组成，或由所关联的特征权重超过指定阈值的至少一个特征组成。

4.根据权利要求3所述的***，其中所述代理模型的所述输入特征是所述机器学习模型的输入特征的集合的子集，并且其中，如果由所述机器学习模型从所述第二特征向量计算的所述预测是错误的，所述操作还包括从所述机器学习模型的输入特征的集合中移除所述代理模型的所标识的所述输入特征的集合的子集。

5.根据权利要求4所述的***，所述操作还包括在从所述机器学习模型的所述输入特征的集合中移除所标识的所述子集之后重新训练所述机器学习模型。

6.根据权利要求1所述的***，其中所述代理模型的所述输入特征是所述机器学习模型的输入特征的集合的子集，其中所述输出标识所述代理模型的所述输入特征的集合的子集，所述子集由至少一个按特征权重排序最低的特征组成或由所关联的特征权重低于指定阈值的至少一个特征组成，并且其中所述操作还包括从所述机器学习模型的所述输入特征的集合中移除所标识的所述子集。

7.根据权利要求1所述的***，其中所述模糊哈希值通过局部敏感哈希来计算。

8.根据权利要求1所述的***，其中针对每个特征向量计算所述至少一个模糊哈希值包括：

使用第一哈希函数计算跨特征向量的相应的最小哈希值；

将所述第一哈希函数的最小哈希值的表示连接到与所述特征向量相关联的签名向量中；以及

将第二哈希函数应用于所述签名向量，以创建所述至少一个模糊哈希值。

9.根据权利要求8所述的***，其中所述至少一个模糊哈希值包括多个模糊哈希值，所述多个模糊哈希值通过将所述签名向量划分为多个段并且将所述第二哈希函数应用于所述多个段中的每个段而被计算。

10.根据权利要求8所述的***，其中使用所述第一哈希函数计算所述最小哈希值包括：将所述第一哈希函数中的每个第一哈希函数应用于所述特征向量中的每个特征，以计算针对所述第一哈希函数的特征哈希值，以及确定针对所述第一哈希函数中的每个第一哈希函数的特征哈希值的最小哈希值。

11.根据权利要求1所述的***，其中所述操作还包括：

基于匹配的模糊哈希值的数目确定每个所标识的第一特征向量与第二特征向量之间的相似性；以及

在训练所述可解释的局部代理模型中，基于所确定的相似性对所标识的第一特征向量进行加权。

12.一种用于解释机器学习模型的预测的计算机实现的方法，所述方法包括:

在计算机存储器中存储所述机器学习模型的第一输入的多个第一特征向量，每个所述第一特征向量与至少一个模糊哈希值相关联，所述至少一个模糊哈希值利用至少一个哈希函数从所述第一特征向量被计算；

响应于接收到所述机器学习模型的第二输入的第二特征向量和由所述机器学习模型从所述第二特征向量计算的相应的预测，使用计算机处理器来执行操作，所述操作包括：

使用所述至少一个哈希函数从所述第二特征向量计算至少一个模糊哈希值，

标识所述多个第一特征向量中的至少两个第一特征向量的集合，所述至少两个第一特征向量在其计算出的模糊哈希值的至少一个中与所述第二特征向量相匹配，

基于所标识的第一特征向量的所述集合和由所述机器学习模型从所述第一特征向量计算的相应的预测，来训练可解释的局部代理模型，所述训练包括确定与所述代理模型的至少两个输入特征的集合相关联的特征权重，以及

基于所述特征权重提供输出。

13.根据权利要求12所述的方法，

其中所述输出标识所述代理模型的所述输入特征的集合的子集，所述子集由至少一个按特征权重排序最高的特征组成，或由所关联的特征权重超过指定阈值的至少一个特征组成；

其中所述代理模型的所述输入特征是所述机器学习模型的输入特征的集合的子集，并且其中，如果由所述机器学习模型从所述第二特征向量计算的所述预测是错误的，所述方法还包括从所述机器学习模型的输入特征的集合中移除所述代理模型的所标识的所述输入特征的集合的子集。

14.根据权利要求12所述的方法，其中针对每个特征向量计算所述至少一个模糊哈希值包括：

使用第一哈希函数计算跨特征向量的相应的最小哈希值；

将所述第一哈希函数的最小哈希值的表示连接到与所述特征向量相关联的签名向量中；以及

将第二哈希函数应用于所述签名向量，以创建所述至少一个模糊哈希值。

15.至少一种计算机可读介质，存储:

机器学习模型的第一输入的多个第一特征向量，每个所述第一特征向量与至少一个模糊哈希值相关联，所述至少一个模糊哈希值利用至少一个哈希函数从所述第一特征向量被计算；以及

指令，当所述指令由所述至少一个计算机处理器执行时，使得所述至少一个计算机处理器执行用于解释预测的操作，所述预测由所述机器学习模型从所述机器学习模型的第二输入的第二特征向量来计算，所述操作包括：

使用所述至少一个哈希函数从所述第二特征向量计算至少一个模糊哈希值，

标识所述多个第一特征向量中的至少两个第一特征向量的集合，所述至少两个第一特征向量在其计算出的模糊哈希值的至少一个中与所述第二特征向量相匹配，

基于所标识的第一特征向量的所述集合和由所述机器学习模型从所述第一特征向量计算的相应的预测，来训练可解释的局部代理模型，所述训练包括确定与所述代理模型的至少两个输入特征的集合相关联的特征权重，以及

基于所述特征权重提供输出。