CN111079944A - 迁移学习模型解释实现方法及装置、电子设备、存储介质 - Google Patents

迁移学习模型解释实现方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111079944A
CN111079944A CN201911310373.8A CN201911310373A CN111079944A CN 111079944 A CN111079944 A CN 111079944A CN 201911310373 A CN201911310373 A CN 201911310373A CN 111079944 A CN111079944 A CN 111079944A
Authority
CN
China
Prior art keywords
model
data
explanatory
target
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911310373.8A
Other languages
English (en)
Other versions
CN111079944B (zh
Inventor
方文静
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911310373.8A priority Critical patent/CN111079944B/zh
Publication of CN111079944A publication Critical patent/CN111079944A/zh
Application granted granted Critical
Publication of CN111079944B publication Critical patent/CN111079944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种提升树模型迁移学习的解释方案，能够对基于提升树模型的迁移学习进行解释，同时可以支持迁移模型的局部解释和全局解释。

Description

迁移学习模型解释实现方法及装置、电子设备、存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种迁移学习模型解释实现方法及装置、电子设备、存储介质。
背景技术
数据挖掘模型往往是一个黑盒，用户无法感知其内部工作状态。为了提高使用模型的可信度，模型的可解释性就显得至关重要，可用来确定模型是否可用或者发现模型中存在的问题。
迁移学习在许多实际业务场景中得到广泛应用，但迁移学习当中模型究竟是怎样提高模型效果的，源域、目标域的数据又有怎样的贡献，这时就需要对迁移学习的结果模型进行解释。因此，需要提供一种快速有效的迁移学习模型解释实现方法。
发明内容
有鉴于此，本发明的目的在于提出一种迁移学习模型解释实现方法及装置、电子设备、存储介质，以在一定程度上解决上述问题。
基于上述目的，本发明实施例的第一个方面，提供了一种迁移学习模型解释实现方法，包括：
使用源域中的样本训练得到源模型；
记录所述源模型的解释性数据；
根据所述源模型，使用目标域中的样本继续训练所述源模型，得到目标模型；
记录所述目标模型的解释性数据；
根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
本发明实施例的第二个方面，提供了一种迁移学习模型解释实现装置，包括：
源模型训练模块，用于使用源域中的样本训练得到源模型；
源模型数据记录模块，用于记录所述源模型的解释性数据；
目标模型训练模块，用于在所述源模型的基础上，使用目标域中的样本继续训练所述源模型，得到目标模型；
目标模型数据记录模块，用于记录所述目标模型的解释性数据；
解释模块，用于根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
本发明实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的方法。
本发明实施例的第四个方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行所述方法。
从上面所述可以看出，本说明书的一个或多个实施例，提供了一种提升树模型迁移学习的解释方案，能够对基于提升树模型的迁移学习进行解释，同时可以支持迁移模型的局部解释和全局解释。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种开发迁移学习模型的方法的流程示意图；
图2为本发明实施例提供的迁移学习模型解释实现方法的一个实施例的流程示意图；
图3为本发明实施例提供的迁移学习模型解释实现方法的另一个实施例的流程示意图；
图4为本发明实施例提供的迁移学习模型解释实现方法的模型训练过程示意图；
图5为本发明实施例提供的迁移学习模型解释实现装置的一个实施例的框图结构示意图；
图6为本发明实施例提供的一种电子设备硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
模型解释：机器学习任务中，不同的模型被提出，用以对问题进行建模。除了模型的直接输出以外，我们还需要对结果进一步的理解，例如究竟哪些特征对模型输出影响最大，对于一个具体的预测实例，究竟是什么因素决定了它所对应的输出，这就需要对模型进行相应的解释。
现有的模型的可解释性都是对于模型整体的，分为两类：
模型的局部解释性：对于一个具体的样本，分析各个特征对最后分值的贡献；
模型的全局解释性：又称为特征重要性，是指各个特征对模型的贡献。
不论是全局解释性还是局部解释性，现有的数据模型可解释方案是针对于模型整体的，因而只能解释端到端的模型结果，重点关注的是特征之间的相对贡献大小。而迁移学习的可解释性，是关注源域和目标域分别对最终模型的影响，在两个域中特征贡献值的变化，从而解释迁移。
迁移学习是一种机器学习方法，就是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。
如图1所示，一种开发迁移学习模型的方法，包括以下步骤：
步骤102：选择源任务。选择一个具有丰富数据的相关的预测建模问题，原任务和目标任务的输入数据、输出数据以及从输入数据和输出数据之间的映射中学到的概念之间有某种关系。
步骤104：开发源模型。为源任务开发一个模型。
步骤106：重用模型，得到目标模型。适用于源任务的模型可以被作为目标任务的学习起点。这可能将会涉及到全部或者部分使用第一个模型，这依赖于所用的建模技术。
可以看到，迁移学习是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中，因此，这种迁移学习的效果如何，对于使用迁移学习的用户来说非常重要。由此，开发一种针对迁移学习的模型解释实现方法，十分必要。
图2示出了本发明实施例提供的迁移学习模型解释实现方法的一个实施例的流程示意图。
如图2所示，所述迁移学习模型解释实现方法，包括：
步骤202：使用源域中的样本训练得到源模型。
本说明书的一个或多个实施例中，所述源域中的样本为在第一时间段内的第一用户群体产生的用户消费行为数据，所述源模型用于预测目标用户的消费行为发生几率。
步骤204：记录所述源模型的解释性数据。
本说明书的一个或多个实施例中，所述源模型为梯度提升决策树模型(GBDT)。所述解释性数据包括每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
可选地，所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
步骤206：在所述源模型的基础上，使用目标域中的样本继续训练所述源模型，得到目标模型。
所述目标域中的样本为在第二时间段内的第二用户群体产生的用户消费行为数据，所述目标模型均用于预测目标用户的消费行为发生几率。
步骤208：记录所述目标模型的解释性数据。
本说明书的一个或多个实施例中，所述目标模型均为梯度提升决策树模型；所述解释性数据包括每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
可选地，所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
步骤210：根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
这样，通过在源域中训练源模型，并记录相应的解释性数据，然后再在目标域中继续所述源模型以得到目标模型，接着记录相应的解释性数据，最后通过比对解释性数据，即可分析出迁移学习模型解释结果，从而对迁移学习的效果进行解释。
例如，本说明书的一个或多个实施例中，所述源模型和目标模型均为梯度提升决策树模型；所述解释性数据包括每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益；所述解释性数据可以包括全局解释性数据和局部解释性数据；所述全局解释性数据可以根据所述每个决策树的中间节点的***特征的***增益来计算，所述局部解释性数据可以根据所述每个决策树的叶子节点的分值和每个决策树的每个节点上的样本数来计算。可选地，所述源域和目标域中的样本均具有标定标签值；所述叶子节点的分值为所述梯度提升决策树模型在训练过程中基于分入该叶子节点中的多个样本的标定标签值而确定的。这样，即可得到当源模型和目标模型为梯度提升决策树模型时，其迁移学习模型解释结果，从而对迁移学习的效果进行解释。
例如，本说明书的一个或多个实施例中，所述源域中的样本为在第一时间段内的第一用户群体产生的用户消费行为数据，所述目标域中的样本为在第二时间段内的第二用户群体产生的用户消费行为数据，所述源模型和目标模型均用于预测目标用户的消费行为发生几率；所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
其中，所述第一时间段和第二时间段可以是不同的也可以是相同的，所述第一用户群体和第二用户群体可以是不同的也可以是相同的。但是，当第一时间段和第二时间段相同时，所述第一用户群体和第二用户群体是不同的；当第一用户群体和第二用户群体相同时，所述第一时间段和第二时间段是不同的。
可选地，所述第一时间段和第二时间段是不同的，以及，所述第一用户群体和第二用户群体也是不同的。例如，以在双十一之前一个月的A类群体的用户消费行为数据作为源域，以在双十一当天的B类群体的用户消费行为数据作为目标域。利用源域的样本训练得到源模型后，再利用目标域的样本继续训练源模型得到目标模型。这样，在对比解释性数据后，所得到的迁移学习模型解释结果即可体现出“日常的转化率预估”到“特殊日期的转化率预估”的迁移学习效果。
本说明书的一个或多个实施例中，在得到迁移学习模型解释结果后，还可以基于迁移学习模型解释结果调整所述目标模型，即在目标域中的输入-输出对上选择性地进行微调，以让它适应目标任务。
图3示出了本发明实施例提供的迁移学习模型解释实现方法的另一个实施例的流程示意图。
如图3和图4所示，迁移学习模型解释实现方法，包括：
步骤302：使用源域中的样本训练得到源模型。
本说明书的一个或多个实施例中，所述源模型为梯度提升决策树模型(GBDT)。参考图4所示，在本步骤中，首先在源域上训练得到一批树TS。
步骤304：记录所述源模型的解释性数据。
本说明书的一个或多个实施例中，所述解释性数据包括所述源模型的每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
可选地，所述解释性数据可以包括所述源模型的全局解释性数据GIS和局部解释性数据LIS；所述全局解释性数据可以根据所述每个决策树的中间节点的***特征的***增益来计算，所述局部解释性数据可以根据所述每个决策树的叶子节点的分值和每个决策树的每个节点上的样本数来计算。
步骤306：使用所述目标域中的样本对所述源模型进行修正，得到修正后的源模型。参考图4所示，在本步骤中，对TS进行修正得到TS’。
可选地，这里的修正模型的方法可以采用本领域常用的模型修正方法，在此不再赘述。
步骤308：记录所述修正后的源模型的解释性数据。
本说明书的一个或多个实施例中，所述解释性数据包括所述修正后的源模型的每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
可选地，所述解释性数据可以包括所述修正后的源模型的全局解释性数据GIS’和局部解释性数据LIS’；所述全局解释性数据可以根据所述每个决策树的中间节点的***特征的***增益来计算，所述局部解释性数据可以根据所述每个决策树的叶子节点的分值和每个决策树的每个节点上的样本数来计算。
步骤310：在所述修正后的源模型上，使用目标域中的样本继续训练所述源模型，得到目标模型。参考图4所示，在本步骤中，在TS’基础上，使用目标域数据继续学习得到若干树TT，获取最终的目标模型TS’+T。
步骤312：记录所述目标模型的解释性数据。
本说明书的一个或多个实施例中，所述目标模型均为梯度提升决策树模型；所述解释性数据包括所述目标模型的每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
可选地，所述解释性数据可以包括所述目标模型中新增部分TT的全局解释性数据GIT和局部解释性数据LIT以及所述目标模型TS’+T的全局解释性数据GIS’+T和局部解释性数据LIS’+T；所述全局解释性数据可以根据所述每个决策树的中间节点的***特征的***增益来计算，所述局部解释性数据可以根据所述每个决策树的叶子节点的分值和每个决策树的每个节点上的样本数来计算。
步骤314：根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
本说明书的一个或多个实施例中，所述全局解释性数据为所述梯度提升决策树模型的特征***增益平均值；所述特征***增益平均值为所述梯度提升决策树模型中的所有决策树中的以目标特征为***特征的节点的***增益的平均值；所述***增益为所述决策树的***原理所基于的参数值。
例如，对于决策树，其进行***时，可以是基于信息熵的信息增益来进行***，此时，所述***增益即为信息增益。又比如，若基于信息增益率来进行决策树的***，这里的***增益即为信息增益率。再比如，对于CART决策树，所述***增益还可以是基尼指数(Gini index)。因此，所述***增益是根据所述决策树的类型和所选择的***原理而设定和计算的，这里不对具体的增益类型进行限定。
本说明书的一个或多个实施例中，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
根据所述源模型的解释性数据和修正后的源模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据GIS与在所述修正后的源模型中的全局解释性数据GIS’之间的第一变化值；例如，若所述全局解释性数据为特征***增益平均值，对于每个***特征，这里的GIS和GIS’均能计算得出一个数值，数值相减即可得到所述第一变化值；
将各***特征的所述第一变化值进行排序，得到反映源域的样本数据集核心***特征的分布变化情况的模型解释结果。
这里，例如，排序是按照数值从小到大排列，对应于排名靠前的***特征即为分布变化较小的特征，排名靠后的即为分布变化较大的特征，即可反映源域的样本数据集核心***特征的分布变化情况，从而为后续的模型调整作出指引。
本说明书的一个或多个实施例中，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
根据所述源模型的解释性数据和目标模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据GIS与在所述目标模型中的全局解释性数据GIS’+T之间的第二变化值；例如，若所述全局解释性数据为特征***增益平均值，对于每个***特征，这里的GIS和GIS’+T均能计算得出一个数值，数值相减即可得到所述第二变化值；
将各***特征的所述第二变化值进行排序，解释反映迁移学习中核心***特征的分布变化情况的模型解释结果。
这里，例如，排序是按照数值从小到大排列，对应于排名靠前的***特征即为分布变化较小的特征，排名靠后的即为分布变化较大的特征，即可反映整体样本数据集在迁移学习中核心***特征的分布变化情况，从而为后续的模型调整作出指引。
本说明书的一个或多个实施例中，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
根据所述目标模型的解释性数据和修正后的源模型的解释性数据，对在排除修正后的源模型后的所述目标模型(即所述目标模型中新增部分TT)中各***特征的全局解释性数据GIT进行排序，得到反映目标域的样本数据集核心***特征的变化或新增情况的模型解释结果，从而为后续的模型调整作出指引。
本说明书的一个或多个实施例中，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
从所述源模型的解释性数据及所述目标模型的解释性数据中提取得到所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据；
根据所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据，对单条数据的迁移学习影响进行解释，得到局部解释性的模型解释结果。
这里，局部解释性数据可以采用本领域常用的方法来计算，在这里不做特别限制。
本说明书的一个或多个实施例中，所述局部解释性数据可以根据所述每个决策树的叶子节点的分值和每个决策树的每个节点上的样本数来计算。所述源域和目标域中的样本均具有标定标签值；所述叶子节点的分值为所述梯度提升决策树模型在训练过程中基于分入该叶子节点中的多个样本的标定标签值而确定的。可选地，单条数据的局部解释性数据的计算方法，可以采用以下方法计算：
选定一个样本；
确定所述样本在所述源模型和/或目标模型中的传播路径；
找到所述样本所在的叶子节点并获取该叶子节点的分值；
获取所述传播路径上各个父节点的***特征和分值，所述各个父节点的分值基于其所在决策树的各个叶子节点的分值而确定；例如，所述父节点的分值可以是其两个子节点的分值的平均值；
对于所述传播路径上的每个子节点，通过所述每个子节点的自身的分值、其父节点的分值和其父节点的***特征，确定所述每个子节点处的特征局部增量；例如，所述特征局部增量为子节点的分值减去父节点的分值；
获取所述传播路径上全部子节点各自对应的***特征的集合；
通过将所述传播路径上对应于相同***特征的至少一个所述子节点的特征局部增量相加，得到所述样本的与所述至少一个子节点对应的***特征的局部解释性数据。
本说明书的一个或多个实施例中，所述源域中的样本为在第一时间段内的第一用户群体产生的用户消费行为数据，所述目标域中的样本为在第二时间段内的第二用户群体产生的用户消费行为数据，所述源模型和目标模型均用于预测目标用户的消费行为发生几率；所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
从上述实施例可以看出，本说明书的一个或多个实施例，提供了一种提升树模型迁移学习的解释方案，能够对基于提升树模型的迁移学习进行解释，同时可以支持迁移模型的局部解释和全局解释。
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
图5示出了本发明实施例提供的迁移学习模型解释实现装置的一个实施例的框图结构示意图。
如图5所示，所述迁移学习模型解释实现装置，包括：
源模型训练模块401，用于使用源域中的样本训练得到源模型；
源模型数据记录模块402，用于记录所述源模型的解释性数据；
目标模型训练模块403，用于在所述源模型的基础上，使用目标域中的样本继续训练所述源模型，得到目标模型；
目标模型数据记录模块404，用于记录所述目标模型的解释性数据；
解释模块405，用于根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
从上述实施例可以看出，本说明书的一个或多个实施例，提供了一种提升树模型迁移学习的解释方案，能够对基于提升树模型的迁移学习进行解释，同时可以支持迁移模型的局部解释和全局解释。
本说明书的一个或多个实施例中，所述源模型和目标模型均为梯度提升决策树模型；所述解释性数据包括每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
本说明书的一个或多个实施例中，所述源域和目标域中的样本均具有标定标签值；所述叶子节点的分值为所述梯度提升决策树模型在训练过程中基于分入该叶子节点中的多个样本的标定标签值而确定的。
本说明书的一个或多个实施例中，还包括源模型修正模块406，用于使用所述目标域中的样本对所述源模型进行修正，得到修正后的源模型；
所述源模型数据记录模块402，用于记录所述修正后的源模型的解释性数据。
本说明书的一个或多个实施例中，所述解释模块405，用于：
根据所述源模型的解释性数据和修正后的源模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据与在所述修正后的源模型中的全局解释性数据之间的第一变化值；
将各***特征的所述第一变化值进行排序，得到反映源域的样本数据集核心***特征的分布变化情况的模型解释结果。
本说明书的一个或多个实施例中，所述解释模块405，用于：
根据所述源模型的解释性数据和目标模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据与在所述目标模型中的全局解释性数据之间的第二变化值；
将各***特征的所述第二变化值进行排序，解释反映迁移学习中核心***特征的分布变化情况的模型解释结果。
本说明书的一个或多个实施例中，所述解释模块405，用于：
根据所述目标模型的解释性数据和修正后的源模型的解释性数据，对在排除修正后的源模型后的所述目标模型中各***特征的全局解释性数据进行排序，得到反映目标域的样本数据集核心***特征的变化或新增情况的模型解释结果。
本说明书的一个或多个实施例中，所述全局解释性数据为所述梯度提升决策树模型的特征***增益平均值；所述特征***增益平均值为所述梯度提升决策树模型中的所有决策树中的以目标特征为***特征的节点的***增益的平均值；所述***增益为所述决策树的***原理所基于的参数值。
本说明书的一个或多个实施例中，所述解释模块405，用于：
从所述源模型的解释性数据及所述目标模型的解释性数据中提取得到所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据；
根据所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据，对单条数据的迁移学习影响进行解释，得到局部解释性的模型解释结果。
本说明书的一个或多个实施例中，所述源域中的样本为在第一时间段内的第一用户群体产生的用户消费行为数据，所述目标域中的样本为在第二时间段内的第二用户群体产生的用户消费行为数据，所述源模型和目标模型均用于预测目标用户的消费行为发生几率；所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器501、存储器502、输入/输出接口503、通信接口504和总线505。其中处理器501、存储器502、输入/输出接口503和通信接口504通过总线505实现彼此之间在设备内部的通信连接。
处理器501可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器502可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器502可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器502中，并由处理器501来调用执行。
输入/输出接口503用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口504用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线505包括一通路，在设备的各个组件(例如处理器501、存储器502、输入/输出接口503和通信接口504)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器501、存储器502、输入/输出接口503、通信接口504以及总线505，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种迁移学习模型解释实现方法，其特征在于，包括：
使用源域中的样本训练得到源模型；
记录所述源模型的解释性数据；
根据所述源模型，使用目标域中的样本继续训练所述源模型，得到目标模型；
记录所述目标模型的解释性数据；
根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
2.根据权利要求1所述的方法，其特征在于，所述源模型和目标模型均为梯度提升决策树模型；所述解释性数据包括每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
3.根据权利要求2所述的方法，其特征在于，所述源域和目标域中的样本均具有标定标签值；所述叶子节点的分值为所述梯度提升决策树模型在训练过程中基于分入该叶子节点中的多个样本的标定标签值而确定的。
4.根据权利要求2所述的方法，其特征在于，记录所述源模型的解释性数据的步骤之后，还包括：
使用所述目标域中的样本对所述源模型进行修正，得到修正后的源模型；
记录所述修正后的源模型的解释性数据。
5.根据权利要求4所述的方法，其特征在于，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
根据所述源模型的解释性数据和修正后的源模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据与在所述修正后的源模型中的全局解释性数据之间的第一变化值；
将各***特征的所述第一变化值进行排序，得到反映源域的样本数据集核心***特征的分布变化情况的模型解释结果。
6.根据权利要求5所述的方法，其特征在于，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
根据所述源模型的解释性数据和目标模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据与在所述目标模型中的全局解释性数据之间的第二变化值；
将各***特征的所述第二变化值进行排序，解释反映迁移学习中核心***特征的分布变化情况的模型解释结果。
7.根据权利要求5所述的方法，其特征在于，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
根据所述目标模型的解释性数据和修正后的源模型的解释性数据，对在排除修正后的源模型后的所述目标模型中各***特征的全局解释性数据进行排序，得到反映目标域的样本数据集核心***特征的变化或新增情况的模型解释结果。
8.根据权利要求2-7任一项所述的方法，其特征在于，所述全局解释性数据为所述梯度提升决策树模型的特征***增益平均值；所述特征***增益平均值为所述梯度提升决策树模型中的所有决策树中的以目标特征为***特征的节点的***增益的平均值；所述***增益为所述决策树的***原理所基于的参数值。
9.根据权利要求2所述的方法，其特征在于，根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果，包括：
从所述源模型的解释性数据及所述目标模型的解释性数据中提取得到所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据；
根据所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据，对单条数据的迁移学习影响进行解释，得到局部解释性的模型解释结果。
10.根据权利要求2所述的方法，其特征在于，所述源域中的样本为在第一时间段内的第一用户群体产生的用户消费行为数据，所述目标域中的样本为在第二时间段内的第二用户群体产生的用户消费行为数据，所述源模型和目标模型均用于预测目标用户的消费行为发生几率；所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
11.一种迁移学习模型解释实现装置，其特征在于，包括：
源模型训练模块，用于使用源域中的样本训练得到源模型；
源模型数据记录模块，用于记录所述源模型的解释性数据；
目标模型训练模块，用于在所述源模型的基础上，使用目标域中的样本继续训练所述源模型，得到目标模型；
目标模型数据记录模块，用于记录所述目标模型的解释性数据；
解释模块，用于根据所述源模型的解释性数据及所述目标模型的解释性数据，处理得到所述迁移学习模型解释结果。
12.根据权利要求11所述的装置，其特征在于，所述源模型和目标模型均为梯度提升决策树模型；所述解释性数据包括每个决策树的叶子节点的分值、每个决策树的每个节点上的样本数、每个决策树的中间节点的***特征的***增益。
13.根据权利要求12所述的装置，其特征在于，所述源域和目标域中的样本均具有标定标签值；所述叶子节点的分值为所述梯度提升决策树模型在训练过程中基于分入该叶子节点中的多个样本的标定标签值而确定的。
14.根据权利要求12所述的装置，其特征在于，还包括源模型修正模块，用于使用所述目标域中的样本对所述源模型进行修正，得到修正后的源模型；
所述源模型数据记录模块，用于记录所述修正后的源模型的解释性数据。
15.根据权利要求14所述的装置，其特征在于，所述解释模块，用于：
根据所述源模型的解释性数据和修正后的源模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据与在所述修正后的源模型中的全局解释性数据之间的第一变化值；
将各***特征的所述第一变化值进行排序，得到反映源域的样本数据集核心***特征的分布变化情况的模型解释结果。
16.根据权利要求14所述的装置，其特征在于，所述解释模块，用于：
根据所述源模型的解释性数据和目标模型的解释性数据，计算每个***特征在所述源模型中的全局解释性数据与在所述目标模型中的全局解释性数据之间的第二变化值；
将各***特征的所述第二变化值进行排序，解释反映迁移学习中核心***特征的分布变化情况的模型解释结果。
17.根据权利要求12所述的装置，其特征在于，所述解释模块，用于：
根据所述目标模型的解释性数据和修正后的源模型的解释性数据，对在排除修正后的源模型后的所述目标模型中各***特征的全局解释性数据进行排序，得到反映目标域的样本数据集核心***特征的变化或新增情况的模型解释结果。
18.根据权利要求12-17任一项所述的装置，其特征在于，所述全局解释性数据为所述梯度提升决策树模型的特征***增益平均值；所述特征***增益平均值为所述梯度提升决策树模型中的所有决策树中的以目标特征为***特征的节点的***增益的平均值；所述***增益为所述决策树的***原理所基于的参数值。
19.根据权利要求12所述的装置，其特征在于，所述解释模块，用于：
从所述源模型的解释性数据及所述目标模型的解释性数据中提取得到所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据；
根据所述源模型的局部解释性的统计数据和所述目标模型的局部解释性的统计数据，对单条数据的迁移学习影响进行解释，得到局部解释性的模型解释结果。
20.根据权利要求12所述的装置，其特征在于，所述源域中的样本为在第一时间段内的第一用户群体产生的用户消费行为数据，所述目标域中的样本为在第二时间段内的第二用户群体产生的用户消费行为数据，所述源模型和目标模型均用于预测目标用户的消费行为发生几率；所述***特征包括用户点击商品个数、商品品类、商品品牌、单次浏览的最大页数、用户与商品的平均交互时间中的至少一种。
21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任意一项所述的方法。
22.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至10任一所述方法。
CN201911310373.8A 2019-12-18 2019-12-18 迁移学习模型解释实现方法及装置、电子设备、存储介质 Active CN111079944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911310373.8A CN111079944B (zh) 2019-12-18 2019-12-18 迁移学习模型解释实现方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911310373.8A CN111079944B (zh) 2019-12-18 2019-12-18 迁移学习模型解释实现方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111079944A true CN111079944A (zh) 2020-04-28
CN111079944B CN111079944B (zh) 2023-03-10

Family

ID=70315476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911310373.8A Active CN111079944B (zh) 2019-12-18 2019-12-18 迁移学习模型解释实现方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111079944B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639688A (zh) * 2020-05-19 2020-09-08 华中科技大学 一种基于线性核svm的物联网智能模型的局部解释方法
CN111798427A (zh) * 2020-06-30 2020-10-20 天津大学 基于迁移学习的胃肠道间质瘤中核***象检测***
CN112365975A (zh) * 2020-11-12 2021-02-12 医渡云（北京）技术有限公司 医疗辅助决策模型解释方法及装置、存储介质、电子设备
CN114417822A (zh) * 2022-03-29 2022-04-29 北京百度网讯科技有限公司 用于生成模型解释信息的方法、装置、设备、介质和产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190180087A1 (en) * 2014-03-12 2019-06-13 Huawei Technologies Co., Ltd. Picture Ranking Method, and Terminal
CN109977304A (zh) * 2019-03-14 2019-07-05 四川长虹电器股份有限公司 一种基于兴趣点相似度迁移的电视节目推荐方法
CN110378726A (zh) * 2019-07-02 2019-10-25 阿里巴巴集团控股有限公司 一种目标用户的推荐方法、***以及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190180087A1 (en) * 2014-03-12 2019-06-13 Huawei Technologies Co., Ltd. Picture Ranking Method, and Terminal
CN109977304A (zh) * 2019-03-14 2019-07-05 四川长虹电器股份有限公司 一种基于兴趣点相似度迁移的电视节目推荐方法
CN110378726A (zh) * 2019-07-02 2019-10-25 阿里巴巴集团控股有限公司 一种目标用户的推荐方法、***以及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639688A (zh) * 2020-05-19 2020-09-08 华中科技大学 一种基于线性核svm的物联网智能模型的局部解释方法
CN111798427A (zh) * 2020-06-30 2020-10-20 天津大学 基于迁移学习的胃肠道间质瘤中核***象检测***
CN111798427B (zh) * 2020-06-30 2022-06-21 天津大学 基于迁移学习的胃肠道间质瘤中核***象检测***
CN112365975A (zh) * 2020-11-12 2021-02-12 医渡云（北京）技术有限公司 医疗辅助决策模型解释方法及装置、存储介质、电子设备
CN112365975B (zh) * 2020-11-12 2021-07-23 医渡云（北京）技术有限公司 医疗辅助决策模型解释方法及装置、存储介质、电子设备
CN114417822A (zh) * 2022-03-29 2022-04-29 北京百度网讯科技有限公司 用于生成模型解释信息的方法、装置、设备、介质和产品

Also Published As

Publication number Publication date
CN111079944B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN111079944B (zh) 迁移学习模型解释实现方法及装置、电子设备、存储介质
WO2019095782A1 (zh) 一种数据样本标签处理方法及装置
WO2020024716A1 (zh) 一种针对新场景的预测模型训练方法及装置
US20230066050A1 (en) Image classification modeling while maintaining data privacy compliance
US11455523B2 (en) Risk evaluation method, computer-readable recording medium, and information processing apparatus
CN110008973B (zh) 一种模型训练方法、基于模型确定目标用户的方法及装置
CN106909931B (zh) 一种用于机器学习模型的特征生成方法、装置和电子设备
CN111611797B (zh) 基于Albert模型的预测数据标注的方法、装置及设备
CN113688313A (zh) 一种预测模型的训练方法、信息推送的方法及装置
JP2019512126A (ja) 機械学習システムをトレーニングする方法及びシステム
CN112085087B (zh) 业务规则生成的方法、装置、计算机设备及存储介质
CN114580263A (zh) 基于知识图谱的信息***故障预测方法及相关设备
CN110490304B (zh) 一种数据处理方法及设备
US20160203228A1 (en) Filtering data objects
CN111369258A (zh) 实体对象类型的预测方法、装置及设备
CN115578063A (zh) 基于知识图谱的审计报告生成方法及相关设备
CN113535912A (zh) 基于图卷积网络和注意力机制的文本关联方法及相关设备
US11087505B2 (en) Weighted color palette generation
CN112185574A (zh) 远程医疗实体链接的方法、装置、设备及存储介质
CN111612158A (zh) 模型部署方法、装置、设备和存储介质
CN116662527A (zh) 用于生成学习资源的方法及相关产品
CN110929285A (zh) 一种隐私数据的处理方法及装置
CN115168575A (zh) 应用于审计领域的主语补全方法及相关设备
JP2019185207A (ja) モデル学習装置、モデル学習方法、プログラム
CN111159397B (zh) 文本分类方法和装置、服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant