CN112308132A - 一种基于因子分解机的鲁棒训练方法及*** - Google Patents
一种基于因子分解机的鲁棒训练方法及*** Download PDFInfo
- Publication number
- CN112308132A CN112308132A CN202011180282.XA CN202011180282A CN112308132A CN 112308132 A CN112308132 A CN 112308132A CN 202011180282 A CN202011180282 A CN 202011180282A CN 112308132 A CN112308132 A CN 112308132A
- Authority
- CN
- China
- Prior art keywords
- sample
- disturbance
- classification result
- sub
- factorization machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012549 training Methods 0.000 title claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 58
- 230000002452 interceptive effect Effects 0.000 claims abstract description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 description 13
- 239000000047 product Substances 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供了一种基于因子分解机的鲁棒训练方法及***，其中方法包括：获取用户操作平台中用户和目标对象之间的交互数据，并得到用户操作的原始样本和因子分解机的模型参数；根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，扰动样本为原始样本中添加了扰动向量后的样本；将扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。本发明提供的基于因子分解机的鲁棒训练方法及***，能定量地描述因子分解机抵御离散扰动的能力，在对分类准确率稍有影响的情况下，能提升模型抵御样本离散扰动的能力。
Description
技术领域
本发明涉及机器学习技术领域，尤其是涉及一种基于因子分解机的鲁棒训练方法及***。
背景技术
随着机器学习技术的快速发展和应用，机器学习在信息推送***中的应用越来越广泛。常用的机器学习模型如卷积神经网络、图神经网络和决策树等普遍比较脆弱，抵御样本扰动的能力弱，当对输入样本添加微小的扰动时，两个非常相似的样本被输出为两个截然不同的分类结果。
因子分解机是一种常用的预测模型，在处理稀疏特征上取得了成功，被广泛应用于工业推荐***的排序阶段。抵御扰动能力弱的现象也同样出现在因子分解机模型上，当改变输入样本的几个特征时，接近一半的样本的分类结果会发生改变。因此，需要一个能定量地描述因子分解机的抵御扰动能力、并提升其抵御扰动能力的方法。
鲁棒样本验证的度量方法能定量地描述机器学习模型抵御样本扰动的能力，但现有的鲁棒样本验证方法是模型相关的，意味着现有方法大多只适用于某一类模型，不能直接应用到因子分解机上。若穷举所有可能的扰动情况，将带来不可接受的计算复杂度，需要有更低计算复杂度的方法来完成鲁棒样本的验证工作。
因此，在因子分解机上急需一种基于鲁棒样本验证的鲁棒训练方法及***。
发明内容
本发明的目的是提供一种基于因子分解机的鲁棒训练方法及***，以解决无法定量描述因子分解机的抵御扰动能力、抵御扰动能力弱的技术问题。
本发明的目的，可以通过如下技术方案实现：
一种基于因子分解机的鲁棒训练方法，包括：
获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；
根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；
将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
可选地，所述第二分类结果与第一分类结果的差值具体为：
其中，δ为第二分类结果与第一分类结果的差值，x为原始样本，x′为添加的扰动向量，x+x′为扰动样本，f(x)为第一分类结果，f(x+x′)为第二分类结果，[w1,w2,…,wd]和[v1,v2,…,vd]为因子分解机的模型参数，d为目标对象的数量，xi为原始样本的第i个分量，x′j为扰动向量的第j个分量，wi为目标对象i的标量，wj为目标对象j的标量，vi为目标对象i的向量，vj为目标对象j的向量，k为向量的维度，vj,m代表向量vj中的第m个分量，vi,m代表向量vi中的第m个分量。
可选地，计算第二分类结果与第一分类结果的差值的最小值具体包括：将计算差值的最小值问题分解为第一子问题和第二子问题，分别求解所述第一子问题和第二子问题得到第一子结果和第二子结果，将所述第一子结果和第二子结果的和作为差值的最小值。
可选地，求解所述第一子问题得到第一子结果的具体过程为：
求解所添加的扰动向量中每个扰动分量对第一子问题的影响值，取最小的q个影响值求和作为第一子结果；其中，q为扰动范围。
可选地求解所述第二子问题得到第二子结果的具体过程为：
将因子分解机的二阶交叉矩阵中最小的
个元素求和作为第二子结果；其中，二阶交叉矩阵中的元素为<vi,vj>，<vi,vj>表示向量vi与向量vj的内积，即
可选地，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界具体为：将所述最小值和第一分类结果进行求和得到因子分解机输出的扰动样本的下界。
本发明还提供了一种基于因子分解机的鲁棒训练***，包括：
样本和参数获取模块，用于获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；
扰动样本的下界计算模块，用于根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；
鲁棒训练模块，用于将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
可选地，扰动样本的下界计算模块计算第二分类结果与第一分类结果的差值的最小值具体包括：将计算差值的最小值问题分解为第一子问题和第二子问题，分别求解所述第一子问题和第二子问题得到第一子结果和第二子结果，将所述第一子结果和第二子结果的和作为差值的最小值。
本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于因子分解机的鲁棒训练方法。
本发明还提供了一种电子设备，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现所述的基于因子分解机的鲁棒训练方法。
本发明提供了一种基于因子分解机的鲁棒训练方法及***，其中方法包括：获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
本发明提供的鲁棒训练方法及***能直接应用于因子分解机上，能定量地描述因子分解机抵御离散扰动的能力，在因子分解机上寻找最坏扰动样本的下界，将得到的最坏扰动样本下界作为增强数据投入到模型鲁棒训练过程中，能够在对分类准确率稍有影响的情况下，提升模型抵御样本离散扰动的能力。
附图说明
图1为本发明一种基于因子分解机的鲁棒训练方法及***的鲁棒训练方法流程示意图；
图2为本发明一种基于因子分解机的鲁棒训练方法及***的实施例鲁棒训练示意图；
图3为本发明一种基于因子分解机的鲁棒训练方法及***的实施例的二阶交叉矩阵示意图；
图4为本发明基于因子分解机的鲁棒训练方法及***的实施例的第二子问题求解过程图。
具体实施方式
本发明实施例提供了一种基于因子分解机的鲁棒训练方法及***，以解决无法定量描述因子分解机的抵御扰动能力、抵御扰动能力弱的技术问题。
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
因子分解机是一种通用的预测模型，擅长在样本特征稀疏的条件下，估计出可靠的参数并进行预测。与线性模型不同，因子分解机计算过程中还考虑了特征间的二阶交叉项，对特征变量之间的交互进行建模。由于具备处理稀疏特征的能力以及线性的计算复杂度，因子分解机被广泛应用于工业推荐***的排序阶段。
为了定量地描述机器学习模型抵御样本扰动的能力，基于鲁棒样本验证的度量方法被提出。给定样本所能容忍的扰动范围，如至多可以改变样本中q个特征，穷尽所有可能的扰动情况，如果所有添加扰动后的样本仍然可以输出与原始样本相同的结果，那么这个样本就是鲁棒样本。鲁棒样本的比例越多，模型抵御扰动的能力越强。然而，穷尽所有可能的扰动情况并将其添加到样本中检验分类结果这一直观想法往往带来不能接受的计算复杂度，为了降低复杂度，需要根据扰动类型和模型，制定寻找最坏扰动样本的方法。
虽然因子分解机应用广泛，在处理稀疏特征上取得了成功，但是仍然缺少一个度量方法定量地描述它抵御扰动的能力，缺少提升其抵御扰动能力的方法。因此，本发明提出了在离散扰动下，因子分解机的鲁棒样本验证方法，并将找到的最坏扰动样本的下界作为增强样本，添加到因子分解机的训练过程中，提升因子分解机抵御扰动的能力。
请参阅图1，本发明一种基于因子分解机的鲁棒训练方法的实施例，包括：
S100：获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；
S200：根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；
S300：将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
本实施例中，主要技术手段包括因子分解机上的鲁棒样本验证和鲁棒训练的方法。
本实施例中的鲁棒样本，其定义如下：
已知因子分解机f，原始样本x和扰动范围q(构成扰动空间Pq(x))，所有添加扰动后的样本
的分类结果都与原始样本x相同。例如，在商品推荐的应用场景里，q指的是允许向用户购买记录中添加的商品记录个数，当q＝3时，相应扰动为向用户购买的商品记录里添加3个用户未曾购买过的商品。用户未曾购买过的商品通常有很多，从其中挑选3个往往有很多种组合，不同的组合方式将构成不同的添加扰动后的样本，这些不同的样本将构成扰动空间。
要判断给定的原始样本是否为鲁棒样本，需要检验所有添加扰动后的样本的分类结果是否都与原始样本相同。为此，定义δ为添加扰动后的样本和原始样本输出结果之差，即
其中，f(x)表示原始样本的输出结果，
表示添加扰动后的样本的输出结果。
如果f(x)≥0，则该样本被分为正类，正类可用1表示；如果f(x)<0，则该样本被分为负类，负类可用-1表示。根据鲁棒样本的定义，需要检查
是否与f(x)是否属于同一个区间，即是否同时属于[0,+∞)或(-∞,0)。若对于所有添加扰动后的样本，
与f(x)都属于同一个区间，那么原始样本x是鲁棒样本。
然而，穷举所有添加扰动后的样本并逐一检查分类结果是否与原始样本相同，将带来不可接受的计算复杂度。因此，本发明将通过计算经因子分解机输出的最坏扰动样本的下界，来判断所有添加扰动后的样本的分类结果是否与原始样本的相同。
值得说明的是，“最坏扰动样本的下界”中的下界不是指数值上的下界，而是指远离原始样本分类结果方向上的下界，即：如果f(x)≥0并且f(x)+δ≥0(δ≤δ)，那么样本x是鲁棒样本；如果f(x)<0并且
样本x也是鲁棒的。
根据鲁棒样本的定义，对于f(x)≥0(或f(x)<0)的原始样本，需要求解δ(或
)，本实施例以f(x)≥0为例进行描述，对于f(x)<0的情况，只需要将b1(x),b2(x)中的min替换成max即可。
给出添加扰动后的样本即扰动样本
和原始样本x的计算关系：
其中，x′是所添加的扰动向量。例如，x＝[1,0,0,0,0]，代表用户曾经购买过商品1；现在往该用户的购买记录里添加扰动向量x′＝[0,1,1,0,0]，代表q＝2时，往用户的购买记录里添加了商品2和商品3；因此，添加扰动后的样本
表示用户的购买记录包含商品1、商品2和商品3。
根据因子分解机的计算公式：
其中，w0是偏置项，xi为原始样本的第i个分量，xj为原始样本的第j个分量，d为目标对象的数量，<vi,vj>表示向量vi与向量vj的内积，即
可知添加扰动后的样本和原始样本输出结果之差δ的计算式为：
其中，x为原始样本，x′为添加的扰动向量，x+x′为扰动样本，f(x)为原始样本经因子分解机输出的分类结果即第一分类结果，f(x+x′)为扰动样本经因子分解机输出的分类结果即第二分类结果，[w1,w2,…,wd]和[v1,v2,…,vd]为因子分解机的模型参数，x′j为扰动向量的第j个分量，wi为目标对象i的标量，wj为目标对象j的标量，vi为目标对象i的向量，vj为目标对象j的向量，k为向量的维度，vj,m代表向量vj中的第m个分量，vi,m代表向量vi中的第m个分量。
值得说明的是，本实施例中的标量、向量并没有具体含义，也就是说，wi和vi都只是因子分解机计算公式中的模型参数，只参与到模型输出结果的运算中来，并没有具体的含义。
其中，因
的计算中，实际上求解的是原始样本x的每个分量xi所对应的向量vi，与扰动向量x′的每个分量x′j所对应的向量vj的内积和，因此，该项被命名为x和x′的特征交叉项，之所以是交叉项，原因在于出现了向量间的相互作用
同理可知，x′自身的特征交叉项的由来。
为了找到δ的最小值，难度主要集中在
是个NP-Complete问题，为了得到精确解，穷举不能避免。为了减少计算复杂性，将问题转化为求解δ的下界。将δ的求解分为两个子问题δ≥δ＝b(x)＝b1(x)+b2(x)：
对于子问题b1(x)，所添加的扰动向量的每个分量对子问题b1(x)的求解影响独立，即分量x′j对问题b1(x)的计算结果的影响与分量x′k无关，并不会出现如x′jx′k这样同时包含多个分量的乘积项，定义pj为所添加的扰动向量中的每个分量对问题的影响：
其中，j为所添加的扰动向量x′的分量下标。因此可以计算选取最小的q个分量，求和得到子问题b1(x)的解。
对于子问题b2(x)，变换b2(x)的计算式：
其中，<vi,vj>表示向量vi与向量vj的内积，不同的i,j对所对应的向量vi与向量vj的内积构成了二阶交叉矩阵M，即M[i][j]＝<vi,vj>。由于样本中特征分量要么是0要么是1，所以上式可以看成是从二阶交叉矩阵M上(由于该矩阵为对称矩阵，我们仅考虑其上三角部分)，选取
个元素(其中q个为对角线上元素)进行求和，为了避免穷举，这里近似地将二阶交叉矩阵M中最小的
个元素求和作为b2(x)问题的下界b2(x)。
至此，因子分解机输出扰动样本的下界已求解完成，为f(x)+b1(x)+b2(x)。当f(x)≥0且f(x)+b1(x)+b2(x)≥0，原始样本x为鲁棒样本；同理，当f(x)<0且f(x)+b1(x)+b2(x)<0时，原始样本x为鲁棒样本。
为了增强因子分解机抵御扰动的能力，在已完成预训练的因子分解机f上，将扰动样本的下界作为增强样本再次训练，这一训练过程记为鲁棒训练。
鲁棒训练过程中采用的损失函数为Logistic Loss，使用的样本为增强样本：
使用Adam作为优化器将误差反向传播以更新因子分解机f的模型参数[w1,w2,…,wd]和[v1,v2,…,vd]，其中，d为商品数量；wi是一个标量；vi是一个向量。
每经过一轮训练，Adam优化器将更新模型参数一次，经过多轮训练后，最终得到经过鲁棒训练的因子分解机的模型参数，最终得到鲁棒训练后的因子分解机。
以下为本发明一种基于因子分解机的鲁棒训练方法的一个具体实施例：
现给出一样本x＝[1,0,0,0,0]，因子分解机的参数为：
w＝[1,2,3,4,5],
给定扰动范围q＝3，意味着允许往样本x中添加3处扰动(因为针对的扰动类型是离散的，意味着只能通过将0置为1的方式来给原始样本添加扰动)。因子分解机的计算公式为
(为了便于说明，这里忽略了偏置项w0)。
以下结合实例说明，因子分解机上的鲁棒样本验证方法：
先计算原始样本的输出结果f(x)＝1≥0。因此根据本发明中鲁棒样本的定义，需要计算求解f(x)+δ。为了形象地说明，本实施例可以计算并画出二阶交叉矩阵，如图3所示。
(1)求解b1(x)。先求解每个扰动分量对b1(x)的影响，根据p的计算公式，可以求得p＝[7,3,8,6,9](由于x1＝1，因此不考虑第一个位置的扰动)。取p中最小的3个元素求和作为问题b1(x)的解，因此b1(x)＝17。
(2)求解b2(x)。将二阶交叉矩阵中，最小的
个元素(其中q个为对角线上元素)求和作为问题b2(x)的下界，以避免穷举。如图4所示，分别展示了穷举得到的b2(x)及其下界。因此，求得的b2(x)＝24。
(3)判定样本x是否为鲁棒样本。上面已经分别求得b1(x)＝17及b2(x)＝24，因此最坏扰动样本下界f(x)+δ＝f(x)+b1(x)+b2(x)＝42≥0。所以，在给定扰动范围q＝3内，不能通过添加扰动使得样本的分类结果发生改变，因此样本x是鲁棒样本。
现有方法是模型相关的，意味着现有方法只能在特定的模型上使用，无法直接应用于因子分解机上。本实施例提供的基于因子分解机的鲁棒训练方法，能够直接应用于因子分解机上，提出了适用于离散扰动的因子分解机上的鲁棒样本验证方法，来定量地描述因子分解机抵御离散扰动的能力；基于本实施例提出的鲁棒样本验证方法，可以将得到的最坏扰动样本下界作为增强数据投入模型训练过程中，可以在分类准确率稍有下降的情况下大大提升模型抵御扰动的能力。
本发明提供的基于因子分解机的鲁棒训练方法，提出了适用于离散扰动的因子分解机上的鲁棒样本验证方法，该方法时间复杂度为O(d2)，其中d为样本特征数量。本实施例在因子分解机上寻找最坏扰动样本下界，将找到的最坏扰动样本下界作为增强样本，添加到因子分解机的鲁棒训练过程中，提升了因子分解机抵御扰动的能力。
本发明还提供了基于因子分解机的鲁棒训练***的实施例，包括：
样本和参数获取模块，用于获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；
扰动样本的下界计算模块，用于根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；
鲁棒训练模块，用于将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
本实施例的主要技术手段包括因子分解机上的鲁棒样本验证和鲁棒训练的方法。技术方案中的应用场景不局限于商品推荐，实际上因子分解机也常用于计算广告领域。因此，他人不应该通过更换场景就可以绕过专利直接使用我们的鲁棒性验证方案和鲁棒训练方法。
本发明还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于因子分解机的鲁棒训练方法。
本发明还提供了一种电子设备，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现所述的基于因子分解机的鲁棒训练方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于因子分解机的鲁棒训练方法，其特征在于，包括：
获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；
根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；
将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
2.根据权利要求1所述的基于因子分解机的鲁棒训练方法，其特征在于，所述第二分类结果与第一分类结果的差值具体为：
其中，δ为第二分类结果与第一分类结果的差值，x为原始样本，x′为添加的扰动向量，x+x′为扰动样本，f(x)为第一分类结果，f(x+x′)为第二分类结果，[w1，w2，...，wd]和[v1，v2，...，vd]为因子分解机的模型参数，d为目标对象的数量，xi为原始样本的第i个分量，x′j为扰动向量的第j个分量，wi为目标对象i的标量，wj为目标对象j的标量，vi为目标对象i的向量，vj为目标对象j的向量，k为向量的维度，vj，m代表向量vj中的第m个分量，vi，m代表向量vi中的第m个分量。
3.根据权利要求2所述的基于因子分解机的鲁棒训练方法，其特征在于，计算第二分类结果与第一分类结果的差值的最小值具体包括：将计算差值的最小值问题分解为第一子问题和第二子问题，分别求解所述第一子问题和第二子问题得到第一子结果和第二子结果，将所述第一子结果和第二子结果的和作为差值的最小值。
4.根据权利要求3所述的基于因子分解机的鲁棒训练方法，其特征在于，求解所述第一子问题得到第一子结果的具体过程为：
求解所添加的扰动向量中每个扰动分量对第一子问题的影响值，取最小的q个影响值求和作为第一子结果；其中，q为扰动范围。
5.根据权利要求4所述的基于因子分解机的鲁棒训练方法，其特征在于，求解所述第二子问题得到第二子结果的具体过程为：
将因子分解机的二阶交叉矩阵中最小的
个元素求和作为第二子结果；其中，二阶交叉矩阵中的元素为<vi，vj>，<vi，vj>表示向量vi与向量vj的内积，即
6.根据权利要求3-5任意一项所述的基于因子分解机的鲁棒训练方法，其特征在于，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界具体为：将所述最小值和第一分类结果进行求和得到因子分解机输出的扰动样本的下界。
7.一种基于因子分解机的鲁棒训练***，其特征在于，包括：
样本和参数获取模块，用于获取用户操作平台中用户和目标对象之间的交互数据，根据所述交互数据得到用户操作的原始样本和因子分解机的模型参数；
扰动样本的下界计算模块，用于根据所述原始样本、模型参数及预设的扰动范围，计算第二分类结果与第一分类结果的差值的最小值，根据所述最小值和第一分类结果得到因子分解机输出的扰动样本的下界；其中，所述扰动样本为原始样本中添加了扰动向量后的样本，所述第一分类结果为原始样本经因子分解机输出的分类结果，所述第二分类结果为扰动样本经因子分解机输出的分类结果，所述扰动范围为原始样本中允许添加的扰动向量的数量；
鲁棒训练模块，用于将所述扰动样本的下界作为增强样本继续训练因子分解机直至得到训练好的因子分解机。
8.根据权利要求7所述的基于因子分解机的鲁棒训练***，其特征在于，扰动样本的下界计算模块计算第二分类结果与第一分类结果的差值的最小值具体包括：将计算差值的最小值问题分解为第一子问题和第二子问题，分别求解所述第一子问题和第二子问题得到第一子结果和第二子结果，将所述第一子结果和第二子结果的和作为差值的最小值。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的基于因子分解机的鲁棒训练方法。
10.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现如权利要求1-6任意一项所述的基于因子分解机的鲁棒训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011180282.XA CN112308132A (zh) | 2020-10-29 | 2020-10-29 | 一种基于因子分解机的鲁棒训练方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011180282.XA CN112308132A (zh) | 2020-10-29 | 2020-10-29 | 一种基于因子分解机的鲁棒训练方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112308132A true CN112308132A (zh) | 2021-02-02 |
Family
ID=74332097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011180282.XA Pending CN112308132A (zh) | 2020-10-29 | 2020-10-29 | 一种基于因子分解机的鲁棒训练方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308132A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997549A (zh) * | 2017-02-14 | 2017-08-01 | 火烈鸟网络(广州)股份有限公司 | 一种广告信息的推送方法及*** |
| CN110110139A (zh) * | 2019-04-19 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种对推荐结果进行解释的方法、装置及电子设备 |
| WO2020047819A1 (zh) * | 2018-09-07 | 2020-03-12 | 深圳大学 | 点击率预测方法、电子装置及计算机可读存储介质 |
| CN111125530A (zh) * | 2019-12-24 | 2020-05-08 | 中山大学 | 一种基于多类型特征深度学习的信息流推荐方法 |
-
2020
- 2020-10-29 CN CN202011180282.XA patent/CN112308132A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997549A (zh) * | 2017-02-14 | 2017-08-01 | 火烈鸟网络(广州)股份有限公司 | 一种广告信息的推送方法及*** |
| WO2020047819A1 (zh) * | 2018-09-07 | 2020-03-12 | 深圳大学 | 点击率预测方法、电子装置及计算机可读存储介质 |
| CN110110139A (zh) * | 2019-04-19 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种对推荐结果进行解释的方法、装置及电子设备 |
| CN111125530A (zh) * | 2019-12-24 | 2020-05-08 | 中山大学 | 一种基于多类型特征深度学习的信息流推荐方法 |
Non-Patent Citations (2)
| Title |
|---|
| YANG LIU 等: "Certifiable Robustness to Discrete Adversarial Perturbations for Factorization Machines", 《SIGIR "20: PROCEEDINGS OF THE 43RD INTERNATIONAL ACM SIGIR CONFERENCE ON RESEARCH AND DEVELOPMENT IN INFORMATION RETRIEVAL》 * |
| 唐明董 等: "基于因子分解机的质量感知Web服务推荐方法", 《计算机学报》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
| US11227217B1 (en) | Entity transaction attribute determination method and apparatus | |
| Jia et al. | Quantification for the importance degree of engineering characteristics with a multi-level hierarchical structure in QFD | |
| CN109685537B (zh) | 用户行为的分析方法、装置、介质和电子设备 | |
| CN110069699B (zh) | 排序模型训练方法和装置 | |
| CN113158024A (zh) | 一种纠正推荐***流行度偏差的因果推理方法 | |
| US20210034712A1 (en) | Diagnostics framework for large scale hierarchical time-series forecasting models | |
| CN114565196B (zh) | 基于政务热线的多事件趋势预判方法、装置、设备及介质 | |
| Belzile et al. | A modeler’s guide to extreme value software | |
| CN111754287A (zh) | 物品筛选方法、装置、设备和存储介质 | |
| Korobilis et al. | Bayesian approaches to shrinkage and sparse estimation | |
| CN111815410A (zh) | 基于选择性邻域信息的商品推荐方法 | |
| CN112308132A (zh) | 一种基于因子分解机的鲁棒训练方法及*** | |
| CN115719244A (zh) | 用户行为预测方法及装置 | |
| CN111598638A (zh) | 点击率确定方法、装置及设备 | |
| CN116127188A (zh) | 目标反馈值确定方法、装置、电子设备及存储介质 | |
| CN115687777A (zh) | 序列推荐方法及装置 | |
| CN107679709A (zh) | 一种基于直觉模糊数和信誉传递的供应商选择方法及装置 | |
| Kuznietsova et al. | Business intelligence techniques for missing data imputation | |
| Hu et al. | Learning mixed multinomial logits with provable guarantees | |
| CN112991025A (zh) | 一种保险智能推荐方法、***、设备及计算机可读存储介质 | |
| CN115688742B (zh) | 基于人工智能的用户数据分析方法及ai*** | |
| CN115115449B (zh) | 一种面向金融供应链的优化数据推荐的方法及*** | |
| WO2023149120A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Gluhovsky | Multinomial least angle regression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210202 |
|
| WD01 | Invention patent application deemed withdrawn after publication |