CN114186182A - 一种处理方法、装置、设备及存储介质 - Google Patents

一种处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114186182A
CN114186182A CN202111290195.4A CN202111290195A CN114186182A CN 114186182 A CN114186182 A CN 114186182A CN 202111290195 A CN202111290195 A CN 202111290195A CN 114186182 A CN114186182 A CN 114186182A
Authority
CN
China
Prior art keywords
sample
model
loss
determining
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111290195.4A
Other languages
English (en)
Inventor
莫森·波尔瓦利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111290195.4A priority Critical patent/CN114186182A/zh
Publication of CN114186182A publication Critical patent/CN114186182A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请实施例公开了一种处理方法、装置、设备及存储介质，其中，所述方法包括：获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。

Description

一种处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及信息机器学习领域，尤其涉及一种处理方法、装置、设备及存储介质。
背景技术
采用神经网络模型进行结果预测已成为常态；相关技术中，通常对神经网络模型中的模型参数进行调整以提高预测结果的准确度，但不能确定哪些因素对模型参数有影响。
发明内容
有鉴于此，本申请实施例提供一种处理方法、装置、设备及存储介质。
本申请的技术方案是这样实现的：
本申请实施例提供一种处理方法，所述方法包括：
获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；
确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；
基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；
基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。
本申请实施例提供一种处理装置，包括：
获取模块，用于获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；
第一确定模块，用于确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；
第二确定模块，用于基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；
第三确定模块，用于基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。
本申请实施例还提供一种电子设备，包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
所述处理器用于执行所述存储器中的程序，以实现上述所述的处理方法。
相应地，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述所述的处理方法。
本申请实施例提供的处理方法、装置、设备及存储介质，首先，获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；其次，确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；然后，基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；最后，基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。如此，能够精准地识别输入至模型的样本对模型参数的影响，以便后续基于该影响调整模型参数来提高模型输出结果的准确度。
附图说明
图1为本申请实施例提供的一种处理方法的流程示意图；
图2为本申请实施例提供的另一种处理方法的流程示意图；
图3为本申请实施例提供的又一种处理方法的流程示意图；
图4为本申请实施例提供的一种处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应理解，说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应。在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，电子设备执行本申请实施例中的任一步骤，可以是电子设备的处理器执行该步骤。还值得注意的是，本申请实施例并不限定电子设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本申请实施例中的任一步骤是电子设备可以独立执行的，即电子设备执行下述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
为了更好地理解本申请实施例，首先对相关技术中存在的缺点进行说明。
相关技术中，需对神经网络模型的模型参数进行调整，以提高模型预测结果的准确度，常用的方案是采用最佳模型解释器(Local Interpretable Model-AgnosticExplanations，LIME)，来解释神经网络模型黑盒里面的相关行为；然而LIME存在算法速度慢且稳定性不够好，这样存在多次得到结果差别很大，进而使得解释模型中相关参数的准确度较低。
基于相关技术所存在的问题，本申请实施例提供一种处理方法，所述方法应用于处理装置或电子设备。本实施例提供的处理方法可以通过计算机程序来实现，该计算机程序在执行的时候，完成本实施例提供的处理方法中各个步骤。在一些实施例中，该计算机程序可由处理装置中的处理器执行。图1为本申请实施例提供的一种处理方法的流程示意图，如图1所示，所述方法包括以下步骤：
步骤101、获取已标注的样本集，并从所述样本集中选取待测样本。
其中，所述待测样本为所述样本集中任一样本。
在本申请实施例中，处理装置可以响应于内部的输入模块，以获取该已标注的样本集，也可以是接收能够与其进行信息交互的其他装置发送的已标注的样本集；其中，样本集可以是以图片形式存在，也可以是以文字形式存在，还可以是视频形式存在。
其中，已标注的样本集可以是已标注标签的，且待输入相关网络模型进行结果确定的图像；示例性地，已标注的样本集可以是图像所属类别已标注的图像集合，也可是图像中包括对象已标注的图像集合。
需要说明的是，已标注的样本集中包括的样本的数量可以是一个，也可以是两个及以上；同时样本集可以采用P＝(p1,p2,...,pm)进行表示，其表征样本集包括m个样本。其中，待测样本为样本集中任一样本。
在一种可行的实现方式中，已标注的样本集为一幅图像，待测样本可以表征将该图像划分为多个子图像时对应的任一子图像。
在另一种可行的实现方式中，已标注的样本集为一段语句，待测样本可以表征将该语句划分为多个句子时对应的任一短句。
步骤102、确定与所述待测样本对应的空样本。
其中，所述空样本表征未携带特征信息的样本。
在本申请实施例中，与待测样本对应的空样本表征能够按待测样本对应的属性信息来替换待测样本，且没有携带任意特征信息的样本。
其中，可以是基于待测样本的属性信息，确定与其匹配的空样本。同时，属性信息包括但不限于：待测样本的尺寸信息、待测样本的所属类别以及待测样本的位置信息等。
在一种可行的实现方式中，待测样本为将图像划分为多个子图像时对应的任一子图像，空样本即为与待测样本尺寸大小相同，且不包括任何图像特征的样本；其中，图像特征包括但不限于：颜色特征、形状特征以及纹理特征。
在一种可行的实现方式中，待测样本为将语句划分为多个句子时对应的任一短句，空样本即为与待测样本占据空间信息相同，且不包括任何语句特征的样本；其中，语句特征包括但不限于：文字内容特征以及文字尺寸特征等。
步骤103、基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数。
在本申请实施例中，处理装置可以将样本集中每一样本输入一待测模型，得到对应的输出结果，进而基于输出结果以及空样本，确定待测样本相对于该待测模型的模型目标参数。
其中，待测模型可以是任意模型，比如：卷积神经网络(Convolutional NeuralNetworks，CNN)、支持向量机(Support Vector Machine，SVM)、霍普菲尔网络(HopfieldNetwork，HN)或深度卷积神经网络(Deep Convolutional Neural Networks，DCNN)等；相应地，该待测模型可以用于进行信号处理、图像处理、类别或所属概率识别等。
在一种可行的实现方式中，处理装置将样本集输入至待测模型进行结果预测，得到预测结果，进而基于该预测结果和样本集中每一样本对应的标签，确定每一样本对应的损失，然后基于每一样本对应的损失和与空样本相匹配的损失，确定模型目标参数。
需要说明的是，模型目标参数可以指代基于待测模型，确定样本集和空样本对应的损失为最小值情况下的模型参数，即模型最优参数。同时模型目标参数可以表征模型内部任意相关参数。在一种可行的实现方式中，待测模型为CNN时，模型内部相关参数包括但不限于：卷积层的层数、残差块的数量等。
步骤104、基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。
在本申请实施例中，电子设备可以将该模型目标参数，输入至采用事先设定好的影响函数，以确定待测样本对待测模型的模型参数的影响值；其中，该影响值即表征待测样本对待测模型的模型参数中影响量。
其中，该影响值可以以数值形式进行表示，可以为负数，也可以为正数。
需要说明的是，在本申请实施例中，首先将样本集中任一待测样本调整为空样本，然后分别基于该样本集和空样本在待测模型中对应的输出结果，确定任一待测样本对待测模型的模型参数的影响。即本申请实施例中将待测样本变更为空样本，相对于将任意待测样本删除或重复增加，以确定该待测样本对待测模型的模型参数的影响，其优势在于样本集作为一个整体其数量没有发生改变；如此，以便更加专注于待测样本发生变动后存在的影响。如此，能够精准地确定输入至模型的样本对的模型参数的影响，以便后续基于该影响调整模型的模型参数以及识别对模型参数扰动较大的相关样本，进而能够提高后续基于待测模型对样本集进行识别结果的准确度。
本申请实施例提供的处理方法，首先，获取已标注的样本集，并从样本集中选取待测样本；其中，待测样本为样本集中任一样本；其次，确定与待测样本对应的空样本；其中，空样本表征未携带特征信息的样本；然后，基于样本集、空样本以及待测模型，确定与待测样本匹配的模型目标参数；最后，基于模型目标参数，确定待测样本对待测模型的模型参数的影响值。如此，能够精准地识别输入至模型的样本对模型参数的影响，以便后续基于该影响调整模型参数来提高模型输出结果的准确度。
基于前述实施例，本申请实施例还提供一种处理方法，应用于处理装置，如图2所示，为本申请实施例提供的另一种处理方法的流程示意图；结合图1和图2所示，该方法包括以下步骤：
步骤201、将所述样本集输入至所述待测模型，得到输出结果。
在本申请实施例中，将样本集每一样本依次输入至待测模型，得到每一样本对应的输出结果；其中，该输出结果可以是每一样本为相关类型的概率值，也可以是每一样本中包括对象的序列识别结果，还可以是每一样本的分类结果。
其中，输出结果为样本集中每一样本对应的输出结果，即该输出结果的数量与样本集中样本的数量相同；同时每一样本对应的输出结果可以相同，也可以不同。
步骤202、基于所述输出结果和所述样本集中每一样本标注的标签，确定所述样本集中每一样本对应的损失。
在本申请实施例中，将每一样本对应的输出结果和每一样本标注的标签，确定每一样本对应的损失。
其中，每一样本对应的损失，即为每一样本对应的输出结果和每一样本已标注的标签之间的偏差。
需要说明的是，在本申请实施例中，每一样本对应的损失即为基于待测样本确定的损失；每一样本基于不同待测模型其对应的损失可以相同，也可以不同。
步骤203、基于所述样本集中每一样本对应的损失和所述空样本，确定所述模型目标参数。
在本申请实施例中，可以将样本集中每一样本对应的损失和空样本对应的损失进行融合，并基于融合得到参数确定模型目标参数。
需要说明的是，在本申请实施例中，基于样本集中每一样本在待测模型中对应的损失以及待测样本对应的空样本，来确定待测样本相对于待测模型的模型最优参数；如此，能够高效且精准地确定在待测模型中，与待测样本匹配的模型目标参数。
在一种可行的实现方式中，处理装置基于样本集中每一样本对应的损失和空样本，确定模型目标参数，即处理装置执行步骤203，可以通过以下步骤203a至步骤203c(图中未示出)的方式来实现：
步骤203a、将所述待测样本的损失，确定为所述空样本的基础损失。
在本申请实施例中，处理装置可以直接将待测样本的损失，确定为空样本的基础损失。
步骤203b、基于与所述空样本对应的损失变化系数和所述基础损失，得到损失增量参数。
在本申请实施例中，处理装置基于事先设定好的与空样本对应的损失变化系数和确定空样本的基础损失，确定一损失增量参数；其中，该损失增量参数表征待测样本调整为空样本对应的损失增量。
需要说明的是，将样本集中待测样本调整为空样本之后，空样本对应的损失即为待测样本的损失和该损失增量参数之和。
其中，空样本对应的损失变化系数可以是任意数值，也可以是与样本集中样本的数量相关的数值。
在一种可行的实现方式中，在样本集中样本的数量为m时，损失变化系数可以是
Figure BDA0003334615520000081
步骤203c、基于所述每一样本对应的损失和所述损失增量参数，确定所述模型目标参数。
在本申请实施例中，处理装置基于每一样本对应的损失和损失增量参数，即待测样本调整为空样本对应的损失增量，确定待测模型中，与待测样本匹配的模型目标参数。
需要说明的是，在本申请实施例中，基于样本集中每一样本对应的损失以及该损失增量参数，确定模型目标参数。如此，能够提高待测模型中，待测样本对应的模型目标参数的准确度。
在一种可行的实现方式中，处理装置基于每一样本对应的损失和损失增量参数，确定模型目标参数，即处理装置执行步骤203c，可以通过以下步骤c1至步骤c3(图中未示出)的方式来实现：
步骤c1、基于所述样本集中所述样本的数量和融合损失，得到待处理损失；其中，所述融合损失由所述每一样本对应的损失进行融合得到。
在本申请实施例中，处理装置首先将样本集中每一样本对应的损失进行融合，即依次将每一样本对应的损失进行叠加，得到融合损失；然后基于样本集中样本的数量和融合损失，得到待处理损失。
在一种可行的实现方式中，处理装置可以是将融合损失与样本的数量的倒数进行相乘，以得到待处理损失。
在另一种可行的实现方式中，处理装置可以是将融合损失和与样本的数量的倒数相关联的系数进行相乘，以得到待处理损失。
步骤c2、对所述待处理损失进行经验风险最小化，得到待调整参数。
在本申请实施例中，处理装置对待处理损失进行经验风险最小化，即确定待处理损失对应的最小值，进而将该待处理损失对应的最小值，确定为待调整参数。
步骤c3、将所述待调整参数和所述损失增量参数进行融合，得到所述模型目标参数。
在本申请实施例中，处理装置将待调整参数和损失增量参数进行融合，得到模型目标参数；即在待处理损失对应的最小值的情况下，将处于最小值的待处理损失和损失增量参数进行融合，得到模型最优参数，
在另一种可行的实现方式中，可以是将待调整参数和损失增量参数进行相加，得到模型目标参数。
在一种可行的实现方式中，可以是将预设系数与待调整参数的乘积，与另一预设系数与损失增量参数的乘积进行相加，得到模型目标参数。
需要说明的是，在确定的损失达到最小值的时候，即损失收敛的情况下，可以默认此时对应的模型参数即为模型最优参数。
本申请实施例提供的处理方法，首先，将每一样本输入至待测模型，得到每一样本对应的输出结果，其次，基于每一样本对应的输出结果和每一样本对应的标签，确定每一样本对应的损失；然后，基于每一样本对应的损失以及空样本对应的损失变化系数，得到样本集对应的损失最小值以及损失增量参数；最后基于该样本集对应的损失最小值以及损失增量参数，确定模型目标参数。如此，能够使得确定模型目标参数的准确度更高，以便后续基于模型目标参数确定对应的影响值准确度更高。
基于前述实施例，本申请实施例还提供一种处理方法，应用于处理装置，如图3所示，为本申请实施例提供的又一种处理方法的流程示意图；结合图1至图3所示，该方法包括以下步骤：
步骤301、基于所述损失变化系数，确定所述模型目标参数的变化量。
在本申请实施例中，可以是基于损失变化系数，对模型目标参数进行微分计算，即确定模型目标参数关于损失变换系数的偏导；进而将该偏导确定为模型目标参数的变化量。
其中，该模型目标参数的变化量可以是相对于原来模型参数来说有增加，也可以是有减少。
在一种可行的实现方式中，处理装置基于损失变化系数，确定模型目标参数的变化量，即处理装置执行步骤301，可以通过以下步骤301a和步骤301b(图中未示出)的方式来实现：
步骤301a、在所述损失变化系数为零的情况下，确定所述模型目标参数的变化量为与所述待测样本的损失关联的影响参数。
在本申请实施例中，可以在事先设定损失变化系数为零的情况下，确定模型目标参数的变化量；该变化量是与待测样本的损失关联的影响参数。
需要说明的是，在损失变化系数为零的情况下，表征变化量为无穷小，即表征待测样本相对应的空样本，其对于模型来说没有额外的影响；进而该待测样本对模型参数的影响仅限于自身的影响，即模型目标参数的变化量即为与待测样本对应的损失关联的影响参数。
步骤301b、在所述损失变化系数为与所述样本集合中所述样本数量相关的负系数的情况下，确定所述模型目标参数的变化量为与所述样本数量关联的影响参数。
在本申请实施例中，在损失变化系数为与样本集中样本数量相关的负系数的情况下；在一种可行的实现方式中，在样本集中样本的数量为m时，损失变化系数可以是
Figure BDA0003334615520000111
其中，在损失变化系数为
Figure BDA0003334615520000112
时，模型目标参数的变化量为与样本数量关联的影响参数。即将该待测样本进行移除之后其对应模型参数的影响。
需要说明的是，在本申请实施例中，基于不同的损失变化系数，确定不同模型目标参数的变化量；如此，能够丰富待测样本转换为空样本之后，确定待测样本对模型参数的影响值，能够进一步提高确定与待测样本匹配的模型参数的变化量的准确度。
步骤302、将所述变化量，确定为所述待测样本对所述待测模型的模型参数的影响值。
在本申请实施例中，处理装置可以直接该变化量，确定为待测样本对待测模型的模型参数的影响值。
本申请实施例提供的处理方法，基于待测样本对应的空样本的预设的损失变化系数对确定的模型目标参数进行求导，以确定待测样本对待测模型的模型参数的影响值。如此，能够提高确定影响值的准确度。
基于此，本申请实施例提供的处理装置，还可以执行以下步骤A1至步骤A3：
步骤A1、将每一样本对所述待测模型的模型参数的影响值进行排列，得到排列结果。
在本申请实施例中，处理装置可以确定样本集中每一样本对待测模型的模型参数的影响值，进而将每一样本对待测模型的模型参数的影响值进行排列，得到与每一样本对应的排列结果。
其中，可以是将基于该影响值从大到小进行排列，得到对应的排列结果，也可以是基于该影响值从小到大进行排列，得到对应的排列结果；在本申请以下其他实施例中，均以从大到小排列为例进行说明。
步骤A2、在所述排列结果中，确定影响值大于预设阈值的目标样本。
在本申请实施例中，在排列结果中，确定影响值大于预设阈值的目标样本；其中，预设阈值可以是事先设定好的。
其中，目标样本的数量可以是一个，也可以是两个。
步骤A3、将所述目标样本的标签调整为所述待测模型的扰动样本，得到更新的样本集。
在本申请实施例中，处理装置可以将目标样本的标签调整为待测模型的扰动样本，即待测模型的模型参数影响较大的样本，进而基于以变更标签的样本，得到更新的样本集。
需要说明的是，在本申请实施例中，基于样本集中每一样本对待测模型的模型参数的影响值，确定影响值大于预设阈值的目标样本；进而在样本集中确定待测模型的扰动样本。如此，能够高效且便捷地确定影响模型参数的样本，进而能够基于该扰动样本来调整模型输出结果的准确度。
基于此，应用本申请实施例提供的处理方法，在实际应用中，对于任一已标注的样本集：P＝(p1,p2,...,pm)，将其输入一待测模型，以确定该该样本集中每一样本pi对待测模型的模型参数的影响；其可通过以下步骤来实现：
首先，从样本集P＝(p1,p2,...,pm)中随机选择一样本p，并使用空样本znull替代。
其次，将样本集中每一样本pi输入至待测模型，得到对应的输出结果l(pi)；其中，每一输出结果l(pi)和每一样本对应的标签，得到每一样本对应的损失L(pi)。
需要说明的是，若已标注的样本集P为一幅图像，将其划分为多个子图像，即对应多个样本pi；然后选用一空样本znull替代其中任一子图像pi之后，将携带空样本znull的图像输入至待测模型，得到图像P中多个子图像pi对应的输出结果l(pi)，比如可以是图像P中多个子图像pi对应的概率信息，如公式(1)所示：
l(pi)＝f(P)-f(pi+znull) 公式(1)；
其中，l(pi)为每一样本pi对应的概率信息，f(P)-f(pi+znull)即表征将携带空样本的znull的图像输入至待测模型进行结果预测。
其中，使用空样本znull替代的样本p时，可以基于样本p对应的损失，给出空样本znull对应的损失；同时，默认将p转换为znull输入至待测模型，得到的损失即为空样本znull对应的损失；也就是p输入至模型的损失和损失增量之和，该损失增量是与p对应的损失之间存在对应关系的。
需要说明的是，一般默认在模型运行过程中，其损失达到最小的时候，即损失收敛，此时对应的模型参数即为模型最优参数，如公式(2)所示：
Figure BDA0003334615520000131
其中，
Figure BDA0003334615520000132
为模型内部任一最优参数，θ为模型内部任一参数，Θ代表此模型所有参数。此时，使用空样本znull替代样本p时，对应地，模型最优参数可参照公式(2)所示：
Figure BDA0003334615520000133
其中，ε为与空样本znull对应的损失变化系数，进而对于样本p来说，其对应的损失增量即为εL'(p,θ')；θ'为将对应的样本p输入至待测模型得到的模型参数。
Figure BDA0003334615520000134
即为样本p变更为空样本znull对应的模型最优参数。
最后，确定样本p对模型参数的改变，可以使用微分，即求样本p变更为空样本znull对应的模型最优参数关于ε的偏导，进而可以将样本p对待测模型的模型参数的影响确定为
Figure BDA0003334615520000135
其中，在求关于ε的偏导时，可以对ε取不同的数值；比如ε为0时，可以默认此时影响无穷小，即对应的模型参数的变化量Iup,params(p)无穷小；如公式(4)和(5)所示；ε为与样本集中样本数量相关的系数时，比如：
Figure BDA0003334615520000141
此时可以默认将样本p移除后，对应地，样本p对模型参数的影响为
Figure BDA0003334615520000142
Figure BDA0003334615520000143
Figure BDA0003334615520000144
其中，公式(5)中可以表征对样本集中每一pi的的损失进行推导得到的黑塞矩阵(Hessian Matrix)；其为一个多元函数的二阶偏导数构成的方阵，用于描述函数的局部曲率。
基于上述所示，应用本申请实施例提供的处理方法，能够精准地识别输入至模型的样本对模型参数的影响，以便后续基于该影响调整模型参数来提高模型输出结果的准确度。
基于前述实施例，本申请实施例还提供一种处理装置400，该处理装置400可以应用于图1至图3对应的实施例提供的一种处理方法中，参照图4所示，该处理装置400包括：
获取模块401，用于获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；
第一确定模块402，用于确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；
第二确定模块403，用于基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；
第三确定模块404，用于基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。
在本申请其他实施例中，第二确定模块403，还包括：输入子模块，用于将所述样本集输入至所述待测模型，得到输出结果；第一确定子模块，用于基于所述输出结果和所述样本集中每一样本标注的标签，确定所述样本集中每一样本对应的损失；第二确定子模块，用于基于所述样本集中每一样本对应的损失和所述空样本，确定所述模型目标参数。
在本申请其他实施例中，第二确定子模块，还用于将所述待测样本的损失，确定为所述空样本的基础损失；基于与所述空样本对应的损失变化系数和所述基础损失，得到损失增量参数；基于所述每一样本对应的损失和所述损失增量参数，确定所述模型目标参数。
在本申请其他实施例中，第二确定子模块，还用于基于所述样本集中所述样本的数量和融合损失，得到待处理损失；其中，所述融合损失由所述每一样本对应的损失进行融合得到；对所述待处理损失进行经验风险最小化，得到待调整参数；将所述待调整参数和所述损失增量参数进行融合，得到所述模型目标参数。
在本申请其他实施例中，第三确定模块404，还用于基于所述损失变化系数，确定所述模型目标参数的变化量；将所述变化量，确定为所述待测样本对所述待测模型的模型参数的影响值。
在本申请其他实施例中，第三确定模块404，还用于在所述损失变化系数为零的情况下，确定所述模型目标参数的变化量为与所述待测样本的损失关联的影响参数；在所述损失变化系数为与所述样本集合中所述样本数量相关的负系数的情况下，确定所述模型目标参数的变化量为与所述样本数量关联的影响参数。
在本申请其他实施例中，所述处理装置400，还包括：排列模块，用于将每一样本对所述待测模型的模型参数的影响值进行排列，得到排列结果；第四确定模块，用于在所述排列结果中，确定影响值大于预设阈值的目标样本；调整模块，用于将所述目标样本的标签调整为所述待测模型的扰动样本，得到更新的样本集。
需要说明的是，本实施例中各个模块所执行的步骤的具体实现过程，可以参照图1至图3对应的实施例提供的处理方法中的实现过程，此处不再赘述。
本申请实施例所提供的处理装置，首先，获取已标注的样本集，并从样本集中选取待测样本；其中，待测样本为样本集中任一样本；其次，确定与待测样本对应的空样本；其中，空样本表征未携带特征信息的样本；然后，基于样本集、空样本以及待测模型，确定与待测样本匹配的模型目标参数；最后，基于模型目标参数，确定待测样本对待测模型的模型参数的影响值。如此，能够精准地识别输入至模型的样本对模型参数的影响，以便后续基于该影响调整模型参数来提高模型输出结果的准确度。
基于前述实施例，本申请的实施例还提供一种电子设备5，该电子设备5可以应用于图1至图3对应的实施例提供的一种处理方法中，参照图5所示，该电子设备5可以包括：处理器51、存储器52和通信总线53，其中：
通信总线53用于实现处理器51和存储器52之间的通信连接。
处理器51用于执行存储器52中存储的处理方法的程序，以实现参照图1至图3对应的实施例提供的处理方法。
本申请实施例所提供的电子设备，首先，获取已标注的样本集，并从样本集中选取待测样本；其中，待测样本为样本集中任一样本；其次，确定与待测样本对应的空样本；其中，空样本表征未携带特征信息的样本；然后，基于样本集、空样本以及待测模型，确定与待测样本匹配的模型目标参数；最后，基于模型目标参数，确定待测样本对待测模型的模型参数的影响值。如此，能够精准地识别输入至模型的样本对模型参数的影响，以便后续基于该影响调整模型参数来提高模型输出结果的准确度。
基于前述实施例，本申请的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如图1至图3对应的实施例提供的处理方法。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc-Read Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种处理方法，所述方法包括：
获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；
确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；
基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；
基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。
2.根据权利要求1所述的方法，所述基于样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数，包括：
将所述样本集输入至所述待测模型，得到输出结果；
基于所述输出结果和所述样本集中每一样本标注的标签，确定所述样本集中每一样本对应的损失；
基于所述样本集中每一样本对应的损失和所述空样本，确定所述模型目标参数。
3.根据权利要求2所述的方法，所述基于所述样本集中每一样本对应的损失和所述空样本，确定所述模型目标参数，包括：
将所述待测样本的损失，确定为所述空样本的基础损失；
基于与所述空样本对应的损失变化系数和所述基础损失，得到损失增量参数；
基于所述每一样本对应的损失和所述损失增量参数，确定所述模型目标参数。
4.根据权利要求3所述的方法，所述基于所述每一样本对应的损失和所述损失增量参数，确定所述模型目标参数，包括：
基于所述样本集中所述样本的数量和融合损失，得到待处理损失；其中，所述融合损失由所述每一样本对应的损失进行融合得到；
对所述待处理损失进行经验风险最小化，得到待调整参数；
将所述待调整参数和所述损失增量参数进行融合，得到所述模型目标参数。
5.根据权利要求3所述的方法，所述基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值，包括：
基于所述损失变化系数，确定所述模型目标参数的变化量；
将所述变化量，确定为所述待测样本对所述待测模型的模型参数的影响值。
6.根据权利要求5所述的方法，所述基于所述损失变化系数，确定所述模型目标参数的变化量，包括：
在所述损失变化系数为零的情况下，确定所述模型目标参数的变化量为与所述待测样本的损失关联的影响参数；
在所述损失变化系数为与所述样本集合中所述样本数量相关的负系数的情况下，确定所述模型目标参数的变化量为与所述样本数量关联的影响参数。
7.根据权利要求1至6任一所述的方法，所述方法还包括：
将每一样本对所述待测模型的模型参数的影响值进行排列，得到排列结果；
在所述排列结果中，确定影响值大于预设阈值的目标样本；
将所述目标样本的标签调整为所述待测模型的扰动样本，得到更新的样本集。
8.一种处理装置，包括：
获取模块，用于获取已标注的样本集，并从所述样本集中选取待测样本；其中，所述待测样本为所述样本集中任一样本；
第一确定模块，用于确定与所述待测样本对应的空样本；其中，所述空样本表征未携带特征信息的样本；
第二确定模块，用于基于所述样本集、所述空样本以及待测模型，确定与所述待测样本匹配的模型目标参数；
第三确定模块，用于基于所述模型目标参数，确定所述待测样本对所述待测模型的模型参数的影响值。
9.一种电子设备，包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
所述处理器用于执行所述存储器中的程序，以实现如权利要求1至7中任一所述的处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的处理方法。
CN202111290195.4A 2021-11-02 2021-11-02 一种处理方法、装置、设备及存储介质 Pending CN114186182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111290195.4A CN114186182A (zh) 2021-11-02 2021-11-02 一种处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111290195.4A CN114186182A (zh) 2021-11-02 2021-11-02 一种处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114186182A true CN114186182A (zh) 2022-03-15

Family

ID=80540594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111290195.4A Pending CN114186182A (zh) 2021-11-02 2021-11-02 一种处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114186182A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136038A (zh) * 2011-03-25 2011-07-27 华北电力大学 基于状态空间的多特征设备状态评价方法及应用
CN103942568A (zh) * 2014-04-22 2014-07-23 浙江大学 一种基于无监督特征选择的分类方法
CN105243392A (zh) * 2015-10-08 2016-01-13 淮海工学院 一种基于灵敏度分析的非线性支持向量回归特征提取方法
CN109359519A (zh) * 2018-09-04 2019-02-19 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN111831708A (zh) * 2020-07-16 2020-10-27 平安科技（深圳）有限公司 基于缺失数据的样本分析方法、装置、电子设备及介质
CN112232426A (zh) * 2020-10-21 2021-01-15 平安国际智慧城市科技股份有限公司 目标检测模型的训练方法、装置、设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136038A (zh) * 2011-03-25 2011-07-27 华北电力大学 基于状态空间的多特征设备状态评价方法及应用
CN103942568A (zh) * 2014-04-22 2014-07-23 浙江大学 一种基于无监督特征选择的分类方法
CN105243392A (zh) * 2015-10-08 2016-01-13 淮海工学院 一种基于灵敏度分析的非线性支持向量回归特征提取方法
CN109359519A (zh) * 2018-09-04 2019-02-19 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN111831708A (zh) * 2020-07-16 2020-10-27 平安科技（深圳）有限公司 基于缺失数据的样本分析方法、装置、电子设备及介质
CN112232426A (zh) * 2020-10-21 2021-01-15 平安国际智慧城市科技股份有限公司 目标检测模型的训练方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110163234B (zh) 一种模型训练方法、装置和存储介质
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN111814385A (zh) 预测加工件质量的方法、装置和计算机设备
CN108334805B (zh) 检测文档阅读顺序的方法和装置
US10762391B2 (en) Learning device, learning method, and storage medium
CN115017418B (zh) 基于强化学习的遥感影像推荐***及方法
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN112037862B (zh) 基于卷积神经网络的细胞筛选方法和装置
CN115239946B (zh) 小样本迁移学习训练、目标检测方法、装置、设备和介质
KR20210127069A (ko) 융합 모델 신경망의 성능 제어 방법
CN111340124A (zh) 图像中实体类别的识别方法和装置
US20230410465A1 (en) Real time salient object detection in images and videos
CN114186182A (zh) 一种处理方法、装置、设备及存储介质
CN117422905A (zh) 目标识别方法、装置、设备及存储介质
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN116524296A (zh) 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法
CN116542980A (zh) 缺陷检测方法、装置、计算机设备、存储介质和程序产品
CN111476144A (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN116363641A (zh) 一种图像处理方法、装置及电子设备
CN113012088A (zh) 一种电路板故障检测及孪生网络的训练方法、装置和设备
CN115641474A (zh) 基于高效学生网络的未知类型缺陷检测方法与装置
CN115858725A (zh) 一种基于无监督式图神经网络的文本噪声筛选方法及***
CN113886578A (zh) 一种表单分类方法及装置
CN115049165A (zh) 基于深度学习的浮选精矿品位预测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination