CN113762005B - 特征选择模型的训练、对象分类方法、装置、设备及介质 - Google Patents
特征选择模型的训练、对象分类方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113762005B CN113762005B CN202011242309.3A CN202011242309A CN113762005B CN 113762005 B CN113762005 B CN 113762005B CN 202011242309 A CN202011242309 A CN 202011242309A CN 113762005 B CN113762005 B CN 113762005B
- Authority
- CN
- China
- Prior art keywords
- feature selection
- training
- selection model
- feature
- norm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000003044 adaptive effect Effects 0.000 claims abstract description 57
- 238000002372 labelling Methods 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 166
- 238000012545 processing Methods 0.000 claims description 63
- 230000004927 fusion Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 abstract description 38
- 230000000694 effects Effects 0.000 abstract description 6
- 230000002068 genetic effect Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 18
- 239000013598 vector Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000282465 Canis Species 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282324 Felis Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开一种特征选择模型的训练、对象分类方法、装置、设备及介质。该特征选择模型的训练方法包括：将多个训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，每个训练样本包括多个样本特征，特征选择模型用于从各样本特征中选择出目标特征；根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子。本发明实施例的技术方案，通过可适应于各种数据分布下的数据度量的自适应损失函数，达到了高准确度的特征选择的效果。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种特征选择模型的训练、对象分类方法、装置、设备及介质。
背景技术
特征选择是许多特征选择应用的重要组成部分，特别是在许多生物信息学和计算机视觉应用中，其需要有效且强大的特征选择技术来提取有意义的特征、并去除噪声和冗余特征以避免降低后续相关算法的应用性能。
特征选择是选择相关特征子集的过程，由于其可以加速模型的学习过程、提高模型的泛化能力、以及缓解维度灾难对模型的影响，因此是用于构建分类、回归、聚类等众多应用的鲁棒特征选择模型的关键组件。
目前已经有许多特征选择技术被研究人员提出并被使用到实际应用中，如过滤式特征选择技术、包裹式特征选择技术、嵌入式特征选择技术等等。其中，嵌入式特征选择技术将特征选择过程嵌入到特征选择模型的训练过程中，随着特征选择模型的训练完成，特征选择也同时结束。
在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：嵌入式特征选择技术往往采用平方损失函数度量预测值和真实值之间的差异，其会放大数据中存在异常点的损失值，即，其对数据中的异常值较为敏感，这会对特征选择的准确度造成较大影响。
发明内容
本发明实施例提供一种特征选择模型的训练、对象分类方法、装置、设备及介质，以实现各种数据分布下的高准确度的特征选择的效果。
第一方面，本发明实施例提供了一种特征选择模型的训练方法，可以包括：
将多个训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，其中，训练样本包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个训练样本包括多个样本特征，特征选择模型用于从各样本特征中选择出目标特征；
根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，其中，目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子。
第二方面，本发明实施例还提供了一种对象分类方法，可以包括：
获取待分类对象的特征，基于按照本发明任意实施例所述的训练方法训练得到的特征选择模型，从各特征中选择出目标特征；
根据目标特征对待分类对象进行分类。
第三方面，本发明实施例还提供了一种特征选择模型的训练装置，可包括：
数据输入模块，用于将多个训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，其中，训练样本包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个训练样本包括多个样本特征，特征选择模型用于从各样本特征中选择出目标特征；
模型训练模块，用于根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，其中目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，自适应损失函数包括与第一范数相关的第一式子、及与第二范数相关的第二式子。
第四方面，本发明实施例还提供了一种对象分类装置，可以包括：
特征选择模块，用于获取待分类对象的特征，基于按照本发明任意实施例所述的训练方法训练得到的特征选择模型，从各特征中选择出目标特征；
对象分类模块，用于根据目标特征对待分类对象进行分类。
第五方面，本发明实施例还提供了一种电子设备，该电子设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的特征选择模型的训练方法或是对象分类方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的特征选择模型的训练方法或是对象分类方法。
本发明实施例的技术方案，通过将包括多个样本特征的训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，该训练样本可包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，该特征选择模型是用于从各样本特征中选择出目标特征的模型；由于特征选择模型中的损失函数度量单元是基于可以适应于各种数据分布下的数据度量的自适应损失函数构建得到，其不会放大数据中存在异常点的损失值，由此基于损失函数度量单元所在的目标函数确定模块的输出结果，可以对网络参数进行精确调整。上述技术方案，通过可适应于各种数据分布下的数据度量的自适应损失函数，保证了各种情况下的网络参数的调整精度，而且基于该精确调整后的网络参数训练得到的特征选择模型提高了目标特征的选择精度，特征选择的鲁棒性较高。
附图说明
图1是本发明实施例一中的一种特征选择模型的训练方法的流程图；
图2a是本发明实施例一中的一种特征选择模型的训练方法中σ＝0.1时自适应损失函数的曲线和其余范数的曲线的对比示意图；
图2b是本发明实施例一中的一种特征选择模型的训练方法中σ＝1时自适应损失函数的曲线和其余范数的曲线的对比示意图；
图2c是本发明实施例一中的一种特征选择模型的训练方法中σ＝10时自适应损失函数的曲线和其余范数的曲线的对比示意图；
图3是本发明实施例二中的一种特征选择模型的训练方法的流程图；
图4是本发明实施例三中的一种对象分类方法的流程图；
图5是本发明实施例四中的一种特征选择模型的训练装置的结构框图；
图6是本发明实施例五中的一种对象分类装置的结构框图；
图7是本发明实施例六中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的一种特征选择模型的训练方法的流程图。本实施例可适用于在模型训练过程中基于可适应于各种训练样本的自适应损失函数从多个样本特征中选择出目标特征的情况。该方法可以由本发明实施例提供的特征选择模型的训练装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、将多个训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，其中，训练样本包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个训练样本包括多个样本特征，特征选择模型用于从各样本特征中选择出目标特征。
其中，每个训练样本可以是对与该训练样本相应的训练对象进行特征提取后得到的数据，因此每个训练样本可以包括多个样本特征。示例性的，该训练对象可以是生物数据、图像数据、文本数据、语音数据等数据，相应的，训练样本可以是与生物特征处理、图像特征处理、语音特征处理、文本特征处理等相关的样本，对训练对象进行特征提取的实现方式可以是尺度不变特征变换(Scale-invariant feature transform，SIFT)、小波变换、方向梯度直方图(Histogram of Oriented Gradient,HOG)、自然语言处理(NeuroLinguistic Programming、NLP)、傅里叶变换等等。
具体的，在生物特征处理领域中，可能涉及到的特征处理方式包括滤波、分段、伪迹剔除、独立成分分析、时域分析、频域分析、序列比对等等。在此以基因数据的处理为例，在获取到某个对象的基因数据后，可以基于序列比对算法对该基因数据和预先存储的基因数据(后文可简称为预存数据)进行比对，在比对过程中得到多个基因特征。然后，示例性的，当该预存数据是各类别的基因数据如人类基因数据、犬类基因数据、猫类基因数据等等，根据上述基因特征可以判断该基因数据所属对象的类别，如人类、犬类、猫类等；再示例性，在根据基因数据进行亲子鉴定时，根据上述基因特征可以判断该基因数据所属对象和该预存数据所属对象是否具有亲子关系；等等，在此未做具体限定。
在图像特征处理领域中，可能涉及到的特征处理方式包括SIFT、小波变换、HOG、图像分割、形态学分析等等。在此以指纹数据的处理为例，在获取到某个用户的指纹数据后，通常情况下，该指纹数据是彩色图像，先将其转换为灰度图像并进行归一化处理，得到归一化图像；基于Sobel算子对该归一化图像求取横向灰度图像和纵向灰度图像；利用基于Poincare index的奇异点检测算法对横向灰度图像和纵向灰度图像中指纹的奇异点位置进行检测；利用可变大小模板求解方向场信息，再依据方向场一致性对该方向场信息进行修正，最后可通过均值滤波算法对修正后的方向场信息进行平滑滤波得到最终的方向场信息，该最终的方向场信息可以作为指纹数据的指纹特征。除此外，还可对彩色图像进行直方图均衡化，对该直方图均衡化结果计算彩色图像的结构张量；确定该结构张量的特征值所对应的特征向量；基于反正切公式对该特征向量进行处理得到彩色图像中各像素点的点方向场，该点方向场也可以作为指纹数据的指纹特征；等，在此未做具体限定。在后续应用中，可以根据该指纹特征判断指纹数据是否属于目标对象的指纹数据、是否属于目标类别的指纹数据等等。
在文本特征处理领域中，可能涉及到的特征处理方式包括分词、文本清洗、标准化、NLP等等。在此以文本数据的处理纹理，在获取到某文本数据之后，对该文本数据进行处理得到文本向量的相似度矩阵，采用该相似度矩阵的每行元素获得每个文本数据的初始等价划分阈值，从而对该文本数据进行初始等价划分，进而确定初始聚类数目和初始聚类中心，该初始聚类数目和该初始聚类中心可以作为该文本数据的文本特征；除此外，还可以结合采用人工鱼群算法，根据全局最优和局部最优信息更新每条人工鱼的状态，以寻找到全局最优聚类中心，该全局最优聚类中心也可以作为该文本数据的文本特征；等等。在后续应用中，可以根据这些文本特征判断该段文本数据是否来源于某个作家、其可反映出的情感倾向等等。
在语音特征处理领域中，可能涉及到的特征处理方式包括傅里叶变换、Mel倒频谱系数、线性预测系数、线谱频率等等。在此以语音数据的处理为例，在获取到某语音数据后，可以对该语音数据进行加窗处理来得到语音帧，该语音帧可以作为该语音数据的语音特征；除此外，还可从该语音帧中获取门限阈值，并根据该门限阈值获取语音数据中的有音数据，该有音数据可以作为语音数据的语音特征；等。在后续应用中，可以将这些语音特征与预先存储的语音特征进行对比，并根据对比结果确定该段语音数据是否来源于目标对象、是否反映出目标情绪等等。
特征选择模型是任意的可完成特征选择任务的模型，基于该特征选择模型选择出的目标特征可以用于实现分类、回归、聚类等等任务。因此，每个训练样本均存在各自对应的类别标注结果，该类别标注结果是该训练样本在分类、回归、聚类等等特征选择任务中真实所在的类别，比如基于特征选择模型选择出的目标特征是用于将图像分类为小猫、小狗和其它，某个图像的训练样本对应的类别标注结果可以是小猫，或是说与小猫相应的某种数据表示方式。
在实际应用中，可选的，示例性的，假设训练样本{x1,x2,…,xn}的数量是n，每个训练样本包括d个样本特征，这样的多个训练样本构成的样本集合可以通过样本矩阵进行表示，其中X中的第i行表示第i个训练样本/>假设该多个训练样本共涉及到c个类别，则各类别标注结果构成的标注集合可以通过标注矩阵/>进行表示，其中/>为第i个训练样本的类别标注结果的独热编码(one-hot编码)，即，若xi属于c个类别中的第j个类别，则yi的第j个元素其余元素均为0。
S120、根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，其中，目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子。
其中，在将训练样本和类别标注结果输入至特征选择模型后，该特征选择模型可以对该训练样本进行类别预测得到类别预测结果，此时，目标函数确定模块中的损失函数度量单元可以对隶属于同一训练样本的类别预测结果和类别标注结果进行度量，后续根据度量结果和其余因素可以计算出该目标函数确定模块的目标函数值，该其余因素可以是与特征选择有关的因素，该目标函数值可以是目标函数确定模块中的网络参数的调整依据。在对网络参数进行调整后，该调整后的网络参数可以用于特征选择(这是因为目标函数确定模块中的与特征选择有关的特征选择单元的选择过程涉及到该网络参数)，还可以用于完成分类、回归、聚类等等特征选择任务。
需要说明的是，该损失函数度量单元可以是基于自适应损失函数构建出的计算单元，考虑到本发明实施例可能涉及到的应用场景，每个训练对象很可能同时包括多种数据分布下的数据，例如某训练对对象包括部分符合高斯分布的数据和部分符合拉普拉斯分布的数据，基于单一范数构成的损失函数很难对每个数据进行较好度量，如基于l2范数的平方误差损失函数因惩罚是平方而对拉普拉斯分布下的数据中异常值较为敏感，再如基于l1范数的误差损失函数很难准确刻画出高斯分布下的数据。
为了适应各种数据分布下的数据的准确刻画，本发明实施例提出的自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子，该自适应损失函数是对第一范数和第二范数进行融合后的损失函数，第一范数和第二范数是可以分别适应于不同数据分布下的数据的范数，示例性的，第一范数可以是适应于拉普拉斯分布下的数据的范数，第二范数可以是适应于高斯分布下的数据的范数；反之亦然可以。由于该自适应损失函数可以适应于各种数据分布下的数据的预测值和真实值间的准确度量，其不会对某数据分布下的数据中的异常点的损失值较为敏感，因此其可以同时克服数据中存在的高斯噪声和拉普拉斯噪声，目标函数值的准确计算是各数据分布下的网络参数的精度调整的重要依据，精确调整后的网络参数提高了特征选择模型的学习性能、及后续从各样本特征中选择出目标特征的准确度，特征选择的鲁棒性较高。
需要说明的是，正如上文所述，目标函数确定模块中的与特征选择有关的特征选择单元的选择过程涉及到该网络参数，因此根据精确调整后的网络参数可以从各样本特征中准确选择出目标特征，该目标特征可以是对后续其余任务产生较大影响的样本特征，例如对多个分类任务中的每个分类子任务均贡献较高的样本特征。即在模型训练过程中自动计算出每个样本特征的重要性，并根据该重要性从多个样本特征中选择出目标特征，以便从多个样本特征中删选掉冗余的、不相关的特征，由此提高了后续其余任务的实现性能。
本发明实施例的技术方案，通过将包括多个样本特征的训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，该训练样本可包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，该特征选择模型是用于从各样本特征中选择出目标特征的模型；由于特征选择模型中的损失函数度量单元是基于可以适应于各种数据分布下的数据度量的自适应损失函数构建得到，其不会放大数据中存在异常点的损失值，由此基于损失函数度量单元所在的目标函数确定模块的输出结果，可以对网络参数进行精确调整。上述技术方案，通过可以适应于各种数据分布下的数据度量的自适应损失函数，保证了各种情况下的网络参数的调整精度，而且基于该精确调整后的网络参数训练得到的特征选择模型提高了目标特征的选择精度，特征选择的鲁棒性较高。
在实际应用中，可选的，第一式子和/或第二式子中可以设置有用于对第一范数和第二范数进行融合的融合参数，该融合参数的具体取值可以对融合后的自适应损失函数更加偏向于哪个范数造成影响。这样设置的原因在于，在实际应用中，某样本对象中各数据的分布情况未知，其可能是符合高斯分布的数据、符合拉普拉斯分布的数据，更可能是同时包括符合高斯分布的数据和符合拉普拉斯分布的数据，因此通过设置融合参数可以调整高斯分布和拉普拉斯分布间的比例，以使自适应损失函数可以适应于各种情况下的数据分布。
为提高特征选择的准确度，可以预先设置一组融合参数，有些融合参数可令自适应损失函数更加偏向于可适应用于高斯分布的范数，而有些融合参数可令自适应损失函数更加偏向于可适应用于拉普拉斯分布的范数。在此基础上，每个融合参数均对应于一个自适应损失函数，即，基于每个融合参数可以训练得到相应的特征选择模型，后续可以根据不同的训练完成的特征选择模型的应用结果(如分类结果、回归结果、聚类结果)的优良确定哪个取值的融合参数对这类数据的适应性更好，后续可以将该取值的融合参数用于这类数据中。
可选的，自适应损失函数的曲线可以包括介于第一范数的曲线和第二范数的曲线之间的曲线，这样的自适应损失函数是在第一范数和第二范数间的范数，其同时具有第一范数和第二范数的优势，其对于拉普拉斯分布下的数据异常值具有鲁棒性，并且可以有效地学习高斯分布下的正态数据。示例性的，该第一范数可以是l2,1范数，和/或，第二范数可以是lF范数，当然反之亦然可以。
在上述各技术方案的基础上，考虑到本发明实施例可能涉及到的应用场景，对于一个d维向量其l1范数和l2范数分别定义为/>和/>zi表示z中的第i个元素。基于l2范数的平方误差损失函数对小损失不敏感，但对离群点很敏感，因为具有大损失的异常值将主导目标函数，从而对特征选择模型的学习性能产生很大影响。尽管使用基于l1范数的损失函数对异常值不敏感，但其对小损失敏感(相较于l2范数，其对小损失给予相对较大的惩罚)。换言之，l1范数可以适用于拉普拉斯分布下的数据刻画，且l2范数可以适用于高斯分布下的数据刻画。通常情况下，若已选择正确的特征选择模型，大多数数据可具有较小的损失来拟合模型，而只有少量数据具有较大的损失来拟合模型，这在该模型下可以视为异常值。实际应用中数据可能包含部分符合高斯分布的数据和少部分符合拉普拉斯分布的数据，即，可以假设大多数数据的较小损失为高斯分布，同时假设一些数据的较大损失为拉普拉斯分布。基于这样的考虑，向量/>的自适应损失函数可以设置在l1范数和l2范数间，一种可选的设置方式如公式(1)所示：
其中zi是z的第i个元素，σ是融合参数，其是用于对l1范数或是l2范数进行逼近的参数。上述自适应损失函数可以平滑地介于l1范数和l2范数之间，图2a-图2c展示了σ取不同数值的情况下自适应损失函数与l1范数和l2范数的区别，从图中可以明显得知自适应损失函数的曲线介于l1范数的曲线和l2范数的曲线之间。同时，这样的自适应损失函数具有如下的性质：
1.‖z‖σ为非负凸函数；
2.‖z‖σ二次可微；
3.当σ趋向于0时，自适应损失函数‖z‖σ趋向于l1范数‖z‖1；
4.当σ趋向于∞时，自适应损失函数‖z‖σ趋向于l2范数‖z‖2。
需要说明的是，在实际数据挖掘中，很多情况下要对训练样本的多维目标进行拟合，即刻画矩阵的损失，由此，可对上述向量的自适应损失函数扩展为矩阵的自适应损失函数。具体的，对于矩阵其l2,1范数(这是l1范数的矩阵扩展)和lF范数(这是l2范数的矩阵扩展)分别定义为/>和/>其中zi表示为Z的第i行向量。在此基础上，矩阵Z的自适应损失函数可以设置在l2,1范数和lF范数之间，一种可选的设置方式如公式(2)所示：
结合到本发明实施例可能涉及到的应用场景，上述各变量的含义如下所述，σ是融合参数，||zi||2+σ是第一式子，是第二式子，Z是经由特征选择模型预测出的训练样本的类别预测结果、以及与类别预测结果相应的类别标注结果间的差值，zi是第i个训练样本对应的差值，n是训练样本的数量。显然，矩阵Z退化为向量z时，公式(2)将简化为公式(1)，即向量z的自适应损失函数是矩阵Z的自适应损失函数的特殊情况。与向量的自适应损失函数类似，矩阵的自适应损失函数也具有如下性质：
1.‖Z‖σ为非负凸函数；
2.‖Z‖σ二次可微；
3.当σ趋向于0时，自适应损失函数‖Z‖σ趋向于l2,1范数‖Z‖2,1；
4.当σ趋向于∞时，自适应损失函数‖Z‖σ趋向于lF范数‖Z‖F。
在此基础上，可选的，考虑到本发明实施例可能涉及到的应用场景，Z的一种可选取值可以是Z＝XW+1bT-Y，其中，XW+1bT是类别预测结果，Y是类别标注结果，X是训练样本，W和b是网络参数，W是回归系数，b是偏置。具体的，W可以认为是的回归系数矩阵，b可以认为是/>的偏置向量，/>为大小为n的全1向量，XW+1bT意味着特征选择模型可以通过W和b将训练样本向类别标注结果进行回归得到类别预测结果。
实施例二
图3是本发明实施例二中提供的一种特征选择模型的训练方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，目标函数确定模块还包括基于稀疏正则化项构建出的特征选择单元，稀疏正则化项是与网络参数相关的范数；特征选择模型，具体用于根据调整后的网络参数确定特征选择单元输出的与各样本特征分别对应的输出结果，并根据各输出结果从各样本特征中选择出目标特征。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S210、将多个训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，其中，训练样本包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个训练样本包括多个样本特征。
S220、根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，其中，目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元和基于稀疏正则化项构建出的特征选择单元，自适应损失函数包括与第一范数相关的第一式子、及与第二范数相关的第二式子，稀疏正则化项是与网络参数相关的范数；特征选择模型，具体用于根据调整后的网络参数确定特征选择单元输出的与各样本特征分别对应的输出结果，并根据各输出结果从各样本特征中选择出目标特征。
其中，特征选择单元是基于稀疏正则化项构建得到的用于选择特征的单元，该稀疏正则化项是与网络参数相关的范数。特征选择模型在接收到训练样本、和每个训练样本对应的类别标注结果之后，损失函数度量单元根据训练样本、类别标注结果和网络参数可以计算出损失函数度量值，特征选择单元根据网络参数可以计算出特征选择值，由此可以将损失函数度量值和特征选择值的运算结果作为目标函数确定模块输出的目标函数值。由此，将特征选择过程融合到模型训练过程中，与损失函数计算相关的损失函数度量值、和与特征选择相关的特征选择值都会对网络参数的调整过程产生依据。
在实际应用中，该稀疏正则化项可以是l1范数，如l1-SVM采用易产生稀疏解的l1范数正则化项来进行特征选择(非零元素对应的样本特征即为目标特征)；该稀疏正则化项还可以是l2,1范数，如采用l2,1范数正则化项用于跨任务耦合的特征选择，l2,1范数正则化项可以选择数据中具有联合稀疏性的特征，具体来说，若某样本特征对多类分类任务的每一个分类子任务均贡献较高，则该样本特征可以作为目标特征保留下来，由此产生了与grouplasso方法类似组稀疏效果；该稀疏正则化项还可以是与回归系数W相关的l2,1范数，示例性，考虑到本发明实施例可能涉及到的应用场景，基于与回归系数W相关的l2,1范数构建得到的特征选择单元可以是λ‖W‖2,1，作用于W上的l2,1范数可产生行稀疏的效果，即最终优化得到的W中有很多行的元素均为0，非零行对应保留下来的目标特征，由此实现了特征选择功能；λ为正则化参数，其可以用于平衡损失函数度量单元和特征选择单元的权重，同时可以控制l2,1范数中W的稀疏程度，当λ较大时W中会有较多行被压缩为0。
在此基础上，目标函数确定模块可以通过如下公式(3)进行表示，其中，网络参数的调整过程可以是一个迭代优化的过程，min的含义是在迭代过程中，W和b会取不同的数值，选择使‖XW+1bT-Y‖σ数值最小的W和b。
minW,b‖XW+1bT-Y‖σ+λ‖W‖2,1 (3)
需要说明的是，特征选择单元输出的与各个样本特征分别对应的输出结果可以是调整后的某个网络参数的某一行，该调整后的网络参数中的每一行可以分别与一个样本特征相对应，该输出结果可以认为是矩阵中的某行向量。由此根据各样本特征分别对应的输出结果，可从各样本特征中选择出目标特征，如可以将存在非零元素的行对应的样本特征作为目标特征；再如还可以对各行从大到小进行排序，根据预先设置的待选择出的目标特征的个数、以及排序结果进行特征选择；等等，在此未做具体限定。
本发明实施例的技术方案，通过与网络参数相关的稀疏正则化项构建特征选择单元，该稀疏正则化项可以对网络参数产生稀疏效果，后续根据该特征选择单元的输出结果可以从各样本特征中准确选择出目标特征。
一种可选的技术方案，根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，可以包括：将网络参数输入至特征选择模型中，确定特征选择模型中的目标函数确定模块输出的目标函数值是否收敛；若否，则根据网络参数确定参数调整数据，并根据参数调整数据对网络参数进行调整，根据调整结果更新网络参数；重复执行将网络参数输入至特征选择模型中的步骤，直至目标函数值收敛，网络参数调整结束。上述参数调整数据可以是为简化计算过程而设置的与网络参数有关的中间变量，其可以用于对网络参数进行更新。
为了更好地理解上述步骤的具体实现过程，下面以公式(3)所示例子为例，对本实施例的特征选择模型的训练方法进行示例性的说明。可选的，对公式(3)进行求导得到公式(4)：
其中D为对角矩阵对角线上第i个位置的元素为Wi是W中的第i行，令 和di是参数调整数据(即，中间变量)，由于自适应损失函数具有非凸、可微的性质，对公式(3)进行求导之后得到的公式(4)的整个式子为0，即令公式(4)为零得到公式(5)，由此可以得到W和b的表达式：
由于和di均与待优化变量W相关，同时优化这些变量的优化过程非常困难，为此可以基于一种迭代再加权算法对这些变量进行优化：输入数据可包括多个训练样本构成的样本矩阵/>多个类别标注结果构成的标注矩阵/>待选择出的目标特征的个数k，正则化参数λ；输出数据可包括k个目标特征，这一迭代再加权算法的执行过程如下所示：
________________________________________________________
1：t＝0(t是迭代次数)
2：初始化Wt＝I(I是大小为n×d的单位矩阵)和bt＝1
3：Repeat(重复执行下述步骤)
4：根据Wt和bt计算和/>
5：根据公式(5)更新Wt+1和更新bt+1
6：Until converges(直至目标函数值收敛)
7：根据||Wi||2进行从大到小排序，将前k行对应的样本特征作为目标特征
_______________________________________________
实施例三
图4是本发明实施例三中提供的一种对象分类方法的流程图。本实施例可适用于基于预先训练得到的特征选择模型选择出的目标特征对待分类对象进行分类的情况。该方法可以由本发明实施例提供的对象分类装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各终端或服务器。
参见图4，本发明实施例的方法具体包括如下步骤：
S310、获取待分类对象的特征，基于按照本发明任意实施例所述的训练方法训练得到的特征选择模型，从各特征中选择出目标特征。
其中，待分类对象是待进行分类的对象，如待分类的生物数据、图像数据、文本数据、语音数据等等；特征是对待分类对象进行特征提取后得到的特征，正如本发明实施例一所述的内容，特征提取的实现方式有多种，在此不再赘述。
在获取到待分类对象的特征后，可以基于预先训练得到的特征选择模型从各特征中筛选出目标特征，该目标特征是对该待分类对象的分类任务的贡献度较大的特征。
S320、根据目标特征对待分类对象进行分类。
其中，根据目标特征对待分类对象进行分类的实现方式有多种，比如对各目标特征再次进行处理，并根据处理结果得到待分类对象的分类结果；再比如将各目标特征输入至预先训练得到的对象分类模型中，根据该对象分类模型的输出结果得到该待分类对象的分类结果；等等，在此未做具体限定。
需要说明的是，上述技术方案可以应用于众多领域中，示例性的，在生物领域中，继续以上文所述的基因数据为例，根据某基因数据的基因目标特征(即对各基因特征进行特征选择后得到的目标特征)可以将该基因数据分类到人类、犬类或猫类的基因数据，可以将该基因数据分类到与目标对象具有或是未具有亲子关系的对象的基因数据；在图像领域中，继续以上文所述的指纹数据为例，根据某指纹数据的指纹目标特征可以将该指纹数据分类到属于或是未属于目标对象的指纹数据、属于或未属于目标类别的指纹数据，该目标类别可以是人类、动物类等；在文本领域中，继续以上文所述的文本数据为例，根据某文本数据的文本目标特征可以将该文本数据分类到来源于A作家、B作家或是C作家的文本数据，可以将该文本数据反映出的情感倾向分类到快乐、痛苦或是悲伤；在语音领域中，继续以上文所述的语音数据为例，根据某语音数据的语音目标特征可以将该语音数据分类到属于或是未属于目标对象的语音数据，可以将该语音数据所表征出的情绪分类到属于或是未属于目标情绪；等等。当然，上述技术方案还可以应用于其余领域中，在此未做具体限定。
本发明实施例的技术方案，通过获取待分类对象的特征，基于已训练完成的特征选择模型从各特征中选择出对后续待分类对象的分类任务的贡献度较大的目标特征；进而根据该目标特征对待分类对象进行分类，得到了待分类对象的分类结果。上述技术方案，先通过特征选择模型从各特征中选择出对后续的待分类对象的分类任务的贡献度较大的目标特征，再基于该目标特征对待分类对象进行分类时，提高了待分类对象的分类准确度。
实施例四
图5为本发明实施例四提供的特征选择模型的训练装置的结构框图，该装置用于执行上述任意实施例所提供的特征选择模型的训练方法。该装置与上述各实施例的特征选择模型的训练方法属于同一个发明构思，在特征选择模型的训练装置的实施例中未详尽描述的细节内容，可以参考上述特征选择模型的训练方法的实施例。参见图5，该装置具体可以包括：数据输入模块410和模型训练模块420。
其中，数据输入模块410，用于将多个训练样本、及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，其中，训练样本包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个训练样本包括多个样本特征，特征选择模型用于从各样本特征中选择出目标特征；
模型训练模块420，用于根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，其中，目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子。
可选的，自适应损失函数的曲线是介于第一范数的曲线和第二范数的曲线间的曲线；和/或，第一式子和/或第二式子中设置有用于对第一范数和第二范数进行融合的融合参数；和/或，第一范数包括l2,1范数和/或第二范数包括lF范数。
可选的，自适应损失函数通过如下公式表示：
其中，σ是融合参数，||zi||2+σ是第一式子，是第二式子，Z是经由特征选择模型预测出的训练样本的类别预测结果、及与类别预测结果相应的类别标注结果间的差值，zi是第i个训练样本对应的差值，n是训练样本的数量。
可选的，Z＝XW+1bT-Y，其中，XW+1bT是类别预测结果，Y是类别标注结果，X是训练样本，W和b是网络参数，W是回归系数，b是偏置。
可选的，目标函数确定模块还包括基于稀疏正则化项构建出的特征选择单元，稀疏正则化项是与网络参数相关的范数；特征选择模型，具体用于根据调整后的网络参数确定特征选择单元输出的与各样本特征分别对应的输出结果，并根据各输出结果从各样本特征中选择出目标特征。
在此基础上，可选的，稀疏正则化项是与回归系数W相关的l2,1范数。
可选的，模型训练模块420，具体可以用于：
将网络参数输入至特征选择模型中，确定特征选择模型中的目标函数确定模块输出的目标函数值是否收敛；若否，则根据网络参数确定参数调整数据，并根据参数调整数据对网络参数进行调整，根据调整结果更新网络参数；重复执行将网络参数输入至特征选择模型中的步骤，直至目标函数值收敛，网络参数调整结束。
本发明实施例四提供的特征选择模型的训练装置，通过数据输入模块可将包括多个样本特征的训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，该训练样本可包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，该特征选择模型是用于从各样本特征中选择出目标特征的模型；模型训练模块由于特征选择模型中的损失函数度量单元是基于可以适应于各种数据分布下的数据度量的自适应损失函数构建得到，其不会放大数据中存在异常点的损失值，由此基于损失函数度量单元所在的目标函数确定模块的输出结果，可以对网络参数进行精确调整。上述装置，通过可以适应于各种数据分布下的数据度量的自适应损失函数，保证了各种情况下的网络参数的调整精度，而且基于该精确调整后的网络参数训练得到的特征选择模型提高了目标特征的选择精度，特征选择的鲁棒性较高。
本发明实施例所提供的特征选择模型的训练装置可执行本发明任意实施例所提供的特征选择模型的训练方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述特征选择模型的训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
图6为本发明实施例五提供的对象分类装置的结构框图，该装置用于执行上述任意实施例所提供的对象分类方法。该装置与上述各实施例的对象分类方法属于同一个发明构思，在对象分类装置的实施例中未详尽描述的细节内容，可以参考上述对象分类方法的实施例。参见图6，该装置具体可以包括：特征选择模块510和对象分类模块520。其中，
特征选择模块510，用于获取待分类对象的特征，基于按照本发明任意实施例所述的训练方法训练得到的特征选择模型，从各特征中选择出目标特征；
对象分类模块520，用于根据目标特征对待分类对象进行分类。
本发明实施例五提供的对象分类装置，通过特征选择模块获取待分类对象的特征，基于已训练完成的特征选择模型从各特征中选择出对后续待分类对象的分类任务的贡献度较大的目标特征；进而，对象分类模块根据该目标特征对待分类对象进行分类，得到了待分类对象的分类结果。上述装置，先通过特征选择模型从各特征中选择出对后续的待分类对象的分类任务的贡献度较大的目标特征，再基于该目标特征对待分类对象进行分类时，达到了提高待分类对象的分类准确度的效果。
本发明实施例所提供的对象分类装置可执行本发明任意实施例所提供的对象分类方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述对象分类装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例六
图7为本发明实施例六提供的一种电子设备的结构示意图，如图7所示，该电子设备包括存储器610、处理器620、输入装置630和输出装置640。电子设备中的处理器620的数量可以是一个或多个，图7中以一个处理器620为例；电子设备中的存储器610、处理器620、输入装置630和输出装置640可以通过总线或其它方式连接，图7中以通过总线650连接为例。
存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的特征选择模型的训练方法对应的程序指令/模块(例如，特征选择模型的训练装置中数据输入模块410和模型训练模块420)，或是，如本发明实施例中的对象分类方法对应的程序指令/模块(如，对象分类装置中的特征选择模块510和对象分类模块520)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的特征选择模型的训练方法或是对象分类方法。
存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例七
本发明实施例七提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种特征选择模型的训练方法，该方法包括：
将多个训练样本、以及与每个训练样本分别对应的类别标注结果输入至特征选择模型中，其中，训练样本包括与生物特征处理、图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个训练样本包括多个样本特征，特征选择模型用于从各样本特征中选择出目标特征；
根据特征选择模型中的目标函数确定模块输出的目标函数值，对目标函数确定模块中的网络参数进行调整，其中，目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的特征选择模型的训练方法中的相关操作。
实施例八
本发明实施例八提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种对象分类方法，该方法包括：
获取待分类对象的特征，基于按照本发明任意实施例所述的训练方法训练得到的特征选择模型，从各特征中选择出目标特征；
根据目标特征对待分类对象进行分类。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种特征选择模型的训练方法，其特征在于，包括：
将多个训练样本、以及与每个所述训练样本分别对应的类别标注结果输入至特征选择模型中，其中，所述训练样本包括与图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个所述训练样本包括多个样本特征，所述特征选择模型用于从各所述样本特征中选择出目标特征；
根据所述特征选择模型中的目标函数确定模块输出的目标函数值，对所述目标函数确定模块中的网络参数进行调整，其中，所述目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，所述自适应损失函数包括与第一范数相关的第一式子、以及与第二范数相关的第二式子，所述第一式子和/或所述第二式子中设置有用于对所述第一范数和所述第二范数进行融合的融合参数，所述自适应损失函数与所述第二式子和所述第一式子的比值有关；
其中，所述特征选择模型还用于对每个所述训练样本分别进行类别预测，得到类别预测结果，利用所述损失函数度量单元，对隶属于同一所述训练样本的类别预测结果和类别标注结果进行度量，并根据度量结果和其余因素计算出所述目标函数值，所述其余因素是与特征选择有关的因素。
2.根据权利要求1所述的方法，其特征在于，所述自适应损失函数的曲线是介于所述第一范数的曲线和所述第二范数的曲线之间的曲线；和/或，
所述第一范数包括范数，和/或，所述第二范数包括/>范数。
3.根据权利要求1或2所述的方法，其特征在于，所述自适应损失函数通过如下公式表示：
；
其中，是融合参数，/>是所述第一式子，/>是所述第二式子，/>是经由所述特征选择模型预测出的所述训练样本的类别预测结果、以及与所述类别预测结果相应的所述类别标注结果间的差值，/>是第/>个所述训练样本对应的所述差值，/>是所述训练样本的数量。
4.根据权利要求3所述的方法，其特征在于，，其中，/>是所述类别预测结果，/>是所述类别标注结果，/>是所述训练样本，/>和/>是所述网络参数，/>是回归系数，/>是偏置。
5.根据权利要求1所述的方法，其特征在于，所述目标函数确定模块还包括基于稀疏正则化项构建出的特征选择单元，所述稀疏正则化项是与所述网络参数相关的范数；
所述特征选择模型，具体用于根据调整后的所述网络参数确定所述特征选择单元输出的与各所述样本特征分别对应的输出结果，并根据各所述输出结果从各所述样本特征中选择出目标特征。
6.根据权利要求5所述的方法，其特征在于，所述稀疏正则化项是与回归系数相关的范数。
7.根据权利要求1所述的方法，其特征在于，所述根据所述特征选择模型中的目标函数确定模块输出的目标函数值，对所述目标函数确定模块中的网络参数进行调整，包括：
将所述网络参数输入至所述特征选择模型中，确定所述特征选择模型中的目标函数确定模块输出的目标函数值是否收敛；
若否，则根据所述网络参数确定参数调整数据，并根据所述参数调整数据对所述网络参数进行调整，根据调整结果更新所述网络参数；
重复执行所述将所述网络参数输入至所述特征选择模型中的步骤，直至所述目标函数值收敛，所述网络参数调整结束。
8.一种对象分类方法，其特征在于，包括：
获取待分类对象的特征，基于按照权利要求1-7中任一项的训练方法训练得到的特征选择模型，从各所述特征中选择出目标特征；
根据所述目标特征对所述待分类对象进行分类。
9.一种特征选择模型的训练装置，其特征在于，包括：
数据输入模块，用于将多个训练样本、以及与每个所述训练样本分别对应的类别标注结果输入至特征选择模型中，其中，所述训练样本包括与图像特征处理、语音特征处理和/或文本特征处理相关的样本，每个所述训练样本包括多个样本特征，所述特征选择模型用于从各所述样本特征中选择出目标特征；
模型训练模块，用于根据所述特征选择模型中的目标函数确定模块输出的目标函数值，对所述目标函数确定模块中的网络参数进行调整，其中所述目标函数确定模块包括基于自适应损失函数构建出的损失函数度量单元，所述自适应损失函数包括与第一范数相关的第一式子、及与第二范数相关的第二式子，所述第一式子和/或所述第二式子中设置有用于对所述第一范数和所述第二范数进行融合的融合参数，所述自适应损失函数与所述第二式子和所述第一式子的比值有关；
其中，所述特征选择模型还用于对每个所述训练样本分别进行类别预测，得到类别预测结果，利用所述损失函数度量单元，对隶属于同一所述训练样本的类别预测结果和类别标注结果进行度量，并根据度量结果和其余因素计算出所述目标函数值，所述其余因素是与特征选择有关的因素。
10.一种对象分类装置，其特征在于，包括：
特征选择模块，用于获取待分类对象的特征，基于按照权利要求1-7中任一项的训练方法训练得到的特征选择模型，从各所述特征中选择出目标特征；
对象分类模块，用于根据所述目标特征对所述待分类对象进行分类。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的特征选择模型的训练方法，或者如权利要求8中所述的对象分类方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的特征选择模型的训练方法，或者如权利要求8中所述的对象分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011242309.3A CN113762005B (zh) | 2020-11-09 | 2020-11-09 | 特征选择模型的训练、对象分类方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011242309.3A CN113762005B (zh) | 2020-11-09 | 2020-11-09 | 特征选择模型的训练、对象分类方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113762005A CN113762005A (zh) | 2021-12-07 |
| CN113762005B true CN113762005B (zh) | 2024-06-18 |
Family
ID=78786018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011242309.3A Active CN113762005B (zh) | 2020-11-09 | 2020-11-09 | 特征选择模型的训练、对象分类方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113762005B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742720B (zh) * | 2022-03-16 | 2023-03-14 | 哈尔滨工业大学（深圳） | 一种张量补全的方法、张量补全的装置、设备及存储介质 |
| CN117435906B (zh) * | 2023-12-18 | 2024-03-12 | 湖南行必达网联科技有限公司 | 基于交叉熵的新能源汽车配置特征选择方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7853599B2 (en) * | 2008-01-21 | 2010-12-14 | Microsoft Corporation | Feature selection for ranking |
| CN102855486B (zh) * | 2012-08-20 | 2015-02-11 | 北京理工大学 | 一种广义图像目标检测方法 |
| CN103810252B (zh) * | 2014-01-21 | 2017-02-08 | 南京信息工程大学 | 基于群稀疏特征选择的图像检索方法 |
| CN107430588B (zh) * | 2015-01-22 | 2021-12-31 | 斯坦福大学托管董事会 | 用于确定不同细胞亚群的比例的方法和*** |
| CN106326904A (zh) * | 2015-06-16 | 2017-01-11 | 富士通株式会社 | 获取特征排序模型的装置和方法以及特征排序方法 |
| CN105160400B (zh) * | 2015-09-08 | 2018-03-02 | 西安交通大学 | 基于l21范数的提升卷积神经网络泛化能力的方法 |
| CN108615044A (zh) * | 2016-12-12 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 一种分类模型训练的方法、数据分类的方法及装置 |
| CN107330396B (zh) * | 2017-06-28 | 2020-05-19 | 华中科技大学 | 一种基于多属性和多策略融合学习的行人再识别方法 |
| CN109186973B (zh) * | 2018-08-20 | 2020-03-31 | 东南大学 | 一种无监督深度学习网络的机械故障诊断方法 |
| CN109460825A (zh) * | 2018-10-24 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 用于构建机器学习模型的特征选取方法、装置以及设备 |
| US10817668B2 (en) * | 2018-11-26 | 2020-10-27 | Sap Se | Adaptive semi-supervised learning for cross-domain sentiment classification |
| CN111582008B (zh) * | 2019-02-19 | 2023-09-08 | 富士通株式会社 | 训练分类模型的装置和方法及利用分类模型分类的装置 |
| CN110210616A (zh) * | 2019-04-23 | 2019-09-06 | 中国科学院大学 | 一种基于类别表示指导特征选择的零次学习分类算法 |
| CN111046959A (zh) * | 2019-12-12 | 2020-04-21 | 上海眼控科技股份有限公司 | 模型训练方法、装置、设备和存储介质 |
| CN111382391A (zh) * | 2020-02-25 | 2020-07-07 | 重庆文理学院 | 一种用于多目标回归的目标相关特征构建方法 |
| CN111368886B (zh) * | 2020-02-25 | 2023-03-21 | 华南理工大学 | 一种基于样本筛选的无标注车辆图片分类方法 |
| CN111553399A (zh) * | 2020-04-21 | 2020-08-18 | 佳都新太科技股份有限公司 | 特征模型训练方法、装置、设备及存储介质 |
| CN111626821B (zh) * | 2020-05-26 | 2024-03-12 | 山东大学 | 基于集成特征选择实现客户分类的产品推荐方法及*** |
| CN111740971A (zh) * | 2020-06-15 | 2020-10-02 | 郑州大学 | 基于类不平衡处理的网络入侵检测模型sgm-cnn |
| CN111598190B (zh) * | 2020-07-21 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 图像目标识别模型的训练方法、图像识别方法及装置 |
-
2020
- 2020-11-09 CN CN202011242309.3A patent/CN113762005B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 基于稀疏聚类的无监督特征选择;董利梅;赵红;杨文元;;南京大学学报(自然科学);20180130(第01期);全文 * |
| 基于自步学习的无监督属性选择算法;龚永红;郑威;吴林;谭马龙;余浩;;计算机应用;20180517(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113762005A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241903B (zh) | 样本数据清洗方法、装置、计算机设备及存储介质 | |
| TWI677852B (zh) | 一種圖像特徵獲取方法及裝置、電子設備、電腦可讀存儲介質 | |
| CN111079639B (zh) | 垃圾图像分类模型构建的方法、装置、设备及存储介质 | |
| KR102219346B1 (ko) | 베이지안 최적화를 수행하기 위한 시스템 및 방법 | |
| CN105144239B (zh) | 图像处理装置、图像处理方法 | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| WO2019200735A1 (zh) | 牲畜特征向量的提取方法、装置、计算机设备和存储介质 | |
| CN110210625B (zh) | 基于迁移学习的建模方法、装置、计算机设备和存储介质 | |
| CN110414541B (zh) | 用于识别物体的方法、设备和计算机可读存储介质 | |
| CN113762005B (zh) | 特征选择模型的训练、对象分类方法、装置、设备及介质 | |
| CN110705489B (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
| CN110264407B (zh) | 图像超分辨模型训练及重建方法、装置、设备及存储介质 | |
| CN113011532A (zh) | 分类模型训练方法、装置、计算设备及存储介质 | |
| CN114255381B (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
| US20210319269A1 (en) | Apparatus for determining a classifier for identifying objects in an image, an apparatus for identifying objects in an image and corresponding methods | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN109657710B (zh) | 数据筛选方法、装置、服务器及存储介质 | |
| CN113516182B (zh) | 视觉问答模型训练、视觉问答方法和装置 | |
| CN114065901A (zh) | 训练神经网络模型的方法和装置 | |
| Sengottuvelan et al. | Object classification using substance based neural network | |
| CN116663648B (zh) | 模型训练方法、装置、设备及存储介质 | |
| CN113505783B (zh) | 基于少次学习的甲骨文单字识别方法和装置 | |
| You | [Retracted] Modeling and Analysis of Multifocus Picture Division Algorithm Based on Deep Learning | |
| Andreș et al. | Automatic License Plate Recognition and Real-Time Car Vignette Notifications | |
| Rajendraprasad | Gender classification of lions using image processing with machine learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |