CN114118246A - 基于沙普利值和假设检验的全相关特征选择方法及装置 - Google Patents
基于沙普利值和假设检验的全相关特征选择方法及装置 Download PDFInfo
- Publication number
- CN114118246A CN114118246A CN202111384278.XA CN202111384278A CN114118246A CN 114118246 A CN114118246 A CN 114118246A CN 202111384278 A CN202111384278 A CN 202111384278A CN 114118246 A CN114118246 A CN 114118246A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- importance
- global
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003044 adaptive effect Effects 0.000 claims abstract description 58
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于沙普利值和假设检验的全相关特征选择方法及装置。本方法适用于有监督任务的特征集合。设计了一个解决全相关问题的特征选择模型,模型首先利用沙普利归因算法计算特征的局部重要性,其次利用随机特征构建自适应阈值,然后利用重要性和阈值评估出特征的相关性。在选择策略上,本发明设计了双重假设检验,利用局部假设检验快速剔除不相关特征,再利用全局假设检验降低误删相关特征的风险。最后得到与问题域相关的全部特征,既提高了特征集的可解释性,也增强了预测的可靠性。
Description
技术领域
本发明涉及特征选择技术领域,尤其涉及一种基于沙普利值和假设检验的全相关特征选择方法及装置。
背景技术
特征选择是特征工程中的重要问题之一,特征选择的任务是从原始特征集中选择出与问题域相关的特征子集。特征选择的目的是提高特征集的可解释性和预测的性能。在以特征数据为中心的场景中解决该问题是至关重要的。目前传统特征选择的研究主要是解决最小最优问题,即选择出具有最优分类性能的最小特征子集。根据特征子集评价标准可以将方法分为过滤式和封装式两种,过滤式方法具体是指将所有特征按照特定的统计值进行排序,根据排序选择特征子集。封装式方法是通过学习算法对候选的特征子集进行评价,并通过多次迭代改变候选特征子集,然后根据分类精度和特征数等评价标准选择最优特征子集。以求解最小最优问题为目标的选择特征方法优势在于得到的特征子集分类效果好,且特征数少,后续建立的模型更为简单。缺点是利用最小最优特征集,得到的往往是一个黑盒子预测模型,难以保证特征集的可解释性。为了更好地理解问题域的潜在知识,特征选择方法更优先要解决的是全相关问题,即确定与问题域相关的全部特征,解决全相关问题还存在以下难点,比如在模型强大的拟合能力下,虚假相关性广泛存在,相关性指标难以定义和评估,再比如难以选择出全部的相关特征,尤其是弱相关特征。
发明内容
本发明的主要目的在于提供一种基于沙普利值和假设检验的全相关特征选择方法及装置,旨在解决不能有效评估特征相关性和不能自适应地识别全部相关特征的问题。
第一方面,本发明提供一种基于沙普利值和假设检验的全相关特征选择方法,所述基于沙普利值和假设检验的全相关特征选择方法包括:
步骤1:相关性评估;
评估出M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
步骤2:选择策略;
步骤2的输入是M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
若自适应系数c不为1,使自适应系数c增加0.1,执行步骤1;
可选的,所述基于沙普利值和假设检验的全相关特征选择方法包括:
可选的,所述基于沙普利值和假设检验的全相关特征选择方法包括:
定义原假设(H0):特征的相关性服从概率为0.5的二项分布,其概率分布函数为F(·);
对局部相关性做假设检验,将落入左右拒绝域的特征集定义为:
对全局相关性做假设检验,得到两个特征集:
根据两次假设检验得到特征集合的划分:
第二方面,本发明还提供一种基于沙普利值和假设检验的全相关特征选择装置:所述基于沙普利值和假设检验的全相关特征选择装置包括:
评估模块10,用于执行步骤1:相关性评估;
评估出M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
选择模块20,用于执行步骤2:选择策略;
步骤2的输入是M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
若自适应系数c不为1,使自适应系数c增加0.1,执行步骤1;
可选的,所述评估模块10还用于:
可选的,所述选择模块20还用于:
定义原假设(H0):特征的相关性服从概率为0.5的二项分布,其概率分布函数为F(·);
对局部相关性做假设检验,将落入左右拒绝域的特征集定义为:
对全局相关性做假设检验,得到两个特征集:
根据两次假设检验得到特征集合的划分:
本发明公开了一种基于沙普利值和假设检验的全相关特征选择方法及装置。本方法适用于有监督任务的特征集合。设计了一个解决全相关问题的特征选择模型,模型首先利用沙普利归因算法计算特征的局部重要性,其次利用随机特征构建自适应阈值,然后利用重要性和阈值评估出特征的相关性。在选择策略上,本发明设计了双重假设检验,利用局部假设检验快速剔除不相关特征,再利用全局假设检验降低误删相关特征的风险。最后得到与问题域相关的全部特征,既提高了特征集的可解释性,也增强了预测的可靠性。
附图说明
图1为本发明实施例方案中涉及的基于沙普利值和假设检验的全相关特征选择方法的流程示意图;
图2为本发明实施例方案中涉及的基于沙普利值和假设检验的全相关特征选择装置的第一实施例的功能示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
第一方面,本发明实施例提供了一种基于沙普利值和假设检验的全相关特征选择方法。
参照图1,图1为本发明实施例方案中涉及的基于沙普利值和假设检验的全相关特征选择方法的流程示意图。
如图1所示,基于沙普利值和假设检验的全相关特征选择方法包括:
步骤1:相关性评估;
评估出M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
步骤2:选择策略;
步骤2的输入是M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
若自适应系数c不为1,使自适应系数c增加0.1,执行步骤1;
进一步地,一实施例中,所述基于沙普利值和假设检验的全相关特征选择方法包括:
进一步地,一实施例中,所述基于沙普利值和假设检验的全相关特征选择方法包括:
本实施例中,需要评估相关性;局部相关性,将特征的局部重要性Im与阈值T做比较,高于T的次数为该特征的局部相关性,即 全局相关性,假设已经迭代了MI次,则MI次迭代中全局重要性GIm高于阈值的次数表示为全局相关性,即
定义原假设(H0):特征的相关性服从概率为0.5的二项分布,其概率分布函数为F(·);
对局部相关性做假设检验,将落入左右拒绝域的特征集定义为:
对全局相关性做假设检验,得到两个特征集:
根据两次假设检验得到特征集合的划分:
本发明涉及的实施例公开了一种基于沙普利值和假设检验的全相关特征选择方法及装置。本方法适用于有监督任务的特征集合。设计了一个解决全相关问题的特征选择模型,模型首先利用沙普利归因算法计算特征的局部重要性,其次利用随机特征构建自适应阈值,然后利用重要性和阈值评估出特征的相关性。在选择策略上,本发明涉及的实施例设计了双重假设检验,利用局部假设检验快速剔除不相关特征,再利用全局假设检验降低误删相关特征的风险。最后得到与问题域相关的全部特征,既提高了特征集的可解释性,也增强了预测的可靠性。
第二方面,本发明实施例还提供一种基于沙普利值和假设检验的全相关特征选择装置。
参照图2,图2为本发明实施例方案中涉及的基于沙普利值和假设检验的全相关特征选择装置的第一实施例的功能示意图。
本实施例中,所述基于沙普利值和假设检验的全相关特征选择装置包括:
评估模块,用于执行步骤1:相关性评估;
评估出M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
选择模块,用于执行步骤2:选择策略;
步骤2的输入是M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
若自适应系数c不为1,使自适应系数c增加0.1,执行步骤1;
进一步地,一实施例中,所述评估模块还用于:
进一步地,一实施例中,所述选择模块还用于:
定义原假设(H0):特征的相关性服从概率为0.5的二项分布,其概率分布函数为F(·);
对局部相关性做假设检验,将落入左右拒绝域的特征集定义为:
对全局相关性做假设检验,得到两个特征集:
根据两次假设检验得到特征集合的划分:
其中,上述xx装置中各个模块的功能实现与上述基于沙普利值和假设检验的全相关特征选择方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于沙普利值和假设检验的全相关特征选择方法,其特征在于,所述基于沙普利值和假设检验的全相关特征选择方法包括:
步骤1:相关性评估;
评估出M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
步骤2:选择策略;
步骤2的输入是M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
若自适应系数c不为1,使自适应系数c增加0.1,执行步骤1;
定义原假设(H0):特征的相关性服从概率为0.5的二项分布,其概率分布函数为F(·);
对局部相关性做假设检验,将落入左右拒绝域的特征集定义为:
对全局相关性做假设检验,得到两个特征集:
根据两次假设检验得到特征集合的划分:
6.一种基于沙普利值和假设检验的全相关特征选择装置,其特征在于,所述基于沙普利值和假设检验的全相关特征选择装置包括:
评估模块,用于执行步骤1:相关性评估;
评估出M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
选择模块,用于执行步骤2:选择策略;
步骤2的输入是M个候选特征的局部相关性指标Rm和全局相关性指标GRm;
若自适应系数c不为1,使自适应系数c增加0.1,执行步骤1;
10.如权利要求9所述的基于沙普利值和假设检验的全相关特征选择装置,其特征在于,所述选择模块还用于:
定义原假设(H0):特征的相关性服从概率为0.5的二项分布,其概率分布函数为F(·);
对局部相关性做假设检验,将落入左右拒绝域的特征集定义为:
对全局相关性做假设检验,得到两个特征集:
根据两次假设检验得到特征集合的划分:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111384278.XA CN114118246A (zh) | 2021-11-16 | 2021-11-16 | 基于沙普利值和假设检验的全相关特征选择方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111384278.XA CN114118246A (zh) | 2021-11-16 | 2021-11-16 | 基于沙普利值和假设检验的全相关特征选择方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114118246A true CN114118246A (zh) | 2022-03-01 |
Family
ID=80439074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111384278.XA Pending CN114118246A (zh) | 2021-11-16 | 2021-11-16 | 基于沙普利值和假设检验的全相关特征选择方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114118246A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114662707A (zh) * | 2022-03-31 | 2022-06-24 | 国网智能电网研究院有限公司 | 基于联邦学习的节点激励方法、装置、***及存储介质 |
CN115953248A (zh) * | 2023-03-01 | 2023-04-11 | 支付宝(杭州)信息技术有限公司 | 基于沙普利可加性解释的风控方法、装置、设备及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009014A (zh) * | 2019-03-24 | 2019-07-12 | 北京工业大学 | 一种融合相关系数与互信息的特征选择方法 |
-
2021
- 2021-11-16 CN CN202111384278.XA patent/CN114118246A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009014A (zh) * | 2019-03-24 | 2019-07-12 | 北京工业大学 | 一种融合相关系数与互信息的特征选择方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114662707A (zh) * | 2022-03-31 | 2022-06-24 | 国网智能电网研究院有限公司 | 基于联邦学习的节点激励方法、装置、***及存储介质 |
CN115953248A (zh) * | 2023-03-01 | 2023-04-11 | 支付宝(杭州)信息技术有限公司 | 基于沙普利可加性解释的风控方法、装置、设备及介质 |
CN115953248B (zh) * | 2023-03-01 | 2023-05-16 | 支付宝(杭州)信息技术有限公司 | 基于沙普利可加性解释的风控方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Russo et al. | Controlling bias in adaptive data analysis using information theory | |
CN109408389B (zh) | 一种基于深度学习的代码缺陷检测方法及装置 | |
CN109302410B (zh) | 一种内部用户异常行为检测方法、***及计算机存储介质 | |
Nguyen et al. | Model selection for degradation modeling and prognosis with health monitoring data | |
CN114118246A (zh) | 基于沙普利值和假设检验的全相关特征选择方法及装置 | |
WO2015095247A1 (en) | Matrix factorization for automated malware detection | |
CN111242358A (zh) | 一种双层结构的企业情报流失预测方法 | |
CN111753290A (zh) | 软件类型的检测方法及相关设备 | |
CN113723070B (zh) | 文本相似度模型训练方法、文本相似度检测方法及装置 | |
CN109766259B (zh) | 一种基于复合蜕变关系的分类器测试方法及*** | |
Garćia et al. | Noisy data set identification | |
CN116167010B (zh) | 具有智能迁移学习能力的电力***异常事件快速识别方法 | |
Wang et al. | Mushroom toxicity recognition based on multigrained cascade forest | |
CN110111311B (zh) | 一种图像质量评价方法和装置 | |
CN117523218A (zh) | 标签生成、图像分类模型的训练、图像分类方法及装置 | |
CN113468538A (zh) | 一种基于相似性度量的漏洞攻击数据库构建方法 | |
CN111738530B (zh) | 河流的水质预测方法、装置以及计算机可读存储介质 | |
CN110808947B (zh) | 一种自动化的脆弱性量化评估方法及*** | |
CN115641201B (zh) | 数据异常检测方法、***、终端设备及存储介质 | |
CN107067034B (zh) | 一种快速识别红外光谱数据分类的方法及*** | |
CN116579980A (zh) | 基于小样本学习的印刷电路板缺陷检测方法、介质及设备 | |
Alfaz et al. | A deep convolutional neural network based approach to classify and detect crack in concrete surface using xception | |
CN113190851B (zh) | 恶意文档检测模型的主动学习方法、电子设备及存储介质 | |
CN114417977A (zh) | 一种基于变压器数据样本扩充的故障诊断方法及*** | |
CN114141298A (zh) | 一种磁盘故障检测方法、装置、***及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220301 |
|
RJ01 | Rejection of invention patent application after publication |