CN109447099B - 一种基于pca降维的多分类器融合方法 - Google Patents
一种基于pca降维的多分类器融合方法 Download PDFInfo
- Publication number
- CN109447099B CN109447099B CN201810989020.4A CN201810989020A CN109447099B CN 109447099 B CN109447099 B CN 109447099B CN 201810989020 A CN201810989020 A CN 201810989020A CN 109447099 B CN109447099 B CN 109447099B
- Authority
- CN
- China
- Prior art keywords
- data
- training
- matrix
- primary
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 230000009467 reduction Effects 0.000 title claims abstract description 16
- 238000000513 principal component analysis Methods 0.000 title abstract description 26
- 238000012549 training Methods 0.000 claims description 68
- 230000006399 behavior Effects 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 52
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000002790 cross-validation Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000013501 data transformation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010187 selection method Methods 0.000 abstract description 2
- 238000012847 principal component analysis method Methods 0.000 abstract 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 43
- 238000013528 artificial neural network Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241001233887 Ania Species 0.000 description 1
- 241000287196 Asthenes Species 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000008689 nuclear function Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于PCA降维的多分类器融合方法,对数据特征集应用特征选择方法,涉及(逐步向前选择方法和)主成分分析方法,该方法通过构造出少量新特征来替代原始特征进行建模,并在多分类器上应用stacking算法,最终在用户鼠标行为的身份认证实验中取得目前最优的分类效果,本发明解决了现有技术中存在的基于用户鼠标行为的身份认证时针对用户鼠标行为特征空间维数过多的问题。
Description
技术领域
本发明属于多分类器融合技术领域,具体涉及一种基于PCA降维的多分类器融合方法。
背景技术
身份认证作为信息***安全的重要保证关卡,但是传统的身份认证方法存在认证因素易泄露、易丢失等缺陷,因此基于用户生物特征的身份认证逐渐成为身份认证研究领域的热点。在对用户鼠标行为特征的身份认证方法进行探索研究时,为了提升身份认证性能,避免单一分类器容易发生过拟合以及分类准确率不够高等问题,发明了一种基于PCA降维的多分类器融合方法执行基于用户鼠标行为特征的动态连续身份认证任务,取得了较现有研究更好的身份认证结果。
信息***的身份认证方法主要分为3类:口令认证、持有物认证以及生物认证。其中口令认证存在密码易被泄露或者被破解等风险;持有物认证会出现持有物遗失或者被假造等缺陷。基于用户生物特征的身份认证方法与上述身份认证方法相比,不仅改善了缺陷,还提高了身份认证***的安全性。基于用户生物特征的身份认证主要分为两类:基于用户生理特征的身份认证方法,其常用的认证因素是用户独一无二的生理特征,主要包括指纹、人脸以及虹膜等,该身份认证方法需要使用特殊的硬件装置采集用户生理特征数据;基于用户行为特征的身份认证方法,其不需要增加硬件设备可直接使用用户与计算机的交互数据对当前用户身份进行认证。综上所述,基于用户生理特征的身份认证方法在当前计算机上应用难度较大,而基于用户行为特征的身份认证可在当前计算机***中直接部署。
目前基于手机、键盘以及鼠标等行为特征进行身份认证的方法得到了广泛研究。许多研究者使用用户的击键行为进行用户身份认证研究,但是随着计算机***图形化界面的发展越来越普及,鼠标已经超过键盘成为当前用户与计算机***交互的主要设备,同时受到了更多学者的关注。Pusara和 Brodley是最早研究使用鼠标行为进行身份的研究人员,该研究针对18个用户使用IE浏览器浏览相同网页时的行为数据进行了分析,对鼠标移动和点击等事件进行量化得到了特征并使用决策树建立个性化模型,最终确定不同用户的可分性。实验取得了1.75%的FAR以及0.34%的FRR。2003年,Ahmed 等人通过鼠标行为建立连续身份认证机制。他们收集49名用户的数据,从鼠标动作块中提取39维特征向量并使用神经网络进行训练和分类,首次验证了利用鼠标行为特征对用户身份进行验证的可行性。在后续的研究中 Ahmed等人使用基于多元数据分析学习算法的模糊分类,并使用分数以及融合方案合并相应的生物统计分数,改善了需要大量鼠标操作才能进行身份认证的不足,取得了0%的FAR和0.36%的FRR。沈超等人,2010年提出了利用用户的鼠标行为特征进行身份认证以及监控。2012年进行了静态认证的基准研究,利用26名用户在严格控制的环境下进行数据收集。实验结果表明,认证时间越长精度越高。验证时间从11秒增加到110秒,同等错误率从14.26%降低到2.64%。2014年提出了一种降维方法能够减少鼠标行为的动态变化,提升了基于鼠标行为特征的连续认证方法性能。2017年提出了一个简单而有效的用户认证***,通过模式增长的挖掘方法提取出频繁的行为段,以获得稳定和由区别的鼠标交互行为特征,实验取得了0.09%的FAR和 1%的FRR。
上述研究者对基于用户鼠标行为的身份认证方法进行了多方位的研究,这些研究工作基本验证了使用用户的鼠标行为特征进行身份认证的可行性。
发明内容
本发明的目的是提供一种基于PCA降维的多分类器融合方法,解决了现有技术中存在的基于用户鼠标行为的身份认证时针对用户鼠标行为特征空间维数过多的问题。
本发明一种基于PCA降维的多分类器融合方法,具体按照以下步骤实施:
步骤1、预处理鼠标行为数据,包括数据清洗和数据变换;
步骤2、对鼠标整体行为和轨迹行为特征分析,采用PCA方法对特征降维,构造出相互独立的新特征;
步骤3、构造训练数据集和测试数据集;
步骤4、对训练集数据依次使用SVM和ANN算法,得出新的鼠标行为数据。
本发明的特点还在于,
步骤2中鼠标整体行为和轨迹行为构造的原始75维特征的正交变换,选取累计贡献率达到85%的主成分作为新的鼠标行为特征,即选取26维新特征替代原始75维特征。
步骤2具体按照以下步骤实施:
步骤2.1、对预处理后的特征数据,采用如下公式计算出特征之间的协方差:
步骤2.2、将数据集中两两特征的协方差组成协方差矩阵A,矩阵的第 (i,j)个元素是数据集中第i和第j个元素的协方差;
步骤2.3、计算协方差矩阵A的特征向量和特征值;
步骤2.4、特征向量按照对应的特征值大小排序得到矩阵的主成分,把数据映射到主成分上,按照特征值由大到小降序排列,即第一主成分是最大特征值对应的特征向量,选取累计贡献率达到85%的主成分作为新的鼠标行为特征建立一个转换矩阵,它的每一列都是主成分的特征向量;
步骤2.5、用原始特征矩阵右乘转换矩阵得到新特征矩阵。
步骤3如下:
将步骤2得到的新特征矩阵中75%的用户作为训练集D,其中合法用户和非法用户各占50%;新特征矩阵中剩下的25%的新特征矩阵用户作为测试集T,合法用户和非法用户仍旧各占50%。
步骤4如下:
采用以k折交叉验证法,随机划分训练集D为k个大小相同的数据集 D1,D2,...,Dk,令Dj和分别表示第j折的测试数据集和训练数据集, j∈1,2,...,k,初始选定t个初级学习算法,当Stacking方法选取SVM和ANN 其中一个作为初级学习算法时,t=1,当Stacking方法选取SVM和ANN两者作为初级学习算法时,t=2,初级学习器通过在上使用第t个初级学习算法而得;
首先将SVM作为初级学习算法,进行交叉验证:基于训练集训练初级学习器基于测试集Dj在模型上对Dj进行预测,第j次交叉验证完成之后会得到关于当前Dj的预测值记为aj,k折交叉验证会生成针对Dj数据预测的k列数据a1,a2,...ak,即原来训练集D的预测值记为A1=(a1,a2,...,ak);然后将ANN作为初级学习算法,再进行交叉验证:基于训练集训练初级学习器基于测试集Dj在模型上对Dj进行预测,第j次交叉验证完成之后会得到关于当前Dj的预测值记为aj,k折交叉验证会生成针对Dj数据预测的k列数据a1,a2,...ak,记为A2=(a1,a2,...,ak);最终得到(A1,A2)矩阵记为D′用于训练次级学习器;
至此,SVM、ANN作为初级学习器的Stacking结合策略融合完成。
本发明的有益效果是,一种基于PCA降维的多分类器融合方法,将多分类器融合方法应用在基于用户鼠标行为的身份认证问题上,使用Stacking 结合策略,选择SVM和ANN作为多分类器融合方法的初级学习器,次级学习器选择逻辑回归。同时为避免鼠标行为特征个数多易引起“维度灾难”即模型复杂度的上升,以及缩短建模时间、及时识别用户真伪,采用PCA降维方法,去除了原始特征集基底数据的相关性,选出比原始特征个数少,能解释原始特征集中大部分特征的几个新特征,即所谓主成分,来代替原始特征进行建模,通过多方面的对比实验将本方法与现有方法进行对比,实验结果表明基于PCA降维的Stacking多分类器融合方法性能优于现有的相关方法。与初级学习器对比Stacking算法实验效果较其他几个单一分类器效果更好;不同的多分类器融合对比,使用SVM、ANN作为初级学习器,Logistic 回归作为次级学习器的多分类融合方法准确率最高;不同的结合策略对比,使用Stacking结合策略的准确率最高。
附图说明
图1是本发明一种基于PCA降维的多分类器融合方法中身份认证过程流程示意图;
图2是本发明一种基于PCA降维的多分类器融合方法中Stacking学习过程图;
图3是本发明一种基于PCA降维的多分类器融合方法中ANN所应用的3层神经网络 结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于PCA降维的多分类器融合方法,如图1、图2所示,具体按照以下步骤实施:
步骤1、预处理鼠标行为数据,包括数据清洗和数据变换;
步骤2、对鼠标整体行为和轨迹行为特征分析,采用PCA方法对特征降维,构造出相互独立的新特征,其中鼠标整体行为和轨迹行为构造的原始75 维特征的正交变换,选取累计贡献率达到85%的主成分作为新的鼠标行为特征,即选取26维新特征替代原始75维特征,具体按照以下步骤实施:
步骤2.1、对预处理后的特征数据,采用如下公式计算出特征之间的协方差:
步骤2.2、将数据集中两两特征的协方差组成协方差矩阵A,矩阵的第(i,j)个元素是数据集中第i和第j个元素的协方差;
步骤2.3、计算协方差矩阵A的特征向量和特征值;
步骤2.4、特征向量按照对应的特征值大小排序得到矩阵的主成分,把数据映射到主成分上,按照特征值由大到小降序排列,即第一主成分是最大特征值对应的特征向量,选取累计贡献率达到85%的主成分作为新的鼠标行为特征建立一个转换矩阵,它的每一列都是主成分的特征向量;
步骤2.5、用原始特征矩阵右乘转换矩阵得到新特征矩阵;
步骤3、构造训练数据集和测试数据集,如下:
将步骤2得到的新特征矩阵中75%的用户作为训练集D,其中合法用户和非法用户各占50%;新特征矩阵中剩下的25%的新特征矩阵用户作为测试集T,合法用户和非法用户仍旧各占50%;
步骤4、对训练集数据依次使用SVM和ANN算法,得出新的鼠标行为数据,如下:
采用以k折交叉验证法,随机划分训练集D为k个大小相同的数据集 D1,D2,...,Dk,令Dj和分别表示第j折的测试数据集和训练数据集, j∈1,2,...,k,初始选定t个初级学习算法,当Stacking方法选取SVM和ANN 其中一个作为初级学习算法时,t=1,当Stacking方法选取SVM和ANN两者作为初级学习算法时,t=2,初级学习器通过在上使用第t个初级学习算法而得;
首先将SVM作为初级学习算法,进行交叉验证:基于训练集训练初级学习器基于测试集Dj在模型上对Dj进行预测,第j次交叉验证完成之后会得到关于当前Dj的预测值记为aj,k折交叉验证会生成针对Dj数据预测的k列数据a1,a2,...ak,即原来训练集D的预测值记为A1=(a1,a2,...,ak);然后将ANN作为初级学习算法,再进行交叉验证:基于训练集训练初级学习器基于测试集Dj在模型上对Dj进行预测,第j次交叉验证完成之后会得到关于当前Dj的预测值记为aj,k折交叉验证会生成针对Dj数据预测的k列数据a1,a2,...ak,记为A2=(a1,a2,...,ak);最终得到(A1,A2)矩阵记为D′用于训练次级学习器;
至此,SVM、ANN作为初级学习器的Stacking结合策略融合完成。
本发明一种基于PCA降维的多分类器融合方法,实施例如下:
将原始数据集分为训练数据集和测试数据集。假设训练数据集包含890 行原始数据,测试集包含418行原始数据。对训练数据集使用5折交叉验证,故每次的交叉验证都会生成713行的小训练数据集和178行的小测试集,并且所有的初级学习器,都需要完成5次的模型训练过程和测试过程。使用初级学习器Model1进行训练过程和测试过程,可得到了长度为178的预测值。当5折交差验证执行完毕,将得到178*5=890的预测值,这些预测值是初级学习器Model1产生的,经过转换转为890*1,记作P1。以上初级学习器 Model1完成了训练过程,由于5折交叉验证是针对训练数据进行的,所以每次的交叉验证使用713行小训练集训练出来的模型都需要对所有的Test Data进行测试过程,最终初级学习器Model1产生了长度为418的预测值,经过转换转为418*1,记作p1。基于ANN和SVM两种初级分类器,那么会得到来自5折交叉验证的预测矩阵(P1,P2)以及来自Test Data的预测矩阵 (p1,p2)。以上就是初级学习器的整个训练过程和测试过程,次级学习器的数据来自初级学习器,故次级学习器使用来自5这交叉验证的预测矩阵作为训练集,训练次级学习器。使用来自测试集的预测矩阵作为测试集,使用训练好的次级学习器对测试集进行预测。以上描述了Stacking算法的执行过程,对于各个学习器的选择将在身份认证模型构建的过程中进行描述。
本文选取SVM和ANN作为初级学习器,实验中使用的ANN结构为图 3,表示隐藏层的节点个数分别为5,输出层的节点个数为1,输入层节点的个数与数据集中输入数据的特征维数保持一致。对SVM的核函数选择和参数调整进行了实验,实验结果显示核函数选择放射性核函数RBF时的实验分类准确率更高,因此本文选择RBF作为SVM模型的核函数,正则化参数 C与核函数参数γ,分别使用16和0.25作为后续实验中模型的参数。
使用SVM和ANN作为初级分类器参与组合。
SVM主要用于解决二分类问题,核心是如何在训练数据集中找到具有最大类间界限的决策平面。在传统机器学习分类方法中SVM是身份认证分类问题中表现较好的分类方法之一。但同时传统的机器学习方法在身份认证分类问题的精度上很难提升至期望值。基于深度学习的分类算法获得不断关注,人工神经网络具有分类准确率高,对噪声数据有较强的鲁棒性和容错能力,能充分拟合复杂的非线性关系等优点。在图像处理、人工智能等领域有广泛的应用,但是其需要大量的参数,并且作为黑盒算法不能清楚的观察到学习过程,输出结果难以解释,这将会大大的影响实验结果的可信度和可接受程度。
正是因为上述两种方法存在一定的缺陷,但是又各自有独特的优点,所以他们在处理同一用户的鼠标行为特征时所产生的预测结果会具有相对独立的特性,这就满足了上述要求的各个单一分类器的错误率是相互独立的。因此本发明选择这两种方法作为初级分类器进行组合。ANN和SVM两个初级分类器模型建立完毕后,对模型进行训练。
实验验证如下:
基于stacking结合策略的多分类器融合方法使用k折交叉验证:
设分类算法有l个,训练数据集为{(x1,y1)...(xk,yk)},其中k为样本个数;训练过程开始时,从训练数据集中取出一个训练样本并设其为xi,同时将其余k-1个训练样本作为训练集,学习训练l个分类器,本发明分别使用SVM 和ANN分类器,之后,通过这些分类器预测结果。
对xi进行分类同时获得l个输出结果,记为之后依次选取不同部分数据集为目标进行上述步骤,经k轮训练后,得到各次训练所得到的l个输出与yi共同构成新训练集该训练集具有与原始训练集相同的实例个数,即k个;最终,该训练集将作为次级学习器的输入。
与初级学习器以及其他结合策略相比,基于stacking结合策略的多分类器融合方法准确率最高,该Stacking结合策略优于基分类器(如ANN、KNN、 SVM等)单独的分类效果且优于基于Voting结合策略的分类效果;
选择Logistic回归作为次级分类器:
获得初级分类器的输出作为特征,初级学习器通过交叉验证使得提供给元学习器的特征向量数目与整个训练样本数据特征数量相同。次级学习器使用稳定性较高的Logistic算法。
本发明提出了新定义的鼠标行为特征以更加精确细致地方式表示每个用户独特的鼠标行为特征。主要包括鼠标整体行为特征和鼠标轨迹行为特征,由于这些特征不是使用鼠标行为描述性统计特征,从而可以大大减少环境等因素对实验结果的影响并提高身份认证的准确性。应用特征选择方法获得基于用户鼠标行为的特征空间,其有效地表示了原始鼠标行为特征空间并使本发明提出的方法对鼠标行为数据的变化有更好的稳定性和强健性。为了提高身份认证的准确率,本发明使用多分类器融合方法执行基于用户鼠标行为的身份认证任务,为了验证本发明所构造鼠标行为特征集的有效性以及本发明所提出的身份认证方法的高效性,基于不同数据集进行多角度对比实验。通过身份认证领域常用评价指标FAR、FFR以及本发明所提出的新评价指标ANIA、ANGA评估实验结果,结果表明本发明所提出的鼠标行为特征结合本发明身份认证方法能以较高的准确率完成用户身份认证。
Claims (1)
1.一种基于PCA降维的多分类器融合方法,其特征在于,具体按照以下步骤实施:
步骤1、预处理鼠标行为数据,包括数据清洗和数据变换;
步骤2、对鼠标整体行为和轨迹行为特征分析,采用PCA方法对特征降维,构造出相互独立的新特征;
所述步骤2中鼠标整体行为和轨迹行为构造的原始75维特征的正交变换,选取累计贡献率达到85%的主成分作为新的鼠标行为特征,即选取26维新特征替代原始75维特征;
所述步骤2具体按照以下步骤实施:
步骤2.1、对预处理后的特征数据,采用如下公式计算出特征之间的协方差:
步骤2.2、将数据集中两两特征的协方差组成协方差矩阵A,矩阵的第(i,j)个元素是数据集中第i和第j个元素的协方差;
步骤2.3、计算协方差矩阵A的特征向量和特征值;
步骤2.4、特征向量按照对应的特征值大小排序得到矩阵的主成分,把数据映射到主成分上,按照特征值由大到小降序排列,即第一主成分是最大特征值对应的特征向量,选取累计贡献率达到85%的主成分作为新的鼠标行为特征建立一个转换矩阵,它的每一列都是主成分的特征向量;
步骤2.5、用原始特征矩阵右乘转换矩阵得到新特征矩阵;
步骤3、构造训练数据集和测试数据集;
所述步骤3如下:
将步骤2得到的新特征矩阵中75%的用户作为训练集D,其中合法用户和非法用户各占50%;新特征矩阵中剩下的25%的新特征矩阵用户作为测试集T,合法用户和非法用户仍旧各占50%;
步骤4、对训练集数据依次使用SVM和ANN算法,得出新的鼠标行为数据;
所述步骤4如下:
采用以k折交叉验证法,随机划分训练集D为k个大小相同的数据集D1,D2,...,Dk,令Dj和分别表示第j折的测试数据集和训练数据集,j∈1,2,...,k,初始选定t个初级学习算法,当Stacking方法选取SVM和ANN其中一个作为初级学习算法时,t=1,当Stacking方法选取SVM和ANN两者作为初级学习算法时,t=2,初级学习器通过在上使用第t个初级学习算法而得;
首先将SVM作为初级学习算法,进行交叉验证:基于训练集训练初级学习器基于测试集Dj在模型上对Dj进行预测,第j次交叉验证完成之后会得到关于当前Dj的预测值记为aj,k折交叉验证会生成针对Dj数据预测的k列数据a1,a2,...ak,即原来训练集D的预测值记为A1=(a1,a2,...,ak);然后将ANN作为初级学习算法,再进行交叉验证:基于训练集训练初级学习器基于测试集Dj在模型上对Dj进行预测,第j次交叉验证完成之后会得到关于当前Dj的预测值记为aj,k折交叉验证会生成针对Dj数据预测的k列数据a1,a2,...ak,记为A2=(a1,a2,...,ak);最终得到(A1,A2)矩阵记为D′用于训练次级学习器;
至此,SVM、ANN作为初级学习器的Stacking结合策略融合完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810989020.4A CN109447099B (zh) | 2018-08-28 | 2018-08-28 | 一种基于pca降维的多分类器融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810989020.4A CN109447099B (zh) | 2018-08-28 | 2018-08-28 | 一种基于pca降维的多分类器融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109447099A CN109447099A (zh) | 2019-03-08 |
CN109447099B true CN109447099B (zh) | 2022-01-07 |
Family
ID=65530198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810989020.4A Expired - Fee Related CN109447099B (zh) | 2018-08-28 | 2018-08-28 | 一种基于pca降维的多分类器融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447099B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287664A (zh) * | 2019-07-01 | 2019-09-27 | 贵州大学 | 一种基于多行为特征选择的身份认证方法 |
CN110532898A (zh) * | 2019-08-09 | 2019-12-03 | 北京工业大学 | 一种基于智能手机多传感器融合的人体活动识别方法 |
CN110502883B (zh) * | 2019-08-23 | 2022-08-19 | 四川长虹电器股份有限公司 | 一种基于pca的击键行为异常检测方法 |
CN111708343B (zh) * | 2019-10-31 | 2021-11-09 | 中国科学院沈阳自动化研究所 | 一种面向制造业行业现场工艺行为异常行为检测方法 |
CN110823543B (zh) * | 2019-11-07 | 2020-09-04 | 北京化工大学 | 一种基于往复机械活塞杆轴心轨迹包络与信息熵特征的负荷识别方法 |
CN112949353B (zh) * | 2019-12-10 | 2024-06-18 | 北京眼神智能科技有限公司 | 虹膜静默活体检测方法、装置、可读存储介质及设备 |
CN111541632B (zh) * | 2020-04-20 | 2020-11-03 | 四川农业大学 | 一种基于主成分分析和残差网络的物理层认证方法 |
CN112949454B (zh) * | 2021-02-26 | 2023-04-18 | 西安工业大学 | 一种基于小样本学习的虹膜识别方法 |
CN113239025B (zh) * | 2021-04-23 | 2022-08-19 | 四川大学 | 基于特征选择和超参数优化的船舶轨迹分类方法 |
CN113436684B (zh) * | 2021-07-02 | 2022-07-15 | 南昌大学 | 一种癌症分类和特征基因选择方法 |
CN117956230A (zh) * | 2024-03-26 | 2024-04-30 | 山东工程职业技术大学 | 基于数字媒体点播和数字资源下载的融合实现方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530546A (zh) * | 2013-10-25 | 2014-01-22 | 东北大学 | 一种基于用户鼠标行为的身份认证方法 |
KR101451782B1 (ko) * | 2013-06-18 | 2014-10-16 | 국방과학연구소 | 마우스 움직임 패턴 기반의 사용자 인증 시스템 및 그 방법 |
CN105389486A (zh) * | 2015-11-05 | 2016-03-09 | 同济大学 | 一种基于鼠标行为的认证方法 |
CN106155298A (zh) * | 2015-04-21 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 人机识别方法及装置、行为特征数据的采集方法及装置 |
CN107609590A (zh) * | 2017-09-12 | 2018-01-19 | 山东师范大学 | 一种多尺度鼠标轨迹特征提取方法、装置和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589120B2 (en) * | 2013-04-05 | 2017-03-07 | Microsoft Technology Licensing, Llc | Behavior based authentication for touch screen devices |
-
2018
- 2018-08-28 CN CN201810989020.4A patent/CN109447099B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101451782B1 (ko) * | 2013-06-18 | 2014-10-16 | 국방과학연구소 | 마우스 움직임 패턴 기반의 사용자 인증 시스템 및 그 방법 |
CN103530546A (zh) * | 2013-10-25 | 2014-01-22 | 东北大学 | 一种基于用户鼠标行为的身份认证方法 |
CN106155298A (zh) * | 2015-04-21 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 人机识别方法及装置、行为特征数据的采集方法及装置 |
CN105389486A (zh) * | 2015-11-05 | 2016-03-09 | 同济大学 | 一种基于鼠标行为的认证方法 |
CN107609590A (zh) * | 2017-09-12 | 2018-01-19 | 山东师范大学 | 一种多尺度鼠标轨迹特征提取方法、装置和*** |
Non-Patent Citations (2)
Title |
---|
《Research Notes: User Identification Model Based on Mouse Behaviors》;Wang, B.;et al;《International Journal of Software Engineering and Knowledge Engineering》;20180228;第28卷(第2期);第175-192页 * |
《基于LPVC和行为特征的身份认证技术研究与实现》;李荣华;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第2期);第3-5章 * |
Also Published As
Publication number | Publication date |
---|---|
CN109447099A (zh) | 2019-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447099B (zh) | 一种基于pca降维的多分类器融合方法 | |
Lu et al. | Continuous authentication by free-text keystroke based on CNN and RNN | |
Wang et al. | Kernel cross-modal factor analysis for information fusion with application to bimodal emotion recognition | |
Çeker et al. | Sensitivity analysis in keystroke dynamics using convolutional neural networks | |
Kasprowski et al. | Fusion of eye movement and mouse dynamics for reliable behavioral biometrics | |
Vorugunti et al. | OSVFuseNet: Online Signature Verification by feature fusion and depth-wise separable convolution based deep learning | |
CN109190698B (zh) | 一种网络数字虚拟资产的分类识别***及方法 | |
Qin et al. | Finger-vein quality assessment by representation learning from binary images | |
CN109685104B (zh) | 一种识别模型的确定方法和装置 | |
Guzel Turhan et al. | Class‐wise two‐dimensional PCA method for face recognition | |
Ren et al. | A high compatibility finger vein image quality assessment system based on deep learning | |
Karthiga et al. | Feature selection using multi-objective modified genetic algorithm in multimodal biometric system | |
CN111144453A (zh) | 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备 | |
Jadhav et al. | HDL-PI: hybrid DeepLearning technique for person identification using multimodal finger print, iris and face biometric features | |
Zhang et al. | Biometric Authentication and Correlation Analysis Based on CNN‐SRU Hybrid Neural Network Model | |
Wang et al. | User authentication method based on MKL for keystroke and mouse behavioral feature fusion | |
Liang et al. | A lightweight method for face expression recognition based on improved MobileNetV3 | |
Kazachuk et al. | One-class models for continuous authentication based on keystroke dynamics | |
Bisogni et al. | Multibiometric score-level fusion through optimization and training | |
Hwang et al. | Example image-based feature extraction for face recognition | |
Gavrilova et al. | Dealing with biometric multi-dimensionality through chaotic neural network methodology | |
Peng et al. | Toward masked face recognition: An effective facial feature extraction and refinement model in multiple scenes | |
Wang et al. | RoDLSR: Robust discriminative least squares regression model for multi-category classification | |
Shivthare et al. | Multimodal Biometric in Computer Vision | |
Salunke et al. | Ensemble learning to enhance continuous user authentication for real world environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220107 |