CN105117477A - 一种自适应自反馈的虚拟资产异常发现***及实现方法 - Google Patents

一种自适应自反馈的虚拟资产异常发现***及实现方法 Download PDF

Info

Publication number
CN105117477A
CN105117477A CN201510570032.XA CN201510570032A CN105117477A CN 105117477 A CN105117477 A CN 105117477A CN 201510570032 A CN201510570032 A CN 201510570032A CN 105117477 A CN105117477 A CN 105117477A
Authority
CN
China
Prior art keywords
data
anomaly
fictious assets
self
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510570032.XA
Other languages
English (en)
Other versions
CN105117477B (zh
Inventor
全拥
贾焰
韩伟红
周斌
杨树强
李爱平
黄九鸣
李树栋
刘斐
李虎
邓璐
傅翔
朱伟辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510570032.XA priority Critical patent/CN105117477B/zh
Publication of CN105117477A publication Critical patent/CN105117477A/zh
Application granted granted Critical
Publication of CN105117477B publication Critical patent/CN105117477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络与信息安全领域,本发明公开了一种自适应自反馈的虚拟资产异常发现***及实现方法。本发明***包括数据采集模块、异常发现模块、自适应学习模块、自反馈调节模块;所述数据采集模块连接异常发现模块,所述异常发现模块分别与自适应学习模块和自反馈调节模块连接,所述自反馈调节模块与自适应学习模块连接。本发明方法主要包括数据采集、异常发现、自适应学习处理、自反馈调节处理步骤,本发明充分考虑了虚拟资产数据海量和结构复杂、网络用户虚拟身份不唯一以及单个异常发现方法低效等特点,基于权重求和的数据异常裁定机制,有效遏制单个异常发现方法带来的检测误差,提高异常发现精度。

Description

一种自适应自反馈的虚拟资产异常发现***及实现方法
技术领域
本发明属于网络与信息安全领域,具体涉及一种自适应自反馈的虚拟资产异常发现***及实现方法。
背景技术
虚拟资产是指在网络空间中存在的具有竞争性、持久性以及可以交换或者买卖的物品,包括网上银行、网络帐号、网游装备武器、虚拟货币等。随着社交网络、电子商务和网络游戏等互联网应用的快速发展,网民的日常工作、生活、学习已从传统的物理空间延伸至网络空间。截至2014年12月,我国网民规模达6.49亿,其中网络游戏、网络购物、网上支付等应用的网民使用率分别达到了56.4%、55.7%、46.9%(详见文献[1])。由此可见,虚拟资产的使用已渗透到网络空间的方方面面,并已经成为一种重要的市场行为和生活方式。在移动互联网的推动下,未来我国网民规模和互联网应用使用率将继续呈现增长趋势,虚拟资产在网络空间中的重要地位也将进一步凸显。
目前,异常发现的应用非常广泛,包括欺诈检测、医疗处理、公共安全和入侵检测等。异常发现是找出其行为很不同于预期对象的过程,这种对象称为异常,它不同于噪声数据。噪声是被观测变量的随机误差或方差,而异常是产生它们的机制不同于产生其他数据的机制。一般而言,异常可以分为三类:全局异常、情境(或条件)异常和集体异常(详见文献[2])。全局异常是指在给定的数据集中,一个数据对象显著地偏离数据集中的其余对象;情境异常是指在给定的数据集中,一个数据对象在特定情境下显著地偏离数据集中的其余对象;集体异常是指给定一个数据集,数据对象的一个子集作为整体显著地偏离整个数据集。总之,数据集可能有多种类型的异常,而一个对象也可能属于多种类型的异常。全局异常发现最简单,情境异常发现需要背景知识来确定情境属性和情境,集体异常发现需要背景信息来对对象之间的联系建模,以便找出异常组群。
虚拟资产的使用虽然为互联网给人们提供强大服务功能提供了便利,但与之相关的网络安全问题也给人们造成了巨大的财产损害,加重了人们在网络世界中的不信任度,给互联网经济带来了严重的打击。2014年,总体网民中有46.3%的网民遭遇过网络安全问题,我国个人互联网使用的安全状况不容乐观;其中,帐号或密码被盗、消费欺诈以及信息泄露等虚拟资产相关安全事件的曝光,严重影响到网民的网络安全感知。例如,网购时发生上述安全事件,给购物者造成损失的同时,也扰乱了网上购物秩序,影响网络购物行业的健康发展。当网民的虚拟资产出现异常时,一般通过登录相应平台的客服中心进行申诉维权,人工处理的低效率性和单个平台的局限性导致难以及时发现异常并采取有效措施。为了构建良好的虚拟资产使用环境,相关部门围绕电子认证、网络购物等主题,出台了一系列政策、规章和标准规范,但是面对复杂和海量的虚拟资产数据,需要采用自动化的异常发现方法保护和管理虚拟资产。
然而,在虚拟化的网络空间中,同一用户可以拥有多个不同的虚拟身份,即网络账号。用户在不同应用平台可以利用相应虚拟身份对虚拟资产进行获取、转让和交易等跨平台的操作,这加大了虚拟资产异常发现的难度。eID是以密码技术为基础、以智能芯片为载体、由“公安部公民网络身份识别***”签发给公民的网络身份标识,能够在***露身份信息的前提下在线远程识别身份,其虚拟身份关联技术可以有效解决上述问题(详见文献[3])。用户将网络空间中的多重虚拟身份与eID进行绑定,由于它具有唯一性,可以快速定位到不同应用平台下用户的真实身份,因此可以为跨平台的虚拟资产异常发现方法提供技术支撑。
国内外已有大量关于异常发现的研究,根据用于分析的数据样本是否具有领域专家提供的、可以用来构建异常方法模型的标号,异常发现方法分为监督方法、半监督方法和无监督方法;根据对正常对象和异常对象的不同假定,异常发现方法又可分为统计方法、基于邻近性的方法和基于聚类的方法(详见文献[4][5])。但是,现有方法都是针对具体领域或特定类型的异常,为了保证算法精度和运行效率,实际应用需要满足一定的条件。例如,监督方法需要领域专家提供的样本集学习可以识别异常的分类器;无监督方法要求正常数据和异常数据之间的边界清晰;统计方法假定数据集中的正常对象由一个随机过程产生;基于聚类的方法假定正常数据实例均属于一个簇,而异常数据不属于任何一个簇。文献[4][5]详细分析了上述异常发现方法的优势,有些方法侧重于改善运行时间,有些方法侧重于提高精度,还有方法侧重于细化异常发现的粒度。
虚拟资产数据结构多样,既有结构化的虚拟资产描述数据,又有半结构化的日志数据以及非结构化的操作数据;虚拟资产使用环境复杂多变,既有用户对虚拟资产操作的不确定性又存在结构不一的虚拟资产应用平台。因此,采用单一化的方法难以及时准确的发现不同类型的虚拟资产相关异常。此外,网络空间中用户的交互模式不断发生变化,同时也促进了虚拟资产数据及其属性的演化。因此,需要实时更新和完善虚拟资产异常模式库,本发明充分考虑了以上因素。
参考文献:
[1]中国互联网络信息中心(CNNIC).第35次中国互联网络发展状况统计报告[EB/OL].http://www.cnnic.cn/hlwfzyj/hlwxzbg/201502/P020150203551802054676.pdf
[2]HanJ,KamberM,PeiJ.Datamining:conceptsandtechniques:conceptsandtechniques[M].Elsevier,2011.
[3]http://eid.cn/.
[4]ChandolaV,BanerjeeA,KumarV.Anomalydetection:Asurvey[J].ACMcomputingsurveys(CSUR),2009,41(3):15.
[5]ChandolaV,BanerjeeA,KumarV.Anomalydetectionfordiscretesequences:Asurvey[J].KnowledgeandDataEngineering,IEEETransactionson,2012,24(5):823-839.
发明内容
为解决上述技术问题,本发明充分考虑了虚拟资产数据海量和结构复杂、网络用户虚拟身份不唯一以及单个异常发现方法低效等特点,提出了一种自适应自反馈的虚拟资产异常发现***及实现方法。具体技术方案如下:
一种自适应自反馈的虚拟资产异常发现***,包括数据采集模块、异常发现模块、自适应学***台产生的虚拟资产数据;所述数据采集模块将虚拟资产数据传递至异常发现模块;异常发现模块负责构建异常模式库以及对虚拟资产数据进行异常检测,并将异常检测结果传递至自适应学习模块;自适应学习模块根据异常检测结果动态调整异常发现方法的权重系数;自反馈调节模块负责反馈修正异常模式库及配置异常发现模块和自适应学习模块中的相关参数。
所述虚拟资产数据包括数据操作日志、用户操作日志和***活动运行日志;虚拟资产应用平台提供两种数据接口:一种是数据转换接口,用于将应用平台产生的数据转换成格式统一的虚拟资产数据;一种是数据传输接口,用于将应用平台产生的格式统一的虚拟资产数据传输至虚拟资产数据库。
本发明还提供了一种自适应自反馈的虚拟资产异常发现***实现方法,采用上述的自适应自反馈的虚拟资产异常发现***,包括以下步骤:
(S1)数据采集,通过数据采集模块搜集并存储由虚拟资产应用平台产生的虚拟资产数据,并构建虚拟资产数据库和网络用户的虚拟身份数据库;
(S2)异常发现,通过异常发现模块对虚拟资产数据库中格式统一的虚拟资产数据进行异常检测,通过N种异常发现方法计算其异常得分,并裁定数据是否异常;
(S3)自适应学习处理过程,自适应学习模块依据虚拟资产数据的实际情况与步骤(S2)中的裁定结果是否一致,动态调整N种异常发现方法对应的权重系数i、N均为整数,i取值范围为1≤i≤N;
(S4)自反馈调节处理过程,自反馈调节处理模块采用半监督模式对异常发现模块和自适应学习模块进行反馈调节。
进一步地,所述步骤(S1)数据采集具体过程为:
(S11)虚拟资产应用平台将产生的虚拟资产数据存储于本地数据库;
(S12)虚拟资产数据库请求虚拟资产应用平台发送本地数据库中的虚拟资产数据;
(S13)虚拟资产应用平台对将要发送的虚拟资产数据进行格式转换;
(S14)虚拟资产应用平台发送格式统一的虚拟资产数据;
(S15)虚拟资产数据库存储虚拟资产数据并进行优化;通常,可采用建立索引的优化方法。
(S16)基于eID的虚拟身份关联技术,结合虚拟资产数据库,构建网络用户的虚拟身份数据库。
进一步地,所述步骤(S2)异常发现具体过程为:
假设异常发现模块中共有N种异常发现方法其对应的权重系数分别为且满足条件N为自然数,按照以下步骤进行,
(S21)对待检测的虚拟资产数据,找出其包含的虚拟身份;
(S22)查找网络用户虚拟身份数据库,通过eID关联用户的所有虚拟身份;
(S23)查找虚拟资产数据库,定位步骤(S22)中所有虚拟身份相关的虚拟资产数据;
(S24)通过异常发现方法计算步骤(S23)中虚拟资产数据的异常得分
(S25)通过公式(1)计算虚拟资产数据的综合异常指标得分P:
P = Σ i w i p i - - - ( 1 )
(S26)如果P大于预先定义的异常阈值δ,则裁定为异常,否则裁定为正常。
进一步地,所述步骤(S3)自适应学习处理过程具体为:
假设异常发现模块在时间Δt内总共进行了M次异常裁定,第i种异常发现方法Xi关联一个计数变量ci,pi表示异常得分,P表示虚拟资产数据的综合异常指标得分,δ表示预先定义的异常阈值,M为自然数,按照如下步骤进行;
(S31)初始化计数变量ci=0,1≤i≤N;
(S32)判断虚拟资产数据的异常裁定结果,分为以下四种情形:
i.若实际结果为正常,裁定为异常,转步骤(S33);
ii.若实际结果为正常,裁定为正常,转步骤(S34);
iii.若实际结果为异常,裁定为异常,转步骤(S35);
iv.若实际结果为异常,裁定为正常,转步骤(S36);
(S33)若则ci=ci+1,若 &delta; 2 &le; p i < &delta; , c i = c i + 1 2 , 1 &le; i &le; N , 否则ci=ci+0;转步骤(S37);
(S34)若pi<P,则ci=ci+1,若P≤pi<δ,则否则ci=ci+0;转步骤(S37);
(S35)若pi≥P,则ci=ci+1,若δ≤pi<P,则否则ci=ci+0;转步骤(S37);
(S36)若pi≥δ,则ci=ci+1,1≤i≤N,否则ci=ci+0;转步骤(S37);
(S37)通过公式(2)更新N种异常发现方法的权重系数
w i = w i + c i M , 1 &le; i &le; N - - - ( 2 )
(S38)通过公式(3)规范化权重系数使其满足条件
w i = w i &Sigma; i w i , 1 &le; i &le; N - - - ( 3 )
进一步地,所述步骤(S4)自反馈调节处理过程为:
针对步骤(S2)、步骤(S3)中涉及的参数,提供接口支持专家进行初始化设置,包括权重系数异常阈值δ等;针对步骤(S2)中的虚拟资产数据异常裁定结果,提供接口支持专家进行实时验证;针对网络空间中新的虚拟资产数据异常模式,提供接口支持专家进行反馈修正。
采用本发明获得的有益效果,本发明充分考虑了虚拟资产数据海量和结构复杂、网络用户虚拟身份不唯一以及单个异常发现方法低效等特点,提出了一种自适应自反馈的虚拟资产异常发现***及实现方法,从而为网络空间中对虚拟资产的异常预警提供了一套完整解决方案。基于权重求和的数据异常裁定机制,有效遏制单个异常发现方法带来的检测误差,提高异常发现精度。通过自适应学习并调整权重,不断优化异常裁定机制;通过被动获取最新虚拟资产数据异常模式并半监督反馈修正异常模式库,不断完善异常发现***。
附图说明
图1为本发明网络结构示意图;
图2为本发明方法流程示意图。
具体实施方式
下面通过附图和具体实施例来进一步对本发明的技术方案进行说明。
如图1所示,本发明的网络结构示意图,一种自适应自反馈的虚拟资产异常发现***,包括数据采集模块、异常发现模块、自适应学***台产生的虚拟资产数据;所述数据采集模块将虚拟资产数据传递至异常发现模块;异常发现模块负责构建异常模式库以及对虚拟资产数据进行异常检测,并将异常检测结果传递至自适应学习模块;自适应学习模块根据异常检测结果动态调整异常发现方法的权重系数;自反馈调节模块负责反馈修正异常模式库及配置异常发现模块和自适应学习模块中的相关参数。
如图2所示,为本发明方法流程示意图;其具体包括以下几个步骤:数据采集步骤,将虚拟资产应用平台产生的数据转换成格式统一的虚拟资产数据传输至虚拟资产数据库以及构建网络用户虚拟身份数据库。异常发现步骤,通过多种异常发现方法计算虚拟资产数据的异常得分,并基于权重求和机制对数据异常进行裁定。自适应学习步骤,统计并验证虚拟资产数据异常裁定结果,并实时更新相应的权重系数。自反馈调节步骤,采用半监督方式修正异常模式库并调节相关参数。
为了充分展示本发明的技术特点,本发明异常发现***至少需要对两个虚拟资产应用平台产生的数据进行异常检测。现假设网络空间中存在两个异构的虚拟资产应用平台A和B,由于本发明的应用基础是eID的远程身份识别功能,因此A和B都应具备eID认证功能。eID具有唯一性,每一个真实用户有且只有一个eID。用户在使用虚拟资产时需要将不同应用平台下的虚拟账号与其eID进行绑定,因此同一个eID可以关联多个虚拟身份,而一个虚拟身份只能关联唯一的eID。虚拟资产应用平台每时每刻都产生数据,与用户相关的虚拟资产数据需要进行eID认证,只有认证成功的数据才能被保存,而其它的虚拟资产数据会自动被记录到***的日志文件中。
下面结合具体实施例进行说明。
(S1)数据采集过程,由***中的数据采集模块实现;
不同的应用平台,虚拟资产的使用方式及用户对虚拟资产的操作方式并不一样,因此A和B在本地日志文件中记录的虚拟资产数据格式也不一样。为了便于数据的传输与存储,本实施例中选择采用基于XML格式的数据转换机制将不同格式的虚拟资产数据转换成统一格式,如表1所示。
表1XML格式虚拟资产数据示例
将格式统一的虚拟资产数据传输到虚拟资产数据库的方式有两种:一种是实时传输方式,另一种是批量传输方式。实时传输的数据可以采用POST编码基于安全协议HTTPS进行传输,而批量传输的数据可以采用文件形式基于FTP协议进行传输。由于虚拟资产数据涉及用户的敏感信息,因此,无论采用哪一种数据传输方式,都应当保证数据的安全性。
具体过程如下:
(S11)将A和B产生的数据按类别存储在本地数据库中。根据应用平台的不同特征,将虚拟资产数据分为数据操作日志、用户操作日志和***活动运行日志等。本地数据库的存储***可根据产生的数据规模进行选择,如集中式存储***或分布式存储***。本地数据库与虚拟资产数据库所存数据是一致的;本地数据库对应于应用平台的,用于存储本应用平台的数据;而虚拟资产数据库是***创建的,用于存储多个应用平台产生的数据以供异常检测,即来自于多个本地数据库。
(S12)虚拟资产应用平台时刻都产生新的数据,A和B只需将最近已更新的数据传输到虚拟资产数据库中,因此可以在本地数据库中设置检查点标记数据更新的位置。
(S13)A和B将本地数据库中待发送的虚拟资产数据统一转换成XML格式。
(S14)根据异常发现***的配置要求选择数据传输方式,若针对在线数据进行异常检测,则采用实时传输方式,若针对离线数据进行异常检测,则采用批量传输方式。
(S15)虚拟资产数据库Γ需要存储海量的数据,因此采用支持增量写且可扩展性强的分布式数据库,如Cassandra数据库,还可以先对Γ进行优化处理,如建立索引机制,提高异常发现方法查询并读取数据的性能。
(S16)基于eID的虚拟身份关联技术,利用Γ构建网络用户虚拟身份数据库Λ,由于Λ主要用于用户虚拟身份的查询,因此可采用关系型数据库MySql,如表2所示。Λ中至少包括账号、应用平台和eID号,且账号与应用平台构成主键。同一个虚拟资产应用平台中账号唯一,同一个eID用户可以拥有多个账号,如user1、user2、user3与eid_1关联。在使用过程中,首先通过账号和应用平台定位其eid号,然后通过eid号查找出用户在不同应用平台下的不同账号。
表2网络用户虚拟身份数据库示例
A和B持续产生新的虚拟资产数据,数据库Γ和Λ中的数据也不断被更新。
(S2)异常发现,该步骤主要由异常发现模块实现;
异常发现方法按运用的技术原理可分为基于分类的方法、基于最近邻的方法、基于聚类的方法、基于统计学的方法、基于信息论的方法和基于谱的方法,典型算法有SVMs算法、贝叶斯网络算法、kth最近邻算法、FindCBLOF算法、核函数算法、LSA算法、PCA算法等。上述异常发现方法各具特点,在实际使用过程中,针对具体应用领域选择优缺点互补的算法,假设本发明选择了5种性能优越的异常发现方法,即N=5。对于多种异常发现方法,现有的异常发现方法可以分为三类:监督方法、半监督方法、无监督方法,监督方法可以将无监督方法标记的虚拟资产数据作为训练样本,通过样本数据学习模型参数或者构建异常发现方法中的异常模式库。
异常发现方法的输出一般可分为两种:异常标记或异常得分。现假设待检测虚拟资产数据的异常得分为p,对于异常标记,若标记为异常,则p=1;若标记为正常,则p=0。对于异常得分,则进行归一化处理。规定本发明中采用的异常发现方法的输出是取值范围为的异常[0,1]得分,并且分值越高说明虚拟资产数据异常的可能性越大。
为了便于计算,假设异常发现方法Xi的权重系数
(S21)假设虚拟资产数据包含A中的虚拟身份user1和user3。
(S22)查找Λ,通过(A,user1)关联的eID号eid_1,找出虚拟身份(A,user2)和(B,user1),通过(A,user3)关联的eID号eid_2,找出虚拟身份(B,user4),见表2。
(S23)查找虚拟资产数据库Γ,定位步骤(S22)中所有虚拟身份相关的虚拟资产数据。利用网络用户虚拟身份数据库,高效准确定位用户关联的虚拟资产数据。
(S24)通过异常发现方法计算步骤(S23)中虚拟资产数据的异常得分,如表3所示。
表3虚拟资产数据异常得分示例
其中,每一行的数据代表5种异常发现方法对虚拟资产数据的异常打分,数据1的异常得分p1=0.7,p2=0.9,p3=0.78,p4=0.8,p5=0.75。
(S25)通过公式(1)计算虚拟资产数据的综合异常得分指标P,可以证明P的取值范围是[0,1]。
P = 1 5 &times; p 1 + 1 5 &times; p 2 + 1 5 &times; p 3 + 1 5 &times; p 4 + 1 5 &times; p 5
例如,数据1的异常指标得分
P = 1 5 &times; 0.7 + 1 5 &times; 0.9 + 1 5 &times; 0.78 + 1 5 &times; 0.8 + 1 5 &times; 0.75 = 0.786 , 基于表3数据计算的异常指标得分如表4所示。
表4虚拟资产数据异常裁定结果
(S26)假设异常阈值δ=0.75,若P≥δ,则裁定为异常,否则裁定为正常,如数据1的异常指标得分P=0.786>δ=0.75,所以数据1裁定为异常,表4说明了其它数据的异常裁定结果。
(S3)自适应学习处理步骤,该步骤主要由自适应学习模块实现。
统计步骤(S2)中异常裁定结果,与数据的实际异常情况进行对比,动态调整权重系数wi,1≤i≤5。根据实际情况选择对权重系数进行调整的时间间隔Δt,可以是物理时间Δt=24h,还可以是异常发现阶段中累积的数据异常裁定次数Δt=100次。
假设此处的时间间隔Δt=100次,即统计M=100次异常裁定结果,并且前4次异常裁定结果同表4。
1)初始化计数变量ci=0,1≤i≤5。
2)判断虚拟资产数据的异常裁定结果,如表5所示。
表5虚拟资产数据异常裁定结果与实际结果
对于数据1,实际结果为异常,裁定结果为异常,则计数变量更新情况见表6。
表6数据1的计数变量更新
对于数据2,实际结果为正常,裁定结果为异常,则计数变量更新情况见表7。
表7数据2的计数变量更新
对于数据3,实际结果为正常,裁定结果为正常,则计数变量更新情况见表8。
表8数据3的计数变量更新
对于数据4,实际结果为异常,裁定结果为正常,则计数变量更新情况见表9。
表9数据4的计数变量更新
3)统计100次异常裁定结果,计数变量的值更新情况如表10所示。
表10计数变量的值更新情况
4)通过公式(2)更新5种异常发现方法的权重系数
w i = w i + c i 100 , 1 &le; i &le; 5
由式(2)更新的权重系数如表11所示。
表11权重系数更新情况
5)通过公式(3)规范化权重系数使其满足条件
w i = w i w 1 + w 2 + w 3 + w 4 + w 5 , 1 &le; i &le; 5
具体计算结果见表11。
(S4)自反馈调节处理过程,该过程主要由自反馈调节模块实现。
一般情况下,可以采用界面交互的方式支持专家对异常发现***进行半监督反馈调节。针对虚拟资产数据的特点,替换性能更优的异常发现方法;针对权重系数,根据异常发现方法的优劣性进行初始化设置;针对异常发现***的实际需要,实时调整更新权重系数的时间间隔;针对网络空间中出现的新的用户行为异常模式或数据属性异常模式,采用人工方法(在实际使用过程中,只需***编程写个接口即可实现)不断修正并完善异常发现方法的异常模式库。
综上所述,本发明充分考虑了虚拟资产数据海量和结构复杂、网络用户虚拟身份不唯一及单个异常发现方法低效等特点,提出了一种自适应自反馈的虚拟资产异常发现***及实现方法。通过构建网络用户虚拟身份数据库,基于eID关联技术实现对虚拟资产的跨平台异常发现。通过实时或批量方式的数据传输机制,可以在在线或离线环境下对虚拟资产数据进行异常发现。权重系数的自适应学习调整机制,可以有效避免单个异常发现方法的局限性,提高异常发现精度。半监督模式的自反馈调节机制,可以根据实际需要实时配置参数或完善异常模式库,增强本发明的适用性。本发明不仅简单易于实现而且能获取较高的精度,社会效益和经济效益显著。
以上是对本发明进行了示例性的描述,显然本发明的实现并不受上述方式的限制,只要采用了本发明技术方案进行的各种改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围内。

Claims (6)

1.一种自适应自反馈的虚拟资产异常发现***,其特征在于:包括数据采集模块、异常发现模块、自适应学***台产生的虚拟资产数据;所述数据采集模块将虚拟资产数据传递至异常发现模块;异常发现模块负责构建异常模式库以及对虚拟资产数据进行异常检测,并将异常检测结果传递至自适应学习模块;自适应学习模块根据异常检测结果动态调整异常发现方法的权重系数;自反馈调节模块负责反馈修正异常模式库及配置异常发现模块和自适应学习模块中的相关参数。
2.一种自适应自反馈的虚拟资产异常发现***实现方法,采用如权利要求1所述的自适应自反馈的虚拟资产异常发现***,其特征在于,包括以下步骤:
(S1)数据采集,通过数据采集模块搜集并存储由虚拟资产应用平台产生的虚拟资产数据,并构建虚拟资产数据库和网络用户的虚拟身份数据库;
(S2)异常发现,通过异常发现模块对虚拟资产数据库中格式统一的虚拟资产数据进行异常检测,通过多种异常发现方法计算其异常得分,并裁定数据是否异常;
(S3)自适应学习处理过程,自适应学习模块依据虚拟资产数据的实际情况与步骤(S2)中的裁定结果是否一致,动态调整N种异常发现方法对应的权重系数
(S4)自反馈调节处理过程,自反馈调节处理模块采用半监督模式对异常发现模块和自适应学习模块进行反馈调节。
3.如权利要求2所述的一种自适应自反馈的虚拟资产异常发现***实现方法,其特征在于,所述步骤(S1)具体过程为:
(S11)虚拟资产应用平台将产生的虚拟资产数据存储于本地数据库;
(S12)虚拟资产数据库请求虚拟资产应用平台发送虚拟资产数据;
(S13)虚拟资产应用平台对将要发送的虚拟资产数据进行格式转换;
(S14)虚拟资产应用平台发送格式统一的虚拟资产数据;
(S15)虚拟资产数据库存储虚拟资产数据并进行优化;
(S16)基于eID的虚拟身份关联技术,结合虚拟资产数据库,构建网络用户的虚拟身份数据库。
4.如权利要求2所述的一种自适应自反馈的虚拟资产异常发现***实现方法,其特征在于,所述步骤(S2)具体过程为:
假设异常发现模块中共有N种异常发现方法其对应的权重系数分别为且满足条件按照以下步骤进行,
(S21)对待检测的虚拟资产数据,找出其包含的虚拟身份;
(S22)查找网络用户虚拟身份数据库,通过eID关联用户的所有虚拟身份;
(S23)查找虚拟资产数据库,定位步骤(S22)中所有虚拟身份相关的虚拟资产数据;
(S24)通过异常发现方法计算步骤(S23)中虚拟资产数据的异常得分
(S25)通过公式(1)计算虚拟资产数据的综合异常指标得分P:
P = &Sigma; i w i p i - - - ( 1 )
(S26)如果P大于预先定义的异常阈值δ,则裁定为异常,否则裁定为正常。
5.如权利要求2所述的一种自适应自反馈的虚拟资产异常发现***实现方法,其特征在于,所述步骤(S3)具体过程为:
假设异常发现模块在时间Δt内总共进行了M次异常裁定,第i种异常发现方法Xi关联一个计数变量ci,pi表示异常得分,P表示虚拟资产数据的综合异常指标得分,δ表示预先定义的异常阈值,1≤i≤N;按照如下步骤进行,
(S31)初始化计数变量ci=0,1≤i≤N;
(S32)判断虚拟资产数据的异常裁定结果,分为以下四种情形:
i.若实际结果为正常,裁定为异常,转步骤(S33);
ii.若实际结果为正常,裁定为正常,转步骤(S34);
iii.若实际结果为异常,裁定为异常,转步骤(S35);
iv.若实际结果为异常,裁定为正常,转步骤(S36);
(S33)若则ci=ci+1,若1≤i≤N,否则ci=ci+0;转步骤(S37);
(S34)若pi<P,则ci=ci+1,若P≤pi<δ,则1≤i≤N,否则ci=ci+0;转步骤(S37);
(S35)若pi≥P,则ci=ci+1,若δ≤pi<P,则1≤i≤N,否则ci=ci+0;转步骤(S37);
(S36)若pi≥δ,则ci=ci+1,1≤i≤N,否则ci=ci+0;转步骤(S37);
(S37)通过公式(2)更新N种异常发现方法的权重系数
w i = w i + c i M , 1 &le; i &le; N - - - ( 2 )
(S38)通过公式(3)规范化权重系数使其满足条件 &Sigma; i w i = 1 ;
w i = w i &Sigma; i w i , 1 &le; i &le; N - - - ( 3 )
6.如权利要求2所述的一种自适应自反馈的虚拟资产异常发现***实现方法,其特征在于,所述步骤(S4)自反馈调节处理过程为:
针对步骤(S2)、步骤(S3)中涉及的参数,提供接口支持专家进行初始化设置,所述参数包括权重系数异常阈值δ;针对步骤(S2)中的虚拟资产数据异常裁定结果,提供接口支持专家进行实时验证;针对网络空间中新的虚拟资产数据异常模式,提供接口支持专家进行反馈修正。
CN201510570032.XA 2015-09-09 2015-09-09 一种自适应自反馈的虚拟资产异常发现***及实现方法 Active CN105117477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510570032.XA CN105117477B (zh) 2015-09-09 2015-09-09 一种自适应自反馈的虚拟资产异常发现***及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510570032.XA CN105117477B (zh) 2015-09-09 2015-09-09 一种自适应自反馈的虚拟资产异常发现***及实现方法

Publications (2)

Publication Number Publication Date
CN105117477A true CN105117477A (zh) 2015-12-02
CN105117477B CN105117477B (zh) 2018-07-31

Family

ID=54665466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510570032.XA Active CN105117477B (zh) 2015-09-09 2015-09-09 一种自适应自反馈的虚拟资产异常发现***及实现方法

Country Status (1)

Country Link
CN (1) CN105117477B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330783A (zh) * 2017-06-26 2017-11-07 中国人民银行数字货币研究所 一种处理数字货币的方法和***
CN109213656A (zh) * 2018-07-23 2019-01-15 武汉智领云科技有限公司 一种交互式大数据智能异常检测***和方法
CN110008979A (zh) * 2018-12-13 2019-07-12 阿里巴巴集团控股有限公司 异常数据预测方法、装置、电子设备及计算机存储介质
CN112189206A (zh) * 2018-04-09 2021-01-05 维达数据方案公司 使用机器学习算法处理个人数据及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839850B1 (en) * 1999-03-04 2005-01-04 Prc, Inc. Method and system for detecting intrusion into and misuse of a data processing system
CN102456065A (zh) * 2011-07-01 2012-05-16 中国人民解放军国防科学技术大学 用于数据流的离线历史统计数据存储和查询方法
CN104090835A (zh) * 2014-06-27 2014-10-08 中国人民解放军国防科学技术大学 基于eID和谱理论的跨平台虚拟资产交易审计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839850B1 (en) * 1999-03-04 2005-01-04 Prc, Inc. Method and system for detecting intrusion into and misuse of a data processing system
CN102456065A (zh) * 2011-07-01 2012-05-16 中国人民解放军国防科学技术大学 用于数据流的离线历史统计数据存储和查询方法
CN104090835A (zh) * 2014-06-27 2014-10-08 中国人民解放军国防科学技术大学 基于eID和谱理论的跨平台虚拟资产交易审计方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330783A (zh) * 2017-06-26 2017-11-07 中国人民银行数字货币研究所 一种处理数字货币的方法和***
CN112189206A (zh) * 2018-04-09 2021-01-05 维达数据方案公司 使用机器学习算法处理个人数据及其应用
CN109213656A (zh) * 2018-07-23 2019-01-15 武汉智领云科技有限公司 一种交互式大数据智能异常检测***和方法
CN110008979A (zh) * 2018-12-13 2019-07-12 阿里巴巴集团控股有限公司 异常数据预测方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN105117477B (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
Jindal et al. Decision tree and SVM-based data analytics for theft detection in smart grid
US9495635B2 (en) Association significance
CN110827028B (zh) 一种基于区块链的数据采集交易***和方法
CN111953757B (zh) 基于云计算和智能设备交互的信息处理方法及云端服务器
CN105446991A (zh) 数据存储方法、查询方法及设备
CN105117477A (zh) 一种自适应自反馈的虚拟资产异常发现***及实现方法
US20180322580A1 (en) Intelligent Financial Management System
CN104090835A (zh) 基于eID和谱理论的跨平台虚拟资产交易审计方法
JP6553816B2 (ja) ユーザデータ共有方法及び装置
Ullah et al. A Hybrid Deep Neural Network for Electricity Theft Detection Using Intelligent Antenna‐Based Smart Meters
CN113379530A (zh) 用户风险的确定方法、装置和服务器
Xu et al. A hybrid interpretable credit card users default prediction model based on RIPPER
Althobaiti et al. Energy theft in smart grids: a survey on data-driven attack strategies and detection methods
Zhang et al. A hybrid model considering cointegration for interval‐valued pork price forecasting in China
Wu et al. DEA cross‐efficiency ranking method considering satisfaction and consensus degree
Liu The effects of international shocks on Australia's business cycle
Zhang Financial data anomaly detection method based on decision tree and random forest algorithm
Cao A Novel Optimal Selection Algorithm for Agricultural Trade Export in Blockchain‐Enabled Internet of Things
Mustaffa et al. LSSVM parameters tuning with enhanced artificial bee colony
He et al. Error analysis methods for group decision making based on hesitant fuzzy preference relation
Kong Research on Enterprise Digital Precision Marketing Strategy Based on Big Data
Malone et al. To measure globally, aggregate locally: Urban land, submarkets, and biased estimates of the housing stock
Gavel et al. An optimized maximum correlation based feature reduction scheme for intrusion detection in data networks
Wang et al. Construction of Audit Internal Control Intelligent System Based on Blockchain and Cloud Storage
Jiang Design and implementation of smart community big data dynamic analysis model based on logistic regression model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant