CN116244659A - 一种识别异常设备的数据处理方法、装置、设备及介质 - Google Patents
一种识别异常设备的数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116244659A CN116244659A CN202310502640.1A CN202310502640A CN116244659A CN 116244659 A CN116244659 A CN 116244659A CN 202310502640 A CN202310502640 A CN 202310502640A CN 116244659 A CN116244659 A CN 116244659A
- Authority
- CN
- China
- Prior art keywords
- list
- equipment
- abnormal
- feature
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 143
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003066 decision tree Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 abstract description 7
- 239000013598 vector Substances 0.000 description 20
- 238000012549 training Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013450 outlier detection Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种识别异常设备的数据处理方法、装置、设备及介质,所述方法包括如下步骤:根据目标设备的设备电量数据,获取目标设备的第一特征列表和第二特征列表,将目标设备的第一特征列表和第二特征列表输入至异常设备识别模型,得到目标设备的异常值且根据目标设备的异常值,确定目标设备为异常设备;本发明能够基于设备电量数据,避免其他数据的干扰,同时通过梯度提升决策树模型筛选出特征,提高模型的拟合能力和计算准确率。
Description
技术领域
本发明涉及设备识别技术领域,特别涉及一种识别异常设备的数据处理方法、装置、设备及介质。
背景技术
目前,存在异常行为的用户归纳为异常用户,这些异常用户本身存在着一定的不安全的因素和一定的规律,例如,相对于正常用户,异常用户的设备每天用电时间固定、异常用户的设备每天用电量固定或者异常用户的设备充电周期固定等。
但是,现有技术中,对异常用户的确定是通过识别异常用户的属性信息,例如,设备ID、居住地址等进行判断,存在如下缺点:一方面,对于未知的异常用户无法进行判断,导致遗漏一些异常用户,对其他用户产生安全隐患或者无法进行监控;另一方面,通过用户的属性信息对异常用户进行判断,异常用户容易规避属性信息的判断,导致对异常用户的判断准确率降低或者无法确定,进而对其他用户产生安全隐患或者无法进行监控;此外,通过用户的属性信息对异常用户进行判断,需要大量所需样本数据进行训练,其计算量大并且效率低。
发明内容
为了解决现有技术的问题,通过获取设备电量数据,将所述设备电量数据输入至异常点检测模型进行预测,得到目标异常向量,根据所述目标异常向量,确定目标设备对应的用户为异常用户,能够对于未知的异常用户进行判断,避免导致遗漏一些异常用户,同时基于根据异常用户的设备电量使用的规律,基于设备电量数据确定异常用户,避免其他数据的干扰和规避,提高对异常用户的判断准确率,本发明实施例提供了一种识别异常设备的数据处理方法,所述技术方案如下:
获取预设的第一时间窗口的目标设备ID列表;
根据目标设备ID列表,获取任一目标设备ID对应的设备电量信息;
对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表;
将所述第一特征列表和第二特征列表输入至预设的异常设备识别模型中,获取目标设备ID对应的目标异常值;
当所述目标异常值不小于预设的异常阈值时,确定目标设备ID对应的目标设备为异常设备。
进一步地,所述第一时间窗口的取值范围为1~3个月。
进一步地,所述目标设备ID对应的目标设备为移动设备。
进一步地,在对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表中,还包括如下步骤:
获取目标设备ID对应的原始特征列表;所述原始特征列表为存储设备电量信息的列表;
将所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度进行比对;
当所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度一致时,将原特征维度对应的原始特征***至第一特征列表中;
将第一特征列表输入至预设模型中,获取所述第二特征列表。
进一步地,所述预设模型为梯度提升决策树模型。
进一步地,所述预设特征维度列表中每一特征维度为电量信息对应的线性特征维度。
另一方面,本发明实施例还提供了一种识别异常设备的数据处理装置,所述装置包括:
第一获取模块,所述第一获取模块用于获取预设的第一时间窗口的目标设备ID列表;
第二获取模块,所述第二获取模块用于根据目标设备ID列表,获取任一目标设备ID对应的设备电量信息;
特征获取模块,所述特征获取模块用于对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表;
异常值获取模块,所述异常值获取模块用于将所述第一特征列表和第二特征列表输入至预设的异常设备识别模型中,获取目标设备ID对应的目标异常值;
确定模块,所述确定模块用于当所述目标异常值不小于预设的异常阈值时,确定目标设备ID对应的目标设备为异常设备。
进一步地,所述第一时间窗口的取值范围为1~3个月。
进一步地,所述目标设备ID对应的目标设备为移动设备。
进一步地,在所述装置还包括:
原始特征获取模块,所述原始特征获取模块用于获取目标设备ID对应的原始特征列表;所述原始特征列表为存储设备电量信息的列表;
判断模块,所述判断模块用于将所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度进行比对;
第一执行模块,所述第一执行模块用于当所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度一致时,将原特征维度对应的原始特征***至第一特征列表中;
第二执行模块,将第一特征列表输入至预设模型中,获取所述第二特征列表。
进一步地,所述预设模型为梯度提升决策树模型。
进一步地,所述预设特征维度列表中每一特征维度为电量信息对应的线性特征维度。
另一方面,本发明实施例还提供了一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的识别异常设备的数据处理方法。
另一方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的识别异常设备的数据处理方法。
本发明提供的一种识别异常设备的数据处理方法、装置、设备及介质,具有如下技术效果:
本发明通过获取设备电量数据,根据目标设备的设备电量数据,获取目标设备的第一特征列表和第二特征列表,将目标设备的第一特征列表和第二特征列表输入至异常设备识别模型,得到目标设备的异常值且根据目标设备的异常值,确定目标设备为异常设备,其中,第二特征列表通过梯度提升决策树模型提取的所需特征,可见,发明的技术方案一方面基于设备电量数据对于未知的异常用户进行判断,避免导致遗漏一些异常用户,同时基于根据异常用户的设备电量使用的规律,基于设备电量数据确定异常用户,避免其他数据的干扰和规避,提高对异常用户的判断准确率;另一方面,通过梯度提升决策树模型提取所需特征,增强了特征的非线性,降了特征工程所带来的额外人力成本;此外,由通过梯度提升决策树模型提取所需特征输入至异常点检测模型中,增加了异常点检测模型特征的拟合能力,进而提高了计算准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种识别异常设备的数据处理方法的流程图;
图2是本发明实施例一提供的S300步骤的流程图;
图3是本发明实施例二提供的一种识别异常设备的数据处理装置的结构图;
图4是本发明实施例二提供的模块30的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
如图1所示,实施例一提供了一种识别异常设备的数据处理方法,所述方法包括如下步骤:
S100、获取预设的第一时间窗口的目标设备ID列表。
具体地,所述第一时间窗口的取值范围为1~3个月;优选地,所述第一时间窗口的取值为3个月,能够保证有足够的数据量。
具体地,所述目标设备ID是指目标设备的唯一身份标识。
进一步地,所述目标设备ID对应的目标设备为移动设备,例如,例如,手机、平板电脑等。
S200、根据目标设备ID列表,获取任一目标设备ID对应的设备电量信息。
具体地,所述设备电量信息可以通过目标设备上的SDK进行获取,在此不再赘述。
S300、对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表。
具体地,在对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表中,还包括如下步骤如图2所示:
S301、获取目标设备ID对应的原始特征列表;所述原始特征列表为存储设备电量信息的列表;
S303、将所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度进行比对;
S305、当所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度一致时,将原特征维度对应的原始特征***至第一特征列表中;
S307、将第一特征列表输入至预设模型中,获取所述第二特征列表。
进一步地,所述预设特征维度列表中每一特征维度为电量信息对应的线性特征维度,其中,所述线性特征维度包括:全天满电状态时长、全天满电状态的天数、全天处于使用状态的时长、电池电量、工作日满电状态时长、周末满电状态时长、工作日处于充电状态时长和非工作日处于充电状态时长中一种或者多种组合的特征维度。
例如,正常用户对应的设备电量不断的缩减,正常设备需要全天进行消耗,但是异常设备需要全部保存满电状态,即异常设备电量处于全天满电状态时长较长,如表1所示,全天满电状态时长能够反映出设备是否为异常设备。
表1
全天满电状态时长 | 异常设备数 | 总设备数 | 概率 |
[0,100) | 277 | 3710 | 7.47% |
[100,200) | 361 | 2829 | 12.76% |
[200,300) | 443 | 1454 | 30.47% |
[300,400) | 379 | 986 | 38.44% |
[400,500) | 310 | 602 | 51.50% |
[500,600) | 257 | 313 | 82.11% |
[600,720] | 92 | 106 | 86.79% |
进一步地,本领域技术人员能够知晓其他特征也能够反映出异常设备,在此不再进行赘述。
具体地,所述预设模型为梯度提升决策树模型;进一步的理解,所述梯度提升决策树模型包括N个树结构,每个树结构具有M个节点,其中,根据所述第一特征列表中特征维度数量,确定所述梯度提升决策树模型的树结构,例如,获取第一特征列表中包括第一子特征和第二子特征,当第一子特征对应的一个树结构包括3个节点,第一子特征分割至中间节点,此节点记为1,其他未分割至的节点记为0,形成第二特征列表对应的第一子特征向量(0,1,0);同理二子特征对应的另一个树结构包括5个节点,第二子特征分割至左侧第2个节点,此节点记为1,其他未分割至的节点记为0,形成第二特征向量的对应的第二子特征向量(0,1,0,0,0);由所述第一子特征向量(0,1,0)和第二子特征向量(0,1,0,0,0)构成所述扩展向量(0,1,0,0,1,0,0,0),且q=8;依次类推,生成多个扩张向量,每个扩张向量中的向量值数量一致;能够通过梯度提升决策树模型提取所需特征输入至异常点检测模型中,增加了异常点检测模型特征的拟合能力,进而提高了计算准确率。
优先地,为了保证所述梯度提升决策树模型计算的准确性,对所述梯度提升决策树模型进行训练,训练所述梯度提升决策树模型的样本数据与训练所述异常点检测模型的样本数据一致,增加扩展向量保证样本数据具有足够数据进行训练;在本实施例中,所述梯度提升决策树模型的训练过程为常规训练过程,在此不做赘述。
S400、将所述第一特征列表和所述第二特征列表输入至目标异常设备识别模型中,获取目标设备ID对应的目标异常值。
具体地,所述目标异常设备识别模型为孤立森林模型,由于线性特征的规律性,便于反映出设备的异常情况,并且通过孤立森林算法基于不同线性特征之间的关联关系,计算出目标设备对应的异常值,提高了异常设备判断的准确性,避免导致遗漏一些异常用户,导致影响到第三方的安全。
其中,e是指所述第一特征列表和所述第二特征列表对应的孤立森林算法的根节点至叶节点的边数量,,i为目标设备ID中当前的目标设备ID对应的序号值,i=1……n,n为目标设备ID列表中目标设备ID的总数量,H(i-1)=ln(i-1)+g,g为欧拉常数。
S500、当所述目标异常值不小于预设的异常阈值时,确定目标设备ID对应的目标设备为异常设备。
基于,本实施例一提供的所述的识别异常设备的数据处理方法,通过梯度提升决策树模型提取所需特征,增强了特征的非线性,降了特征工程所带来的额外人力成本,同时通过梯度提升决策树模型提取所需特征输入至异常点检测模型中,增加了异常点检测模型特征的拟合能力,进而提高了异常用户的准确性。
在一个具体的实施例中,执行S400步骤之前,所述方法还包括如下步骤:
S1、获取第二时间窗内的样本设备列表和样本设备列表对应的样本异常值列表。
所述样本异常值列表中样本设备异常值是指通过样本设备列表中样本设备ID对应的电量信息获取的,所述样本设备异常值的获取方式一致与目标设备的异常值的获取方式一致,在此不再赘述。
S2、获取预设异常值列表和样本异常值列表,获取所述异常设备识别模型的对应的损失函数值L,其中,L符合如下条件:
,其中,Wk是指样本设备ID对应的样本设备异常值,Tk是指样本设备ID对应的预设设备异常值,F()为所述异常设备识别模型对应的损失函数,k=1……z,z为第二时间窗内的样本设备列表中样本设备ID的总数量。
基于L对所述异常设备识别模型的参数进行调整,获取最目标异常设备识别模型。
具体地,所述第二时间窗范围为3~6个月,优选地,所述第二时间窗为6个月。
基于,通过梯度提升决策树模型丰富了训练的数据量,保证了孤立森林模型的准确性。
实施例二
如图3所示,实施例二提供了一种识别异常设备的数据处理装置,所述装包括:
第一获取模块10,所述第一获取模块用于获取预设的第一时间窗口的目标设备ID列表。
具体地,所述第一时间窗口的取值范围为1~3个月;优选地,所述第一时间窗口的取值为3个月,能够保证有足够的数据量。
具体地,所述目标设备ID是指目标目标设备的唯一身份标识。
进一步地,所述目标设备ID对应的目标设备为移动设备,例如,例如,手机、平板电脑等。
第二获取模块20,所述第二获取模块用于根据目标设备ID列表,获取任一目标设备ID对应的设备电量信息;
具体地,所述设备电量信息可以通过目标设备上的SDK进行获取,在此不再赘述。
特征获取模块30,所述特征获取模块用于对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表。
具体地,在对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表中,如图4所示,特征获取模块30还包括如下内容:
原始特征获取模块31,所述原始特征获取模块用于获取目标设备ID对应的原始特征列表;所述原始特征列表为存储设备电量信息的列表;
判断模块33,所述判断模块用于将所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度进行比对;
第一执行模块35,所述第一执行模块用于当所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度一致时,将原特征维度对应的原始特征***至第一特征列表中;
第二执行模块37,将第一特征列表输入至预设模型中,获取所述第二特征列表。
进一步地,所述预设特征维度列表中每一特征维度为电量信息对应的线性特征维度,其中,所述线性特征维度包括:全天满电状态时长、全天满电状态的天数、全天处于使用状态的时长、电池电量、工作日满电状态时长、周末满电状态时长、工作日处于充电状态时长和非工作日处于充电状态时长中一种或者多种组合的特征维度。
例如,正常用户对应的设备电量不断的缩减,正常设备需要全天进行消耗,但是异常设备需要全部保存满电状态,即异常设备电量处于全天满电状态时长较长,同前述表1所示,全天满电状态时长能够反映出设备是否为异常设备。
进一步地,本领域技术人员能够知晓其他特征也能够反映出异常设备,在此不再进行赘述。
具体地,所述预设模型为梯度提升决策树模型;进一步的理解,所述梯度提升决策树模型包括N个树结构,每个树结构具有M个节点,其中,根据所述第一特征列表中特征维度数量,确定所述梯度提升决策树模型的树结构,例如,获取第一特征列表中包括第一子特征和第二子特征,当第一子特征对应的一个树结构包括3个节点,第一子特征分割至中间节点,此节点记为1,其他未分割至的节点记为0,形成第二特征列表对应的第一子特征向量(0,1,0);同理二子特征对应的另一个树结构包括5个节点,第二子特征分割至左侧第2个节点,此节点记为1,其他未分割至的节点记为0,形成第二特征向量的对应的第二子特征向量(0,1,0,0,0);由所述第一子特征向量(0,1,0)和第二子特征向量(0,1,0,0,0)构成所述扩展向量(0,1,0,0,1,0,0,0),且q=8;依次类推,生成多个扩张向量,每个扩张向量中的向量值数量一致;能够通过梯度提升决策树模型提取所需特征输入至异常点检测模型中,增加了异常点检测模型特征的拟合能力,进而提高了计算准确率。
优先地,为了保证所述梯度提升决策树模型计算的准确性,对所述梯度提升决策树模型进行训练,训练所述梯度提升决策树模型的样本数据与训练所述异常点检测模型的样本数据一致,增加扩展向量保证样本数据具有足够数据进行训练;在本实施例中,所述梯度提升决策树模型的训练过程为常规训练过程,在此不做赘述。
异常值获取模块40,所述异常值获取模块用于将所述第一特征列表和第二特征列表输入至预设的异常设备识别模型中,获取目标设备ID对应的目标异常值;
具体地,所述目标异常设备识别模型为孤立森林模型。
具体地,目标设备ID对应的目标异常值S符合如下条件:
,其中,e是指所述第一特征列表和所述第二特征列表对应的的孤立森林算法的根节点至叶节点的边数量,/>,i为目标设备ID中当前的目标设备ID对应的序号值,i=1……n,n为目标设备ID列表中目标设备ID的总数量,H(i-1)=ln(i-1)+g,g为欧拉常数。
确定模块50,所述确定模块用于当所述目标异常值不小于预设的异常阈值时,确定目标设备ID对应的目标设备为异常设备。
上述方法,由于线性特征的规律性,便于反映出设备的异常情况,并且通过孤立森林算法基于不同线性特征之间的关联关系,计算出目标设备对应的异常值,提高了异常设备判断的准确性,避免导致遗漏一些异常用户,导致影响到第三方的安全。
在一个具体的实施例中,所述装置还包括:
样本获取模块,样本获取模块用于获取第二时间窗内的样本设备列表和样本设备列表对应的样本异常值列表。
所述样本异常值列表中样本设备异常值是指通过样本设备列表中样本设备ID对应的电量信息获取的,所述样本设备异常值的获取方式一致与目标设备的异常值的获取方式一致,在此不再赘述。
损失函数获取模块,损失函数获取模块用于获取预设异常值列表和样本异常值列表,获取所述异常设备识别模型的对应的损失函数值L,其中,L符合如下条件:
,其中,Wk是指样本设备ID对应的样本设备异常值,Tk是指样本设备ID对应的预设设备异常值,F()为所述异常设备识别模型对应的损失函数,k=1……z,z为第二时间窗内的样本设备列表中样本设备ID的总数量。
基于L对所述异常设备识别模型的参数进行调整,获取最目标异常设备识别模型。
具体地,所述第二时间窗范围为3~6个月,优选地,所述第二时间窗为6个月。
本发明的实施例还提供了一种电子设备,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的识别异常设备的数据处理方法。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、***总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
本发明的实施例还提供了一种计算机可读存储介质,所述存储介质可设置于电子设备之中以保存至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的识别异常设备的数据处理方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种识别异常设备的数据处理方法,其特征在于,所述方法包括如下步骤:
获取预设的第一时间窗口的目标设备ID列表;
根据目标设备ID列表,获取任一目标设备ID对应的设备电量信息;
对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表;
将所述第一特征列表和第二特征列表输入至预设的异常设备识别模型中,获取目标设备ID对应的目标异常值;
当所述目标异常值不小于预设的异常阈值时,确定目标设备ID对应的目标设备为异常设备。
2.根据权利要求1所述的识别异常设备的数据处理方法,其特征在于,所述第一时间窗口的取值范围为1~3个月。
3.根据权利要求1所述的识别异常设备的数据处理方法,其特征在于,所述目标设备ID对应的目标设备为移动设备。
4.根据权利要求1所述的识别异常设备的数据处理方法,其特征在于,在对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表中,还包括如下步骤:
获取目标设备ID对应的原始特征列表;所述原始特征列表为存储设备电量信息的列表;
将所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度进行比对;
当所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度一致时,将原特征维度对应的原始特征***至第一特征列表中;
将第一特征列表输入至预设模型中,获取所述第二特征列表。
5.根据权利要求4所述的识别异常设备的数据处理方法,其特征在于,所述预设模型为梯度提升决策树模型。
6.根据权利要求4所述的识别异常设备的数据处理方法,其特征在于,所述预设特征维度列表中每一特征维度为电量信息对应的线性特征维度。
7.一种识别异常设备的数据处理装置,其特征在于,所述装置包括:
第一获取模块,所述第一获取模块用于获取预设的第一时间窗口的目标设备ID列表;
第二获取模块,所述第二获取模块用于根据目标设备ID列表,获取任一目标设备ID对应的设备电量信息;
特征获取模块,所述特征获取模块用于对目标设备ID对应的设备电量信息进行处理,得到目标设备ID对应的第一特征列表和目标设备ID对应的第二特征列表;
异常值获取模块,所述异常值获取模块用于将所述第一特征列表和第二特征列表输入至预设的异常设备识别模型中,获取目标设备ID对应的目标异常值;
确定模块,所述确定模块用于当所述目标异常值不小于预设的异常阈值时,确定目标设备ID对应的目标设备为异常设备。
8.根据权利要求7所述的识别异常设备的数据处理装置,其特征在于,所述第一时间窗口的取值范围为1~3个月。
9.根据权利要求7所述的识别异常设备的数据处理装置,其特征在于,所述目标设备ID对应的目标设备为移动设备。
10.根据权利要求7所述的识别异常设备的数据处理装置,其特征在于,在所述装置还包括:
原始特征获取模块,所述原始特征获取模块用于获取目标设备ID对应的原始特征列表;所述原始特征列表为存储设备电量信息的列表;
判断模块,所述判断模块用于将所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度进行比对;
第一执行模块,所述第一执行模块用于当所述原始特征列表中原始特征维度与预设特征维度列表中任一预设特征维度一致时,将原特征维度对应的原始特征***至第一特征列表中;
第二执行模块,将第一特征列表输入至预设模型中,获取所述第二特征列表。
11.根据权利要求10所述的识别异常设备的数据处理装置,其特征在于,所述预设模型为梯度提升决策树模型。
12.根据权利要求10所述的识别异常设备的数据处理装置,其特征在于,所述预设特征维度列表中每一特征维度为电量信息对应的线性特征维度。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至6中任一项所述的识别异常设备的数据处理方法。
14.一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至6任一项所述的识别异常设备的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310502640.1A CN116244659B (zh) | 2023-05-06 | 2023-05-06 | 一种识别异常设备的数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310502640.1A CN116244659B (zh) | 2023-05-06 | 2023-05-06 | 一种识别异常设备的数据处理方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116244659A true CN116244659A (zh) | 2023-06-09 |
CN116244659B CN116244659B (zh) | 2023-07-28 |
Family
ID=86624569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310502640.1A Active CN116244659B (zh) | 2023-05-06 | 2023-05-06 | 一种识别异常设备的数据处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116244659B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110311902A (zh) * | 2019-06-21 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种异常行为的识别方法、装置及电子设备 |
CN110880014A (zh) * | 2019-10-11 | 2020-03-13 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
WO2021068513A1 (zh) * | 2019-10-12 | 2021-04-15 | 平安科技(深圳)有限公司 | 异常对象识别方法、装置、介质及电子设备 |
CN113408676A (zh) * | 2021-08-23 | 2021-09-17 | 国网江西综合能源服务有限公司 | 一种结合云端与边端的窃电用户识别方法及装置 |
CN115098345A (zh) * | 2022-08-25 | 2022-09-23 | 广州简悦信息科技有限公司 | 数据异常检测方法、电子设备及可读存储介质 |
CN115826992A (zh) * | 2021-09-17 | 2023-03-21 | 杭州云深科技有限公司 | 一种识别异常apk的方法、电子设备及可读存储介质 |
-
2023
- 2023-05-06 CN CN202310502640.1A patent/CN116244659B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110311902A (zh) * | 2019-06-21 | 2019-10-08 | 北京奇艺世纪科技有限公司 | 一种异常行为的识别方法、装置及电子设备 |
CN110880014A (zh) * | 2019-10-11 | 2020-03-13 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
WO2021068513A1 (zh) * | 2019-10-12 | 2021-04-15 | 平安科技(深圳)有限公司 | 异常对象识别方法、装置、介质及电子设备 |
CN113408676A (zh) * | 2021-08-23 | 2021-09-17 | 国网江西综合能源服务有限公司 | 一种结合云端与边端的窃电用户识别方法及装置 |
CN115826992A (zh) * | 2021-09-17 | 2023-03-21 | 杭州云深科技有限公司 | 一种识别异常apk的方法、电子设备及可读存储介质 |
CN115098345A (zh) * | 2022-08-25 | 2022-09-23 | 广州简悦信息科技有限公司 | 数据异常检测方法、电子设备及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
MAURRAS ULBRICHT TOGBE,ET AL: "Anomaly Detection for Data Streams Based on Isolation Forest Using Scikit-Multiflow", 《COMPUTATIONAL SCIENCE AND ITS APPLICATIONS–ICCSA 2020》, pages 15 - 30 * |
ZHIGUO DING,ET AL: "An Anomaly Detection Approach Based on Isolation Forest Algorithm for Streaming Data using Sliding Window", 《IFAC PROCEEDINGS VOLUMES》, vol. 46, no. 20, pages 12 - 17 * |
孙士骏: "机器学习在用电异常智能识别中的应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, vol. 2023, no. 02, pages 042 - 2849 * |
Also Published As
Publication number | Publication date |
---|---|
CN116244659B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108804918B (zh) | 安全性防御方法、装置、电子设备及存储介质 | |
CN108038398B (zh) | 一种二维码解析能力测试方法、装置及电子设备 | |
CN112365367B (zh) | 一种基于设备电量的区域画像方法、设备及存储介质 | |
CN106250182B (zh) | 一种文件处理方法、装置及电子设备 | |
CN108985048B (zh) | 模拟器识别方法及相关装置 | |
US20140357355A1 (en) | Apparatuses and methods for preventing game cheating by plug-ins | |
WO2014194682A1 (en) | Apparatuses and methods for preventing game cheating by plug-ins | |
CN115174250A (zh) | 网络资产安全评估方法、装置、电子设备及存储介质 | |
CN113852510B (zh) | 一种网络安全态势预测方法和装置、电子设备、存储介质 | |
CN112364222B (zh) | 一种用户年龄的区域画像方法、计算机设备及存储介质 | |
CN107978014B (zh) | 一种粒子渲染方法、装置、电子设备及存储介质 | |
CN116244659B (zh) | 一种识别异常设备的数据处理方法、装置、设备及介质 | |
CN111027065B (zh) | 一种勒索病毒识别方法、装置、电子设备及存储介质 | |
CN115374793B (zh) | 基于服务场景识别的语音数据处理方法及相关装置 | |
CN112767028A (zh) | 一种活跃用户数量的预测方法、计算机设备及存储介质 | |
CN113891323B (zh) | 一种基于WiFi的用户标签获取*** | |
CN110781410A (zh) | 一种社群检测方法及装置 | |
CN114338102A (zh) | 安全检测方法、装置、电子设备及存储介质 | |
CN112929961B (zh) | 一种网络设备的定位方法、计算机设备及介质 | |
CN110874310B (zh) | 一种终端行为监测方法、装置、电子设备及存储介质 | |
US20170171330A1 (en) | Method for pushing information and electronic device | |
CN107451285A (zh) | 一种亲属关系的分析方法、装置、存储介质及智能终端 | |
CN111026633A (zh) | 一种芯片硬件木马的黑盒检测方法、装置及存储介质 | |
CN110868385A (zh) | 网站安全运营能力确定方法、装置、电子设备及存储介质 | |
CN114143084B (zh) | 恶意域名判定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |