CN112465073B - 一种基于距离的数值分布异常检测方法及检测*** - Google Patents

一种基于距离的数值分布异常检测方法及检测*** Download PDF

Info

Publication number
CN112465073B
CN112465073B CN202011536865.1A CN202011536865A CN112465073B CN 112465073 B CN112465073 B CN 112465073B CN 202011536865 A CN202011536865 A CN 202011536865A CN 112465073 B CN112465073 B CN 112465073B
Authority
CN
China
Prior art keywords
numerical
distance
array
weight
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011536865.1A
Other languages
English (en)
Other versions
CN112465073A (zh
Inventor
殷钱安
陶景龙
梁淑云
刘胜
马影
王启凡
魏国富
余贤喆
周晓勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Data Security Solutions Co Ltd
Original Assignee
Information and Data Security Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Data Security Solutions Co Ltd filed Critical Information and Data Security Solutions Co Ltd
Priority to CN202011536865.1A priority Critical patent/CN112465073B/zh
Publication of CN112465073A publication Critical patent/CN112465073A/zh
Application granted granted Critical
Publication of CN112465073B publication Critical patent/CN112465073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种基于距离的数值分布异常检测方法，属于计算机数据安全技术领域。对于数据组而言，剔重前计算得到的距离为整体数组的每个数据对象的分布情况，体现数据数值分布特点，剔重后计算得到的距离体现数据数值分布的广度。本发明通过分别计算剔重前、剔重后的数值距离，将数组中数值整体分布与数组中数值的集中程度结合，既可以检测低频异常值或者孤立值，同时也可以检测常见的高频行为，可以降低常见单维度异常检测算法的误报。

Description

一种基于距离的数值分布异常检测方法及检测***
技术领域
本发明涉及计算机数据安全技术领域，具体来说是一种基于距离的数值分布异常检测方法及检测***。
背景技术
在对数据(例如，指标)进行监控的传统监控***中，工程师或专家可以配置一些指标的异常阈值，当数据超出阈值时***就会触发警报。但是，如果某个指标没有被监控覆盖到(不管是***还是人)，那么它表现异常后就可能没有人会知道，这可能造成不可预期的问题或故障。另外，许多问题不是靠人工设定阈值就能够解决的，特别是在对超大规模的性能指标进行监控时，很难依靠人工配置完成监控。随着应用需求及场景变化，数据异常检测方法也需要不断更新迭代。
现有技术中常见异常检测方法，例如统计方法、基于邻近度的离群点检测、基于密度的离群点检测、基于聚类的技术等，譬如一些基于统计方法的单维度检测算法主要用于极值检测，没有考虑数组中数值分布异常，对于一些低频异常数值识别能力较差。基于聚类的异常检测、基于密度的离群点检测等通常应用于多维度检测，对于单维异常数据检测能力往往效果不佳。
如申请号为CN202010465783.6公开的一种对等组中异常点的检测方法及装置，该方法包括：1)、获取对应于待检测用户的原始数据，将所述原始数据作为样本，其中，所述原始数据包括：用户的设备属性信息、风控数据、业务数据；2)、使用加权概率分布模型确定出聚类中心点个数，并基于所述中心点对样本进行若干次K-means聚类处理；3)根据各次聚类处理后的SSE值的最小值确定出目标k值；4)、将目标k值对应的聚类算法聚类后得到的簇作为对等组，针对每一个对等组，根据所述对等组中的样本点与对等组中其他样本点之间的比值获取每一个样本点的偏离度，根据所述偏离度获取异常点。应用本发明实施例，提高了安全性能。通过对等组中的样本点与其他样本点的偏离度来获取异常点，但是依然存在对单维度数据检测不准的问题。
发明内容
本发明所要解决的技术问题在于提供一种同时满足高频和低频或孤立值的数据异常检测方法。
本发明通过以下技术手段实现解决上述技术问题的：
一种基于距离的数值分布异常检测方法，包括以下步骤：
S01.数据提取，抽取指定时间周期内的标准化的业务数据表作为分析数据；
S02.数据统计，梳理分析数据的业务对象，根据业务对象对指定字段进行聚合分析，得到每个业务对象的多种操作行为的数量指标，整体指标值构成数组array；
S03.剔重数组距离计算，对步骤S02得到的数组array，进行数值剔重，得到新数组arrayl；
利用曼哈顿距离计算array1中每个数值与其他数值之间的距离Si，对所有数值距离Si进行求和，得到数组array1总距离和S；
S04.未剔重数组距离计算
对步骤S02得到的数组array，利用曼哈顿距离计算array中每个数值与其他数值之间的距离dij；将计算得到dij，按照不同数值对象进行求和，得到数值array每个唯一数值对象距离总和，即Di，此处第i个值与S02中第i个值一致；
对所有数值距离Di进行求和，得到数组array距离总和D；
S05.数值权重计算
基于步骤S03得到的数值距离，将每个数值距离Si除以总距离S，得到每个数值对象距离比Ri1；
基于步骤S04得到的数值距离，将每个数值距离Di除以总距离D，得到每个数值对象距离比Ri2；
对所有Ri1进行均值计算得到Ri1的权重w1，同理对所有Ri2进行均值计算，得到Ri2的权重w2；
S06.计算每个数值对象分值
根据步骤S03、S04、S05得到的距离值和权重，计算每个数值对象分值SCOREi＝Ri1×w1+Ri2×w2；
S07.异常对象判断
对步骤S06得到所有数值对象分值进行检测，若数值对象分值大于阈值区间，则视为异常，数值对象对应的业务对象判断为异常。
对于数据组而言，剔重前计算得到的距离为整体数组的每个数据对象的分布情况，体现数据数值分布特点，剔重后计算得到的距离体现数据数值分布的广度。本发明通过分别计算剔重前、剔重后的数值距离，将数组中数值整体分布与数组中数值的集中程度结合，既可以检测低频异常值或者孤立值，同时也可以检测常见的高频行为，可以降低常见单维度异常检测算法的误报。
进一步的，所述步骤S02中的操作行为至少包括操作频次、用户数量、账户数量。
进一步的，所述步骤S07中，利用分位数准则对所有数值对象分值进行检测。
本发明还提供一种基于距离的数值分布异常检测***，包括
数据提取模块，抽取指定时间周期内的标准化的业务数据表作为分析数据；
数据统计模块，梳理分析数据的业务对象，根据业务对象对指定字段进行聚合分析，得到每个业务对象的多种操作行为的数量指标，整体指标值构成数组array；
剔重数组距离计算模块，对数组array，进行数值剔重，得到新数组array1；
利用曼哈顿距离计算array1中每个数值与其他数值之间的距离Si，对所有数值距离Si进行求和，得到数组array1总距离和S；
未剔重数组距离计算模块，对数组array，利用曼哈顿距离计算array中每个数值与其他数值之间的距离dij；各计算得到dij，按照不同数值对象进行求和，得到数值array每个唯一数值对象距离总和，即Di，此处第i个值与S02中第i个值一致；
对所有数值距离Di进行求和，得到数组array距离总和D；
数值权重计算模块，基于剔重数组距离计算模块得到的数值距离，将每个数值距离Si除以总距离S，得到每个数值对象距离比Ri1；
基于未剔重数组距离计算模块得到的数值距离，将每个数值距离Di除以总距离D，得到每个数值对象距离比Ri2；
对所有Ri1进行均值计算得到Ri1的权重w1，同理对所有Ri2进行均值计算，得到Ri2的权重w2；
每个数值对象分值计算模块，根据剔重数组距离计算模块、未剔重数组距离计算模块、数值权重计算模块得到的距离值和权重，计算每个数值对象分值SCOREi＝Ri1×w1+Ri2×w2；
异常对象判断模块，对每个数值对象分值计算模块得到所有数值对象分值进行检测，若数值对象分值大于阈值区间，则视为异常，数值对象对应的业务对象判断为异常。
进一步的，所述数据统计模块中的操作行为至少包括操作频次、用户数量、账户数量。
进一步的，所述异常对象判断模块中，利用分位数准则对所有数值对象分值进行检测。
本发明还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
本发明的优点在于：
对于数据组而言，剔重前计算得到的距离为整体数组的每个数据对象的分布情况，体现数据数值分布特点，剔重后计算得到的距离体现数据数值分布的广度。本发明通过分别计算剔重前、剔重后的数值距离，将数组中数值整体分布与数组中数值的集中程度结合，既可以检测低频异常值或者孤立值，同时也可以检测常见的高频行为，可以降低常见单维度异常检测算法的误报。
附图说明
图1为本发明实施例中一种基于距离的数值分布异常检测方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种基于距离的数值分布异常检测方法，如图1所示，包括以下步骤：
步骤1：数据提取
抽取指定时间周期(日/月)内的标准化的业务数据表作为分析数据。
步骤2：数据统计
梳理分析数据的业务对象，业务对象可以为用户，或者账号、IP等；根据业务对象对指定字段进行聚合分析，得到每个业务对象的操作频次、用户数量、账号数量等数量指标，整体指标值构成数组array。
步骤3：剔重数组距离计算
对步骤2得到的数组array，进行数值剔重，得到新数组array1。
利用曼哈顿距离计算array1中每个数值与其他数值之间的距离，例如第i个值计算得到的距离为Si，对所有数值距离Si进行求和，得到数组array1总距离和S。
步骤4：未剔重数组距离计算
对步骤2得到的数组array，利用曼哈顿距离计算array中每个数值与其他数值之间的距离dij。
将计算得到dij，按照不同数值对象进行求和，得到数值array每个唯一数值对象距离总和，即Di，此处第i个值与S2中第i个值一致。
对所有数值距离Di进行求和，得到数组array距离总和D。
其中曼哈顿距离也叫出租车距离，用来标明两个点在标准坐标系上的绝对轴距总和。
曼哈顿距离中的距离计算：C＝|x1-x2|+|y1-y2|
上述为标准坐标系(二维坐标系)曼哈顿计算公式，若对应一维数轴上，则其距离为：C＝|x1-x2|。
步骤5：数值权重计算
将步骤3得到的数值距离，将每个数值距离Si除以总距离S，即(Si/S)，得到每个数值对象距离比Ri1。
将步骤4得到的数值距离，将每个数值距离Di除以总距离D，即(Di/D)，得到每个数值对象距离比Ri2。
对所有Ri1进行均值计算得到w1，同理对所有Ri2进行均值计算，得到w2。
步骤6：计算每个数值对象分值
根据步骤3、步骤4、步骤5得到的距离值和权重，可计算每个数值对象分值SCOREi＝Ri1×w1+Ri2×w2。
步骤7：异常对象判断
利用分位数准则对步骤6得到所有数值对象分值进行检测，若数值对象分值大于阈值区间，则视为异常，数值对象对应的业务对象判断为异常。
分位数准则基本原理为对一组数据进行升序排列，分别取四分之一分位数Q1，中位数，四分之三分分位数Q3，计算分位距IQR＝Q3-Q1。其中[Q1-1.5*IQR，Q3+1.5*IQR]为内限区间，[Q1-3*IQR，Q3+3*IQR]为外限区间，若数值处于内限区间以外表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值，在外限以外的为极端的异常值。
对于数据组而言，剔重前计算得到的距离为整体数组的每个数据对象的分布情况，体现数据数值分布特点，剔重后计算得到的距离体现数据数值分布的广度。本发明通过分别计算剔重前、剔重后的数值距离，将数组中数值整体分布与数组中数值的集中程度结合，既可以检测低频异常值或者孤立值，同时也可以检测常见的高频行为，可以降低常见单维度异常检测算法的误报。
如表1所示，表1中第一列为统计的操作频次、用户数量、账号数量等数值，第二列为剔重前的距离占比、第三列为剔重后的距离占比、第四列为每个数值对象的最后得分。表1中最后5行的数值对象对应的score值，明显高于其它数值，使用分位数准则对score这列进行检测，可得出这个结论异常结果。
表1
本实施例还提供一种基于距离的数值分布异常检测***，包括
数据提取模块，抽取指定时间周期内的标准化的业务数据表作为分析数据；
数据统计模块，梳理分析数据的业务对象，根据业务对象对指定字段进行聚合分析，得到每个业务对象的多种操作行为的数量指标，整体指标值构成数组array；
剔重数组距离计算模块，对数组array，进行数值剔重，得到新数组array1；
利用曼哈顿距离计算array1中每个数值与其他数值之间的距离Si，对所有数值距离Si进行求和，得到数组array1总距离和S；
未剔重数组距离计算模块，对数组array，利用曼哈顿距离计算array中每个数值与其他数值之间的距离dij；各计算得到dij，按照不同数值对象进行求和，得到数值array每个唯一数值对象距离总和，即Di，此处第i个值与数据统计模块中第i个值一致；
对所有数值距离Di进行求和，得到数组array距离总和D；
数值权重计算模块，基于剔重数组距离计算模块得到的数值距离，将每个数值距离Si除以总距离S，得到每个数值对象距离比Ri1；
基于未剔重数组距离计算模块得到的数值距离，将每个数值距离Di除以总距离D，得到每个数值对象距离比Ri2；
对所有Ri1进行均值计算得到Ri1的权重w1，同理对所有Ri2进行均值计算，得到Ri2的权重w2；
每个数值对象分值计算模块，根据剔重数组距离计算模块、未剔重数组距离计算模块、数值权重计算模块得到的距离值和权重，计算每个数值对象分值SCOREi＝Ri1×w1+Ri2×w2；
异常对象判断模块，对每个数值对象分值计算模块得到所有数值对象分值进行检测，若数值对象分值大于阈值区间，则视为异常，数值对象对应的业务对象判断为异常。
其中数据统计模块中的操作行为至少包括操作频次、用户数量、账户数量。
其中异常对象判断模块中，利用分位数准则对所有数值对象分值进行检测。
如表1所示，表1中第一列为统计的操作频次、用户数量、账号数量等数值，第二列为剔重前的距离占比、第三列为剔重后的距离占比、第四列为每个数值对象的最后得分。表1中最后5行的数值对象对应的score值，明显高于其它数值，使用分位数准则对score这列进行检测，可得出这个结论异常结果。
表1
本发明还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
本发明还提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于距离的数值分布异常检测方法，其特征在于：包括以下步骤：
S01.数据提取，抽取指定时间周期内的标准化的业务数据表作为分析数据；
S02.数据统计，梳理分析数据的业务对象，根据业务对象对指定字段进行聚合分析，得到每个业务对象的多种操作行为的数量指标，整体指标值构成数组array；
S03.剔重数组距离计算，对步骤S02得到的数组array，进行数值剔重,得到新数组array1；
利用曼哈顿距离计算array1中每个数值与其他数值之间的距离Si，对所有数值距离Si进行求和，得到数组array1总距离和S；
S04.未剔重数组距离计算
对步骤S02得到的数组array，利用曼哈顿距离计算array中每个数值与其他数值之间的距离dij；将计算得到dij，按照不同数值对象进行求和，得到数值array每个唯一数值对象距离总和，即Di，此处第i个值与S02中第i个值一致；
对所有数值距离Di进行求和，得到数组array距离总和D；
S05.数值权重计算
基于步骤S03得到的数值距离，将每个数值距离Si除以总距离S，得到每个数值对象距离比Ri1；
基于步骤S04得到的数值距离，将每个数值距离Di除以总距离D，得到每个数值对象距离比Ri2；
对所有Ri1进行均值计算得到Ri1的权重w1,同理对所有Ri2进行均值计算，得到Ri2的权重w2；
S06.计算每个数值对象分值
根据步骤S03、S04、S05得到的距离值和权重，计算每个数值对象分值SCOREi＝Ri1×w1+Ri2×w2；
S07.异常对象判断
对步骤S06得到所有数值对象分值进行检测，若数值对象分值大于阈值区间，则视为异常，数值对象对应的业务对象判断为异常。
2.根据权利要求1所述的一种基于距离的数值分布异常检测方法，其特征在于：所述步骤S02中的操作行为至少包括操作频次、用户数量、账户数量。
3.根据权利要求1所述的一种基于距离的数值分布异常检测方法，其特征在于：所述步骤S07中，利用分位数准则对所有数值对象分值进行检测。
4.一种基于距离的数值分布异常检测***，其特征在于：包括
数据提取模块，抽取指定时间周期内的标准化的业务数据表作为分析数据；
数据统计模块，梳理分析数据的业务对象，根据业务对象对指定字段进行聚合分析，得到每个业务对象的多种操作行为的数量指标，整体指标值构成数组array；
剔重数组距离计算模块，对数组array，进行数值剔重,得到新数组array1；
利用曼哈顿距离计算array1中每个数值与其他数值之间的距离Si，对所有数值距离Si进行求和，得到数组array1总距离和S；
未剔重数组距离计算模块，对数组array，利用曼哈顿距离计算array中每个数值与其他数值之间的距离dij；将计算得到dij，按照不同数值对象进行求和，得到数值array每个唯一数值对象距离总和，即Di，此处第i个值与数据统计模块中第i个值一致；
对所有数值距离Di进行求和，得到数组array距离总和D；
数值权重计算模块，基于剔重数组距离计算模块得到的数值距离，将每个数值距离Si除以总距离S，得到每个数值对象距离比Ri1；
基于未剔重数组距离计算模块得到的数值距离，将每个数值距离Di除以总距离D，得到每个数值对象距离比Ri2；
对所有Ri1进行均值计算得到Ri1的权重w1,同理对所有Ri2进行均值计算，得到Ri2的权重w2；
每个数值对象分值计算模块，根据剔重数组距离计算模块、未剔重数组距离计算模块、数值权重计算模块得到的距离值和权重，计算每个数值对象分值SCOREi＝Ri1×w1+Ri2×w2；
异常对象判断模块，对每个数值对象分值计算模块得到所有数值对象分值进行检测，若数值对象分值大于阈值区间，则视为异常，数值对象对应的业务对象判断为异常。
5.根据权利要求4所述的一种基于距离的数值分布异常检测***，其特征在于：所述数据统计模块中的操作行为至少包括操作频次、用户数量、账户数量。
6.根据权利要求4所述的一种基于距离的数值分布异常检测***，其特征在于：所述异常对象判断模块中，利用分位数准则对所有数值对象分值进行检测。
7.一种处理设备，其特征在于，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。
CN202011536865.1A 2020-12-23 2020-12-23 一种基于距离的数值分布异常检测方法及检测*** Active CN112465073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011536865.1A CN112465073B (zh) 2020-12-23 2020-12-23 一种基于距离的数值分布异常检测方法及检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011536865.1A CN112465073B (zh) 2020-12-23 2020-12-23 一种基于距离的数值分布异常检测方法及检测***

Publications (2)

Publication Number Publication Date
CN112465073A CN112465073A (zh) 2021-03-09
CN112465073B true CN112465073B (zh) 2023-08-08

Family

ID=74803734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536865.1A Active CN112465073B (zh) 2020-12-23 2020-12-23 一种基于距离的数值分布异常检测方法及检测***

Country Status (1)

Country Link
CN (1) CN112465073B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344133B (zh) * 2021-06-30 2023-04-18 上海观安信息技术股份有限公司 一种时序行为异常波动检测方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339288A (zh) * 2010-07-21 2012-02-01 ***通信集团辽宁有限公司 数据仓库异常数据的检测方法及装置
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN110210508A (zh) * 2018-12-06 2019-09-06 北京奇艺世纪科技有限公司 模型生成方法、异常流量检测方法、装置、电子设备、计算机可读存储介质
CN110516170A (zh) * 2018-07-06 2019-11-29 北京白山耘科技有限公司 一种检查异常web访问的方法及装置
KR102088509B1 (ko) * 2019-03-27 2020-03-12 국방과학연구소 컴퓨터 시스템의 이상 행위 탐지 방법 및 장치
CN111026570A (zh) * 2019-11-01 2020-04-17 支付宝(杭州)信息技术有限公司 用于确定业务***异常原因的方法和装置
CN111612085A (zh) * 2020-05-28 2020-09-01 上海观安信息技术股份有限公司 一种对等组中异常点的检测方法及装置
CN111614690A (zh) * 2020-05-28 2020-09-01 上海观安信息技术股份有限公司 一种异常行为检测方法及装置
CN111913859A (zh) * 2020-07-13 2020-11-10 北京天空卫士网络安全技术有限公司 一种异常行为检测方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962611B2 (en) * 2008-03-27 2011-06-14 International Business Machines Corporation Methods, systems and computer program products for detecting flow-level network traffic anomalies via abstraction levels
US10452627B2 (en) * 2016-06-02 2019-10-22 International Business Machines Corporation Column weight calculation for data deduplication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339288A (zh) * 2010-07-21 2012-02-01 ***通信集团辽宁有限公司 数据仓库异常数据的检测方法及装置
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN110516170A (zh) * 2018-07-06 2019-11-29 北京白山耘科技有限公司 一种检查异常web访问的方法及装置
CN110210508A (zh) * 2018-12-06 2019-09-06 北京奇艺世纪科技有限公司 模型生成方法、异常流量检测方法、装置、电子设备、计算机可读存储介质
KR102088509B1 (ko) * 2019-03-27 2020-03-12 국방과학연구소 컴퓨터 시스템의 이상 행위 탐지 방법 및 장치
CN111026570A (zh) * 2019-11-01 2020-04-17 支付宝(杭州)信息技术有限公司 用于确定业务***异常原因的方法和装置
CN111612085A (zh) * 2020-05-28 2020-09-01 上海观安信息技术股份有限公司 一种对等组中异常点的检测方法及装置
CN111614690A (zh) * 2020-05-28 2020-09-01 上海观安信息技术股份有限公司 一种异常行为检测方法及装置
CN111913859A (zh) * 2020-07-13 2020-11-10 北京天空卫士网络安全技术有限公司 一种异常行为检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江朝晖等.基于聚类和异常检测的作物监测数据预处理研究.《浙江农业学报》.2016,(第05期), *

Also Published As

Publication number Publication date
CN112465073A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN110210508B (zh) 模型生成方法、异常流量检测方法、装置、电子设备、计算机可读存储介质
CN111475680A (zh) 检测异常高密子图的方法、装置、设备及存储介质
CN109088869B (zh) Apt攻击检测方法及装置
CN107493277B (zh) 基于最大信息系数的大数据平台在线异常检测方法
CN111612041A (zh) 异常用户识别方法及装置、存储介质、电子设备
CN110444011B (zh) 交通流高峰识别方法、装置、电子设备及存储介质
CN113420652B (zh) 一种时序信号片段异常识别方法、***、介质及终端
CN114581491B (zh) 一种行人轨迹跟踪方法、***及相关装置
CN108206813B (zh) 基于k均值聚类算法的安全审计方法、装置及服务器
CN112527604A (zh) 一种基于深度学习的运维检测方法、***、电子设备及介质
CN112632609B (zh) 异常检测方法、装置、电子设备及存储介质
CN113255841B (zh) 一种聚类方法、聚类装置和计算机可读存储介质
CN113298373A (zh) 一种金融风险评估方法、装置、存储介质和设备
CN109726737B (zh) 基于轨迹的异常行为检测方法及装置
US11755929B2 (en) System and method for time series pattern recognition
CN112465073B (zh) 一种基于距离的数值分布异常检测方法及检测***
CN113125903A (zh) 线损异常检测方法、装置、设备及计算机可读存储介质
CN112686521A (zh) 一种风控规则调优方法和***
CN112905671A (zh) 时间序列异常处理方法、装置、电子设备及存储介质
CN117289778B (zh) 一种工控主机电源健康状态的实时监测方法
Zhang et al. Data anomaly detection based on isolation forest algorithm
CN114090393A (zh) 一种告警级别的确定方法、装置及设备
CN111339294A (zh) 客户数据分类方法、装置及电子设备
CN113052256B (zh) 一种风向聚类方法、装置及电子设备
CN112989374B (zh) 基于复杂网络分析的数据安全风险识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant