CN111782472A - ***异常检测方法、装置、设备及存储介质 - Google Patents

***异常检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111782472A
CN111782472A CN202010611178.5A CN202010611178A CN111782472A CN 111782472 A CN111782472 A CN 111782472A CN 202010611178 A CN202010611178 A CN 202010611178A CN 111782472 A CN111782472 A CN 111782472A
Authority
CN
China
Prior art keywords
log
abnormal
logs
marked
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010611178.5A
Other languages
English (en)
Other versions
CN111782472B (zh
Inventor
邓悦
郑立颖
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010611178.5A priority Critical patent/CN111782472B/zh
Priority to PCT/CN2020/118218 priority patent/WO2021139235A1/zh
Publication of CN111782472A publication Critical patent/CN111782472A/zh
Application granted granted Critical
Publication of CN111782472B publication Critical patent/CN111782472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及人工智能，提供一种***异常检测方法、装置、设备及存储介质。所述方法包括：将待检测***的标记日志、无标记日志及扩充日志分别输入训练模型集中三个相同的训练模型中进行训练，输出三者的各异常等级的概率分布；然后计算训练模型输出的交叉熵损失、一致性损失；再根据一致性损失预测无标记日志与扩充日志的异常等级，以及根据交叉熵损失对训练模型集进行迭代，直到训练模型集收敛，得到日志异常检测模型；最后通过日志异常检测模型对***运行中的异常日志进行检测。此外，本发明还涉及区块链技术，其标记日志、无标记日志及扩充日志可存储于区块链中。通过优化模型训练方式，防止模型过拟合，降低检测模型对***中异常点的检测难度。

Description

***异常检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能决策，尤其涉及一种***异常检测方法、装置、设备及存储介质。
背景技术
随着***规模的变大、复杂度的提高、监控覆盖的完善，监控数据量越来越大，运维人员无法从海量监控数据中发现质量问题。智能化的异常检测就是要通过AI算法，自动、实时、准确地从监控数据中发现异常，为后续的诊断、自愈提供基础。异常检测是AIOps(Algorithmic IT Operations，智能运营)***中的一项非常基础但是十分重要的功能，主要是通过算法和模型去自动的挖掘发现KPI时间序列数据中的异常行为，为后续的报警，自动止损，根因分析等提供必要的决策依据。
但是在实际的应用场景下，由于正常数据一般占总数据量的很大比例，而异常点的数据十分稀少，给异常检测带来了极大的困难。在检测模型的训练阶段，为了保证模型训练样本的正负均衡，传统的解决思路主要是：在模型检测的过程中对正常样本欠采样(丢弃一部分数据)和异常样本过采样(重复一部分数据)，前者会丢失大量样本信息，造成模型过拟合，泛化能力不佳；对于后者，简单的随机抽样，也会使模型产生过拟合风险。故无论是本身异常点的数据量稀少，还是用于异常点的数据检测模型的准确构建难度大，都使得智能运营***中的数据检测难度增加。
发明内容
本发明的主要目的在于解决智能运营***的异常检测难度大的问题。
本发明第一方面提供了一种***异常检测方法，包括：
获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
可选的，在本发明第一方面的第一种实现方式中，所述对所述无标记日志进行扩充，得到扩充日志包括：
解析所述无标记日志，得到多个带有不同语义的日志字段；
根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；
获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；
根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、***或交换。
可选的，在本发明第一方面的第二种实现方式中，所述将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布包括：
将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；
根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；
对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。
可选的，在本发明第一方面的第三种实现方式中，所述计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失包括：
根据第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；
根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。
可选的，在本发明第一方面的第四种实现方式中，所述根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型包括：
根据所述交叉熵损失确定各标记日志对应的正确预测概率；
判断是否存在大于预设概率阈值的正确预测概率；
若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；
计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；
若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型。
可选的，在本发明第一方面的第五种实现方式中，所述正确预测概率的计算公式为：
Figure BDA0002561847440000031
且
Figure BDA0002561847440000032
其中，所述ηt为概率阈值，所述at为增长系数，所述K为异常等级类别个数，所述t为当前迭代次数，所述T为预设的总迭代次数；
当所述标记日志中的数据量小于预设正常数据量范围时，
Figure BDA0002561847440000033
当所述标记日志中的数据量大于所述正常数据量范围时，所述
Figure BDA0002561847440000034
可选的，在本发明第一方面的第六种实现方式中，所述获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果包括：
获取待检测***的待检测日志，其中所述待检测日志中包含多条日志信息，所述日志信息包含***运行管理优先级的标识信息；
将所述待检测日志输入所述日志异常检测模型进行检测，并通过所述日志异常检测模型预测所述待检测日志的异常等级；
筛选异常等级高于预设异常等级阈值的待检测日志，并根据所述标识信息，从筛选的待检测日志中确定优先级大于预设优先级阈值的日志信息；
将所述优先级大于预设优先级阈值的日志信息进行高亮显示，并将所述高亮显示的日志信息与除高亮显示的日志信息外的其他日志信息对应的异常等级作为当前***运行状态的分析结果。
本发明第二方面提供了一种***异常检测装置，包括：
获取模块，用于获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
训练模块，用于将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算模块，用于计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
生成模块，用于根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
检测模块，用于获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
可选的，在本发明第二方面的第一种实现方式中，所述获取模块还用于：
解析所述无标记日志，得到多个带有不同语义的日志字段；
根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；
获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；
根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、***或交换。
可选的，在本发明第二方面的第二种实现方式中，所述训练模块还包括：
构建单元，用于将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；
特征提取单元，用于根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；
概率分布生成单元，用于对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。
可选的，在本发明第二方面的第三种实现方式中，所述计算模块还包括：
第一计算单元，用于根据第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；
第二计算单元，用于根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。
可选的，在本发明第二方面的第四种实现方式中，所述生成模块还包括：
迭代单元，用于根据所述交叉熵损失确定各标记日志对应的正确预测概率；判断是否存在大于预设概率阈值的正确预测概率；若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；
模型生成单元，用于计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型。
可选的，在本发明第二方面的第五种实现方式中，所述正确预测概率的计算公式为：
Figure BDA0002561847440000041
且
Figure BDA0002561847440000042
其中，所述ηt为概率阈值，所述at为增长系数，所述K为异常等级类别个数，所述t为当前迭代次数，所述T为预设的总迭代次数；
当所述标记日志中的数据量小于预设正常数据量范围时，
Figure BDA0002561847440000043
当所述标记日志中的数据量大于所述正常数据量范围时，所述
Figure BDA0002561847440000044
可选的，在本发明第二方面的第六种实现方式中，所述检测模块还包括：
获取单元，用于获取待检测***的待检测日志，其中所述待检测日志中包含多条日志信息，所述日志信息包含***运行管理优先级的标识信息；
检测单元，用于将所述待检测日志输入所述日志异常检测模型进行检测，并通过所述日志异常检测模型预测所述待检测日志的异常等级；
筛选单元，用于筛选异常等级高于预设异常等级阈值的待检测日志，并根据所述标识信息，从筛选的待检测日志中确定优先级大于预设优先级阈值的日志信息；
分析结果生成单元，用于将所述优先级大于预设优先级阈值的日志信息进行高亮显示，并将所述高亮显示的日志信息与除高亮显示的日志信息外的其他日志信息对应的异常等级作为当前***运行状态的分析结果。
本发明第三方面提供了一种基于优先级的资源分配设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互联；所述至少一个处理器调用所述存储器中的所述指令，以使得所述***异常检测设备执行上述的***异常检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的***异常检测方法。
本发明提供的技术方案中，通过获取待检测***的标记日志、无标记日志及扩充日志分别输入异常等级训练模型集中三个相同的异常等级训练模型中进行训练，输出三者的各异常等级的概率分布；然后计算异常等级训练模型输出的交叉熵损失、一致性损失；再根据一致性损失预测无标记日志与扩充日志的异常等级，以及根据交叉熵损失对所述异常等级训练模型集进行迭代，直到异常等级训练模型集收敛，得到日志异常检测模型；最后通过日志异常检测模型对***运行中的异常日志进行检测。优化模型训练方式，防止模型过拟合，降低检测模型对***中异常点的检测难度。
附图说明
图1为本发明中***异常检测方法的第一个实施例示意图；
图2为本发明中***异常检测方法的第二个实施例示意图；
图3为本发明中***异常检测方法的第三个实施例示意图；
图4为本发明中***异常检测方法的第四个实施例示意图；
图5为本发明中***异常检测装置的一个实施例示意图；
图6为本发明中***异常检测装置的另一个实施例示意图；
图7为本发明中***异常检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种***异常检测方法、装置、设备及存储介质，包括获取待检测***的标记日志、无标记日志及扩充日志分别输入异常等级训练模型集中三个相同的异常等级训练模型中进行训练，输出三者的各异常等级的概率分布；然后计算异常等级训练模型输出的交叉熵损失、一致性损失；再根据一致性损失预测无标记日志与扩充日志的异常等级，以及根据交叉熵损失对所述异常等级训练模型集进行迭代，直到异常等级训练模型集收敛，得到日志异常检测模型；最后通过日志异常检测模型对***运行中的异常日志进行检测。优化模型训练方式，防止模型过拟合，降低检测模型对***中异常点的检测难度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中***异常检测方法的第一个实施例包括：
101、获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
可以理解的是，本发明的执行主体可以为***异常检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需要强调的是，为进一步保证上述标记日志、无标记日志与扩充日志的私密和安全性，上述标记日志、无标记日志与扩充日志还可以存储于一区块链的节点中。
本实施例中，可从***存储器中获取在***过往运行过程中产生的日志，该日志是用于记录***状态和运行状态的文本信息，内容包括时间戳和指示发送内容的文本信息。
本实施例中的实际应用场景，我们使用少量的标记日志，以预测大量的未标记日志，得到其异常等级。获取***过往生成的日志作为无标记日志，然后从无标记日志中筛选少量的日志进行异常等级标记以作为标记日志；而另一方面，在模型训练过程中，由于正常样本比异常样本的数量明显高出很多，而为保证训练样本的正负均衡，以有利于模型训练的稳定性，故需要对未标记日志进行扩充，增加负样本的数量，此处通过对标记日志中，描述***运行状态的关键词，作相同语义词的替换，得到扩充日志。
优选的，可采用回译和TD-IDF(term frequency–inverse document frequency，词频-逆文本频率指数)替换单词法进行异常未标记日志的扩充，首先通过TD-IDF评估无标记日志中每一个字段的对该无标记日志的重要程度，具体先将无标记日志中出现频率高的字段作为无标记日志的关键字段，再以DBPedia先验知识对不同无标记日志中关键字段根据语义进行分类，得到多个类别的关键字段，并以语义相同的同义词对关键字段进行替换，最后再其他非关键字段进行处理，包括替换、删除、***、交换等方式，即可扩充异常未标记日志的数量，在存在信息内容异常的同时保证语义相同，得到扩充日志。
102、将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
本实施例中，异常等级训练模型集由三个相同的异常等级训练模型堆叠而成，而每一个异常等级训练模型的训练过程具体包括：
将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；
根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；
对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。
本实施例中，对于将标记日志输入异常等级训练模型中进行训练属于监督学习的训练方式，将无标记日志、扩充日志输入异常等级训练模型、异常等级训练模型中进行训练属于非监督学习的训练方式。值得一提的是，此处根据***日志的不同字段的特征分布，对应输出其不同异常等级的概率，最后再选择异常等级概率最高的作为该***日志的异常等级，而非直接输出异常等级。
优选的，此处使用Text-CNN(Text-Convolutional Neural Network，文本卷积神经网络)同时以监督学习的方式训练标记日志对应的异常等级训练模型、以非监督学习的方式训练未标记日志与扩充数据对应的异常等级训练模型。具体包括：
输入层，将输入Text-CNN模型中的标记日志、无标记日志或扩充日志中的文本词汇调节为相同长度L，得到每一条文本词汇的词向量；
卷积层，通过异常等级的类别数作为异常等级训练模型维度，使用多个不同尺寸的卷积核，对词向量进行描述等级异常的特征词汇的提取；
池化层，以Max-pool(最大值池化)对卷积层得到的不同特征词汇进行组合，以作为不同***日志的分类特征；
全连接层，将分类特征输入到LR((Logistic Regression，逻辑回归)分类器中进行分类，比如设置的输出规则中异常等级包括：重大异常、普通异常、轻微异常、正常，则输出不同***日志的前述每个异常等级概率。
最后再根据模型输出的各个异常等级概率，将概率最高的异常等级作为当前***日志的异常等级的预测结果。比如输入Text-CNN的无标记日志A异常等级中，重大异常、普通异常、轻微异常、正常的概率分别为[0.5,0.2,0.2,0.1]，则通过模型预测无标记日志A的异常等级为重大异常。
103、计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
本实施例中，交叉熵损失表示标记日志的第一个概率分布的预测与其真实等级之间的差异值，一致性损失表示未标记日志与对应的扩充日志之间的差异值。最后可直接输入未标记的待检测日志，即可直接预测其异常等级。
具体的，先对未标记日志与扩充日志对应的异常等级训练模型进行堆叠，并进行一致性训练，通过一致性损失函数对该异常等级训练模型集的迭代升级进行控制，随着模型训练与迭代，无标记日志与对应的扩充日志的特征越集中，相似度越高，表示两个模型的相似距离越小，则对应的一致性损失降低，当降到预设的阈值时，则将相应的异常等级标签传播到该扩充日志中，得到未标记日志的异常等级。其中，一致性损失的计算通过以下函数进行计算：
Figure BDA0002561847440000071
另外，使用交叉熵损失衡量标记日志对应的异常等级训练模型输出的异常等级概率分布的预测结果与实际异常等级的差异；该交叉熵通过以下交叉熵函数计算：
Figure BDA0002561847440000072
其中，pθ(y*|x)表示对标记日志预测正确的概率，在训练到t步时，当某个标记数据的概率分布计算出的pθ(y*|x)大于阈值ηt时，则将该标记数据从损失函数中移除。这里
Figure BDA0002561847440000073
正常情况下，
Figure BDA0002561847440000074
104、根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
本实施例中，结合一致性损失与交叉熵损失来评价日志异常检测模型，即
Figure BDA0002561847440000081
其中，θ为预设的模型参数，
Figure BDA0002561847440000082
为最终损失，λ用于平衡一致性损失和交叉熵损失，当最终损失小于预设阈值时，则日志异常检测模型停止迭代。
当一致性损失小于预设的一致性损失阈值时，即可确定无标记日志与扩充日志的异常等级标记预测可信；而当交叉熵损失小于预设的交叉熵损失阈值时，即可确定步骤102输出的各异常等级的概率分布可信，当两者相加得到的最终损失小于最终损失阈值时，即可表明整个异常等级训练模型集的输出结果可信。
105、获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
本实施例中，待检测日志可从一个或多个***中获取得到，不同的***不同运行状态分优先级管理，监控过程中重点关注容易发生重大异常的运行情况，对于优先级高的异常日志，一旦出现重大异常情况，需及时采取应急措施，快速响应，定位到具体的故障原因，并加以排除。故待检测日志中带有优先级的标识信息，在输入日志异常检测模型输出的异常等级较高时，判断是否为标识优先级高的待检测日志，若是，则记录在分解结果中时，进行高亮显示，必要时发出警报。
本发明实施例中，通过获取标记日志与未标记日志，并对未标记日志进行扩充，得到扩充日志，再分别输入异常等级训练模型集中的三个对应的异常等级训练模型中进行训练，以用于预测三者的各异常等级概率分布；通过逐步减少标记信息的方式对该异常等级训练模型集进行迭代训练，最后生成的异常日志检测模型可用于预测***运行过程中产生的待检测日志对应的异常等级，得到***运行状态的分析结果，使模型抵抗过拟合强度提升，检察模型的检测难度下降。
请参阅图2，本发明实施例中***异常检测方法的第二个实施例包括：
201、获取待检测***的标记日志、无标记日志；
202、解析所述无标记日志，得到多个带有不同语义的日志字段；
本实施例主要介绍对无标记日志进行扩充得到扩充日志。无标记日志可以为***异常状态下产生的***日志，日志内容包含时间、会话标识、功能标识、精炼内容、其他信息，如***版本号、线程号、日志级别，如DEBUG、INFO、WARM、ERROR等，此处将无标记日志的各个不同语义的字段进行解析，得到多种语义字段，很明显，该日志内容中的日志级别是我们欲获取的目标关键字段。
203、根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；
本实施例中，预置语义结构先验知识对每个无标记日志中的相同语义的关键字段进行关联，其中，相同语义指表达的相同异常等级的内容含义；然后统计每种语义字段在同一个无标记日志中出现频率，与每种字段在所有无标记日志中出现的频率，再计算两者的乘积，根据计算结果与设置的阈值，即可筛选哪些字段为关键字段，即表示无标记日志的异常级别的字段，需注意的是，当同一类型字段在所有无标记日志中都出行过，即该字段亦没有代表性，则不予考虑。
优选的，可使用TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文本频率指数)技术来确定关键字段，若无标记日志为***日志，当该***日志中包含有100个字段，而字段a出现次数为15，则该字段的TF为：15/100＝0.15；而本次训练采用的***日志数量为10万分，该字段a在1千份***日志中出现过，则该字段a的IDF为：lg(100000/1000)＝3，则该字段a的TF-IDF为：0.15x3＝0.45，若设置成为关键字段的TF-IDF阈值为0.4，则可确定字段a为关键字段。
204、获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；
205、根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、***或交换；
本实施例中，在确认无标记日志中的关键字段后，通过回译的方式对无标记日志进行扩充。首先需保持无标记日志内容表达相同，通过其他多个同义字段来实现，然后需保证扩充的扩充日志与无标记日志整体内容存在差异，故需对关键字段外的其他语义字段进行处理，包括替换、删除、***、交换等方式。然后将处理后的关键字段与其他字段进行拼接，即可得到多个含义相同，内容存在差异的扩充日志。
206、将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
207、计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
208、根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
209、获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
本发明实施例中，介绍了***异常情况下产生的未标记日志进行扩充，在保证数据差异性的情况下，增加异常的未标记日志的数量，在后面检测模型的训练过程中增加模型抵抗过拟合的能力，降低检测模型训练的难度。
请参阅图3，本发明实施例中***异常检测方法的第三个实施例包括：
301、获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
302、将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
303、根据所述第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；
本实施例中，以异常等级训练模型对标记日志进行预测的异常等级概率分布与该标记日志的真实异常等级，来计算预测正确的概率，计算公式为：
Figure BDA0002561847440000101
其中，p(yi)为标记日志中的第i个异常等级概率，q(yi)为标记日志中第i个异常等级概率，需注意的是，此处真实异常等级概率为1，而其他异常等级概率为0，故具体计算方式为：-log(q(yi))。
具体的，若异常等级的分类为：重大异常、普通异常、轻微异常、正常，并分别以1、2、3、4表示，Z为标记日志的异常等级概率分布，若Z～P中取值1、2、3、4的概率分别为[0.5,0.2,0.2,0.1]，而该标记日志的真实异常等级为重大异常，则对应的正确预测概率为：-1xlog(0.5)＝.0301。
304、根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异；
本实施例中，对所有第一概率分布对应的正确预测概率累加并求均值，即可得到该第一概率分布的交叉熵损失。即可通过该交叉熵损失评价标记日志对应的异常等级训练模型的分类准确度，即分类结果与真实结果之间的量化差异指标。
305、计算所述第二概率分布与所述第三概率分布之间的一致性损失；
306、根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
307、获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
本发明实施例中，通过计算第一概率分布的交叉熵损失，以用于后续结合一致性损失计算最终损失，评价异常日志检测模型，作为衡量异常日志检测模型的指标之一。
请参阅图4，本发明实施例中***异常检测方法的第四个实施例包括：
401、获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
402、将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
403、计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
404、根据所述交叉熵损失确定各标记日志对应的正确预测概率，并判断是否存在大于预设概率阈值的正确预测概率；
本实施例中，在日志异常检测模型迭代训练过程中，需要逐步删除标记的标记日志，以训练信号退火的方式防止模型过拟合，增加其泛化能力。当正确预测概率大于设置的概率阈值时，则将该正确预测概率对应的标记日志删除。
具体的，在标记日志中带标记数据量正常的情况下，该概率阈值计算公式为：
Figure BDA0002561847440000111
当标记日志中带标记数据量较少的情况下，模型容易发生过拟合，模型能够在短时间内根据数据做出高概率的预测，故变换该概率阈值计算公式为：
Figure BDA0002561847440000112
使得阈值的增长速度降低，以便删除更多的无效样本；当标记日志中带标记数据量较多的情况下，模型难发生过拟合，模型需要花费很长时间才能收敛，相同时间内模型输出的高概率预测样本较少，需要删除的样本也较少，故可通过变换该概率阈值计算公式为：
Figure BDA0002561847440000113
使阈值增长速度加快，则删除的样本减少。
405、若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；
本实施例中，通过训练信号退火的方式对日志异常检测模型进行迭代，逐步删除容易导致模型过拟合的标记日志，直到最终损失小于设置的阈值，即可确认该日志异常检测模型可用于检测的实践。
406、计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；
407、若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型；
本实施例中，结合交叉熵损失与一致性损失来评估日志异常检测模型的正确预测概率，以作为模型迭代的判别依据，此处只需将两者相加即可，即：
Figure BDA0002561847440000114
408、获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
本发明实施例中，在日志异常检测模型的迭代训练过程中，随着未标记数据的增加，逐步删除训练的第一概率分布，通过该训练信号退火法可有效抵抗过拟合风险。
上面对本发明实施例中***异常检测方法进行了描述，下面对本发明实施例中***异常检测装置进行描述，请参阅图5，本发明实施例中***异常检测装置一个实施例包括：
获取模块501，用于获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
训练模块502，用于将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算模块503，用于计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
生成模块504，用于根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
检测模块505，用于获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
本发明实施例中，通过获取待检测***的标记日志、无标记日志及扩充日志分别输入异常等级训练模型集中三个相同的异常等级训练模型中进行训练，输出三者的各异常等级的概率分布；然后计算异常等级训练模型输出的交叉熵损失、一致性损失；再根据一致性损失预测无标记日志与扩充日志的异常等级，以及根据交叉熵损失对所述异常等级训练模型集进行迭代，直到异常等级训练模型集收敛，得到日志异常检测模型；最后通过日志异常检测模型对***运行中的异常日志进行检测。优化模型训练方式，防止模型过拟合，降低检测模型对***中异常点的检测难度。
请参阅图6，本发明实施例中***异常检测装置的另一个实施例包括：
获取模块501，用于获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
训练模块502，用于将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算模块503，用于计算第一概率分布与所述标记日志的预设异常等级标记对应的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
生成模块504，用于根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级标记，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
检测模块505，用于获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
具体的，所述获取模块501还用于：
解析所述无标记日志，得到多个带有不同语义的日志字段；
根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；
获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；
根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、***或交换。
具体的，所述训练模块502还包括：
构建单元5021，用于将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；
特征提取单元5022，用于根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；
概率分布生成单元5023，用于对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。
具体的，所述计算模块503还包括：
第一计算单元5031，用于根据第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；
第二计算单元5032，用于根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。
具体的，所述生成模块504还包括：
迭代单元5041，用于根据所述交叉熵损失确定各标记日志对应的正确预测概率；判断是否存在大于预设概率阈值的正确预测概率；若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；
模型生成单元5042，用于计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型。
具体的，所述正确预测概率的计算公式为：
Figure BDA0002561847440000131
且
Figure BDA0002561847440000132
其中，所述ηt为概率阈值，所述at为增长系数，所述K为异常等级类别个数，所述t为当前迭代次数，所述T为预设的总迭代次数；
当所述标记日志中的数据量小于预设正常数据量范围时，
Figure BDA0002561847440000133
当所述标记日志中的数据量大于所述正常数据量范围时，所述
Figure BDA0002561847440000134
具体的，所述检测模块505还包括：
获取单元5051，用于获取待检测***的待检测日志，其中所述待检测日志中包含多条日志信息，所述日志信息包含***运行管理优先级的标识信息；
检测单元5052，用于将所述待检测日志输入所述日志异常检测模型进行检测，并通过所述日志异常检测模型预测所述待检测日志的异常等级；
筛选单元5053，用于筛选异常等级高于预设异常等级阈值的待检测日志，并根据所述标识信息，从筛选的待检测日志中确定优先级大于预设优先级阈值的日志信息；
分析结果生成单元5054，用于将所述优先级大于预设优先级阈值的日志信息进行高亮显示，并将所述高亮显示的日志信息与除高亮显示的日志信息外的其他日志信息对应的异常等级作为当前***运行状态的分析结果。
本发明实施例中，通过获取标记日志与未标记日志，再对***异常情况下产生的未标记日志进行扩充，在保证数据差异性的情况下，增加异常的未标记日志的数量，在后面检测模型的训练过程中增加模型抵抗过拟合的能力；将标记日志、未标记日志、扩充日志分别输入异常等级训练模型集中的三个对应的异常等级训练模型中进行训练，以用于预测三者的各异常等级概率分布；在日志异常检测模型的迭代训练过程中，随着未标记数据的增加，逐步删除训练的第一概率分布，最后生成的异常日志检测模型可用于预测***运行过程中产生的待检测日志对应的异常等级，得到***运行状态的分析结果，使模型抵抗过拟合强度提升，检察模型的检测难度下降。
上面图5和图6从模块化功能实体的角度对本发明实施例中的***异常检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中设备进行详细描述。
图7是本发明实施例提供的一种***异常检测设备的结构示意图，该***异常检测设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对***异常检测设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在***异常检测设备700上执行存储介质730中的一系列指令操作。
***异常检测设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作***731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的***异常检测设备结构并不构成对***异常检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述***异常检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种***异常检测方法，其特征在于，所述***异常检测方法包括：
获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
获取当前***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
2.根据权利要求1所述的***异常检测方法，其特征在于，所述对所述无标记日志进行扩充，得到扩充日志包括：
解析所述无标记日志，得到多个带有不同语义的日志字段；
根据预置语义结构先验知识和所述日志字段的出现频率，从所述日志字段中筛选与异常等级相关的关键字段；
获取所述关键字段对应的一个或多个同义字段，并以所述同义字段替换对应的关键字段；
根据随机字段处理策略，对所述同义字段与除所述关键字段外的其他日志字段进行拼接，得到多个对应的扩充日志，其中，所述随机字段处理策略包括对所述其他日志字段进行替换、删除、***或交换。
3.根据权利要求1所述的***异常检测方法，其特征在于，所述将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布包括：
将所述标记日志、所述无标记日志、所述扩充日志中的各日志数据的长度统一调整为预设长度，并构建对应的数据向量；
根据所述数据向量的长度，确定所述数据向量的特征维度，并根据所述特征维度对所述数据向量进行语义特征提取，得到初始语义特征；
对所述初始语义特征进行突出特征的筛选及组合，得到最终语义特征，并根据所述最终语义特征计算所述标记日志、所述无标记日志与所述扩充日志的异常等级的概率分布并输出。
4.根据权利要求1-3任一项所述的***异常检测方法，其特征在于，所述计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失包括：
根据所述第一概率分布与所述标记日志的预设异常等级标记，计算各标记日志的异常等级的正确预测概率；
根据预置模型训练参数与所述正确预测概率，计算所述第一概率分布的交叉熵损失，以用于衡量分类模型对所述标记日志的异常等级预测与所述标记日志的真实异常等级之间的差异。
5.根据权利要求4所述的***异常检测方法，其特征在于，所述根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型包括：
根据所述交叉熵损失确定各标记日志对应的正确预测概率，并判断是否存在大于预设概率阈值的正确预测概率；
若是，则删除大于所述概率阈值的正确预测概率对应的第一概率分布，并继续对所述日志异常检测模型进行迭代，否则直接对所述日志异常检测模型进行迭代，并在所述日志异常检测模型迭代后更新所述模型训练参数；
计算所述交叉熵损失与所述一致性损失的和，得到对应的最终损失值，并判断所述最终损失值是否小于预设的最终损失阈值；
若所述最终损失值小于所述最终损失阈值，则所述异常等级训练模型集收敛并停止迭代，得到日志异常检测模型。
6.根据权利要求5所述的***异常检测方法，其特征在于，所述正确预测概率的计算公式为：
Figure FDA0002561847430000021
且
Figure FDA0002561847430000022
其中，所述ηt为概率阈值，所述at为增长系数，所述K为异常等级类别个数，所述t为当前迭代次数，所述T为预设的总迭代次数；
当所述标记日志中的数据量小于预设正常数据量范围时，
Figure FDA0002561847430000023
当所述标记日志中的数据量大于所述正常数据量范围时，所述
Figure FDA0002561847430000024
7.根据权利要求1所述的***异常检测方法，其特征在于，所述获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果包括：
获取待检测***的待检测日志，其中所述待检测日志中包含多条日志信息，所述日志信息包含***运行管理优先级的标识信息；
将所述待检测日志输入所述日志异常检测模型进行检测，并通过所述日志异常检测模型预测所述待检测日志的异常等级；
筛选异常等级高于预设异常等级阈值的待检测日志，并根据所述标识信息，从筛选的待检测日志中确定优先级大于预设优先级阈值的日志信息；
将所述优先级大于预设优先级阈值的日志信息进行高亮显示，并将所述高亮显示的日志信息与除高亮显示的日志信息外的其他日志信息对应的异常等级作为当前***运行状态的分析结果。
8.一种***异常检测装置，其特征在于，所述***异常检测装置包括：
获取模块，用于获取待检测***的标记日志、无标记日志，并对所述无标记日志进行扩充，得到扩充日志；
训练模块，用于将所述标记日志、所述无标记日志、所述扩充日志分别输入三个相同的异常等级训练模型中进行训练，对应输出所述标记日志的各异常等级的第一概率分布、所述无标记日志的各异常等级的第二概率分布、所述扩充日志的各异常等级的第三概率分布，其中，所述三个相同的异常等级训练模型组成异常等级训练模型集；
计算模块，用于计算所述第一概率分布与所述标记日志的预设异常等级之间的交叉熵损失，以及计算所述第二概率分布与所述第三概率分布之间的一致性损失；
生成模块，用于根据所述一致性损失预测所述无标记日志与所述扩充日志的异常等级，以及根据所述交叉熵损失对所述异常等级训练模型集进行迭代，直到所述异常等级训练模型集收敛，得到日志异常检测模型；
检测模块，用于获取待检测***的待检测日志，并将所述待检测日志输入所述日志异常检测模型进行检测，输出所述待检测日志对应的异常等级，并将待检测日志对应的异常等级作为当前***运行状态的分析结果。
9.一种***异常检测设备，其特征在于，所述***异常检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述***异常检测设备执行如权利要求1-7中任意一项所述的***异常检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述***异常检测方法。
CN202010611178.5A 2020-06-30 2020-06-30 ***异常检测方法、装置、设备及存储介质 Active CN111782472B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010611178.5A CN111782472B (zh) 2020-06-30 2020-06-30 ***异常检测方法、装置、设备及存储介质
PCT/CN2020/118218 WO2021139235A1 (zh) 2020-06-30 2020-09-28 ***异常检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010611178.5A CN111782472B (zh) 2020-06-30 2020-06-30 ***异常检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111782472A true CN111782472A (zh) 2020-10-16
CN111782472B CN111782472B (zh) 2022-04-26

Family

ID=72760356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611178.5A Active CN111782472B (zh) 2020-06-30 2020-06-30 ***异常检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111782472B (zh)
WO (1) WO2021139235A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308455A (zh) * 2020-11-20 2021-02-02 深圳前海微众银行股份有限公司 根因定位方法、装置、设备及计算机存储介质
CN112446335A (zh) * 2020-12-02 2021-03-05 电子科技大学中山学院 一种基于深度学习的太赫兹违禁物品检测方法
CN112883193A (zh) * 2021-02-25 2021-06-01 中国平安人寿保险股份有限公司 一种文本分类模型的训练方法、装置、设备以及可读介质
CN113256434A (zh) * 2021-06-08 2021-08-13 平安科技（深圳）有限公司 车险理赔行为识别方法、装置、设备及存储介质
CN113297051A (zh) * 2021-07-26 2021-08-24 云智慧（北京）科技有限公司 一种日志分析处理方法及装置
CN113347033A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 基于区块链的根因定位方法、***及验证节点
CN113672870A (zh) * 2021-08-20 2021-11-19 中国南方电网有限责任公司超高压输电公司柳州局 故障事件概率估算方法、装置、计算机设备和存储介质
CN114238965A (zh) * 2021-11-17 2022-03-25 北京华清信安科技有限公司 用于恶意访问的检测分析方法及***
CN114706709A (zh) * 2022-06-01 2022-07-05 成都运荔枝科技有限公司 一种saas服务异常处理方法、装置及可读存储介质
CN114881112A (zh) * 2022-03-31 2022-08-09 北京优特捷信息技术有限公司 一种***异常检测方法、装置、设备及介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297054B (zh) * 2021-12-17 2023-06-30 北京交通大学 一种基于子空间混合抽样的软件缺陷数目预测方法
CN114338129B (zh) * 2021-12-24 2023-10-31 中汽创智科技有限公司 一种报文异常检测方法、装置、设备及介质
CN114819458A (zh) * 2021-12-31 2022-07-29 第四范式（北京）技术有限公司 仿真模型的构建方法和仿真模型的构建装置
CN115146718A (zh) * 2022-06-27 2022-10-04 北京华能新锐控制技术有限公司 基于深度表示的风电机组异常检测方法
CN115099676A (zh) * 2022-07-14 2022-09-23 华能罗源发电有限责任公司 火电储能***的gis之中母线状态量检测方法
CN115174251B (zh) * 2022-07-19 2023-09-05 深信服科技股份有限公司 一种安全告警的误报识别方法、装置以及存储介质
CN115168154B (zh) * 2022-07-26 2023-06-23 北京优特捷信息技术有限公司 一种基于动态基线的异常日志检测方法、装置及设备
CN115499159B (zh) * 2022-08-09 2024-05-07 重庆长安汽车股份有限公司 Can信号异常检测方法、装置、车辆及存储介质
CN115883346B (zh) * 2023-02-23 2023-05-23 广州嘉为科技有限公司 一种基于fdep日志的异常检测方法、装置及存储介质
CN116070206B (zh) * 2023-03-28 2023-06-30 上海观安信息技术股份有限公司 一种异常行为检测方法、***、电子设备及存储介质
CN116863638B (zh) * 2023-06-01 2024-02-23 国药集团重庆医药设计院有限公司 一种基于主动预警的人员异常行为检测方法及安防***
CN116405326B (zh) * 2023-06-07 2023-10-20 厦门瞳景智能科技有限公司 基于区块链的信息安全管理方法及其***
CN116911852B (zh) * 2023-07-21 2024-01-26 广州嘉磊元新信息科技有限公司 一种rpa的用户动态信息监控方法及***
CN117149846B (zh) * 2023-08-16 2024-05-24 上海永天科技股份有限公司 一种基于数据融合的电力数据分析方法和***
CN117271350B (zh) * 2023-09-28 2024-07-02 江苏天好富兴数据技术有限公司 一种基于日志分析的软件质量评估***及方法
CN117290380B (zh) * 2023-11-14 2024-02-06 华青融天(北京)软件股份有限公司 异常维度数据生成方法、装置、设备和计算机可读介质
CN117538910B (zh) * 2023-12-20 2024-04-30 广东邦盛北斗科技股份公司 基于ai的北斗定位信号测试分析方法及***
CN118032327A (zh) * 2024-04-15 2024-05-14 山东能源数智云科技有限公司 基于人工智能的设备智能润滑监测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061281A1 (en) * 2005-09-09 2007-03-15 International Business Machines Corporation Method and system to detect errors in computer systems by using state tracking
CN103389701A (zh) * 2013-07-15 2013-11-13 浙江大学 基于分布式数据模型的厂级过程故障检测与诊断方法
CN106951353A (zh) * 2017-03-20 2017-07-14 北京搜狐新媒体信息技术有限公司 作业数据异常检测方法及装置
CN107463455A (zh) * 2017-08-01 2017-12-12 联想(北京)有限公司 一种检测内存故障的方法及装置
CN108090615A (zh) * 2017-12-21 2018-05-29 东南大学 基于交叉熵集成学习的电力***故障后最低频率预测方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360023A (zh) * 2008-09-09 2009-02-04 成都市华为赛门铁克科技有限公司 一种异常检测方法、装置及***
CN102821002B (zh) * 2011-06-09 2015-08-26 ***通信集团河南有限公司信阳分公司 网络流量异常检测方法和***
JP2014032516A (ja) * 2012-08-02 2014-02-20 Fujitsu Ltd ストレージ装置、制御装置およびデータ保護方法
CN109343990A (zh) * 2018-09-25 2019-02-15 江苏润和软件股份有限公司 一种基于深度学习的云计算***异常检测方法
CN110365648A (zh) * 2019-06-14 2019-10-22 东南大学 一种基于决策树的车载can总线异常检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061281A1 (en) * 2005-09-09 2007-03-15 International Business Machines Corporation Method and system to detect errors in computer systems by using state tracking
CN103389701A (zh) * 2013-07-15 2013-11-13 浙江大学 基于分布式数据模型的厂级过程故障检测与诊断方法
CN106951353A (zh) * 2017-03-20 2017-07-14 北京搜狐新媒体信息技术有限公司 作业数据异常检测方法及装置
CN107463455A (zh) * 2017-08-01 2017-12-12 联想(北京)有限公司 一种检测内存故障的方法及装置
CN108090615A (zh) * 2017-12-21 2018-05-29 东南大学 基于交叉熵集成学习的电力***故障后最低频率预测方法
CN109284606A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于经验特征与卷积神经网络的数据流异常检测***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张相锋: "安全审计与基于审计的入侵检测", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308455A (zh) * 2020-11-20 2021-02-02 深圳前海微众银行股份有限公司 根因定位方法、装置、设备及计算机存储介质
CN112308455B (zh) * 2020-11-20 2024-04-09 深圳前海微众银行股份有限公司 根因定位方法、装置、设备及计算机存储介质
CN112446335A (zh) * 2020-12-02 2021-03-05 电子科技大学中山学院 一种基于深度学习的太赫兹违禁物品检测方法
CN112883193A (zh) * 2021-02-25 2021-06-01 中国平安人寿保险股份有限公司 一种文本分类模型的训练方法、装置、设备以及可读介质
CN113347033A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 基于区块链的根因定位方法、***及验证节点
WO2022257458A1 (zh) * 2021-06-08 2022-12-15 平安科技（深圳）有限公司 车险理赔行为识别方法、装置、设备及存储介质
CN113256434A (zh) * 2021-06-08 2021-08-13 平安科技（深圳）有限公司 车险理赔行为识别方法、装置、设备及存储介质
CN113297051A (zh) * 2021-07-26 2021-08-24 云智慧（北京）科技有限公司 一种日志分析处理方法及装置
CN113297051B (zh) * 2021-07-26 2022-03-04 云智慧（北京）科技有限公司 一种日志分析处理方法及装置
CN113672870A (zh) * 2021-08-20 2021-11-19 中国南方电网有限责任公司超高压输电公司柳州局 故障事件概率估算方法、装置、计算机设备和存储介质
CN114238965A (zh) * 2021-11-17 2022-03-25 北京华清信安科技有限公司 用于恶意访问的检测分析方法及***
CN114881112A (zh) * 2022-03-31 2022-08-09 北京优特捷信息技术有限公司 一种***异常检测方法、装置、设备及介质
CN114706709A (zh) * 2022-06-01 2022-07-05 成都运荔枝科技有限公司 一种saas服务异常处理方法、装置及可读存储介质

Also Published As

Publication number Publication date
WO2021139235A1 (zh) 2021-07-15
CN111782472B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111782472B (zh) ***异常检测方法、装置、设备及存储介质
CN111178456B (zh) 异常指标检测方法、装置、计算机设备和存储介质
CN112910859B (zh) 基于c5.0决策树和时序分析的物联网设备监测预警方法
EP1958034B1 (en) Use of sequential clustering for instance selection in machine condition monitoring
CN112685324B (zh) 一种生成测试方案的方法及***
CN112906764B (zh) 基于改进bp神经网络的通信安全设备智能诊断方法及***
CN113221960B (zh) 一种高质量漏洞数据收集模型的构建方法及收集方法
CN112579414A (zh) 日志异常检测方法及装置
Xie et al. Logm: Log analysis for multiple components of hadoop platform
CN116167370A (zh) 基于日志时空特征分析的分布式***异常检测方法
CN110011990A (zh) 内网安全威胁智能分析方法
CN116976318A (zh) 基于深度学习和模型推理的电网倒闸操作票智能审核***
CN117854664B (zh) 电子孕妇健康档案管理方法及***
CN117131449A (zh) 面向数据治理的具有传播学习能力的异常识别方法及***
CN111949459A (zh) 一种基于迁移学习和主动学习的硬盘故障预测方法及***
Rücker et al. FlexParser—The adaptive log file parser for continuous results in a changing world
CN113891342B (zh) 基站巡检方法、装置、电子设备及存储介质
CN116661954B (zh) 虚拟机异常预测方法、装置、通信设备及存储介质
CN116599743A (zh) 4a异常绕行检测方法、装置、电子设备及存储介质
CN113076217B (zh) 基于国产平台的磁盘故障预测方法
CN109978038B (zh) 一种集群异常判定方法及装置
Sheng et al. A modified Mahalanobis distance metric used to optimize mahalanobis space and improve classification performance of MTS
Du et al. Unstructured log oriented fault diagnosis for operation and maintenance management
CN111475380A (zh) 一种日志分析方法和装置
Liu et al. [Retracted] An Accurate Method of Determining Attribute Weights in Distance‐Based Classification Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40031385

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant