CN113535458A - 异常误报的处理方法及装置、存储介质、终端 - Google Patents

异常误报的处理方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN113535458A
CN113535458A CN202111089557.3A CN202111089557A CN113535458A CN 113535458 A CN113535458 A CN 113535458A CN 202111089557 A CN202111089557 A CN 202111089557A CN 113535458 A CN113535458 A CN 113535458A
Authority
CN
China
Prior art keywords
classification
requirement
information
theme
topic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111089557.3A
Other languages
English (en)
Other versions
CN113535458B (zh
Inventor
殷钱安
梁淑云
余贤喆
王启凡
陶景龙
刘胜
马影
周晓勇
魏国富
夏玉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Data Security Solutions Co Ltd
Original Assignee
Information and Data Security Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Data Security Solutions Co Ltd filed Critical Information and Data Security Solutions Co Ltd
Priority to CN202111089557.3A priority Critical patent/CN113535458B/zh
Priority to PCT/CN2021/124046 priority patent/WO2023039973A1/zh
Publication of CN113535458A publication Critical patent/CN113535458A/zh
Application granted granted Critical
Publication of CN113535458B publication Critical patent/CN113535458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0781Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异常误报的处理方法及装置、存储介质、终端,涉及互联网技术领域,主要目的在于解决现有无法有效、准确地对异常信息进行处理的问题。包括:获取业务需求信息以及待告警操作对象的操作信息;基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系;若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。主要用于异常误报的处理。

Description

异常误报的处理方法及装置、存储介质、终端
技术领域
本发明涉及一种互联网技术领域,特别是涉及一种异常误报的处理方法及装置、存储介质、终端。
背景技术
随着互联网技术的快速发展,数据安全问题越来越突出,为了避免***或终端设备发生数据泄露,造成用户财产损失,数据安全防护变得越来越重要。在实际应用中,通常基于行为安全监控***对***或设备行为进行安全检测,从而实现安全防护。在此过程中,当工作内容出现变动时,譬如业务变更引起数据处理人员非工作时段进行大量操作行为,会存在行为安全检测误报的情况,为了保证安全监控***的防护效果以及降低防护的误报率,通常需要对安全检测到的异常信息进行误报判断,以减少误报的情况。
目前,通常采用人工或白名单规则匹配方式对安全检测到的异常进行误报的判断,但是,由于异常信息以及产生异常信息的目标数量均较大,业务需求比较复杂,数据变动工作类型并不单一,无论是采用白名单匹配方式还是人工方式,均需要不断根据业务类型、需求内容进行实时变动以进行人工维护,使得消耗大量的人力成本,并容易发生人为判断错误,造成误报判断速度较慢,以及处理不准确,从而使得无法有效、准确地对异常误报进行处理。
发明内容
有鉴于此,本发明提供一种异常误报的处理方法及装置、存储介质、终端,主要目的在于解决现有无法有效、准确地对异常信息进行处理的问题。
依据本发明一个方面,提供了一种异常误报的处理方法,包括:
获取业务需求信息以及待告警操作对象的操作信息;
基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系,所述主题分类关系为基于不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系对需求主题分类关键词与操作主题分类进行匹配确定的;
若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
进一步地,所述获取业务需求信息以及待告警操作对象的操作信息之前,所述方法还包括:
分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系。
进一步地,所述分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系包括:
分别对历史业务需求信息、以及历史操作信息进行分词,得到需求分词序列、操作分词序列;
根据主题分类模型对所述需求分词序列、所述操作分词序列进行主题分类以及主题分类关键词提取,得到需求主题分类关键词以及操作主题分类关键词,所述主题分类包括需求主题分类、操作主题分类,所述需求主题分类关键词与所述操作主题分类关键词的主题分类个数相同;
基于需求操作匹配库,建立所述需求主题分类、所述需求主题分类关键词与所述操作主题分类、所述操作主题分类关键词之间的需求操作主题映射关系,所述需求操作匹配库中存储有按照预设时间间隔接收并更新的不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系。
进一步地,所述基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类包括:
计算所述业务需求信息的需求分词序列与所述需求操作主题映射关系中各需求主题分类关键词之间的第二相似度;
选取所述第二相似度中最大第二相似度对应的需求主题分类关键词所匹配的需求主题分类;
基于所述需求操作主题映射关系查找与所述需求主题分类对应的操作主题分类。
进一步地,所述基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类之前,所述方法还包括:
利用文本分词算法对所述业务需求信息进行文本分词,并基于预设分隔符对所述操作信息进行文本分词,分别得到需求分词序列、操作分词序列;
结合主题分类模型以及信息测量指标对所述需求分词序列、以及所述操作分词序列进行主题划分,得到匹配所述需求主题分类的需求主题分类关键词以及匹配操作主题分类的操作主题分类关键词。
进一步地,所述获取业务需求信息以及待告警操作对象的操作信息之前,所述方法还包括:
若所述业务需求信息与历史业务需求信息中需求主题分类关键词差异个数超过预设差异阈值,则基于所述业务需求信息对所述需求操作主题映射关系进行更新。
进一步地,所述确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息之后,所述方法还包括:
统计确定为误报事件的待告警操作对象的身份信息、误报时间、误报次数、以及与所述误报事件对应的业务需求信息,生成并输出异常误报示警信息。
依据本发明另一个方面,提供了一种异常误报的处理装置,包括:
获取模块,用于获取业务需求信息以及待告警操作对象的操作信息;
确定模块,用于基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系,所述主题分类关系为基于不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系对需求主题分类关键词与操作主题分类进行匹配确定的;
删除模块,用于若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
进一步地,所述装置还包括:
构建模块,用于分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系。
进一步地,所述构建模块包括:
分词单元,用于分别对历史业务需求信息、以及历史操作信息进行分词,得到需求分词序列、操作分词序列;
提取单元,用于根据主题分类模型对所述需求分词序列、所述操作分词序列进行主题分类以及主题分类关键词提取,得到需求主题分类关键词以及操作主题分类关键词,所述主题分类包括需求主题分类、操作主题分类,所述需求主题分类关键词与所述操作主题分类关键词的主题分类个数相同;
建立单元,用于基于需求操作匹配库,建立所述需求主题分类、所述需求主题分类关键词与所述操作主题分类、所述操作主题分类关键词之间的需求操作主题映射关系,所述需求操作匹配库中存储有按照预设时间间隔接收并更新的不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系。
进一步地,所述确定模块包括:
计算单元,用于计算所述业务需求信息的需求分词序列与所述需求操作主题映射关系中各需求主题分类关键词之间的第二相似度;
选取单元,用于选取所述第二相似度中最大第二相似度对应的需求主题分类关键词所匹配的需求主题分类;
查找单元,用于基于所述需求操作主题映射关系查找与所述需求主题分类对应的操作主题分类。
进一步地,所述装置还包括:
分词模块,用于利用文本分词算法对所述业务需求信息进行文本分词,并基于预设分隔符对所述操作信息进行文本分词,分别得到需求分词序列、操作分词序列;
划分模块,用于结合主题分类模型以及信息测量指标对所述需求分词序列、以及所述操作分词序列进行主题划分,得到匹配所述需求主题分类的需求主题分类关键词以及匹配操作主题分类的操作主题分类关键词。
进一步地,所述装置还包括:
更新模块,用于若所述业务需求信息与历史业务需求信息中需求主题分类关键词差异个数超过预设差异阈值,则基于所述业务需求信息对所述需求操作主题映射关系进行更新。
进一步地,所述装置还包括:
统计模块,用于统计确定为误报事件的待告警操作对象的身份信息、误报时间、误报次数、以及与所述误报事件对应的业务需求信息,生成并输出异常误报示警信息。
根据本发明的又一方面,提供了一种存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述异常误报的处理方法对应的操作。
根据本发明的再一方面,提供了一种终端,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述异常误报的处理方法对应的操作。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明提供了一种异常误报的处理方法及装置、存储介质、终端,与现有技术相比,本发明实施例通过获取业务需求信息以及待告警操作对象的操作信息;基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系;若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息,大大减少了人力成本,避免了因人为判断而产生的异常误判失误情况,极大地增加了对异常误报识别准确性,从而提高了对异常误报的处理效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种异常误报的处理方法流程图;
图2示出了本发明实施例提供的另一种异常误报的处理方法流程图;
图3示出了本发明实施例提供的又一种异常误报的处理方法流程图;
图4示出了本发明实施例提供的一种异常误报的处理装置组成框图;
图5示出了本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种异常误报的处理方法,如图1所示,该方法包括:
101、获取业务需求信息以及待告警操作对象的操作信息。
本发明实施例中,针对网络安全的实时检测,会根据不同的安全检测方式对出现异常情况的信息生成告警信息,从而使得对异常情况进行清除。其中,业务需求信息为网络安全中对网络安全进行检测的需求内容,包括但不限于行为、文件对象、指定程序代码等,获取的业务需求信息以业务需求文档形式存在,本发明实施例不做具体限定。待告警操作对象即为已经确定为异常的操作主体,包括但不限于操作人员id、ip地址、设备号等,从而将待告警操作对象作为异常告警的目标,进而的,操作信息即为待告警操作对象被确定为异常告警目标的操作内容,包括但不限于操作行为、操作内容等,获取的操作信息以操作日志形式存在,本发明实施例不做具体限定。
需要说明的是,步骤101中的业务需求信息为近期业务需求信息,即相对于历史业务信息缩短时间间隔且临近当前时间的业务需求信息,在执行步骤101时,可以将历史业务信息与近期业务信息进行比较,确定出相同的业务需求信息作为步骤101中的业务需求信息。
102、基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类。
本发明实施例中,需求主题分类关键词为业务需求信息中表示各个需求内容的词语所分类别的关键词语,其中,业务需求信息可以按照不同的需求主题进行分类得到不同的需求主题分类,包括但不限于***文件分类、行为分类等,从而使得每个分类中通过关键词语进行表示。同样的,操作信息可以按照操作主题进行分类得到不同的操作主题分类,包括但不限于ip分类、id分类等,本发明实施例不做具体限定。由于所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系,因此,可以依据需求主题分类关键词从需求操作主题映射关系中查找到匹配的操作主题分类。
需要说明的是,由于一个分类中可以通过多个关键词表示,对应的,一个需求主题分类可以对应多个需求主题分类关键词,一个操作主题分类可以对应多个操作主题分类关键词,而需求操作主题映射关系中,不仅仅包含有需求主题分类关键词与需求主题分类、操作主题分类关键词与操作主题分类的对应关系,还包括需求主题分类与操作主题分类、需求主题分类关键词与操作主题分类、操作主题分类关键词与需求主题分类之间的对应关系,因此,可以在确定需求主题分类关键词后,基于需求操作主题映射关系查找到对应的操作主题分类,进而需求主题分类关键词可以对应一个操作主题分类下的多个操作主题分类关键词。
103、若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
本发明实施例中,确定出与需求主题分类关键词匹配的操作主题分类之后,由于一个操作主题分类中包含有至少一个操作主题分类关键词,因此,通过计算操作信息与操作主题分类关键词之间的第一相似度,与第一相似阈值进行比较,确定是否为误报事件。其中,由于操作信息为操作日志形式存在,因此,在计算与操作主题分类关键词的第一相似度时,可以对操作信息进行分词处理,从而完成相似度计算。若计算出与多个操作主题分类关键词之间的第一相似度大于第一相似阈值,则说明操作信息与操作主题分类关键词相似,对此操作信息生成的异常的告警信息属于误报情况,因此,将因此操作信息生成告警信息确定为误报事件,删除此告警信息。
在本发明实施例中,为了进一步说明及限定,所述获取业务需求信息以及待告警操作对象的操作信息之前,所述方法还包括:分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系。
为了实现对误报情况的判断,结合历史业务需求、历史操作信息进行主题分类关键词解析,即根据历史业务需求、历史操作信息确定主题分类,包括需求主题分类、操作主题分类,从而得到各主题分类对应的主题分类关键词,构建需求操作主题映射关系。其中,需求主题分类用于表示业务需求信息中不同需求的主题分类,操作主题分类用于表示操作信息汇总不同操作的主题分类,进而的,每个主题分类中可以通过关键词进行确定,从而基于需求主题分类关键词、需求主题分类、操作主题分类关键词、操作主题分类建立需求操作主题映射关系。
在本发明实施例中,为了进一步说明及限定,如图2所示,所述分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系包括:201、分别对历史业务需求信息、以及历史操作信息进行分词,得到需求分词序列、操作分词序列;202、根据主题分类模型对所述需求分词序列、所述操作分词序列进行主题分类以及主题分类关键词提取,得到需求主题分类关键词以及操作主题分类关键词;203、基于需求操作匹配库,建立所述需求主题分类、所述需求主题分类关键词与所述操作主题分类、所述操作主题分类关键词之间的需求操作主题映射关系。
具体的,根据提取到的历史业务需求信息、历史操作信息进行分词,分别得到需求分词序列、操作分词系列,由于业务需求文档中的信息为文本内容,操作文档中的信息为各种字符串,因此,对于业务需求文档中的业务需求信息按照文本进行分词,对于操作文档中的操作信息按照空格分隔符进行分词,从而分别得到步骤201中作为需求分词序列的list1以及操作分词系列list2,本发明实施例不做具体限定。另外,步骤202中,为了准确确定出主题分类、以及不同主题分类的关键词,基于主题分类模型对需求分词序列、操作分词序列进行主题分类,以及提取到不同主体分类的关键词,所述主题分类包括需求主题分类、操作主题分类,所述需求主题分类关键词与所述操作主题分类关键词的主题分类个数相同。其中,主题分类模型为一种无监督的贝叶斯模型LDA(Latent Dirichlet Allocation),通过完成训练的LDA模型对需求分词序列、操作分词序列进行主题划分,得到各个主题分类,以及各个主题分类对应的关键词,基于主题分类包括需求主题分类、操作主题分类,分别得到需求主题分类关键词topword1,以及操作主题分类关键词topword2,本发明实施例不做具体限定。
需要说明的是,本发明实施例中,由于需求操作匹配库中存储有按照预设时间间隔接收并更新的不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系,因此,在确定需求主题分类关键词、操作主题分类关键词、需求主题分类、操作主题分类后,基于需求操作匹配库中不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系建立需求操作主题映射关系。其中,需求操作匹配库中存储的组合关系为技术人员按照预设时间间隔进行录入或更新的组合关系,并且需求操作匹配库中涵盖的组合关系范围远远大于历史业务需求信息、历史操作信息中提取的主题分类以及主题分类关键词的之间建立需求操作主题映射关系的范围,因此,当业务需求信息发生变化时,可以基于原有需求操作匹配可以重新构建需求操作主题映射关系即可,无需更新需求操作匹配库,仅仅在技术人员录入新的组合关系后,更新需求操作匹配库,本发明实施例不做具体限定。
在本发明实施例中,为了进一步说明及限定,所述基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类包括:计算所述业务需求信息的需求分词序列与所述需求操作主题映射关系中各需求主题分类关键词之间的第二相似度;选取所述第二相似度中最大第二相似度对应的需求主题分类关键词所匹配的需求主题分类;基于所述需求操作主题映射关系查找与所述需求主题分类对应的操作主题分类。
为了提高异常误报的识别准确性,首先计算业务需求信息的需求分词序列与需求操作主题映射关系中各需求主题分类关键词之间的相似度,即第二相似度,由于是与多个需求主题分类关键词之间计算的,因此得到的第二相似度为多个相似度值,从而确定相似度值中最大的一个所对应的需求主题分类关键词,并选取此需求主题分类关键此所匹配的需求主题分类。由于需求操作主题映射关系中包括不同需求主题分类与不同操作主题分类之间的关系,因此,基于最大的相似度值确定需求主题分类后,从需求操作主题映射关系中查找到需求主题分类对应的操作主题分类,以便再根据操作主题分类中的各个操作主题分类关键词与操作信息进行计算相似度,从而确定是否为误报事件。
需要说明的是,本发明实施例中对于相似度的计算均通过数值数据计算的,因此,在需求分词序列与需求主题分类关键词计算相似度之前,需要将词语转换为词向量,如通过word2vec模型转换词向量,从而以数值基础进行相似度的计算,本发明实施例不做具体限定。
在本发明实施例中,为了进一步说明及限定,如图3所示,所述基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类之前,所述方法还包括:301、利用文本分词算法对所述业务需求信息进行文本分词,并基于预设分隔符对所述操作信息进行文本分词,分别得到需求分词序列、操作分词序列;302、结合主题分类模型以及信息测量指标对所述需求分词序列、以及所述操作分词序列进行主题划分,得到匹配所述需求主题分类的需求主题分类关键词以及匹配操作主题分类的操作主题分类关键词。
为了高效地基于需求操作主题映射关系进行匹配,具体的,由于业务需求文档中的业务需求信息为文本内容,即通过文本分词算法对业务需求信息进行文本分词,文本分词算法可以为自然语言处理技术中的jieba(C++)工具,从而得到需求分词序列。并且,由于操作文档中的操作信息为字符串形式内容,即通过预设分隔符对操作信息进行文本分词,从而得到操作分词序列。另外,由于文本分词后需要对需求分词序列、以及操作分词序列进行主题划分,因此,在进行主题分类模型进行主题分类的基础上,结合信息测量指标选取最佳个数的主题分类数,从而得到N个需求主题分类、M个操作主题分类,以及与之对应的每个主题分类的主题分类关键词,如需求主题分类关键词topword1、操作主题分类关键词topword2。其中,信息测量指标为困惑度perplexity方法确定的测量指标,用来度量一个概率分布或概率模型预测样本的好坏程度,即本发明实施例中主题分类模型的分类好坏程度,基于一个设定的指标来确定,本发明实施例不做具体限定。
在本发明实施例中,为了进一步说明及限定,所述获取业务需求信息以及待告警操作对象的操作信息之前,所述方法还包括:若所述业务需求信息与历史业务需求信息中需求主题分类关键词差异个数超过预设差异阈值,则基于所述业务需求信息对所述需求操作主题映射关系进行更新。
为了更好的对异常误报的识别,从而提高误报识别的准确性,统计业务需求信息与历史业务需求信息中需求主题分类关键词的差异个数,即将业务需求信息中的需求主题分类关键词与历史业务需求信息中需求主题分类关键词进行一一对比,若差异个数超过预设差异阈值,则说明当前业务需求信息与历史业务信息差异较大,根据历史业务信息构建的需求操作主题映射关系已经不适用于当前业务需求信息所对应异常误报的识别,因此,基于业务需求信息对需求操作主题映射关系进行更新。具体的,提示业务需求信息中的需求主题分类以及需求主题分类关键词,并结合需求操作匹配库中的组合关系,构建与历史操作信息的操作主题分类、操作主要分类关键词之间的需求操作主题映射关系,本发明实施例不做具体限定。
在本发明实施例中,为了进一步说明及限定,其特征在于,所述确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息之后,所述方法还包括:统计确定为误报事件的待告警操作对象的身份信息、误报时间、误报次数、以及与所述误报事件对应的业务需求信息,生成并输出异常误报示警信息。
为了提高误报处理的有效性,在确定基于操作信息生成告警信息为误报事件后,统计出现误报事件的待告警操作对象的身份信息、误报时间、误报次数、以及与产生误报事件多对应的业务需求信息,生成并输出异常误报示警信息。其中,由于待告警操作对象为已经确定为异常的操作主体,因此,身份信息即为基于操作人员id、ip地址、设备号等信息识别出的身份信息,例如姓名等,误报时间即为生成告警信息的时间,此时间为当前执行端中对网络安全进行识别的时间计时器确定的,误报次数为按照预先设定的时间间隔,如一周、3天等,统计产生误报时间的次数,本发明实施例不做具体限定。并且,为了实现异常误报的显示效果,结合误报事件对应的业务需求信息生成异常误报示警信息,并进行输出。其中,异常误报示警信息用于表征误报出现的状态,从而使技术人员对网络完全的检测规则进行判断,以优化网络安全的检测效率。
本发明实施例提供了一种异常误报的处理方法,与现有技术相比,本发明实施例通过获取业务需求信息以及待告警操作对象的操作信息;基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系;若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息,大大减少了人力成本,避免了因人为判断而产生的异常误判失误情况,极大地增加了对异常误报识别准确性,从而提高了对异常误报的处理效率。
进一步的,作为对上述图1所示方法的实现,本发明实施例提供了一种异常误报的处理装置,如图4所示,该装置包括:
获取模块41,用于获取业务需求信息以及待告警操作对象的操作信息;
确定模块42,用于基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系;
删除模块43,用于若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
进一步地,所述装置还包括:
构建模块,用于分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系。
进一步地,所述构建模块包括:
分词单元,用于分别对历史业务需求信息、以及历史操作信息进行分词,得到需求分词序列、操作分词序列;
提取单元,用于根据主题分类模型对所述需求分词序列、所述操作分词序列进行主题分类以及主题分类关键词提取,得到需求主题分类关键词以及操作主题分类关键词,所述主题分类包括需求主题分类、操作主题分类,所述需求主题分类关键词与所述操作主题分类关键词的主题分类个数相同;
建立单元,用于基于需求操作匹配库,建立所述需求主题分类、所述需求主题分类关键词与所述操作主题分类、所述操作主题分类关键词之间的需求操作主题映射关系,所述需求操作匹配库中存储有按照预设时间间隔接收并更新的不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系。
进一步地,所述确定模块包括:
计算单元,用于计算所述业务需求信息的需求分词序列与所述需求操作主题映射关系中各需求主题分类关键词之间的第二相似度;
选取单元,用于选取所述第二相似度中最大第二相似度对应的需求主题分类关键词所匹配的需求主题分类;
查找单元,用于基于所述需求操作主题映射关系查找与所述需求主题分类对应的操作主题分类。
进一步地,所述装置还包括:
分词模块,用于利用文本分词算法对所述业务需求信息进行文本分词,并基于预设分隔符对所述操作信息进行文本分词,分别得到需求分词序列、操作分词序列;
划分模块,用于结合主题分类模型以及信息测量指标对所述需求分词序列、以及所述操作分词序列进行主题划分,得到匹配所述需求主题分类的需求主题分类关键词以及匹配操作主题分类的操作主题分类关键词。
进一步地,所述装置还包括:
更新模块,用于若所述业务需求信息与历史业务需求信息中需求主题分类关键词差异个数超过预设差异阈值,则基于所述业务需求信息对所述需求操作主题映射关系进行更新。
进一步地,所述装置还包括:
统计模块,用于统计确定为误报事件的待告警操作对象的身份信息、误报时间、误报次数、以及与所述误报事件对应的业务需求信息,生成并输出异常误报示警信息。
本发明实施例提供了一种异常误报的处理装置,与现有技术相比,本发明实施例通过获取业务需求信息以及待告警操作对象的操作信息;基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系;若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息,大大减少了人力成本,避免了因人为判断而产生的异常误判失误情况,极大地增加了对异常误报识别准确性,从而提高了对异常误报的处理效率。
根据本发明一个实施例提供了一种存储介质,所述存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的异常误报的处理方法。
图5示出了根据本发明一个实施例提供的一种终端的结构示意图,本发明具体实施例并不对终端的具体实现做限定。
如图5所示,该终端可以包括:处理器(processor)502、通信接口(CommunicationsInterface)504、存储器(memory)506、以及通信总线508。
其中:处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502,用于执行程序510,具体可以执行上述异常误报的处理方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作:
获取业务需求信息以及待告警操作对象的操作信息;
基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系,所述主题分类关系为基于不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系对需求主题分类关键词与操作主题分类进行匹配确定的;
若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (10)

1.一种异常误报的处理方法,其特征在于,包括:
获取业务需求信息以及待告警操作对象的操作信息;
基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系,所述主题分类关系为基于不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系对需求主题分类关键词与操作主题分类进行匹配确定的;
若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
2.根据权利要求1所述的方法,其特征在于,所述获取业务需求信息以及待告警操作对象的操作信息之前,所述方法还包括:
分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系。
3.根据权利要求2所述的方法,其特征在于,所述分别对历史业务需求信息、历史操作信息进行主题分类关键词解析,并基于解析出的需求主题分类关键词与操作主题分类关键词构建需求操作主题映射关系包括:
分别对历史业务需求信息、以及历史操作信息进行分词,得到需求分词序列、操作分词序列;
根据主题分类模型对所述需求分词序列、所述操作分词序列进行主题分类以及主题分类关键词提取,得到需求主题分类关键词以及操作主题分类关键词,所述主题分类包括需求主题分类、操作主题分类,所述需求主题分类关键词与所述操作主题分类关键词的主题分类个数相同;
基于需求操作匹配库,建立所述需求主题分类、所述需求主题分类关键词与所述操作主题分类、所述操作主题分类关键词之间的需求操作主题映射关系,所述需求操作匹配库中存储有按照预设时间间隔接收并更新的不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系。
4.根据权利要求3所述的方法,其特征在于,所述基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类包括:
计算所述业务需求信息的需求分词序列与所述需求操作主题映射关系中各需求主题分类关键词之间的第二相似度;
选取所述第二相似度中最大第二相似度对应的需求主题分类关键词所匹配的需求主题分类;
基于所述需求操作主题映射关系查找与所述需求主题分类对应的操作主题分类。
5.根据权利要求3所述的方法,其特征在于,所述基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类之前,所述方法还包括:
利用文本分词算法对所述业务需求信息进行文本分词,并基于预设分隔符对所述操作信息进行文本分词,分别得到需求分词序列、操作分词序列;
结合主题分类模型以及信息测量指标对所述需求分词序列、以及所述操作分词序列进行主题划分,得到匹配所述需求主题分类的需求主题分类关键词以及匹配操作主题分类的操作主题分类关键词。
6.根据权利要求1所述的方法,其特征在于,所述获取业务需求信息以及待告警操作对象的操作信息之前,所述方法还包括:
若所述业务需求信息与历史业务需求信息中需求主题分类关键词差异个数超过预设差异阈值,则基于所述业务需求信息对所述需求操作主题映射关系进行更新。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息之后,所述方法还包括:
统计确定为误报事件的待告警操作对象的身份信息、误报时间、误报次数、以及与所述误报事件对应的业务需求信息,生成并输出异常误报示警信息。
8.一种异常误报的处理装置,其特征在于,包括:
获取模块,用于获取业务需求信息以及待告警操作对象的操作信息;
确定模块,用于基于需求操作主题映射关系确定与所述业务需求信息的需求主题分类关键词对应的操作主题分类,所述需求操作主题映射关系用于表征不同需求主题分类关键词与不同操作主题分类之间的主题分类关系,所述主题分类关系为基于不同需求主题分类、不同需求主题分类关键词分别与不同操作主题分类、不同操作主题分类关键词之间的组合关系对需求主题分类关键词与操作主题分类进行匹配确定的;
删除模块,用于若所述操作信息与所述操作主题分类的操作主题分类关键词之间的第一相似度大于第一相似阈值,则确定基于所述操作信息生成告警信息为误报事件,删除所述告警信息。
9.一种存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的异常误报的处理方法对应的操作。
10.一种终端,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的异常误报的处理方法对应的操作。
CN202111089557.3A 2021-09-17 2021-09-17 异常误报的处理方法及装置、存储介质、终端 Active CN113535458B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111089557.3A CN113535458B (zh) 2021-09-17 2021-09-17 异常误报的处理方法及装置、存储介质、终端
PCT/CN2021/124046 WO2023039973A1 (zh) 2021-09-17 2021-10-15 异常误报的处理方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089557.3A CN113535458B (zh) 2021-09-17 2021-09-17 异常误报的处理方法及装置、存储介质、终端

Publications (2)

Publication Number Publication Date
CN113535458A true CN113535458A (zh) 2021-10-22
CN113535458B CN113535458B (zh) 2021-12-28

Family

ID=78092747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089557.3A Active CN113535458B (zh) 2021-09-17 2021-09-17 异常误报的处理方法及装置、存储介质、终端

Country Status (2)

Country Link
CN (1) CN113535458B (zh)
WO (1) WO2023039973A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661515A (zh) * 2022-05-23 2022-06-24 武汉四通信息服务有限公司 告警信息收敛方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053041A (zh) * 2017-12-13 2018-05-18 国网辽宁省电力有限公司电力科学研究院 变电站多关联场景下二次***异常识别和防误***及方法
CN109815697A (zh) * 2018-12-29 2019-05-28 360企业安全技术(珠海)有限公司 误报行为处理方法及装置
CN110191124A (zh) * 2019-05-29 2019-08-30 哈尔滨安天科技集团股份有限公司 基于web前端开发数据的网站鉴别方法、装置及存储设备
CN110362545A (zh) * 2019-05-27 2019-10-22 平安科技(深圳)有限公司 日志监控方法、装置、终端与计算机可读存储介质
CN110837874A (zh) * 2019-11-18 2020-02-25 上海新炬网络信息技术股份有限公司 基于时间序列分类的业务数据异常检测方法
CN111106959A (zh) * 2019-12-20 2020-05-05 贵州黔岸科技有限公司 用于运输管理***的异常监控报警***及方法
CN111752811A (zh) * 2020-06-29 2020-10-09 平安普惠企业管理有限公司 异常告警信息处理方法、电子设备及存储介质
CN113076410A (zh) * 2021-04-22 2021-07-06 网银在线(北京)科技有限公司 异常信息处理方法、装置、设备及存储介质
WO2021179574A1 (zh) * 2020-03-12 2021-09-16 平安科技(深圳)有限公司 根因定位方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145609B (zh) * 2018-09-06 2023-06-23 平安科技(深圳)有限公司 一种数据处理方法和装置
CN110086767A (zh) * 2019-03-11 2019-08-02 中国电子科技集团公司电子科学研究院 一种混合入侵检测***及方法
US11539745B2 (en) * 2019-03-22 2022-12-27 Proofpoint, Inc. Identifying legitimate websites to remove false positives from domain discovery analysis
CN112612844B (zh) * 2020-12-18 2024-02-09 深圳前海微众银行股份有限公司 数据处理方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053041A (zh) * 2017-12-13 2018-05-18 国网辽宁省电力有限公司电力科学研究院 变电站多关联场景下二次***异常识别和防误***及方法
CN109815697A (zh) * 2018-12-29 2019-05-28 360企业安全技术(珠海)有限公司 误报行为处理方法及装置
CN110362545A (zh) * 2019-05-27 2019-10-22 平安科技(深圳)有限公司 日志监控方法、装置、终端与计算机可读存储介质
CN110191124A (zh) * 2019-05-29 2019-08-30 哈尔滨安天科技集团股份有限公司 基于web前端开发数据的网站鉴别方法、装置及存储设备
CN110837874A (zh) * 2019-11-18 2020-02-25 上海新炬网络信息技术股份有限公司 基于时间序列分类的业务数据异常检测方法
CN111106959A (zh) * 2019-12-20 2020-05-05 贵州黔岸科技有限公司 用于运输管理***的异常监控报警***及方法
WO2021179574A1 (zh) * 2020-03-12 2021-09-16 平安科技(深圳)有限公司 根因定位方法、装置、计算机设备和存储介质
CN111752811A (zh) * 2020-06-29 2020-10-09 平安普惠企业管理有限公司 异常告警信息处理方法、电子设备及存储介质
CN113076410A (zh) * 2021-04-22 2021-07-06 网银在线(北京)科技有限公司 异常信息处理方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡阳雨: ""面向移动应用生态***的新型欺诈行为分析关键技术研究"", 《中国博士学位论文全文数据库•信息科技辑》 *
马琳茹: ""网络安全告警信息处理技术研究"", 《中国博士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661515A (zh) * 2022-05-23 2022-06-24 武汉四通信息服务有限公司 告警信息收敛方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113535458B (zh) 2021-12-28
WO2023039973A1 (zh) 2023-03-23

Similar Documents

Publication Publication Date Title
CN113282461B (zh) 传输网的告警识别方法和装置
CN110928718A (zh) 一种基于关联分析的异常处理方法、***、终端及介质
CN109992484B (zh) 一种网络告警相关性分析方法、装置和介质
CN111160021A (zh) 日志模板提取方法及装置
CN113254255B (zh) 一种云平台日志的分析方法、***、设备及介质
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN111427974A (zh) 数据质量评估管理方法和装置
CN115686910A (zh) 一种故障分析方法、装置、电子设备及介质
CN115422028A (zh) 标签画像体系的可信度评估方法、装置、电子设备及介质
CN113535458B (zh) 异常误报的处理方法及装置、存储介质、终端
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN114785616A (zh) 数据风险检测方法、装置、计算机设备及存储介质
CN114968959A (zh) 日志处理方法、日志处理装置及存储介质
CN113947076A (zh) 保单数据的检测方法、装置、计算机设备及存储介质
CN116383742B (zh) 基于特征分类的规则链设置处理方法、***及介质
CN112613176A (zh) 慢sql语句预测方法及***
CN112579781A (zh) 文本归类方法、装置、电子设备及介质
CN117240527A (zh) 一种网络安全风险防范***及方法
CN115048352B (zh) 一种日志字段提取方法、装置、设备和存储介质
CN114881112A (zh) 一种***异常检测方法、装置、设备及介质
CN112597498A (zh) 一种webshell的检测方法、***、装置及可读存储介质
CN113569879A (zh) 异常识别模型的训练方法、异常账号识别方法及相关装置
CN115906170B (zh) 应用于存储集群的安全防护方法及ai***
US20240104072A1 (en) Method, Apparatus And Electronic Device For Detecting Data Anomalies, And Readable Storage Medium
CN117194049B (zh) 一种基于机器学习算法的云主机智能行为分析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant