CN117669594B - 针对异常信息的大数据关系网络分析方法及*** - Google Patents
针对异常信息的大数据关系网络分析方法及*** Download PDFInfo
- Publication number
- CN117669594B CN117669594B CN202410147578.3A CN202410147578A CN117669594B CN 117669594 B CN117669594 B CN 117669594B CN 202410147578 A CN202410147578 A CN 202410147578A CN 117669594 B CN117669594 B CN 117669594B
- Authority
- CN
- China
- Prior art keywords
- information
- matching degree
- abnormal
- sample
- newly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003012 network analysis Methods 0.000 title claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims description 87
- 230000003416 augmentation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000003058 natural language processing Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000000691 measurement method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Finance (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域，提供了针对异常信息的大数据关系网络分析方法及***，包括：通过收集异常信息数据库，建立用户关系网络，采用NLP对被传输信息样本进行语义识别和同义转换，生成信息识别语料库，再获取第一新增信息，与用户关系网络和信息识别语料库进行识别，生成第一预警信号以拦截第一新增信息，解决了无法准确、及时地识别和应对异常信息的技术问题，实现了通过对数据分布和网络结构的全面考虑，可以更准确地定位和识别异常信息，基于数据的时序信息，更好地理解和预测异常信息的演变趋势和影响范围，及时地预警并拦截异常信息的技术效果。
Description
技术领域
本发明涉及数据处理相关技术领域，具体涉及针对异常信息的大数据关系网络分析方法及***。
背景技术
在许多业务场景中，数据的异常波动往往预示着某种潜在的问题或风险，例如，在金融领域，被用于检测和预防金融诈骗、信贷违约等风险；在医疗领域，被用于发现疾病的潜在影响因素、预测疾病的发展趋势等。
首先，针对不同的数据类型和业务场景，需要定制化的分析和处理方法，这要求对不同的数据和业务有深入的理解，并具备足够的专业知识和技能，常见的，数据的异常波动是基于简单的统计量或固定的阈值进行判断，可能会对数据的整体分布和动态变化产生误判。此外，常规的分析方法往往忽视了数据之间的关联性和网络结构，可能会影响到分析结果的准确性和全面性。
综上所述，现有技术中存在无法准确、及时地识别和应对异常信息的技术问题。
发明内容
本申请通过提供了针对异常信息的大数据关系网络分析方法及***，旨在解决现有技术中的无法准确、及时地识别和应对异常信息的技术问题。
鉴于上述问题，本申请提供了针对异常信息的大数据关系网络分析方法及***。
本申请公开的第一个方面，提供了针对异常信息的大数据关系网络分析方法，其中，所述方法包括：收集异常信息数据库，其中，所述异常信息数据库包括信息传输对象样本、信息被传输对象样本以及被传输信息样本；根据所述信息传输对象样本和所述信息被传输对象样本，对应建立用户关系网络；采用NLP语言处理模块对所述被传输信息样本进行语义识别，获取语义关键词，并根据所述语义关键词进行同义转换，获取转换信息样本；将所述转换信息样本与所述被传输信息样本进行集成，生成信息识别语料库；获取第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息；根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度；根据所述异常匹配度，生成第一预警信号，根据所述第一预警信号拦截所述第一新增信息。
本申请公开的另一个方面，提供了针对异常信息的大数据关系网络分析***，其中，所述***包括：数据库收集模块，用于收集异常信息数据库，其中，所述异常信息数据库包括信息传输对象样本、信息被传输对象样本以及被传输信息样本；用户关系网络建立模块，用于根据所述信息传输对象样本和所述信息被传输对象样本，对应建立用户关系网络；同义转换模块，用于采用NLP语言处理模块对所述被传输信息样本进行语义识别，获取语义关键词，并根据所述语义关键词进行同义转换，获取转换信息样本；语料库生成模块，用于将所述转换信息样本与所述被传输信息样本进行集成，生成信息识别语料库；新增信息获取模块，用于获取第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息；信息识别模块，用于根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度；信号拦截模块，用于根据所述异常匹配度，生成第一预警信号，根据所述第一预警信号拦截所述第一新增信息。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了通过收集异常信息数据库，利用其中的信息传输对象样本和信息被传输对象样本建立用户关系网络，采用NLP语言处理模块对被传输信息样本进行语义识别和同义转换，生成信息识别语料库。再获取第一新增信息，与用户关系网络和信息识别语料库进行识别，获取异常匹配度，根据异常匹配度生成第一预警信号，以拦截第一新增信息，实现了通过对数据分布和网络结构的全面考虑，可以更准确地定位和识别异常信息，基于数据的时序信息，更好地理解和预测异常信息的演变趋势和影响范围，及时地预警并拦截异常信息的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了针对异常信息的大数据关系网络分析方法可能的流程示意图；
图2为本申请实施例提供了针对异常信息的大数据关系网络分析方法中异常匹配度进行调整可能的流程示意图；
图3为本申请实施例提供了针对异常信息的大数据关系网络分析***可能的结构示意图。
附图标记说明：数据库收集模块100，用户关系网络建立模块200，同义转换模块300，语料库生成模块400，新增信息获取模块500，信息识别模块600，信号拦截模块700。
具体实施方式
以下结合附图对本发明的示范性实施例作出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
实施例一
如图1所示，本申请实施例提供了针对异常信息的大数据关系网络分析方法，其中，所述方法包括：
Step-1：收集异常信息数据库，其中，所述异常信息数据库包括信息传输对象样本、信息被传输对象样本以及被传输信息样本；
Step-2：根据所述信息传输对象样本和所述信息被传输对象样本，对应建立用户关系网络；
收集包含异常信息的数据库，所述异常信息数据库可以包括信息传输对象样本、信息被传输对象样本以及被传输信息样本等信息；根据收集到的信息传输对象样本和信息被传输对象样本，建立相应的用户关系网络，这个过程可以通过一些社交网络分析算法，例如Degree Centrality、Betweenness Centrality等，对用户关系进行量化分析，然后根据分析结果建立用户关系网络；
在异常发生时建立起传输对象和被传输对象之间的关联，从而更好地理解和分析信息传输的过程，同时，通过建立起用户关系网络，可以更准确地识别和应对潜在的风险和问题。此外，还可以根据不同的应用场景和数据特征，灵活调整建立的算法、用户关系网络的表示方式以及数据采集方法等参数，以适应不同的需求和效果。
Step-3：采用NLP语言处理模块对所述被传输信息样本进行语义识别，获取语义关键词，并根据所述语义关键词进行同义转换，获取转换信息样本；
Step-4：将所述转换信息样本与所述被传输信息样本进行集成，生成信息识别语料库；
使用NLP（Natural Language Processing，自然语言处理）语言处理模块对被传输信息样本进行语义识别，可以通过一些先进的语义识别算法，例如词性标注、句法分析和语义角色标注等，对被传输信息样本进行深入的语义分析，从而获取其中的语义关键词；根据获取到的语义关键词，进行同义转换，可以通过一些自然语言处理技术，例如词向量模型、同义词词典等，对语义关键词进行同义转换，从而获取到转换信息样本；将转换信息样本与被传输信息样本进行集成，生成信息识别语料库，可以通过一些文本处理技术，例如分词、句子划分和语料库构建等，将转换后的信息样本与原始信息样本进行集成，生成用于后续信息识别的语料库。
在被传输信息样本的基础上，通过语义识别和同义转换等技术，获取到更加丰富的语义信息和表达方式，同时，通过将转换信息样本与被传输信息样本进行集成，可以建立起更加全面的信息识别语料库，为后续的信息识别和分析提供更加准确和可靠的数据支持。此外，还可以根据不同的应用场景和数据特征，灵活调整NLP语言处理的模块和算法、语料库的构建方法以及数据清洗和处理等参数，以适应不同的需求和效果。
Step-5：获取第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息；
Step-6：根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度；
Step-7：根据所述异常匹配度，生成第一预警信号，根据所述第一预警信号拦截所述第一新增信息。
从实时信息流中获取到第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息等关键信息；可以利用用户关系网络和信息识别语料库对第一新增信息进行识别，可以通过一些相似度匹配算法，例如余弦相似度、Jaccard相似度等，对获取到的第一新增信息与用户关系网络和信息识别语料库中的样本进行比较和分析，从而获取到异常匹配度，其中，所述异常匹配度可以反映第一新增信息是否与用户关系网络和信息识别语料库中的样本相匹配的程度
根据所述异常匹配度生成第一预警信号：如果异常匹配度大于等于预设阈值，那么可以认为第一新增信息存在异常情况，这时可以生成第一预警信号，预警信号的形式可以多样，例如可以通过邮件、短信、电话等方式通知相关人员。
根据生成的第一预警信号，可以拦截第一新增信息，避免异常信息的进一步传播，这个过程可以通过一些网络安全技术，例如防火墙、入侵检测***（IDS，IntrusionDetection System）等，对第一新增信息进行拦截和过滤，从而有效地应对潜在的风险和问题。
在第一时间内发现并拦截异常信息的传播，有效避免潜在风险和问题的发生，同时，通过与用户关系网络和信息识别语料库进行识别和匹配，可以更准确地识别和应对潜在的异常情况。此外，还可以根据不同的应用场景和数据特征，灵活调整识别的算法、相似度计算的参数以及预警信号的形式等参数，以适应不同的需求和效果。
进一步而言，根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度，本申请方法包括：
搭建双通道异常识别模型；
其中，所述双通道异常识别模型中的第一通道用于根据所述第一新增信息中的信息传输对象、信息被传输对象，与所述用户关系网络进行识别，获取关系网络匹配度；
所述双通道异常识别模型中的第二通道用于根据所述第一新增信息中的被传输信息，与所述信息识别语料库进行识别，获取信息匹配度；
根据所述关系网络匹配度和所述信息匹配度，输出所述异常匹配度。
信息传输对象与用户关系网络的匹配：双通道异常识别模型的第一通道将接收到的第一新增信息中的信息传输对象与用户关系网络进行比对，可以通过一些相似性度量方法，例如余弦相似度、Jaccard相似度等，对信息传输对象在用户关系网络中的位置和与其相邻节点的关系进行评估。
信息被传输对象与用户关系网络的匹配：第一通道将第一新增信息中的信息被传输对象与用户关系网络进行比对，可以采取类似的方法，对信息被传输对象在用户关系网络中的位置和与其相邻节点的关系进行评估。
被传输信息与信息识别语料库的匹配：双通道异常识别模型的第二通道将接收到的第一新增信息中的被传输信息与信息识别语料库进行比对，可以通过一些文本匹配或语义相似度度量方法，例如基于词袋模型的相似度、基于Word2Vec的相似度等，对被传输信息在信息识别语料库中的相似度和关联性进行评估。
输出异常匹配度：根据第一新增信息在用户关系网络和信息识别语料库中的匹配结果，可以计算出异常匹配度，涉及对各个通道的匹配度进行加权平均或逻辑组合，以得到最终的异常匹配度。
采用双通道异常识别模型可以同时从信息和关系两个维度对第一新增信息进行识别，增加了识别的准确性和全面性，同时，通过搭建双通道模型，可以并行处理信息和关系的匹配过程，提高了识别的效率。此外，根据不同的应用场景和数据特征，灵活调整模型中的通道数量、相似度度量方法以及权重分配等参数，具备可拓展性，可以适应各种不同的使用环境。
进一步而言，所述获取关系网络匹配度，本申请方法还包括：
根据所述第一新增信息中的信息传输对象与传输用户关系网络进行匹配度识别，获取第一匹配度；
根据所述第一新增信息中的信息被传输对象与被传输用户关系网络进行匹配度识别，获取第二匹配度；
根据所述第一匹配度和所述第二匹配度，输出所述关系网络匹配度。
信息传输对象与传输用户关系网络的匹配：对于第一新增信息中的信息传输对象，可以在用户关系网络中寻找与其相似的节点或子网络，可以通过一些相似性度量方法，例如余弦相似度、Jaccard相似度等，对信息传输对象和用户关系网络中的节点或子网络进行评估，将评估的结果作为第一匹配度。
信息被传输对象与被传输用户关系网络的匹配：对于第一新增信息中的信息被传输对象，可以在用户关系网络中寻找与其相似的节点或子网络，同样的，可以通过一些相似性度量方法，例如余弦相似度、Jaccard相似度等，对信息被传输对象和用户关系网络中的节点或子网络进行评估，将评估的结果可以作为第二匹配度。
关系网络匹配度的输出：根据第一匹配度和第二匹配度的结果，可以计算出关系网络匹配度，涉及对两个匹配度进行加权平均或逻辑组合，以得到所述关系网络匹配度。获取关系网络匹配度的方法可以从用户关系网络的节点或子网络层面评估第一新增信息与历史信息的相似性和关联性，进一步提高了识别的准确性和全面性，同时，通过分别对信息传输对象和信息被传输对象与用户关系网络的匹配度进行评估，可以更全面地考虑信息在关系网络中的位置和作用。此外，可以根据不同的应用场景和数据特征，灵活调整相似性度量方法以及权重分配等参数，以适应不同的需求。
本申请方法还包括：
根据所述异常信息数据库对应采集信息传输源网络样本；
根据所述传输源网络样本中各个样本的网络环境安全等级，生成网络环境识别库；
获取所述第一新增信息的实时网络环境；
根据所述网络环境识别库对所述实时网络环境进行识别，得到环境匹配度，根据所述环境匹配度对所述异常匹配度进行调整。
采集信息传输源网络样本：从异常信息数据库中提取出相关的信息传输源网络样本，所述信息传输源网络样本包括网络拓扑结构、网络节点信息、网络流量数据；生成网络环境识别库：根据采集到的信息传输源网络样本，可以提取出各个样本的网络环境安全等级，可以通过一些安全评估方法，例如模糊综合评价、灰色关联度分析等，对网络环境的安全性进行评估和分级，评估的结果可以作为网络环境识别库的输入，用于生成相应的网络环境识别模型。
在获取第一新增信息的实时网络环境时，可以使用一些网络监控和采集工具，例如Sniffer、Wireshark等，对当前的网络流量、网络拓扑结构、网络节点等进行实时监测和采集；实时网络环境识别：利用之前生成的网络环境识别库或模型，可以对实时网络环境进行识别，可以采用一些分类或聚类算法，例如支持向量机（SVM，support vectormachines）、K-means等，对实时网络环境和历史样本进行比较和分析，从而得到环境匹配度。
异常匹配度调整：根据环境匹配度的结果，可以对异常匹配度进行调整，涉及对异常匹配度进行加权平均或逻辑组合，以得到最终的异常匹配度。基于历史异常信息数据库中的样本数据，生成网络环境识别库，从而对实时网络环境进行准确的识别和匹配，同时，通过将实时网络环境与历史样本进行比较和分析，可以更全面地考虑网络环境的变化对异常匹配度的影响。此外，根据不同的应用场景和数据特征，灵活调整生成网络环境识别库的方法、分类或聚类算法以及权重分配等参数，以适应不同的需求。
如图2所示，本申请方法还包括：
获取信息传输路径样本，并根据所述信息传输路径样本生成路径样本库，其中，所述信息传输路径样本包括路径中间节点；
获取所述第一新增信息的实时传输路径；
根据所述实时传输路径与所述路径样本库进行识别，得到路径匹配度，根据所述路径匹配度对所述异常匹配度进行调整。
获取信息传输路径样本：可以从异常信息数据库中提取出相关的信息传输路径样本，所述信息传输路径样本包括但不限于路径的中间节点、路径长度、路径上的传输时间；生成路径样本库：根据获取到的信息传输路径样本，可以从中提取出路径中间节点的信息，可以通过一些聚类或分类算法，例如K-means、决策树等，对路径中间节点的特征进行聚类或分类，生成相应的路径样本库。
获取实时传输路径：在获取第一新增信息的实时传输路径时，可以使用一些网络监控和采集工具，例如Sniffer、Wireshark等，对当前的网络流量、网络拓扑结构、网络节点等进行实时监测和采集；实时传输路径识别：利用之前生成的路径样本库或模型，可以对实时传输路径进行识别。这个过程可以采用一些分类或聚类算法，例如支持向量机（SVM）、K-means等，对实时传输路径和历史样本进行比较和分析，从而得到路径匹配度。
异常匹配度调整：根据路径匹配度的结果，可以对异常匹配度进行调整，涉及对异常匹配度进行加权平均或逻辑组合，以得到调整后的异常匹配度。基于历史异常信息数据库中的样本数据，生成路径样本库，从而对实时传输路径进行准确的识别和匹配，同时，通过将实时传输路径与历史样本进行比较和分析，可以更全面地考虑传输路径的变化对异常匹配度的影响。
根据所述异常匹配度，生成第一预警信号，本申请方法包括：
判断所述异常匹配度是否大于等于第一预设异常匹配度；
当所述异常匹配度大于等于所述第一预设异常匹配度，生成所述第一预警信号；
当所述异常匹配度小于所述第一预设异常匹配度，将所述第一新增信息的被传输对象进行标识，生成标识用户库，基于所述标识用户库进行预警识别。
判断异常匹配度：对获取到的异常匹配度进行判断，可以通过比较异常匹配度和第一预设异常匹配度的值来实现；生成第一预警信号：如果异常匹配度大于等于第一预设异常匹配度，那么可以认为存在异常情况，这时可以发出第一预警信号，其中，所述第一预警信号的形式可以多样，例如可以通过邮件、短信、电话等方式通知相关人员，以便及时对潜在风险进行处理和应对。
标识被传输对象：如果异常匹配度小于第一预设异常匹配度，那么可以将第一新增信息的被传输对象进行标识，生成标识用户库，可以通过一些聚类或分类算法，例如K-means、决策树等，对被传输对象进行聚类或分类，生成相应的标识用户库；基于标识用户库进行预警识别：利用标识用户库对预警信号进行识别，可以采用一些分类或聚类算法，例如支持向量机（SVM）、K-means等，对预警信号和标识用户库中的用户进行比较和分析，从而进行预警识别。在异常匹配度达到预设阈值时及时发出预警信号，有效应对潜在风险，同时，通过将被传输对象进行标识并生成标识用户库，可以更准确地识别和应对潜在的异常情况。
基于所述标识用户库进行预警识别，本申请方法包括：
当所述标识用户库中任一用户接收第二新增信息，获取所述第二新增信息的异常匹配度；
当所述第二新增信息的异常匹配度大于第二预设异常匹配度，获取第一预警信号。
标识用户库中任一用户接收第二新增信息：当标识用户库中的任意一个用户接收到第二新增信息时，开始对该信息进行处理；获取第二新增信息的异常匹配度：利用一些异常匹配度计算方法对第二新增信息进行异常匹配度的计算。这个过程可以通过比较第二新增信息与标识用户库中的用户行为模式、信息内容等因素进行匹配度计算，从而得到第二新增信息的异常匹配度。
判断第二新增信息的异常匹配度：对得到的异常匹配度进行判断：如果所述第二新增信息的异常匹配度大于第二预设异常匹配度，那么说明该信息存在较大异常风险；获取第一预警信号：如果第二新增信息的异常匹配度大于第二预设异常匹配度，那么可以发出第一预警信号。通过利用标识用户库中的用户行为模式等信息进行预警识别，可以更准确全面地识别和应对潜在的异常情况。
综上所述，本申请实施例所提供的针对异常信息的大数据关系网络分析方法及***具有如下技术效果：
1．通过深入分析海量数据，可以发现更加细微和隐蔽的异常模式，从而提高了检测的精确度。
2．运用并行计算和分布式处理等技术，快速响应和应对网络攻击等异常情况，能够快速、高效地处理海量数据，有效避免了潜在风险和问题的发生。
3．通过大数据分析，能够更准确地识别和应对潜在的异常情况。
4．获取信息传输路径样本，并根据信息传输路径样本生成路径样本库；获取第一新增信息的实时传输路径；根据实时传输路径与路径样本库进行识别，得到路径匹配度，根据路径匹配度对异常匹配度进行调整。基于历史异常信息数据库中的样本数据，生成路径样本库，从而对实时传输路径进行准确的识别和匹配，同时，通过将实时传输路径与历史样本进行比较和分析，可以更全面地考虑传输路径的变化对异常匹配度的影响。
实施例二
基于与前述实施例中针对异常信息的大数据关系网络分析方法相同的发明构思，如图3所示，本申请实施例提供了针对异常信息的大数据关系网络分析***，其中，所述***包括：
数据库收集模块100，用于收集异常信息数据库，其中，所述异常信息数据库包括信息传输对象样本、信息被传输对象样本以及被传输信息样本；
用户关系网络建立模块200，用于根据所述信息传输对象样本和所述信息被传输对象样本，对应建立用户关系网络；
同义转换模块300，用于采用NLP语言处理模块对所述被传输信息样本进行语义识别，获取语义关键词，并根据所述语义关键词进行同义转换，获取转换信息样本；
语料库生成模块400，用于将所述转换信息样本与所述被传输信息样本进行集成，生成信息识别语料库；
新增信息获取模块500，用于获取第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息；
信息识别模块600，用于根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度；
信号拦截模块700，用于根据所述异常匹配度，生成第一预警信号，根据所述第一预警信号拦截所述第一新增信息。
进一步地，该***还包括：
搭建双通道异常识别模型；
其中，所述双通道异常识别模型中的第一通道用于根据所述第一新增信息中的信息传输对象、信息被传输对象，与所述用户关系网络进行识别，获取关系网络匹配度；
所述双通道异常识别模型中的第二通道用于根据所述第一新增信息中的被传输信息，与所述信息识别语料库进行识别，获取信息匹配度；
根据所述关系网络匹配度和所述信息匹配度，输出所述异常匹配度。
进一步地，该***还包括：
根据所述第一新增信息中的信息传输对象与传输用户关系网络进行匹配度识别，获取第一匹配度；
根据所述第一新增信息中的信息被传输对象与被传输用户关系网络进行匹配度识别，获取第二匹配度；
根据所述第一匹配度和所述第二匹配度，输出所述关系网络匹配度。
进一步地，该***还包括：
根据所述异常信息数据库对应采集信息传输源网络样本；
根据所述传输源网络样本中各个样本的网络环境安全等级，生成网络环境识别库；
获取所述第一新增信息的实时网络环境；
根据所述网络环境识别库对所述实时网络环境进行识别，得到环境匹配度，根据所述环境匹配度对所述异常匹配度进行调整。
进一步地，该***还包括：
获取信息传输路径样本，并根据所述信息传输路径样本生成路径样本库，其中，所述信息传输路径样本包括路径中间节点；
获取所述第一新增信息的实时传输路径；
根据所述实时传输路径与所述路径样本库进行识别，得到路径匹配度，根据所述路径匹配度对所述异常匹配度进行调整。
进一步地，该***还包括：
判断所述异常匹配度是否大于等于第一预设异常匹配度；
当所述异常匹配度大于等于所述第一预设异常匹配度，生成所述第一预警信号；
当所述异常匹配度小于所述第一预设异常匹配度，将所述第一新增信息的被传输对象进行标识，生成标识用户库，基于所述标识用户库进行预警识别。
进一步地，该***还包括：
当所述标识用户库中任一用户接收第二新增信息，获取所述第二新增信息的异常匹配度；
当所述第二新增信息的异常匹配度大于第二预设异常匹配度，获取第一预警信号。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (6)
1.针对异常信息的大数据关系网络分析方法，其特征在于，所述方法包括：
收集异常信息数据库，其中，所述异常信息数据库包括信息传输对象样本、信息被传输对象样本以及被传输信息样本；
根据所述信息传输对象样本和所述信息被传输对象样本，对应建立用户关系网络；
采用NLP语言处理模块对所述被传输信息样本进行语义识别，获取语义关键词，并根据所述语义关键词进行同义转换，获取转换信息样本；
将所述转换信息样本与所述被传输信息样本进行集成，生成信息识别语料库；
获取第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息；
根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度；
根据所述异常匹配度，生成第一预警信号，包括，判断所述异常匹配度是否大于等于第一预设异常匹配度；
当所述异常匹配度大于等于所述第一预设异常匹配度，生成所述第一预警信号；
当所述异常匹配度小于所述第一预设异常匹配度，将所述第一新增信息的被传输对象进行标识，生成标识用户库，基于所述标识用户库进行预警识别，包括，当所述标识用户库中任一用户接收第二新增信息，获取所述第二新增信息的异常匹配度；
当所述第二新增信息的异常匹配度大于第二预设异常匹配度，获取第一预警信号，根据所述第一预警信号拦截所述第一新增信息。
2.如权利要求1所述的方法，其特征在于，根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度，方法还包括：
搭建双通道异常识别模型；
其中，所述双通道异常识别模型中的第一通道用于根据所述第一新增信息中的信息传输对象、信息被传输对象，与所述用户关系网络进行识别，获取关系网络匹配度；
所述双通道异常识别模型中的第二通道用于根据所述第一新增信息中的被传输信息，与所述信息识别语料库进行识别，获取信息匹配度；
根据所述关系网络匹配度和所述信息匹配度，输出所述异常匹配度。
3.如权利要求2所述的方法，其特征在于，所述获取关系网络匹配度的方法还包括：
根据所述第一新增信息中的信息传输对象与传输用户关系网络进行匹配度识别，获取第一匹配度；
根据所述第一新增信息中的信息被传输对象与被传输用户关系网络进行匹配度识别，获取第二匹配度；
根据所述第一匹配度和所述第二匹配度，输出所述关系网络匹配度。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述异常信息数据库对应采集信息传输源网络样本；
根据所述传输源网络样本中各个样本的网络环境安全等级，生成网络环境识别库；
获取所述第一新增信息的实时网络环境；
根据所述网络环境识别库对所述实时网络环境进行识别，得到环境匹配度，根据所述环境匹配度对所述异常匹配度进行调整。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取信息传输路径样本，并根据所述信息传输路径样本生成路径样本库，其中，所述信息传输路径样本包括路径中间节点；
获取所述第一新增信息的实时传输路径；
根据所述实时传输路径与所述路径样本库进行识别，得到路径匹配度，根据所述路径匹配度对所述异常匹配度进行调整。
6.针对异常信息的大数据关系网络分析***，其特征在于，用于实施权利要求1-5任意一项所述的针对异常信息的大数据关系网络分析方法，包括：
数据库收集模块，用于收集异常信息数据库，其中，所述异常信息数据库包括信息传输对象样本、信息被传输对象样本以及被传输信息样本；
用户关系网络建立模块，用于根据所述信息传输对象样本和所述信息被传输对象样本，对应建立用户关系网络；
同义转换模块，用于采用NLP语言处理模块对所述被传输信息样本进行语义识别，获取语义关键词，并根据所述语义关键词进行同义转换，获取转换信息样本；
语料库生成模块，用于将所述转换信息样本与所述被传输信息样本进行集成，生成信息识别语料库；
新增信息获取模块，用于获取第一新增信息，所述第一新增信息包括信息传输对象、信息被传输对象以及被传输信息；
信息识别模块，用于根据所述第一新增信息，分别与所述用户关系网络和所述信息识别语料库进行识别，获取异常匹配度；
信号拦截模块，用于根据所述异常匹配度，生成第一预警信号，包括，判断所述异常匹配度是否大于等于第一预设异常匹配度；
当所述异常匹配度大于等于所述第一预设异常匹配度，生成所述第一预警信号；
当所述异常匹配度小于所述第一预设异常匹配度，将所述第一新增信息的被传输对象进行标识，生成标识用户库，基于所述标识用户库进行预警识别，包括，当所述标识用户库中任一用户接收第二新增信息，获取所述第二新增信息的异常匹配度；
当所述第二新增信息的异常匹配度大于第二预设异常匹配度，获取第一预警信号，根据所述第一预警信号拦截所述第一新增信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410147578.3A CN117669594B (zh) | 2024-02-02 | 2024-02-02 | 针对异常信息的大数据关系网络分析方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410147578.3A CN117669594B (zh) | 2024-02-02 | 2024-02-02 | 针对异常信息的大数据关系网络分析方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117669594A CN117669594A (zh) | 2024-03-08 |
| CN117669594B true CN117669594B (zh) | 2024-04-16 |
Family
ID=90073590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410147578.3A Active CN117669594B (zh) | 2024-02-02 | 2024-02-02 | 针对异常信息的大数据关系网络分析方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117669594B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564467A (zh) * | 2018-05-09 | 2018-09-21 | 平安普惠企业管理有限公司 | 一种用户风险等级的确定方法及设备 |
| CN111385244A (zh) * | 2018-12-27 | 2020-07-07 | ***通信集团四川有限公司 | 异常流量识别方法、装置、设备、***和介质 |
| CN113726784A (zh) * | 2021-08-31 | 2021-11-30 | 平安医疗健康管理股份有限公司 | 一种网络数据的安全监控方法、装置、设备及存储介质 |
| CN114598551A (zh) * | 2022-03-29 | 2022-06-07 | 南方电网科学研究院有限责任公司 | 一种应对持续威胁攻击的信息网络安全预警*** |
| CN115691034A (zh) * | 2022-11-01 | 2023-02-03 | 广东职业技术学院 | 一种智能家居异常情况告警方法、***及存储介质 |
| CN116208417A (zh) * | 2023-03-07 | 2023-06-02 | 河南省通信工程局有限责任公司 | 一种基于大数据的通信异常感知***及方法 |
| CN116800536A (zh) * | 2023-07-28 | 2023-09-22 | 吴锦豪 | 一种基于大数据分析的网络安全监测*** |
| CN116996325A (zh) * | 2023-09-25 | 2023-11-03 | 江苏天创科技有限公司 | 一种基于云计算的网络安全检测方法及*** |
| CN117081851A (zh) * | 2023-10-10 | 2023-11-17 | 网思科技股份有限公司 | 网络安全态势感知信息的显示方法、***和介质 |
| CN117271767A (zh) * | 2023-09-15 | 2023-12-22 | 上海海启科技有限公司 | 基于多智能体的运维知识库的建立方法 |
| CN117478433A (zh) * | 2023-12-27 | 2024-01-30 | 天津市品茗科技有限公司 | 一种网络与信息安全动态预警*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101296128A (zh) * | 2007-04-24 | 2008-10-29 | 北京大学 | 一种对互联网信息进行异常状态监测的方法 |
-
2024
- 2024-02-02 CN CN202410147578.3A patent/CN117669594B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564467A (zh) * | 2018-05-09 | 2018-09-21 | 平安普惠企业管理有限公司 | 一种用户风险等级的确定方法及设备 |
| CN111385244A (zh) * | 2018-12-27 | 2020-07-07 | ***通信集团四川有限公司 | 异常流量识别方法、装置、设备、***和介质 |
| CN113726784A (zh) * | 2021-08-31 | 2021-11-30 | 平安医疗健康管理股份有限公司 | 一种网络数据的安全监控方法、装置、设备及存储介质 |
| CN114598551A (zh) * | 2022-03-29 | 2022-06-07 | 南方电网科学研究院有限责任公司 | 一种应对持续威胁攻击的信息网络安全预警*** |
| CN115691034A (zh) * | 2022-11-01 | 2023-02-03 | 广东职业技术学院 | 一种智能家居异常情况告警方法、***及存储介质 |
| CN116208417A (zh) * | 2023-03-07 | 2023-06-02 | 河南省通信工程局有限责任公司 | 一种基于大数据的通信异常感知***及方法 |
| CN116800536A (zh) * | 2023-07-28 | 2023-09-22 | 吴锦豪 | 一种基于大数据分析的网络安全监测*** |
| CN117271767A (zh) * | 2023-09-15 | 2023-12-22 | 上海海启科技有限公司 | 基于多智能体的运维知识库的建立方法 |
| CN116996325A (zh) * | 2023-09-25 | 2023-11-03 | 江苏天创科技有限公司 | 一种基于云计算的网络安全检测方法及*** |
| CN117081851A (zh) * | 2023-10-10 | 2023-11-17 | 网思科技股份有限公司 | 网络安全态势感知信息的显示方法、***和介质 |
| CN117478433A (zh) * | 2023-12-27 | 2024-01-30 | 天津市品茗科技有限公司 | 一种网络与信息安全动态预警*** |
Non-Patent Citations (3)
| Title |
|---|
| 大数据分析下信息异常传输路径实时校正仿真;杨娜;;计算机仿真;20180515(05);全文 * |
| 网络信息传输异常数据检测仿真研究;黄军伟;唐娴;;计算机仿真;20181015(10);全文 * |
| 网络文本蕴含关系识别的异常信息获取仿真;赵海燕;刘琨;王廷梅;杜丽娟;;计算机仿真;20200815(08);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117669594A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106790256B (zh) | 用于危险主机监测的主动机器学习*** | |
| CN104468262B (zh) | 一种基于语义敏感的网络协议识别方法及*** | |
| CN111538741B (zh) | 一种面向警情大数据的深度学习分析方法及*** | |
| CN114553983B (zh) | 一种基于深度学习高效工业控制协议解析方法 | |
| CN115277180B (zh) | 一种区块链日志异常检测与溯源*** | |
| Zheng | Intrusion detection based on convolutional neural network | |
| Mohamed et al. | Exploiting incremental classifiers for the training of an adaptive intrusion detection model. | |
| CN117473571B (zh) | 一种数据信息安全处理方法及*** | |
| CN116186759A (zh) | 一种面向隐私计算的敏感数据识别与脱敏方法 | |
| CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 | |
| Ao | Using machine learning models to detect different intrusion on NSL-KDD | |
| CN117669594B (zh) | 针对异常信息的大数据关系网络分析方法及*** | |
| CN113837481B (zh) | 一种基于区块链的金融大数据管理*** | |
| CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| Gräßler et al. | Automated Requirement Dependency Analysis for Complex Technical Systems | |
| CN114218569A (zh) | 数据分析方法、装置、设备、介质和产品 | |
| Mugabo et al. | Intrusion detection method based on mapreduce for evolutionary feature selection in mobile cloud computing | |
| CN111475380A (zh) | 一种日志分析方法和装置 | |
| CN111565192A (zh) | 基于可信度的内网安全威胁多模型协同防御方法 | |
| CN111209158A (zh) | 服务器集群的挖矿监控方法及集群监控*** | |
| Ramamoorthy et al. | Integration of fuzzy with incremental import vector machine for intrusion detection | |
| CN117149500B (zh) | 基于指标数据和日志数据的异常根因获得方法及*** | |
| Deepa et al. | Efficient intrusion detection system using random tree | |
| CN116308115B (zh) | 一种基于网络探测技术的电力信息资产识别与分析方法 | |
| Salehi et al. | A DOS and network probe attack detection based on HMM using fuzzy inference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |