CN112860914A - 一种多元标识的网络数据分析***及方法 - Google Patents

一种多元标识的网络数据分析***及方法 Download PDF

Info

Publication number
CN112860914A
CN112860914A CN202110232372.7A CN202110232372A CN112860914A CN 112860914 A CN112860914 A CN 112860914A CN 202110232372 A CN202110232372 A CN 202110232372A CN 112860914 A CN112860914 A CN 112860914A
Authority
CN
China
Prior art keywords
data
identification
layer
module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110232372.7A
Other languages
English (en)
Other versions
CN112860914B (zh
Inventor
吴云峰
张尼
薛继东
阙龙建
韩庆敏
李末军
朱广宇
魏利卓
许彦彬
彭思瑀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
6th Research Institute of China Electronics Corp
Original Assignee
6th Research Institute of China Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 6th Research Institute of China Electronics Corp filed Critical 6th Research Institute of China Electronics Corp
Priority to CN202110232372.7A priority Critical patent/CN112860914B/zh
Publication of CN112860914A publication Critical patent/CN112860914A/zh
Application granted granted Critical
Publication of CN112860914B publication Critical patent/CN112860914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种多元标识的网络数据分析***及方法。该***包括：数据接入层，用于接收多种不同类型的标识***的网络资源运行数据及标识数据；数据存储层，用于接收并存储所述数据接入层的预设数据以及所述统计分析层分析后的结果，同时为所述统计分析层提供数据来源；统计分析层，用于接收所述数据接入层的实时数据以及所述数据存储层的数据，并基于接收的所述数据接入层的实时数据以及所述数据存储层的数据，构建第一知识图谱集；其中，所述第一知识图谱集表征所述多种不同类型的标识***的覆盖范围关联区域或行业分布关联关系。通过上述方式实现了对不同标识***的覆盖关联区域以及行业分布关联关系的分析统计管理。

Description

一种多元标识的网络数据分析***及方法
技术领域
本申请涉及数据分析技术领域，具体而言，涉及一种多元标识的网络数据分析***及方法。
背景技术
目前，物联网中存在着多种标识***以解决物品或商品联网的问题。然而，对于物联网中单个标识***而言，其所描述的只是联网对象的不同类型和不同层次的信息，并且单个标识所能够覆盖的物品范围也只是个别类的物品，涉及部分企业。且互联网中的域名解析***也属于一类标识***，其也只覆盖了连接互联网的设备。当前，尚不存在能够针对不同标识***进行分析统计的网络数据分析***。
发明内容
本申请实施例的目的在于提供一种多元标识的网络数据分析***及方法，以改善“当前，尚不存在能够针对不同标识***进行分析统计的网络数据分析***”的问题。
本发明是这样实现的：
第一方面，本申请实施例提供一种多元标识的网络数据分析***，包括：数据接入层、统计分析层以及数据存储层；所述数据接入层分别与所述统计分析层以及所述数据存储层连接，所述统计分析层还与所述数据存储层连接；所述数据接入层用于接收多种不同类型的标识***的网络资源运行数据及标识数据；其中，所述网络资源运行数据包括每个所述标识***的日志数据、运行数据以及根数据；所述标识数据包括每个标识***所包含的物品的标识信息；所述数据存储层用于接收并存储所述数据接入层的预设数据以及所述统计分析层分析后的结果，同时为所述统计分析层提供数据来源；其中，所述预设数据包括所述数据接入层中的静态属性数据、数据量大于第一阈值且更新频率小于第二阈值的数据；所述统计分析层，用于接收所述数据接入层的实时数据以及所述数据存储层的数据，并基于接收的所述数据接入层的实时数据以及所述数据存储层的数据，构建第一知识图谱集；其中，所述第一知识图谱集表征所述多种不同类型的标识***的覆盖范围关联区域或行业分布关联关系；所述数据接入层的实时数据为所述数据接入层实时接收的所述多种不同类型的标识***的网络资源运行数据及标识数据。
在本申请实施例中，数据接入层用于接收多种不同类型的标识***的网络资源运行数据及标识数据，然后通过统计分析层来基于上述数据构建第一知识图谱集，最后将其存储至数据存储层中，通过存储的第一知识图谱集实现了对不同标识***的覆盖关联区域以及行业分布关联关系的分析统计管理。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述根数据包括根服务器的根区管理数据和根解析服务数据，相应的，所述统计分析层还用于基于接收的所述数据接入层的实时数据以及所述数据存储层的数据，构建第二知识图谱集；其中，所述第二知识图谱集表征所述多种不同类型的标识***的标识解析情况。
在本申请实施例中，统计分析层还用于基于接收的数据接入层的实时数据以及数据存储层的数据，构建第二知识图谱集，最后将第二知识图谱集存储至数据存储层中，通过存储的第二知识图谱集实现了对不同标识***的标识解析情况的分析统计管理。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述统计分析层还用于接收并基于所述多种不同类型的标识***的运行数据构建第三知识图谱集，其中，所述第三知识图谱集表征所述多种不同类型的标识***的***运行状况。
在本申请实施例中，统计分析层还用基于多种不同类型的标识***的运行数据构建第三知识图谱集，最后将第三知识图谱集存储至数据存储层中，通过存储的第三知识图谱集实现了对不同标识***的***运行状况的分析统计管理。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述标识***包括域名标识***、句柄标识***、对象标识符标识***、国际物品编码组织标识***以及电子代码***中的至少两个***。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述数据存储层还包括：数据管理模块；所述数据管理模块包括数据清洗模块；所述数据清洗模块用于数据清洗去重；其中，所述数据清洗模块通过分布式流式引擎对所述数据接入层传输的实时数据进行数据清洗去重，所述数据清洗模块通过离线批处理计算引擎对所述数据存储层中的分布式数据库的数据进行数据清洗去重。
在本申请实施例中，数据存储层还包括数据管理模块，数据管理模块用于实现数据清洗去重，且通过不同的处理引擎来对不同类型的数据进行数据清洗去重，能够提高数据清洗的可靠性，进而有效的过滤脏数据。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述数据管理模块还包括：数据稽查模块、数据备份模块、数据监管模块、数据服务接口模块、任务管理与资源调度模块以及用户管理模块；所述数据稽查模块用于实时核查所述多种不同类型的标识***传输过程的漏报数据、误报数据；所述数据备份模块用于对存储的数据进行数据灾备；所述数据监管模块用于对所述多元标识的网络数据分析***的操作行为的监控、运行实例的监控以及配置信息的管理；所述数据服务接口用于提供数据读写服务；所述任务管理与资源调度模块用于实现所述多元标识的网络数据分析***内不同模块之间的管理和资源调度；所述用户管理模块用于访问权限的管理。
在本申请实施例中，数据管理模块还包括数据稽查模块、数据备份模块、数据监管模块、数据服务接口模块、任务管理与资源调度模块以及用户管理模块。通过上述模块能够实现对于数据的有效管理以及对于操作行为的监管，提高了***管理的可靠性以及***运行的稳定性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述多元标识的网络数据分析***还包括业务可视化层；所述业务可视化层包括网络标识统计展示模块；所述网络标识统计展示模块用于展示所述第一知识图谱集以及所述第二知识图谱集。
在本申请实施例中，多元标识的网络数据分析***还包括业务可视化层。通过业务可视化层能够实现对于第一知识图谱集以及第二知识图谱集的可视化展示，便于用户直观的了解不同标识***的覆盖关联区域、行业分布关联关系以及标识解析情况。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述多元标识的网络数据分析***还包括业务可视化层；所述业务可视化层包括***运行状态展示模块；所述***运行状态展示模块用于展示所述第三知识图谱集。
在本申请实施例中，多元标识的网络数据分析***还包括业务可视化层。通过业务可视化层能够实现对于第三知识图谱集的可视化展示，便于用户直观的了解不同标识***的***运行状态。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述业务可视化层还包括：网络标识检索模块；所述网络标识检索模块用于接收用户输入的关键字，基于所述关键字从所述数据存储层查找出与所述关键字匹配的检索数据，并将所述检索数据进行展示。
在本申请实施例中，多元标识的网络数据分析***还包括网络标识检索模块。通过网络标识检索模块能够便于用于进行数据查询。
第二方面，本申请实施例还提供一种多元标识的网络数据分析方法，应用于如上述第一方面实施例所提供的多元标识的网络数据分析***中，该方法包括：接收多种不同类型的标识***的网络资源运行数据及标识数据；其中，所述网络资源运行数据包括每个所述标识***的日志数据、运行数据以及根数据；所述标识数据包括每个所述标识***所包含的物品的标识信息；基于所述多种不同类型的标识***的网络资源运行数据及标识数据构建第一知识图谱集，其中，所述第一知识图谱集中的每个知识图谱表征所述多种不同类型的标识***的覆盖管理区域或行业分布关联关系。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种多元标识的网络数据分析***的结构框图。
图2为本申请实施例提供的另一种多元标识的网络数据分析***的结构框图。
图3为本申请实施例提供的又一种多元标识的网络数据分析***的结构框图。
图4为本申请实施例提供的一种多元标识的网络数据分析方法的步骤流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
鉴于当前尚不存在能够针对不同标识***进行分析统计的网络数据分析***，本申请发明人经过研究探索，提出以下实施例以解决上述问题。
请参阅图1，本申请实施例提供一种多元标识的网络数据分析***，包括：数据接入层、统计分析层以及数据存储层。
其中，数据存储层分别与数据接入层以及统计分析层连接。统计分析层还与数据接入层连接。
数据接入层用于接收多种不同类型的标识***的网络资源运行数据及标识数据。其中，网络资源运行数据包括每个标识***的日志数据、运行数据以及根数据；标识数据包括每个标识***所包含的物品的标识信息。
其中，标识***包括DNS(Domain Name System，域名***)***、Handle(句柄)标识***、OID(Object Identifier，对象标识符)标识***、GS1(Globe standard 1，国际物品编码组织标识)***以及Ecode(电子代码)标识***中的至少两个***。
需要说明的是，DNS***作为将域名和IP(Internet Protocol，网际互联协议)地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。Handle标识***为基于标码技术的物联网标识服务子平台，是工业物联网的基础设施，用于对整个***内涉及到的物联网标识进行统一管理。OID标识***为一种对象标识符***，主要采用分层树形结构对任何类型的对象(包括实体对象、虚拟对象、复合对象)进行全球无歧义、唯一命名。GS1***是全球统一标识***，制定了全球标准、全球唯一商品身份证。Ecode标识***为企业提供标准化的一物一标识及解析服务，采用Ecode作为单品标识，在产品上赋予二维码或RFID(Radio Frequency Identification，射频识别)标签的载体，可实现产品追溯查伪、防伪验证。
于本申请实施例中，标识***同时包括DNS***、Handle标识***、OID标识***、GS1***以及Ecode标识***。相应的，数据接入层用于接收DNS***、Handle标识***、OID标识***、GS1***以及Ecode标识***的标识数据。
数据存储层用于接收并存储数据接入层的预设数据以及统计分析层分析后的结果，同时为统计分析层提供数据来源；其中，预设数据包括数据接入层中的静态属性数据、数据量大于第一阈值且更新频率小于第二阈值的数据。
上述的第一阈值以及第二阈值可以根据实际情况而定，本申请不作限定。可以理解的是，数据存储层可用于存储数据量较大且更新频率较低的数据。上述的静态属性数据可以包括但不限于：SOA(Start Of Authority，起始授权机构)记录，指明该区域的权威；NS(Name Server，域名服务器)记录，列出该区域的名称服务器；A(Address，地址)记录，名称到地址的映射；PTR(Pointer Record，指针记录)，地址到名称的映射。
统计分析层，用于接收数据接入层的实时数据以及数据存储层的数据，并基于接收的数据接入层的实时数据以及数据存储层的数据，构建第一知识图谱集；其中，第一知识图谱集表征多种不同类型的标识***的覆盖范围关联区域或行业分布关联关系，所述数据接入层的实时数据为所述数据接入层实时接收的所述多种不同类型的标识***的网络资源运行数据及标识数据。
示例性的，第一知识图谱可以表征GS1***中与Ecode标识***的覆盖关联区域。比如GS1***的覆盖区域主要为区域C，而Ecode标识***的覆盖区域主要为区域D，则通过构建的第一知识图谱可将两个标识***中的覆盖区域进行关联，也即，第一知识图谱表征不同标识***覆盖区域的重合区域和/或相异区域。
示例性的，第一知识图谱可以表征OID标识***与Ecode标识***的行业分布。比如，OID标识***主要涉及行业类型A、B；而Ecode标识***涉及行业类型A、B、C，由此可以表征不同类型标识***的行业分布关联关系。
综上，在本申请实施例中，数据接入层用于接收多种不同类型的标识***的网络资源运行数据及标识数据，然后通过统计分析层来基于上述数据构建第一知识图谱集，最后将其存储至数据存储层中，通过存储的第一知识图谱集实现了对不同标识***的覆盖关联区域以及行业分布关联关系的分析统计管理。
可选地，根数据包括根服务器的根区管理数据和根解析服务数据。标识***的日志数据包括该***的根服务器的解析日志数据以及各***对应的子***递归解析的日志数据。
相应的，统计分析层还用于基于接收的数据接入层的实时数据以及数据存储层的数据，构建第二知识图谱集；其中，第二知识图谱集表征多种不同类型的标识***的标识解析情况。
示例性的，第二知识图谱可以基于不同类型的标识***的标识解析成功率进行构建，比如GS1***中的商品A与Ecode标识***中的商品A的解析成功率的范围均在70％～80％之间，则可以构建表征GS1***中的商品A与Ecode标识***中的商品A的标识解析情况的第二知识图谱。
当统计分析层构建完成第二知识图谱集后，可以通过数据存储层进行存储。
综上，在本申请实施例中，统计分析层还用于基于接收的数据接入层的实时数据以及数据存储层的数据，构建第二知识图谱集，最后将第二知识图谱集存储至数据存储层中，通过存储的第二知识图谱集实现了对不同标识***的标识解析情况的分析统计管理。
于本申请实施例中，***运行数据包括***中的主机状态、交换机状态、业务服务状态、I/O(Input/Output，输入/输出)负载、网络流量、硬盘空间、http(HypertextTransfer Protocol，超文本传输协议)/ftp(File Transfer Protocol，文件传输协议)监控及防火墙状态信息。
相应的，统计分析层还用于接收并基于多种不同类型的标识***的运行数据构建第三知识图谱集，其中，第三知识图谱集表征多种不同类型的标识***的***运行状况。
示例性的，第三知识图谱可以基于不同类型的标识***的网络时延进行构建，第三知识图谱还可以基于不同类型的标识***的网络流量进行构建。
当统计分析层构建完成第三知识图谱集后，可以通过数据存储层进行存储。
综上，在本申请实施例中，统计分析层还用基于多种不同类型的标识***的运行数据构建第三知识图谱集，最后将第三知识图谱集存储至数据存储层中，通过存储的第三知识图谱集实现了对不同标识***的***运行状况的分析统计管理。
需要说明的是，数据存储层可以包括但不限于高热数据库、关系型数据库、非关系型数据库、分布式数据库以及图数据库。
数据存储层存储的数据主要有各个标识***所传输的标识数据、数字身份数据、域名数据、地址数据、路由数据、账户数据。其中，高热数据库可以是Redis(RemoteDictionary Server,远程字典服务)数据库，其主要存储使用频率高的数据。关系型数据库采用PostGreSQL(对象-关系数据库服务器)存储，主要用于存储结构化数据。非关系型数据采用HDFS(Hadoop Distributed File System，分布式文件***)/Hive(数据仓库工具)/HBase(一种开源数据库)/OSS(Object Storage Service，对象存储)存储。对于大量无法直接处理的非结构化数据，使用开放存储服务OSS。上述的知识图谱集主要存储于图数据库中。
可选地，数据存储层还包括：数据管理模块。数据管理模块包括数据清洗模块；数据清洗模块用于数据清洗去重。
在***进行数据接入时，实时数据直接保存到分布式消息队列；一些静态的属性数据(如数据类别)保存到缓存数据库；对于数据量较大且数据更新频率较低的数据源保存到分布式数据库中。
具体的，于本申请实施例中，数据清洗模块通过分布式流式引擎对数据接入层传输的实时数据进行数据清洗去重，也即通过分布式流式引擎读取分布式消息队列中的实时数据，然后将实时数据进行数据清洗去重。数据清洗模块还通过离线批处理计算引擎对数据存储层中的分布式数据库的数据进行数据清洗去重。两种数据处理方式在处理过程中通过关联缓存数据库中的相关属性来扩展原始数据的维度，最后这两部分数据清洗转换之后写入分布式数据仓库的分区表，由分布式数据仓库负责数据的中间存储。
需要说明的是，分布式流式引擎以及离线批处理计算引擎为常用的数据处理引擎，此处不作过多说明。
综上，在本申请实施例中，数据存储层还包括数据管理模块，数据管理模块用于实现数据清洗去重，且通过不同的处理引擎来对不同类型的数据进行数据清洗去重，能够提高数据清洗的可靠性，进而有效的过滤脏数据。
可选地，所述数据管理模块还包括：数据稽查模块、数据备份模块、数据监管模块、数据服务接口模块、任务管理与资源调度模块以及用户管理模块。
数据稽查模块用于实时核查所述多种不同类型的标识***传输过程的漏报数据、误报数据。
数据备份模块用于对存储的数据进行数据灾备。
数据监管模块用于对多元标识的网络数据分析***的操作行为的监控、运行实例的监控以及配置信息的管理。
数据服务接口用于提供数据读写服务。
任务管理与资源调度模块用于实现多元标识的网络数据分析***内不同模块之间的管理和资源调度。
用户管理模块用于访问权限的管理。
综上，在本申请实施例中，数据管理模块还包括数据稽查模块、数据备份模块、数据监管模块、数据服务接口模块、任务管理与资源调度模块以及用户管理模块。通过上述模块能够实现对于数据的有效管理以及对于操作行为的监管，提高了***管理的可靠性以及***运行的稳定性。
请参阅图2，可选地，多元标识的网络数据分析***还包括业务可视化层。业务可视化层可以提供接口给第三方查询。
其中，业务可视化层包括网络标识统计展示模块；网络标识统计展示模块用于展示第一知识图谱集以及第二知识图谱集。通过业务可视化层能够实现对于第一知识图谱集以及第二知识图谱集的可视化展示，便于用户直观的了解不同标识***的覆盖关联区域、行业分布关联关系以及标识解析情况。
可选地，业务可视化层还包括***运行状态展示模块；所述***运行状态展示模块用于展示所述第三知识图谱集。通过业务可视化层还能够实现对于第三知识图谱集的可视化展示，便于用户直观的了解不同标识***的***运行状态。
可选地，业务可视化层还包括：网络标识检索模块。
网络标识检索模块用于接收用户输入的关键字，基于关键字从数据存储层查找出与关键字匹配的检索数据，并将检索数据进行展示。通过网络标识检索模块能够便于用于进行数据查询。
示例性的，比如用户搜索商品A，则将与商品A相关联的信息进行展示，比如展示与商品A相关联的知识图谱中的信息。
可选地，业务可视化层还包括安全态势感知展示模块，安全态势感知展示模块用于***的安全态势，包括攻击事件展示、安全态势的展示。
可选地，业务可视化层还包括配置管理交互模块，配置管理交互模块用于提供对大数据平台用户的增删改查、权限设置以及配置管理等操作界面。
为了便于理解，请参阅图3，图3为本申请实施例提供的一种多元标识的网络数据分析***的完整架构，包括：数据接入层、数据存储层、统计分析层以及业务可视化层。
其中，数据接入层包括标识***标识数据、标识***日志数据、标识***的根数据(即工业互联网根数据)以及标识***运行数据。
标识***标识数据具体包括：DNS/Handle/OID/GS1/Ecode标识数据。标识***日志数据具体包括各***的解析日志数据以及各***对应的子***递归解析的日志数据。标识***的根服务器的管理数据具体包括各***的根数据。数据接入层还可包括数字身份信息。
其中，数据存储层包括高热数据库、关系型数据库、非关系型数据库、分布式数据库以及图数据库这五种数据库。数据存储层还包括数据清洗模块、数据稽查模块、数据备份模块、数据监管模块、数据服务接口模块、任务管理与资源调度模块以及用户管理模块。
其中，统计分析层可以细分为知识图谱管理模块、知识构建支撑模块、复杂知识在线匹配模块以及场景知识图谱模块。
知识图谱管理模块用于对构建的知识图谱进行管理。知识构建支撑模块用于对传输的数据进行挖掘和推演、构建对应的知识图谱。然后通过统计分析层的高并发知识访存接口，存储对数据存储层。复杂知识在线匹配模块根据场景知识图谱，对高速到达的各类数据进行关联分析，支撑实时的安全事件监测与评估，并将结果通过高并发知识访存接口写入到相应的存储模块中。场景知识图谱模块可以针对各个***的配置情况或者根据每个***特有的数据构建对应的场景知识图谱。
其中，业务可视化层包括网络标识统计展示模块、***运行状态展示模块、网络标识检索模块、安全态势感知展示模块以及配置管理交互模块。
需要说明的是，上述的各模块在前述实施例中均由对应说明，为了避免累赘，此处不作重复赘述。
请参阅图4，基于同一发明构思，本申请实施例还提供一种多元标识的网络数据分析方法，该方法应用于图1所示的多元标识的网络数据分析***100中。需要说明的是，本申请实施例提供的多元标识的网络数据分析方法不以图4及以下所示的顺序为限制，该方法包括：步骤S101-步骤S102。
步骤S101：接收多种不同类型的标识***的网络资源运行数据及标识数据；其中，所述网络资源运行数据包括每个所述标识***的日志数据、运行数据以及根数据；所述标识数据包括每个所述标识***所包含的物品的标识信息。
步骤S102：基于所述多种不同类型的标识***的网络资源运行数据及标识数据构建第一知识图谱集，其中，所述第一知识图谱集中的每个知识图谱表征所述多种不同类型的标识***的覆盖管理区域或行业分布关联关系。
可选地，根数据包括根服务器的根区管理数据和根解析服务数据，相应的，该方法还包括：基于接收的所述数据接入层的实时数据以及所述数据存储层的数据，构建第二知识图谱集；其中，所述第二知识图谱集表征所述多种不同类型的标识***的标识解析情况。
可选地，该方法还包括：接收并基于所述多种不同类型的标识***的运行数据构建第三知识图谱集，其中，所述第三知识图谱集表征所述多种不同类型的标识***的***运行状况。
需要说明的是，上述方法的具体实施过程在前述实施例中对于多元标识的网络数据分析***中已有说明，相同部分互相参考即可，本申请不作限定。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、方法和单元的具体工作过程，可以相互参考对应的具体过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种多元标识的网络数据分析***，其特征在于，包括：数据接入层、统计分析层以及数据存储层；
所述数据接入层分别与所述统计分析层以及所述数据存储层连接，所述统计分析层还与所述数据存储层连接；
所述数据接入层用于接收多种不同类型的标识***的网络资源运行数据及标识数据；其中，所述网络资源运行数据包括每个所述标识***的日志数据、运行数据以及根数据；所述标识数据包括每个标识***所包含的物品的标识信息；
所述数据存储层用于接收并存储所述数据接入层的预设数据以及所述统计分析层分析后的结果，同时为所述统计分析层提供数据来源；其中，所述预设数据包括所述数据接入层中的静态属性数据、数据量大于第一阈值且更新频率小于第二阈值的数据；
所述统计分析层，用于接收所述数据接入层的实时数据以及所述数据存储层的数据，并基于接收的所述数据接入层的实时数据以及所述数据存储层的数据，构建第一知识图谱集；其中，所述第一知识图谱集表征所述多种不同类型的标识***的覆盖范围关联区域或行业分布关联关系，所述数据接入层的实时数据为所述数据接入层实时接收的所述多种不同类型的标识***的网络资源运行数据及标识数据。
2.根据权利要求1所述的多元标识的网络数据分析***，其特征在于，所述根数据包括根服务器的根区管理数据和根解析服务数据，相应的，所述统计分析层还用于基于接收的所述数据接入层的实时数据以及所述数据存储层的数据，构建第二知识图谱集；其中，所述第二知识图谱集表征所述多种不同类型的标识***的标识解析情况。
3.根据权利要求1所述的多元标识的网络数据分析***，其特征在于，所述统计分析层还用于接收并基于所述多种不同类型的标识***的运行数据构建第三知识图谱集，其中，所述第三知识图谱集表征所述多种不同类型的标识***的***运行状况。
4.根据权利要求1所述的多元标识的网络数据分析***，其特征在于，所述标识***包括域名标识***、句柄标识***、对象标识符标识***、国际物品编码组织标识***以及电子代码***中的至少两个***。
5.根据权利要求1所述的多元标识的网络数据分析***，其特征在于，所述数据存储层还包括：数据管理模块；
所述数据管理模块包括数据清洗模块；所述数据清洗模块用于数据清洗去重；其中，所述数据清洗模块通过分布式流式引擎对所述数据接入层传输的实时数据进行数据清洗去重，所述数据清洗模块通过离线批处理计算引擎对所述数据存储层中的分布式数据库的数据进行数据清洗去重。
6.根据权利要求5所述的多元标识的网络数据分析***，其特征在于，所述数据管理模块还包括：数据稽查模块、数据备份模块、数据监管模块、数据服务接口模块、任务管理与资源调度模块以及用户管理模块；
所述数据稽查模块用于实时核查所述多种不同类型的标识***传输过程的漏报数据、误报数据；
所述数据备份模块用于对存储的数据进行数据灾备；
所述数据监管模块用于对所述多元标识的网络数据分析***的操作行为的监控、运行实例的监控以及配置信息的管理；
所述数据服务接口用于提供数据读写服务；
所述任务管理与资源调度模块用于实现所述多元标识的网络数据分析***内不同模块之间的管理和资源调度；
所述用户管理模块用于访问权限的管理。
7.根据权利要求2所述的多元标识的网络数据分析***，其特征在于，所述多元标识的网络数据分析***还包括业务可视化层；
所述业务可视化层包括网络标识统计展示模块；所述网络标识统计展示模块用于展示所述第一知识图谱集以及所述第二知识图谱集。
8.根据权利要求3所述的多元标识的网络数据分析***，其特征在于，所述多元标识的网络数据分析***还包括业务可视化层；
所述业务可视化层包括***运行状态展示模块；所述***运行状态展示模块用于展示所述第三知识图谱集。
9.根据权利要求7或8中任一项所述的多元标识的网络数据分析***，其特征在于，所述业务可视化层还包括：网络标识检索模块；
所述网络标识检索模块用于接收用户输入的关键字，基于所述关键字从所述数据存储层查找出与所述关键字匹配的检索数据，并将所述检索数据进行展示。
10.一种多元标识的网络数据分析方法，其特征在于，应用于如权利要求1所述的多元标识的网络数据分析***中，该方法包括：
接收多种不同类型的标识***的网络资源运行数据及标识数据；其中，所述网络资源运行数据包括每个所述标识***的日志数据、运行数据以及根数据；所述标识数据包括每个所述标识***所包含的物品的标识信息；
基于所述多种不同类型的标识***的网络资源运行数据及标识数据构建第一知识图谱集，其中，所述第一知识图谱集中的每个知识图谱表征所述多种不同类型的标识***的覆盖管理区域或行业分布关联关系。
CN202110232372.7A 2021-03-02 2021-03-02 一种多元标识的网络数据分析***及方法 Active CN112860914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110232372.7A CN112860914B (zh) 2021-03-02 2021-03-02 一种多元标识的网络数据分析***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110232372.7A CN112860914B (zh) 2021-03-02 2021-03-02 一种多元标识的网络数据分析***及方法

Publications (2)

Publication Number Publication Date
CN112860914A true CN112860914A (zh) 2021-05-28
CN112860914B CN112860914B (zh) 2022-03-11

Family

ID=75991060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110232372.7A Active CN112860914B (zh) 2021-03-02 2021-03-02 一种多元标识的网络数据分析***及方法

Country Status (1)

Country Link
CN (1) CN112860914B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2854362A1 (en) * 2013-09-30 2015-04-01 The Boeing Company Software network behavior analysis and identification system
EP3477538A1 (en) * 2017-10-30 2019-05-01 Facebook, Inc. System and method for determination of a digital destination based on a multi-part identifier
CN110297912A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 欺诈识别方法、装置、设备及计算机可读存储介质
CN110795417A (zh) * 2019-10-30 2020-02-14 北京明略软件***有限公司 一种知识图谱的存储***及方法
CN111241241A (zh) * 2020-01-08 2020-06-05 平安科技（深圳）有限公司 基于知识图谱的案件检索方法、装置、设备及存储介质
CN111523003A (zh) * 2020-04-27 2020-08-11 北京图特摩斯科技有限公司 一种以时序动态图谱为核心的数据应用方法及平台
CN111552813A (zh) * 2020-03-18 2020-08-18 国网浙江省电力有限公司 一种基于电网全业务数据的电力知识图谱构建方法
CN111966868A (zh) * 2020-09-07 2020-11-20 航天云网数据研究院(广东)有限公司 基于标识解析的数据治理方法及相关设备
US10880322B1 (en) * 2016-09-26 2020-12-29 Agari Data, Inc. Automated tracking of interaction with a resource of a message
CN112165391A (zh) * 2020-08-05 2021-01-01 宁夏无线互通信息技术有限公司 基于工业互联网标识解析的大数据决策分析***及方法
CN112260872A (zh) * 2020-10-22 2021-01-22 北京理工大学 一种基于字符串匹配的标识异构识别方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2854362A1 (en) * 2013-09-30 2015-04-01 The Boeing Company Software network behavior analysis and identification system
US10880322B1 (en) * 2016-09-26 2020-12-29 Agari Data, Inc. Automated tracking of interaction with a resource of a message
EP3477538A1 (en) * 2017-10-30 2019-05-01 Facebook, Inc. System and method for determination of a digital destination based on a multi-part identifier
CN110297912A (zh) * 2019-05-20 2019-10-01 平安科技（深圳）有限公司 欺诈识别方法、装置、设备及计算机可读存储介质
CN110795417A (zh) * 2019-10-30 2020-02-14 北京明略软件***有限公司 一种知识图谱的存储***及方法
CN111241241A (zh) * 2020-01-08 2020-06-05 平安科技（深圳）有限公司 基于知识图谱的案件检索方法、装置、设备及存储介质
CN111552813A (zh) * 2020-03-18 2020-08-18 国网浙江省电力有限公司 一种基于电网全业务数据的电力知识图谱构建方法
CN111523003A (zh) * 2020-04-27 2020-08-11 北京图特摩斯科技有限公司 一种以时序动态图谱为核心的数据应用方法及平台
CN112165391A (zh) * 2020-08-05 2021-01-01 宁夏无线互通信息技术有限公司 基于工业互联网标识解析的大数据决策分析***及方法
CN111966868A (zh) * 2020-09-07 2020-11-20 航天云网数据研究院(广东)有限公司 基于标识解析的数据治理方法及相关设备
CN112260872A (zh) * 2020-10-22 2021-01-22 北京理工大学 一种基于字符串匹配的标识异构识别方法及***

Also Published As

Publication number Publication date
CN112860914B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
US11119833B2 (en) Identifying behavioral patterns of events derived from machine data that reveal historical behavior of an information technology environment
US10063636B2 (en) Analyzing requests for data made by users that subscribe to a provider of network connectivity
US7809752B1 (en) Representing user behavior information
CN107273267A (zh) 基于elastic组件的日志分析方法
US20150180891A1 (en) Using network locations obtained from multiple threat lists to evaluate network data or machine data
EP1164511A2 (en) Method of managing slowly changing dimensions
CN110855473A (zh) 一种监控方法、装置、服务器及存储介质
US20180285596A1 (en) System and method for managing sensitive data
US20030033155A1 (en) Integration of data for user analysis according to departmental perspectives of a customer
RU2012101682A (ru) Масштабируемая кластерная база данных
US10659486B2 (en) Universal link to extract and classify log data
CN110414259B (zh) 一种构建数据类目、实现数据共享的方法及设备
CN112883125A (zh) 一种实体数据处理方法、装置、设备和存储介质
Brohi et al. Identifying and analyzing the transient and permanent barriers for big data
US20150317318A1 (en) Data store query prediction
CN112860914B (zh) 一种多元标识的网络数据分析***及方法
CN109446167A (zh) 一种日志数据存储、提取方法及装置
US20030160609A9 (en) Method and facility for storing and indexing web browsing data
CN117829990A (zh) 基于区块链的资产流转溯源方法、装置、设备及存储介质
US11811587B1 (en) Generating incident response action flows using anonymized action implementation data
Kobayashi et al. amulog: A general log analysis framework for comparison and combination of diverse template generation methods
US10664501B2 (en) Deriving and interpreting users collective data asset use across analytic software systems
US10769110B2 (en) Facilitating queries for interaction data with visitor-indexed data objects
CN112346938B (zh) 操作审计方法、装置及服务器和计算机可读存储介质
Prashanthi et al. Generating analytics from web log

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant