CN113841142B - 使用知识图提供网络安全的方法、装置和计算机程序 - Google Patents
使用知识图提供网络安全的方法、装置和计算机程序 Download PDFInfo
- Publication number
- CN113841142B CN113841142B CN202080032501.1A CN202080032501A CN113841142B CN 113841142 B CN113841142 B CN 113841142B CN 202080032501 A CN202080032501 A CN 202080032501A CN 113841142 B CN113841142 B CN 113841142B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- information
- based graph
- graph
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004590 computer program Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000007670 refining Methods 0.000 claims description 2
- 239000000470 constituent Substances 0.000 claims 1
- 238000007405 data analysis Methods 0.000 description 34
- 238000013480 data collection Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 241000234282 Allium Species 0.000 description 1
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/033—Test or assess software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种用于在数据处理装置中处理知识图的方法,该方法包括以下步骤:(a)创建知识图,该知识图包括用于信息对象的分类***的分类图和用于特定信息对象实例之间的关系的实体图;(b)通过在知识图中反映从数据库中提取的信息对象来更新知识图;以及(c)通过使用更新后的知识图来推断任意信息对象的相关性。
Description
技术领域
本公开涉及一种用于构建基于知识的图并通过利用该基于知识的图来推断与犯罪和/或犯罪的相关性相关的情况的方法和***。
背景技术
随着最近互联网技术的发展,基于虚拟世界的信息越来越多。不仅包括经由普通浏览器通过搜索引擎可访问的普通网还包括需要访问权限的深网、普通浏览器无法访问但使用特定软件可访问的匿名暗网以及加密货币分布式账本的网络空间中的信息每时每刻都在以几何级数增长。
发明内容
技术问题
本公开旨在提供一种以基于知识的图的形式在虚拟世界中形成信息并在与犯罪或威胁相关的领域中通过利用基于知识的图来推断与犯罪或犯罪的相关性相关的情况的方法。
技术方案
根据本公开的实施例,一种由数据处理装置处理基于知识的图的方法包括以下操作:a)创建基于知识的图,该基于知识的图包括用于信息对象的分类***的分类图和用于特定信息对象实例之间的关系的实体图;b)将从数据库中提取的对象信息应用到基于知识的图来更新基于知识的图;以及c)通过使用更新后的基于知识的图来推断任意信息对象的相关性。
有益效果
本公开的优点在于:虚拟空间中的数据可以形成在基于知识的图中,可以识别信息对象之间的关系,并且可以根据基于知识的图推断与犯罪和/或犯罪的相关性相关的情况。此外,本公开的优点在于:不仅可以收集通过普通网络浏览器可访问的普通数据而且可以收集仅通过特殊浏览器可访问的大量特殊数据,并且可以通过将收集到的数据应用到基于知识的图来分析信息相关性。
附图说明
图1示出了根据本公开的实施例的基于知识的图的配置;
图2是示出了根据本公开的实施例的创建基于知识的图并基于创建的基于知识的图来推断与犯罪和/或犯罪的相关性相关的情况的示例的流程图;
图3是示出了对从多域收集的大量数据进行标准化并提取可应用于基于知识的图的信息的具体方法的流程图;
图4A示出了根据本公开的实施例的对从多域收集的大量数据进行标准化并扩展基于知识的图的具体示例,并且示出了根据本公开的实施例的通过对从多域收集的大量数据进行标准化而创建的初始的基于知识的图的具体示例;
图4B示出了根据本公开的实施例的对从多域收集的大量数据进行标准化并扩展基于知识的图的具体示例,并且示出了推荐新类以扩展初始的基于知识的图的具体示例;
图4C示出了根据本公开的实施例的对从多域收集的大量数据进行标准化并扩展基于知识的图的具体示例,并且示出了根据本公开的实施例的扩展后的基于知识的图的具体示例;
图5示出了根据本公开的实施例的从多域收集大量数据的方法。
具体实施方式
很明显,本公开不限于以下描述的实施例,并且在不脱离本公开的技术思想的情况下可以包括各种修改。在描述实施例时,可以省略对本领域技术人员已知并且与本公开的主旨不直接相关的技术的描述。
在整个附图中,相同的附图标记指代相同的元件。另外,在附图中,一些元件可能被夸大、省略或示意性地示出,通过省略与本公开的主旨无关的不必要的描述来阐明本公开的主旨。
虚拟世界中存在大量数据,但大量数据的形式并不标准,每个信息片段都是单独存在的,因此不容易识别信息片段之间的相关性或分析相关信息的含义。为了解决这个问题,已经采用了基于知识的图。基于知识的图是通过结构化信息片段而获得的图,可以用于识别单独存在的信息片段之间的关系及其之间的相关性,并且可以用作搜索引擎的元素,以更智能的方式来提供搜索结果。
根据本公开的实施例的基于知识的图可以包括如图1所示的节点和边。
根据本公开的实施例的基于知识的图中的节点可以包括类节点和实体节点。类节点可以被定义为与构成用于信息的分类和结构化的分层结构的概念相关,而实体节点可以被定义为与和任意类匹配的实例相关。在图1的示例中,类节点包括酒店112和城市132,实体节点被示为曼德勒海湾度假村124和拉斯维加斯122,曼德勒海湾度假村124作为与酒店112类匹配的实例,拉斯维加斯122作为与城市类匹配的实例。
边与节点之间的关系相关并且可以具有方向性。在图1的示例中,酒店节点112和城市节点132可以通过边144彼此连接,边144指示<位于……中>关系。
如图1所示,基于知识的图可以包括用于各种对象的分类***的分类图110和用于特定对象实例之间的关系的实体图120,其中分类图110和实体图120可以分别形成在单独的层中,但可以相互映射。
通过利用根据本公开的实施例的基于知识的图,可以以更智能的方式提供搜索引擎。也就是说,通过使用基于知识的图,可以推断查询的更清楚含义,并且还可以导出查询的搜索结果。
例如,当查询是<拉斯维加斯酒店>时,搜索引擎可以通过利用图1所示的基于知识的图来识别<酒店>类节点112,识别作为节点112的实例的拉斯维加斯实体节点122,识别映射到拉斯维加斯实例的类,即<城市>132,并识别类112和类132之间的链接信息144,即<位于……中>,从而推断出接收到的查询的含义是<搜索位于拉斯维加斯中的酒店>。此外,可以向搜索引擎提供酒店域的查询推断结果。
此外,搜索引擎可以通过利用图1所示的基于知识的图搜索具有与基于知识的图中连接到酒店节点112和拉斯维加斯节点122的节点124的位置值的向量相似的向量的另一个实例节点,并提供关于相应实例节点的信息作为<位于拉斯维加斯中的酒店>的搜索结果。根据基于知识的图分析节点之间的相关性的算法有很多种,下面将描述相应的算法。
图2是示出了根据本公开的实施例的在数据分析***中创建基于知识的图并基于创建的基于知识的图来推断网络犯罪的相关性的示例的流程图。
在操作210中,根据本公开的实施例的数据分析***可以配置初始的基于知识的图的模型。
初始的基于知识的图可以包括用于多域的一个或多个对象的分类***的分类图和用于特定对象实例之间的关系的实体图。分类图和实体图可以形成在不同的层中,但可以相互映射。可以使用例如***和Yago的高度可靠的分类模型作为源来创建初始的基于知识的图,在这种情况下,模型可以用例如json、csv、xml和xlsx的不同的数据类型表示。
例如,数据分析***可以将下面表1中所示的多个数据源结构化,并以分类图和实体图格式创建初始的基于知识的图。根据本公开的实施例,适合应用数据模型作为用于创建初始的基于知识的图的数据源,其中识别数据模型的数据分类和对象实例匹配的可靠性,并且数据模型用作事实上的标准。
[表1]
在这种情况下,初始的基于知识的图可以包括全局模型和/或特定域模型。全局模型可以具有例如表1中的YAGO模型作为数据源,特定域模型可以包括映射到每个类的特定实例和与例如漏洞、弱点、补丁和漏洞利用的特定主题相关的详细分类***。全局模型涉及所有对象之间的关系,因此可以包括作为子类的特定域图。
此外,数据分析***可以记录节点的元数据。元数据可以被记录为节点的标签,标签可以包括节点的属性信息。例如,在图4中的基于知识的图中,连接到漏洞域410的分类图的CVE节点412的实体图的CVE-2015-2544节点421可以被配置为具有作为其属性信息的被称为<Internet Explorer漏洞>的标签431。在另一示例中,节点的元数据可以包括关于数据源的信息,并且被示为图4A的441。
根据本公开的实施例,数据分析***可以在基于知识的图中记录描述节点之间的关系的边的内容。边可以起到指示节点对象之间的相关性的作用,并且包括关于节点之间的方向性信息和关系的信息。
例如,在图4A的基于知识的图中,连接到软件域414的分类图的应用节点416的实体图的Internet Explorer 10节点422可以通过边423连接到节点421,其中边423可以配置有被称为<影响产品(affectsProduct)>的内容。
在操作220中,数据分析***可以选择目标域。根据本公开的实施例,与网络安全、犯罪和/或威胁相关的知识模型作为目标域。
此后,数据分析***可以:从各种源收集与网络安全相关的大量信息,并为收集的信息构建数据库(操作230);以预先配置的形式精炼从数据库中提取的信息(操作240);并通过将目标域的特定域模型添加到初始的基于知识的图来扩展基于知识的图(操作250)。
更具体地,在操作230中,数据分析***可以调用目标域的数据库。
数据库可以存储对正常网络环境开放的数据和从需要单独访问权限的深网、通过特定浏览器可访问的暗网和/或加密货币网络收集的网络安全相关信息。将结合图5对用于数据库构建的多域信息收集进行更详细的描述。
此后,数据分析***可以从数据库中提取信息并以预先配置的形式精炼信息(操作240)。将在图3的描述中对操作240进行更详细的描述。
图3是示出了用于对从多域收集的大量数据进行标准化并提取可应用于基于知识的图的信息的具体方法的流程图。
在操作310中,数据分析***可以以预先配置的形式来对数据库中收集的大量数据进行标准化,或者可以基于收集的大量数据的内容提取待应用于基于知识的图的信息。
例如,可以考虑所收集的数据是非标准文本的情况。在操作340中,数据分析***可以通过使用例如用于自然语言处理的算法(操作320)、用于对象提取的算法和/或用于信息提取的OPEN IE的现有算法,从相应文本中提取信息对象的数据和信息对象之间的关系。
例如,数据分析***可以从包括文本<摩根大通已遭受到DDoS攻击>的报纸文章中提取<摩根大通>作为主语,并且可以从报纸文章中提取<DDoS>和<已遭受到DDos攻击>作为谓语,并从基于知识的图中识别<摩根大通>节点和<DDoS>节点。在这种情况下,<摩根大通>对应<银行公司>类的实体节点,<DDoS>对应<网络安全攻击>类的实体节点。此外,数据分析***可以通过边连接<摩根大通>节点和<DDoS>节点,并将<攻击>记录为边的内容。
在另一示例中,可以考虑所收集的数据是图像的情况。数据分析***可以通过应用光学字符识别(OCR)技术从图像中提取文本,并根据预先配置的格式对所提取的文本进行标准化。此后,数据分析***可以通过使用用于自然语言处理的算法、用于对象提取的算法和用于信息提取的算法,从相应的数据中提取信息对象的数据以及信息对象之间的关系。此外,数据分析***可以生成与目标图像的创建者、创建时间和源域信息等相关的元数据。
在另一示例中,当收集的数据是执行文件时,数据分析***可以:分析执行文件的内容以确定执行文件是否包括恶意代码,并且还基于关于收集执行文件的域的信息生成用于到达恶意代码的多个URL路径或生成相应恶意代码的哈希值、文件类型、每个URL路径的恶意代码访问计数器信息的元数据。
数据分析***可以从数据库中收集的大量数据中识别在相应的时间点未从基于知识的图中识别出的信息对象,即未知对象(操作350),并且可以将识别出的未知对象应用于基于知识的图。
例如,当将根据本公开的实施例的用于信息提取的OPEN IE算法应用于从任意数据源中提取的被称为<赛门铁克发现SundownEK已开始使用已知为CVE-2015-2444的最近的Internet Explorer漏洞>的文本数据时,可以提取如下面表2中所示的一个或多个主语-谓语-宾语关系。
[表2]
当根据节点和边之间的关系对表2中的信息对象进行分类时,信息对象可以表示为如下面表3中所示的数据。
[表3]
此后,数据分析***将表3中形式标准化的数据应用于基于知识的图。在这种情况下,在相应时间点未从基于知识的图中识别出的节点被识别为未知对象,并且可以推荐未知对象的新类和/或实体(操作360)。
例如,考虑到连接“CVE”“2015”和“2444”的数据类型,将表3中的<CVE-2015-2444>信息对象形成为基于知识的图中的CVE类中的实体节点是合适的。此外,因为通过关键字在基于知识的图中的公司类中找到作为实体节点的信息对象,将表3中的<赛门铁克>信息对象形成为公司类中的实体节点是合适的。
在这种情况下,表3中的<Internet Explorer漏洞>和<Sundown EK>信息对象对应于未从基于知识的图中识别出的未知对象,通过使用未知信息对象与例如<CVE-2015-2444>信息对象和<赛门铁克>信息对象的信息对象之间的关系,可以在基于知识的图中形成未知信息对象。将参照图4A至图4C对此进行描述。
图4A至图4C示出了对多域中收集的大量数据进行标准化并扩展基于知识的图的详细示例。
在图4A中,410至419示出了使用YAGO分类模型作为数据源创建的初始的基于知识的图。
在初始的基于知识的图的状态下,可以将表3中的上述信息对象以如420所示的实体图的形式添加到基于知识的图。
更具体地,在图4A的示例中,考虑到连接“CVE”、“2015”和“2444”的数据类型,表3中的<CVE-2015-2444>信息对象可以形成为节点421,该节点421是基于知识的图中的CVE类412中的实体。此外,表3中的<赛门铁克>信息对象可以形成为节点426,该节点426是基于知识的图中的公司类418和419中的实体。
表3中的<Internet Explorer漏洞>和<Sundown EK>信息对象是未从基于知识的图中识别出的未知对象,可以利用未知对象和基于知识的图中已知的对象之间的关系,将未知对象添加到基于知识的图。
更具体地,参考表3中的第一行,<Internet Explorer漏洞>与<CVE-2015-2444>节点421具有<已知为>关系。因此,根据本公开的实施例的基于知识的图创建***可以新建立与先前创建的节点421具有1跳(1-hop)关系的节点431,在节点431中配置未知信息对象<Internet Explorer漏洞>,通过边434连接节点421和节点431,并将边434的内容记录为<已知为>。
此外,参考表3中的第三行,<Sundown EK>与<Internet Explorer漏洞>节点431具有<已开始使用>关系。因此,根据本公开的实施例的基于知识的图创建***可以新建立与先前创建的节点431具有1跳关系的节点432,在节点432中配置未知信息对象<Sundown EK>,通过边433连接节点432和节点431,并将边433的内容记录为<已开始使用>。
未知对象<Sundown EK>432是名为“Sundown”的漏洞利用工具包(EK),并且在图4A中包括的分类图中没有相应的对象可以属于的合适的类。在这种情况下,根据本公开的实施例的数据分析***可以推荐新类节点以新建立合适的类并扩展分类,并且推荐未知对象作为新类节点的实体。
例如,在图4B中,当例如节点432和456至459的多个未知对象连接到CVE类节点412的实体对象461、462和463并且相应的对象包括相同的关键字“EK”时,根据本公开的实施例的数据分析***可以通过确定未知对象456、457、458、459和432属于同一类的可能性很高来推荐定义新类。
例如,如图4B所示,数据分析***可以推荐新建立顶级类“恶意软件”450和子类“漏洞利用工具包”455。此外,如图4C所示,数据分析***可以将共享作为关键字的“漏洞利用工具包”的未知对象456、457、458、459和432连接到新类450和455,以更新基于知识的图。
此外,根据本公开的实施例的数据分析***可以推荐更新基于知识的图中的类对象之间的关系,即边。例如,在图4B中,CVE对象461、462和463与漏洞利用工具包对象456、457、458、459和432由不同的关系,即不同的边表示,但可以表示基本相同的关系。当识别出具有不同表示但具有基本相同内容的关系(边)时,根据本公开的实施例的数据分析***可以推荐定义新边。
例如,如图4C所示,数据分析***可以将CVE 412类和漏洞利用工具包455类之间的关系定义为利用漏洞(exploitsVulnerability)关系473,在这种情况下,属于相应类的对象也可以通过继承相应关系来使用该相应关系。
回到图3的描述,在操作370中,数据分析***可以在基于知识的图中注释边和/或节点的标签和/或元数据。例如,在图4A中的基于知识的图中,数据分析***可以将信息源的元数据441、442、443和444配置为相应节点的标签。
此后,在操作380中,数据分析***可以更精确地管理添加了例如节点、边和标签的元素的基于知识的图。例如,在图4A的示例中,<Internet Explorer漏洞>节点431被视为连接到节点421的实体实例,但可以分类为类节点410的子类。即使在这种情况下,可以保持与节点421的1跳关系。因此,如图4C所示,数据分析***可以执行管理以将节点431的位置改变为410的子类,并更新基于知识的图。
根据本公开的实施例的数据分析***可以通过管理基于知识的图中的类、实体和/或边来更新基于知识的图,并且如图4C的471和475所示,管理的记录可以被管理为包括在基于知识的图中。回到图2的描述,数据分析***可以通过操作210至250通过将收集到的数据应用于基于知识的图来扩展基于知识的图,并且在操作270中通过使用创建的基于知识的图来推断相关性。
例如,可以考虑将包括分布式账本信息和加密货币地址组信息的区块链数据应用于基于知识的图的情况。分布式账本信息可以包括例如区块生成时间、存款/取款金额、交易费用、上一个区块和下一个区块的加密货币区块数据以及例如交易金额、费用和存款/取款加密货币地址的区块中的交易信息,并且可以作为元数据进行管理。因此,区块链数据可以包括各种加密货币的分布式账本信息中包括的加密货币区块数据以及区块中的交易信息,并且可以包括例如加密货币地址组(钱包)的所有者信息。
加密货币交易记录可以通过边而连接到节点并在第一基于知识的图中形成,并且可以映射到非法交易的第二基于知识的图。
在这种情况下,在作为第一基于知识的图的加密货币网络图中,可以通过使用从标准化的区块链数据中提取的第一对象或第一属性来生成第一节点,并且可以通过使用相应节点之间的关系(边)来构建加密货币网络图。例如,可以生成例如加密货币存款地址(对象节点)-汇款金额(边)-加密货币取款地址(对象节点)的网络图,或例如应用了组信息的所有者X(对象节点)-汇款金额(边)-勒索软件(属性节点)的网络图。
此外,在非法交易的第二基于知识的图中,可以通过使用从标准化的多域数据中提取的第二对象或第二属性来生成第二节点,并且通过使用相应节点之间的关系(边)来构建第二基于知识的图。例如,可以通过使用从暗网的网页中提取的配置文件数据生成例如用户ID(对象节点)-所有权(边)-加密货币地址(对象节点)的节点和边,以及利用从网页中提取的销售数据生成例如加密货币地址(对象节点)-存款(边)-产品(对象节点)的节点和边来构建第二基于知识的图。
第二基于知识的图也可以如同第一基于知识的图一样显示在一个或多个层上,并且具有多层结构。各个层的基于知识的图可以属于不同的类别。
此后,数据分析***可以通过映射彼此对应的第一节点和第二节点来生成基于交易分析知识的图。例如,可以考虑以下情况:作为加密货币网络图的第一基于知识的图中的第一层中包括的节点(A)对应于地址a,节点(B)对应于地址b,两个地址属于同一组,并且第二基于知识的图中的第一层中包括的节点(C)对应于加密货币地址b。
节点(B)和节点(C)包括相同的信息,因此可以相互映射。也就是说,基于交易分析知识的图可以具有多层结构,在该多层结构中,加密货币交易记录的第一基于知识的图和第二基于知识的图中的节点相互映射,因此,可以使用基于交易分析知识的图,通过第二基于知识的图的元素来解释加密货币网络的第一基于知识的图的元素。例如,当节点(C)通过所有权的边连接到指示用户ID的节点(D)时,地址a和b的所有者是具有与节点(D)对应的用户ID的主体。
此外,可以推断未直接连接的节点之间的关系。例如,非法交易的第二基于知识的图是表示卖家使用的加密货币地址与销售商品的关系的图,并且包括关于卖家和销售商品的信息,加密货币交易记录的第一基于知识的图包括关于加密货币地址之间的交易的信息。在这种情况下,通过关系推断,可以预测使用了在第二基于知识的图中未明确指示的加密货币地址的销售商品。
更具体地,非法交易的第二基于知识的图中指示的加密货币地址的金融活动被记录在加密货币交易记录的第一基于知识的图中,因此根据本公开的实施例的数据分析***可以链接两个图中的信息片段,并因此保护关于特定商品和特定类型商品的交易的概率数据。利用相应的数据作为推理算法(包括机器学习和深度学习)的基础数据来生成商品交易模型的优势在于可以高精度地预测加密货币地址的使用目的。
图5示出了根据本公开的实施例的收集暗网数据的过程。暗网存在于加密网络中并且表示使用普通浏览器无法访问的特定类型的网站。存在于暗网中的许多站点都基于Tor网络(洋葱网络)。
首先,根据本公开的实施例的数据收集***可以收集Tor网络中的域列表(操作510)。
为此,根据本公开的实施例的数据收集***可以通过使用暗网索引站点或例如Ahmia或FreshOnions的Tor搜索引擎来收集域地址。
此外,数据收集***可以通过使用收集到的域地址作为种子从相应地址中抓取文本内容来收集Tor网络中的域地址,并根据暗网页面中包括的链接进行跟踪,直到没有链接可以遍历(traverse)。
在操作520中,数据收集***可以根据预先配置的时间段来识别所收集的域地址的状态。例如,数据收集***可以通过使用Tor的STEM API来识别相应域是处于运行还是关闭,或者识别由相应域运行的网页的内容是否被添加、删除或修改,并且在相应域的元数据中记录状态变化信息。
此后,数据收集***可以实现分布式爬虫和用于操作多个Tor节点的多个容器(container),并将收集到的域分配给分布式爬虫(操作530)。
更具体地,根据本公开的实施例的数据收集***可以在参考预先识别的域的注册状态将域分配给分布式爬虫中将已被识别为最近注册的域的域置于更高的优先级,或者可以通过识别构成分布式爬虫的各个爬虫实例的状态,动态地将下次要进行爬网的域分配给已经完成爬网的爬虫实例。
此后,根据爬虫的操作产生的流量通过负载均衡器传输到每个容器,每个容器通过连接的NIC将请求传输到暗网,爬虫可以收集通过相应域操作的暗网的所有页面并将其记录在数据库中(操作540)。
此处提供的和附图所示的本公开的实施例仅仅是为了方便描述本公开的技术细节并帮助理解本公开而提供的具体示例,并不旨在限制本公开的范围。对于本公开所属领域的技术人员来说将显而易见的是,除了在此提供的实施例之外,还可以基于本公开的技术思想来实施其他修改的实施例。
Claims (2)
1.一种用于在数据处理装置中处理基于知识的图的方法,所述方法包括以下操作:
a)创建基于知识的图,所述基于知识的图包括用于信息对象的分类***的分类图和用于特定信息对象实例之间的关系的实体图;
b)以预先配置的形式精炼从数据库中提取的信息,提取与信息对象和所述信息对象之间的关系相关的数据,并且通过使用所述信息对象和所述信息对象之间的关系来更新所述基于知识的图;以及
c)通过使用更新后的基于知识的图来推断任意信息对象的相关性,
其中操作b包括以下操作:
b-1)识别从所述数据库中提取的信息对象是否是所述基于知识的图中不存在的未知对象;
b-2)如果识别结果表明从所述数据库中提取的信息对象是所述基于知识的图中不存在的未知对象,则新建立节点并且通过将所述未知对象配置在所述节点中来生成未知对象节点,所述节点与对应于所述基于知识的图中的信息对象之间的关系的先前生成的节点具有1跳关系;以及
b-3)识别连接到属于任意类的一个或多个实体节点的多个未知对象节点,通过使用多个未知对象共享的关键字在所述基于知识的图的分类图中新建立新类,并将所述多个未知对象节点连接到所述新类。
2.根据权利要求1所述的方法,其中操作b包括:如果识别结果表明从所述数据库中提取的信息对象存在于所述基于知识的图中,则通过使用关键字或数据类型的相似性,将信息对象之中具有与所述基于知识的图的组成元素的关键字或数据类型相似的关键字或数据类型的第一信息对象应用到所述基于知识的图,并通过使用所述第一信息对象的相关性,将第二信息对象应用到所述基于知识的图。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0050717 | 2019-04-30 | ||
KR1020190050717A KR102079970B1 (ko) | 2019-04-30 | 2019-04-30 | 지식 그래프를 이용하여 사이버 시큐리티를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
PCT/KR2020/001384 WO2020222404A1 (ko) | 2019-04-30 | 2020-01-30 | 지식 그래프를 이용하여 사이버 시큐리티를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113841142A CN113841142A (zh) | 2021-12-24 |
CN113841142B true CN113841142B (zh) | 2023-09-08 |
Family
ID=70291125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080032501.1A Active CN113841142B (zh) | 2019-04-30 | 2020-01-30 | 使用知识图提供网络安全的方法、装置和计算机程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220292137A1 (zh) |
JP (1) | JP7340286B2 (zh) |
KR (1) | KR102079970B1 (zh) |
CN (1) | CN113841142B (zh) |
WO (1) | WO2020222404A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210012012A1 (en) * | 2019-07-12 | 2021-01-14 | Palo Alto Research Center Incorporated | System and method for constructing a graph-based model for optimizing the security posture of a composed internet of things system |
US12008549B2 (en) * | 2019-07-22 | 2024-06-11 | Visa International Service Association | Federated custodian |
CN113177479B (zh) * | 2021-04-29 | 2024-05-03 | 联仁健康医疗大数据科技股份有限公司 | 图像分类方法、装置、电子设备及存储介质 |
US11930046B2 (en) | 2021-06-17 | 2024-03-12 | Xerox Corporation | System and method for determining vulnerability metrics for graph-based configuration security |
CN114756837B (zh) * | 2022-06-16 | 2022-08-30 | 湖北长江传媒数字出版有限公司 | 一种基于区块链的数字内容溯源方法及*** |
CN115412372B (zh) * | 2022-11-01 | 2023-03-24 | 中孚安全技术有限公司 | 一种基于知识图谱的网络攻击溯源方法、***及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102356405A (zh) * | 2009-03-20 | 2012-02-15 | 谷歌公司 | 将所呈现的广告与数字内容相关联 |
CN106663221A (zh) * | 2014-08-19 | 2017-05-10 | 高通股份有限公司 | 由知识图谱偏置的数据分类 |
CN106991161A (zh) * | 2017-03-31 | 2017-07-28 | 北京字节跳动科技有限公司 | 一种自动生成开放式问题答案的方法 |
CN107368468A (zh) * | 2017-06-06 | 2017-11-21 | 广东广业开元科技有限公司 | 一种运维知识图谱的生成方法及*** |
CN108933793A (zh) * | 2018-07-24 | 2018-12-04 | 中国人民解放军战略支援部队信息工程大学 | 基于知识图谱的攻击图生成方法及其装置 |
CN109359564A (zh) * | 2018-09-29 | 2019-02-19 | 中山大学 | 一种图像场景图生成方法及装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2007348312B2 (en) * | 2006-03-09 | 2012-07-19 | Evolveware, Inc. | System and method for knowledge extraction and abstraction |
US9158838B2 (en) * | 2008-12-15 | 2015-10-13 | Raytheon Company | Determining query return referents for concept types in conceptual graphs |
KR101428725B1 (ko) * | 2012-11-06 | 2014-08-12 | 한국인터넷진흥원 | 하위 웹주소 점검을 통한 악성코드 은닉 사이트 탐지 시스템 및 방법 |
US10318583B2 (en) * | 2013-03-15 | 2019-06-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for recommending relationships within a graph database |
BR102014023780B1 (pt) * | 2014-09-25 | 2023-04-18 | Universidade Estadual De Campinas - Unicamp (Br/Sp) | Método para classificação multiclasse em cenários abertos e usos do mesmo |
KR20150084706A (ko) * | 2015-06-26 | 2015-07-22 | 경북대학교 산학협력단 | 온톨로지의 지식 학습 장치 및 그의 방법 |
US20180225382A1 (en) * | 2015-10-28 | 2018-08-09 | Fractal Industries, Inc. | System and method for automatic creation of ontological databases and semantic searching |
JP6543207B2 (ja) * | 2016-03-17 | 2019-07-10 | 株式会社東芝 | データ管理装置、データ管理システムおよびデータ管理方法 |
US10496678B1 (en) * | 2016-05-12 | 2019-12-03 | Federal Home Loan Mortgage Corporation (Freddie Mac) | Systems and methods for generating and implementing knowledge graphs for knowledge representation and analysis |
US10958667B1 (en) * | 2016-06-03 | 2021-03-23 | Mcafee Llc | Determining computing system incidents using node graphs |
US11146578B2 (en) * | 2016-12-16 | 2021-10-12 | Patternex, Inc. | Method and system for employing graph analysis for detecting malicious activity in time evolving networks |
TWI645303B (zh) * | 2016-12-21 | 2018-12-21 | 財團法人工業技術研究院 | 字串驗證方法、字串擴充方法與驗證模型訓練方法 |
JP6721551B2 (ja) * | 2017-09-08 | 2020-07-15 | 日本電信電話株式会社 | 抽出装置、抽出方法および抽出プログラム |
AU2018241092B2 (en) * | 2017-10-04 | 2019-11-21 | Accenture Global Solutions Limited | Knowledge enabled data management system |
JP6906419B2 (ja) * | 2017-10-13 | 2021-07-21 | ヤフー株式会社 | 情報提供装置、情報提供方法、およびプログラム |
KR101852107B1 (ko) | 2017-11-22 | 2018-04-25 | (주)유니스소프트 | 다크웹 범죄정보 분석 시스템 및 그 방법 |
KR101936263B1 (ko) * | 2018-08-01 | 2019-01-08 | 한국인터넷진흥원 | 사이버 위협 인텔리전스 데이터 분석 방법 및 그 장치 |
US10785239B2 (en) * | 2017-12-08 | 2020-09-22 | Mcafee, Llc | Learning maliciousness in cybersecurity graphs |
US11055432B2 (en) * | 2018-04-14 | 2021-07-06 | LeapYear Technologies, Inc. | Budget tracking in a differentially private database system |
WO2020057175A1 (en) * | 2018-09-20 | 2020-03-26 | Huawei Technologies Co., Ltd. | Knowledge-based management of recognition models in artificial intelligence systems |
KR102185191B1 (ko) * | 2019-01-22 | 2020-12-01 | (주)에스투더블유랩 | 암호화폐 거래 분석 방법 및 시스템 |
-
2019
- 2019-04-30 KR KR1020190050717A patent/KR102079970B1/ko active IP Right Grant
-
2020
- 2020-01-30 US US17/607,861 patent/US20220292137A1/en active Pending
- 2020-01-30 JP JP2021562311A patent/JP7340286B2/ja active Active
- 2020-01-30 CN CN202080032501.1A patent/CN113841142B/zh active Active
- 2020-01-30 WO PCT/KR2020/001384 patent/WO2020222404A1/ko active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102356405A (zh) * | 2009-03-20 | 2012-02-15 | 谷歌公司 | 将所呈现的广告与数字内容相关联 |
CN106663221A (zh) * | 2014-08-19 | 2017-05-10 | 高通股份有限公司 | 由知识图谱偏置的数据分类 |
CN106991161A (zh) * | 2017-03-31 | 2017-07-28 | 北京字节跳动科技有限公司 | 一种自动生成开放式问题答案的方法 |
CN107368468A (zh) * | 2017-06-06 | 2017-11-21 | 广东广业开元科技有限公司 | 一种运维知识图谱的生成方法及*** |
CN108933793A (zh) * | 2018-07-24 | 2018-12-04 | 中国人民解放军战略支援部队信息工程大学 | 基于知识图谱的攻击图生成方法及其装置 |
CN109359564A (zh) * | 2018-09-29 | 2019-02-19 | 中山大学 | 一种图像场景图生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022530376A (ja) | 2022-06-29 |
KR102079970B1 (ko) | 2020-04-07 |
JP7340286B2 (ja) | 2023-09-07 |
CN113841142A (zh) | 2021-12-24 |
WO2020222404A1 (ko) | 2020-11-05 |
US20220292137A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113841142B (zh) | 使用知识图提供网络安全的方法、装置和计算机程序 | |
Syed et al. | UCO: A unified cybersecurity ontology | |
Iannacone et al. | Developing an ontology for cyber security knowledge graphs | |
JP2023512507A (ja) | サイバー検出ファジー・パターン照合 | |
Ramesh et al. | An efficacious method for detecting phishing webpages through target domain identification | |
Ghosh et al. | Automated categorization of onion sites for analyzing the darkweb ecosystem | |
US20240061893A1 (en) | Method, device and computer program for collecting data from multi-domain | |
AU2024203578A1 (en) | Facilitating entity resolution via secure entity resolution database | |
Mourtaji et al. | Hybrid Rule‐Based Solution for Phishing URL Detection Using Convolutional Neural Network | |
Pevny et al. | Discriminative models for multi-instance problems with tree structure | |
CN114884703B (zh) | 基于威胁情报和消息传递模型的高级持续性威胁检测方法 | |
KR20190138037A (ko) | 사이버 보안 특화의 지식 베이스를 이용한 정보 검색 시스템 및 그 방법 | |
Seth et al. | MIDS: Metaheuristic based intrusion detection system for cloud using k-NN and MGWO | |
Wassan et al. | A Smart Comparative Analysis for Secure Electronic Websites. | |
Xu et al. | Application of rough concept lattice model in construction of ontology and semantic annotation in semantic web of things | |
Ullah et al. | Protecting IoT devices from security attacks using effective decision-making strategy of appropriate features | |
KR102147167B1 (ko) | 멀티 도메인에서 데이터를 수집하는 방법, 장치 및 컴퓨터 프로그램 | |
Badawi et al. | The “bitcoin generator” scam | |
Grønberg | An Ontology for Cyber Threat Intelligence | |
Gupta et al. | Big data security challenges and preventive solutions | |
Carragher et al. | Detection and discovery of misinformation sources using attributed webgraphs | |
Nguyen et al. | Manipulating recommender systems: A survey of poisoning attacks and countermeasures | |
Chmielewski et al. | Money laundering analytics based on contextual analysis. Application of problem solving ontologies in financial fraud identification and recognition | |
Nalinipriya et al. | Ransomware recognition in blockchain network using water moth flame optimization‐aware DRNN | |
Mun et al. | A RDBMS-based Bitcoin analysis method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |