CN106355627A - 一种用于生成知识图谱的方法及*** - Google Patents

Abstract

本发明公开了一种用于生成知识图谱的方法，包括生成初始知识图谱；判断图文单元的类型；以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系；提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项；对候选知识项进行修正，根据修正后的候选知识项更新初始知识图谱。本发明可从一个基本的知识图谱框架和小的种子知识集合开始，利用计算机自动从海量的图文数据中发现、抽取、组织多种多样的丰富的命名实体间关联关系，经专家***进行确认后，能够迅速而有效地构造精细化表达的一个知识图谱结构，从而使生成知识图谱的过程显著节省了大量的人力成本。

Description

一种用于生成知识图谱的方法及***

技术领域

本发明涉及计算机图文处理技术领域，具体地说，涉及一种用于生成知识图谱的方法及***。

背景技术

文本是最基本、最常用的信息载体。随着互联网的日益普及，文本信息迅速膨胀。因此，需要将文本中的知识有效组织起来。尤其在地质勘探等专业领域,常需要从海量的文本数据中发现应当被***收集的知识，然后对收集到的知识进行结构化处理，以便于日后的查询、修改。

现有技术中经常通过知识图谱(或者知识网络)将知识组织起来。而知识图谱(网络)一般基于一些通用的方法生成，并通过一系列可视化方法展现。较常用的方法为共现分析方法、引文分析方法、多元统计分析方法和社会网络分析方法。这些方法在图书馆情报学、科学学及部分计算机学科方面有较好的应用效果，但由于地质勘探等领域的专业性，上述方法使用效果不好。

此外，勘探等专业领域内有大量的图文并茂的文档，其中的图像中也含有大量的“图形化文字”的知识描述，这些信息的抽取也非常有助于知识图谱的构建，而现有技术中基本没考虑这种图像中含有的局部知识的抽取，及如何将其应用于知识图谱建设。因此，现有的知识图谱生成方法虽然在一定程度上解决海量文本数据的结构化问题，生成粗略描述的知识图谱，但是都不具备在复杂的勘探业务等领域下自动或半自动生成知识图谱或知识网络的能力。

因此，亟需一种适用于勘探领域的各类图文混合的文献和资料的生成知识图谱的方法及***。

发明内容

本发明针所解决的技术问题在于克服现有技术中不能根据勘探领域的各类图文混合的文献和资料生成知识图谱的技术缺陷。

本发明提供一种用于生成知识图谱的方法，包括：

基于包含命名实体类型之间属性及关联关系的初始知识图谱框架和种子知识集合生成初始知识图谱；

判断图文单元的类型；

以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系；

提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项；

对候选知识项进行修正，根据修正后的候选知识项更新初始知识图谱。

在本发明的一个实施例中，在基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系的步骤中，

在图文单元的类型为文本单元的情况下，识别单一文本单元中出现的命名实体，提取文本单元中命名实体之间的关联关系；

在图文单元的类型为图像单元的情况下，通过图像处理技术识别单一图像单元中的文字单元及对应的命名实体，基于文字单元所属的图像区域提取命名实体之间的关联关系。

在本发明的一个实施例中，提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项的步骤中，

根据图文单元集合中文本和图像中提取的命名实体之间的关联关系，以及命名实体所属文字段落或图像区域的特征进行类聚及分类处理；

与初始知识图谱比较，得到新增命名实体和命名实体间新增的关联关系，并对新增命名实体和命名实体间新增的关联关系赋予置信度形成候选知识项。

在本发明的一个实施例中，在对新增命名实体和命名实体间新增的关联关系赋予置信度的步骤中，

根据新增命名实体和命名实体间新增的关联关系在多个图文单元中被重复佐证的次数，以及在文本单元中语句佐证环境的数量和在图像单元中图像佐证环境的数量计算置信度。

在本发明的一个实施例中，在对新增命名实体和命名实体间新增的关联关系赋予置信度的步骤中进一步包括：

将候选知识项添加到初始知识图谱中形成候选新增知识图谱。

在本发明的一个实施例中，所述对候选知识项进行修正的步骤包括：

展示候选新增知识图谱；

接收用户对选新增知识图谱中新增命名实体和命名实体间新增的关联关系的修正指令；

根据修正指令删除候选知识项。

本发明还提供一种用于生成知识图谱的***，包括：

初始化单元，其设置为基于包含命名实体类型之间属性及关联关系的初始知识图谱框架和种子知识集合生成初始知识图谱；

类型判断单元，其设置为判断图文单元的类型；

单一图文知识项识别单元，其设置为以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系；

图文集合知识项识别单元，其设置为提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项；

修正单元，其设置为对候选知识项进行修正，根据修正后的知识项更新初始知识图谱。

在本发明的一个实施例中，所述单一图文知识项识别单元包括：

文本识别模块，设置为在图文单元的类型为文本单元的情况下，识别单一文本单元中出现的命名实体，提取文本单元中命名实体之间的关联关系；

图像识别模块，设置为在图文单元的类型为图像单元的情况下，通过图像处理技术识别单一图像单元中的文字单元及对应的命名实体，基于文字单元所属的图像区域提取命名实体之间的关联关系。

在本发明的一个实施例中，所述图文集合知识项识别单元包括：

知识项发现模块，其设置为根据图文单元集合中文本和图像中提取的命名实体之间的关联关系，以及命名实体所属文字段落或图像区域的特征进行类聚及分类处理；

比较模块，其设置为与初始知识图谱比较，得到新增命名实体和命名实体间新增的关联关系，并对新增命名实体和命名实体间新增的关联关系赋予置信度形成候选知识项。

在本发明的一个实施例中，所述图文集合知识项识别单元进一步包括：

局部更新模块，其设置为将候选知识项添加到初始知识图谱中形成候选新增知识图谱。

本发明的的实施例从一个基本的知识图谱框架和小的种子知识集合开始，利用计算机自动从海量的图文数据中发现、抽取、组织多种多样的丰富的命名实体间关联关系，经专家***进行确认后，能够迅速而有效地构造精细化表达的一个知识图谱结构，从而使生成知识图谱的过程显著节省了大量的人力成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明实施例一的用于生成知识图谱的方法的步骤流程图；

图2是根据本发明实施例一的用于生成知识图谱的***的结构示意图；

图3是根据本发明实施例二的用于生成知识图谱的***的结构示意图；

图4是应用示例的初始知识图谱的框架示意图；

图5是应用示例的油气勘探领域的一个文本单元的示意图；

图6是应用示例的油气勘探领域的一个图像单元的示意图；

图7是应用示例的局部更新的知识图谱的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。

本发明实施例提供的生成知识图谱的方法，是在本体论(Ontology)的基础上，通过应用数学、图形学、信息可视化技术等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的整体知识架构的方法。

百度百科的Ontology词条中提到，英文术语“ontology”一词源于哲学领域，且一直以来存在着许多不同的用法。在计算机科学领域，其核心意思是指一种模型，用于描述由一套对象类型(概念或者类)、个体(对象实例)、属性以及关系类型所构成的世界。一般来说，人们所普遍期望的一点就是，本体之中模型的那些特征应当非常类似于相应的现实世界。具体到勘探等领域的Ontology，就是在建立一套勘探领域的多层级的概念(类)体系的归属，并建立每个层级下的归属于该抽象类的个体(实例)，在此基础上，建立类及个体的属性描述(它们所可能具有的属性、特征、特性、特点和参数)及某种关联关系。最终，勘探等专业领域的Ontology，建立的是一整套的类间、个体对象间、以及类与个体对象间的关系。

在基于Ontology的知识图谱的建立中，通常以命名实体(Named Entity)统一表述个体(对象实例)及其对象类型(抽象出的概念类)，通过识别命名实体和发现命名实体的属性及命名实体间关联关系，建立及更新知识图谱。前述命名实体，是人名、机构名、地名以及其他所有以名称为标识的实体。更广泛的命名实体还包括数字、日期、货币、地址等等。在勘探领域内，重要的命名实体的类型包括：地质年代、盆地、井、构造单元等等以名称为标识的实体。

本发明的实施例提供的一种低成本、高工作效率及准确完整地半自动生成知识图谱的方法及***，不仅可以应用于勘探领域，还可以应用于医学、计算机科学等专业领域；不仅可以单独应用于文字或图文文本的知识图谱建立，还可用于文字和图像混合情况下的复杂文本信息的知识图谱的建立，为管理复杂专业领域内的文本信息提供高效方案。以下以勘探领域为例进行阐述。

实施例一

图1是本实施例提供的用于生成知识图谱的方法的步骤流程图。该方法基于包含命名实体类型之间属性及关联关系的初始知识图谱框架和种子知识集合生成初始知识图谱(步骤S110)，具体来说，可借助行业内的一种常用知识分类体系对命名实体进行分类，将各类石油勘探知识按照知识形态与各种实体对象的概念类(项目类、地质对象类、地质年代类)等建立一个约束性的框架。这一约束框架规定了多个维度的命名实体类型有无(潜在的)关联关系，形象而直观地展示石油勘探领域各类知识间的关系。

判断图文单元的类型(步骤S120)，在本实施例中，将待提取知识点的图文单元识别为文本单元或者图像单元。以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系(步骤S130)。

在图文单元的类型为文本单元的情况下，识别单一文本单元中出现的命名实体，提取文本单元中命名实体之间的关联关系；在图文单元的类型为图像单元的情况下，通过图像处理技术识别单一图像单元中的文字单元及对应的命名实体，基于文字单元所属的图像区域提取命名实体之间的关联关系。

随后提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项(步骤S140)。具体的，根据图文单元集合中文本和图像中提取的命名实体之间的关联关系，以及命名实体所属文字段落或图像区域的特征进行类聚及分类处理。与初始知识图谱比较，得到新增命名实体和命名实体间新增的关联关系，并对新增命名实体和命名实体间新增的关联关系赋予置信度形成候选知识项。其中，根据新增命名实体和命名实体间新增的关联关系在多个图文单元中被重复佐证的次数，以及在文本单元中语句佐证环境的数量和在图像单元中图像佐证环境的数量计算置信度。

在一个优选示例中，步骤S140还包括将候选知识项添加到初始知识图谱中形成候选新增知识图谱，用于后续的修正操作。

最后，对候选知识项进行修正，根据修正后的知识项更新初始知识图谱(步骤S150)，更新后的知识图谱版本存储在知识库存储单元，并用于下一轮的知识图谱更新过程。其中包括展示候选新增知识图谱，接收用户对选新增知识图谱中新增命名实体和命名实体间新增的关联关系的修正指令，并根据修正指令删除候选知识项。

至此为止，本实施例提供的方法可从一个小的知识图谱知识框架及种子知识集合开始，利用计算机自动从海量的图文资料中发现、抽取、组织知识，经少量人工确认后，迅速而有效地构造一个丰富的知识图谱结构。

图2是本实施例提供的用于生成知识图谱的***的结构示意图。该***主要包括初始化单元210、类型判断单元220、单一图文知识项识别单元230、图文集合知识项识别单元240和修正单元250。

其中，初始化单元210设置为基于包含命名实体类型之间属性及关联关系的初始知识图谱框架和种子知识集合生成初始知识图谱，类型判断单元220设置为判断图文单元的类型，在本实施例中，将图文单元判断为文本单元或者图像单元。

单一图文知识项识别单元230设置为以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系。单一图文知识项识别单元230包括文本识别模块231和图像识别模块232。

文本识别模块231设置为在图文单元的类型为文本单元的情况下，识别单一文本单元中出现的命名实体，提取文本单元中命名实体之间的关联关系；

图像识别模块232设置为在图文单元的类型为图像单元的情况下，通过图像处理技术识别单一图像单元中的文字单元及对应的命名实体，基于文字单元所属的图像区域提取命名实体之间的关联关系。

图文集合知识项识别单元240设置为提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项。图文集合知识项识别单元240包括知识项发现模块241和比较模块242，优选还包括局部更新模块243。

其中，知识项发现模块241设置为根据图文单元集合中文本和图像中提取的命名实体之间的关联关系，以及命名实体所属文字段落或图像区域的特征进行类聚及分类处理。比较模块242设置为与初始知识图谱比较，得到新增命名实体和命名实体间新增的关联关系，并对新增命名实体和命名实体间新增的关联关系赋予置信度形成候选知识项。

局部更新模块243设置为将候选知识项添加到初始知识图谱中形成候选新增知识图谱，用于后续的修正操作。

在图2中，修正单元250设置为展示候选新增知识图谱，接收用户对选新增知识图谱中新增命名实体和命名实体间新增的关联关系的修正指令，并根据修正指令删除候选知识项。

实施例二

图3是本实施例提供的用于生成知识图谱的***的结构示意图。该***包括初始化单元、类型判断单元(图中未示出)、单一图文知识项识别单元、图文集合知识项识别单元和修正单元。

其中，单一图文知识项识别单元包括单一文本内知识发现与抽取单元和单一图像内知识发现与抽取单元。单一文本内知识发现与抽取单元包含两个连续作用的模块：单一文本内命名实体识别模块和单一文本内的命名实体关联关系发现模块。

所述单一文本内命名实体识别模块主要目的为识别出单一文本中涉及的命名实体。基于已有的勘探等领域的专业词典提取文本中各个段落、句子中出现的单词和命名实体，进行计算抽取出该句子及段落所涉及的命名实体-包括概念类及对象实例。

所述单一文本内的命名实体关联关系发现模块主要在前述模块基础上，通过多种语义处理技术，自动发现和抽取出同句或同段落中共现的两个或多个命名实体之间的疑似的关联关系。

所述单一图像内知识发现与抽取单元包含两个连续作用的模块：单一图像内命名实体识别模块、单一图像内的命名实体关联关系发现模块。

所述单一图像内命名实体识别模块，是针对单独的图像文档或文本文档中嵌入的图像,通过图像处理技术，识别出图像中的文字单元及对应的命名实体。

所述单一图像内的命名实体关联关系发现单元，主要为基于图像中识别出的命名实体，以及其对应的图像区域，来发现提取出命名实体间的各种关联关系。

所述图文集合知识项识别单元，用于批量处理某个文档集合中的各个文本及图像中提取出的命名实体关联关系，及其所处的文字段落和图像区域的特征，对这些语料进行统一的聚类及分类分析，对其中提取出的各个(疑似)新命名实体、及命名实体的(疑似)新属性和新关联关系，形成候选知识项。

所述修正单元主要是将跨文档的知识发现与抽取单元产生的新的候选知识项，通过可视化手段展现给专家或业务人员，并经由他们在知识图谱人工修正界面上的操作，最终确认或否决。人工修正的结果，最后将更新到机器可读的数据结构存储到知识库存储单元。

以下对该***的处理过程进行详细说明。

初始化单元形成一个知识图谱的知识框架(即勘探等专业领域中不同命名实体类型间的属性及关联关系框架限制)，及一个小的种子知识集合。所述知识图谱的知识框架，可以从专业标准规范文献中产生，或通过人工生成。其中的种子知识，可以从半结构化的专业文档、数据库设计文档中抽取获得，或者由人工给出。

所述单一文本内知识发现与抽取单元，是基于已有的勘探等领域的专业词典(其中包含了描述对象实例或概念类的命名实体的专业词汇及对应的命名实体类型,例如:寒武纪、奥陶纪等词语的实体类型为地质年代)，通过各种统计语义分析模型-隐马尔可夫模型(HMM)方法或条件随机场(CRF)方法，提取文本中各个段落、句子中出现的单词，包括分词结果、命名实体识别结果、新词识别结果，进行计算抽取出该句子及段落所涉及的命名实体-包括概念类及对象实例。进一步地，提取出段落篇章中所描述的命名实体相互间的具体关联关系。

单一文本内命名实体识别模块通过分词、命名实体识别技术，识别出单一文本中提及的命名实体-包括概念类命名实体及对象实例类命名实体。

单一文本内的命名实体关联关系发现模块，在第一个模块的输出结果基础上，通过句法分析等语义分析技术，提取出段落篇章中所描述的命名实体相互间的具体关联关系。

所述单一图像内知识发现与抽取单元，是针对单独的图像文档或文本文档中嵌入的图像,通过图像处理技术-具体为边缘提取、纹理分析、图像分割、OCR(Optical Character Recognition，光学字符识别)等技术，首先将图像中的文字区域识别出来,并识别出其对应的单字，进而借助这些单字的图像特征(例如相互位置、距离、朝向、颜色及纹理相似度)，识别出由单字组成的整个文字单元及对应的命名实体-概念类及对象实例。进一步地，发现提取出命名实体间的各种关联关系，例如位置关系(地图中各个图形化展现的命名实体的毗邻、从属关系)、构件关系(工程图中各个图形化展现的命名实体的空间构件组成关系)。

单一图像内命名实体识别模块通过图像处理技术，识别出图像中蕴含的各个文字单元，进一步映射到相应的命名实体-包括概念类命名实体及对象实例类命名实体。

单一图像内的命名实体及概念的关联关系识别模块，则是基于图像识别出的命名实体及其对应的图像区域，来发现提取出命名实体间的各种关联关系，例如位置关系(地图中各个图形化展现的命名实体的毗邻、从属关系)、构件关系(工程图中各个图形化展现的命名实体的空间构件组成关系)。

图文集合知识项识别单元用于批量处理文档集合中的所有文本及图像中提取出的命名实体之间的关联关系，及其所处的文字段落和图像区域的特征，对这些语料进行统一的聚类及分类分析，对其中提取出的各个(疑似)新增命名实体、及命名实体的(疑似)新增关联关系，在统计意义上赋予置信度，并形成候选知识项。

修正单元将候选知识项提交给相应的专家及业务人员进行关联性判断，将判断为“是”的候选知识项作为确认知识，判断为“否”的候选知识项被舍弃。

应用示例

以下说明应用图3所示的***对勘探领域的图文单元进行处理的过程。

在生成知识图谱之前，首先需要进行初始化的工作，即人工生成知识框架(即勘探等专业领域中不同命名实体类型间的属性及关联关系框架限制)，及一个小的种子知识集合。具体可以从半结构化的专业文档、数据库设计文档中抽取获得，或者由人工给出。

具体到初始化勘探领域知识图谱时，首先采用行业内一种常用的知识分类体系,将其分为物化探、井筒工程、综合研究等六大类，同时按照知识形态可以划分为成果、文献、数据、图形、标准、流程等。图4是一个知识框架的一个概念分类部分的初始化示例。

此外，在油气勘探的知识图谱的初始化框架构建中，还需要将各类石油勘探知识按照知识形态与各种实体对象的概念类(项目类、地质对象类、地质年代类)等建立一个约束性的框架。这一约束框架规定了多个维度的命名实体类型有无(潜在的)关联关系，形象而直观地展示石油勘探领域各类知识间的关系，实现跨领域的深层次知识应用。图4显示了油气勘探行业的知识框架的部分信息：知识目录分类的一部分及其与井相关的命名实体关联关系的一部分的约束框架。

在上述框架的基础上，进一步地，还可以借助勘探专业词典或某些行业辞典，填充进大量的命名实体名称，例如部分井名、全部的地质年代实例、全部的储层类型、大部分盆地名、部分地质构造单元名称、及一小部分对象实例间的具体关联关系，即完成了勘探领域知识图谱的初始化工作。

将初始化的知识图谱版本1作用于单一图文内知识点发现提取，即可挖掘提取出更多的命名实体，及其间的关联关系。

单一文本内知识点发现及提取单元，在已有的知识图谱版本(最初的初始版本号为1)，提取出每个段落及每个完整文档内的知识点。

图5显示了“塔里木盆地寒武系勘探目标优选”项目报告中的一个段落。

借助分词技术(可参见黄昌宁的论文《中文信息处理的分词问题》，载于《语言文字应用》1997年第1期72～78页)及命名实体识别技术(可参见863计划中文信息处理与智能人机接口技术评测组所著《2004年度863计划中文信息处理与智能人机交互技术评测：命名实体评测结果报告》及刘非凡、赵军等人的论文《面向商务信息抽取的产品命名实体识别研究》，载于《中文信息学报》2006年第1期)等文本语义处理技术，单一文本内命名实体识别模块提取出该段落中提到的各类命名实体：

井(疑似)：塔深1井。

一级地质构造单元(疑似)：塔北***。

研究地质年代：寒武系。

储层类型：白云岩。

需要注明的是，本实施例假设在本版本的知识图谱中，未含有塔深1井或塔北***这些命名实体，则这些词将会作为疑似新词发现，并将其标注为疑似井(基于该词的命名特征为汉字+数字+井，符合井命名规则特征)及疑似一级地质构造单元(基于其命名规则为汉字或外文词+***，符合一级地质构造单元的命名特征)。

在上述工作基础上，单一文本内的命名实体关联关系发现模块进一步抽取出命名实体的潜在关联关系。其中，塔深1井(疑似的新增井)与塔北***(疑似的新增一级构造单元)位于同一子句中。***基于知识图谱中一级地质构造单元相关的框架限制，抽取出候选知识点为：

井	所属一级构造单元
		塔深1井	塔北***

因为同句中不存在其他的井，和其他的二级地质构造单元，故同句中无其他关系候选项，故该知识点置信度比较高。进一步地，通过使用统计语义识别技术，可以认为句式：一级构造单元名A+“代表的”+井名B，所蕴涵语义为井B位于一级构造单元A内。

其中，塔深1井与寒武系及白云岩处于相邻句中，***筛选出候选知识项：

井	研究地质年代	储层类型
			塔深1井	寒武纪	白云岩

***将这些筛选出的候选知识项，与已有的知识图谱核对，发现上述候选知识项未出现在已有知识图谱内，***即将上述疑似新增井、一级构造单元及相关佐证语句环境提交至跨图文提取模块进一步处理。

单一图像内知识发现与抽取单元，主要从每幅图像中，发现提取出命名实体及其间的各种关联关系。

图6为另一个研究塔里木盆地寒武系白云岩储层的项目“塔里木寒武系优质白云岩储层形成与分布”的相关文献的一幅图像，里面也提及了塔深1井。

单一图像内命名实体识别模块，通过图像处理技术-具体为边缘提取、纹理分析、图像分割、OCR识别等技术(参见戚飞虎等译著《模式识别与图像处理》，上海交通大学出版社1989年出版，及Milan Sonka,Vaclav Hlavac和Roger Boyle合著的Image Processing，Analysis,and Machine Vision,Second Edition，英文原版为Thomson出版社，授权国内人民邮电出版社于2001年印刷)，首先将图像中的文字区域识别出来,并识别出其对应的单字。进一步地，基于每个文字单元所包含的文字覆盖领域的图像特征的一致性，比如颜色一致、纹理一致等，以及基于文字排列由上至下由左至右，可以将如下文字单元提取出来：“塔里木盆地寒武系沉积相及储层评价图”、“塔里木盆地”、“塔深1”、“库尔勒”、“油气显示井”等，通过分词及命名实体识别技术，识别出其中提及了下述命名实体：

盆地实例：塔里木盆地。

井类型：油气流井、油气显示井、干井。

储层类型：I类储层、局限台地相、台地边缘相、浅水斜坡相、浅海陆棚相

疑似新词：塔深1、塔参1、和4、塔东1、古隆1、英买32、阿克苏、库尔勒、喀什、巴楚、叶城。

需要注明的是，本实施例假设在本版本的知识图谱中，未含有塔深1、塔参1、和4、塔东1等井或阿克苏、库尔勒、喀什等地名。

通过对图右下角的图例的识别，***可以识别出本图像内的油气显示井等不同类型的井对应的图标特征，并自动识别出各类井在图像中对应的区域位置。进一步地，基于“塔深1”图像区域与某特定的油井类型图标的位置相邻，***可以识别出塔深1、塔参1、和4、塔东1、古隆1、英买32对应于各类型井。特别地，塔深1井对应油气显示井。遵循同样的方法，***识别出塔深1井的寒武沉积相为台地边缘相，并位于塔里木盆地。其候选知识点描述如下：

井	所属盆地	井类型	沉积相
				塔深1井	塔里木盆地	油气显示井	台地边缘相

与已有的知识图谱核对，发现上述候选知识点未出现在已有知识图谱内，***即将上述的新增疑似命名实体、候选知识点及相关佐证图像及局部图像特征提交至跨图文的知识发现与抽取单元进一步处理。

跨图文的知识发现与抽取单元，就是批量处理上述两个单元-单一文本内知识发现与抽取单元及单一图像内知识发现与抽取单元-的输出结果，对这些候选知识点进行统一的聚类及分类分析，对其中提取出的各个(疑似)新增命名实体进行统计分析，统计各个疑似新增命名实体在多个图文中被重复佐证的次数及其对应的语句佐证环境例子及图像佐证环境例子，整体计算其置信度。

同样地，对于命名实体间的(疑似)新增关联关系，也在统计意义上赋予置信度，并形成候选知识项。

此外，跨图文的知识发现与抽取单元，基于知识图谱框架，将新增的疑似知识点-塔深1井-也挂接到两个相应的内容类目-井筒工程及勘探地质研究节点上。同时，增加塔里木盆地及寒武纪与两个项目的关联关系:塔里木寒武系优质白云岩储层形成与分布、塔里木盆地寒武系勘探目标优选。

在此基础上，跨图文的知识发现与抽取单元局部更新了知识图谱。图7显示了基于实施例图5和图6所形成的候选新增知识图谱的局部例子。

跨图文的知识发现与抽取单元抽取出的候选新增知识图谱，会统一提交至修正单元。修正单元主要是将这些新的候选知识-(疑似)新增命名实体、命名实体间的(疑似)新增关联关系、以及这些新增知识项对应的佐证例子的汇集-通过可视化手段展现给专家或业务人员，并经由他们在知识图谱人工修正界面上的操作，最终确认或否决。

知识图谱生成与修正单元所产生的人工修正后的最终结果，最后将更新到机器可读的数据结构存储，成为一个新的知识图谱版本更新到知识库存储单元，并作用于下一轮的知识图谱更新过程。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于生成知识图谱的方法，其特征在于，包括：

基于包含命名实体类型之间属性及关联关系的初始知识图谱框架和种子知识集合生成初始知识图谱；

判断图文单元的类型；

以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系；

提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项；

对候选知识项进行修正，根据修正后的知识项更新初始知识图谱。

2.根据权利要求1所述的用于生成知识图谱的方法，其特征在于，在基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系的步骤中，

在图文单元的类型为文本单元的情况下，识别单一文本单元中出现的命名实体，提取文本单元中命名实体之间的关联关系；

在图文单元的类型为图像单元的情况下，通过图像处理技术识别单一图像单元中的文字单元及对应的命名实体，基于文字单元所属的图像区域提取命名实体之间的关联关系。

3.根据权利要求2所述的用于生成知识图谱的方法，其特征在于，提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项的步骤中，

根据图文单元集合中文本和图像中提取的命名实体之间的关联关系，以及命名实体所属文字段落或图像区域的特征进行类聚及分类处理；

与初始知识图谱比较，得到新增命名实体和命名实体间新增的关联关系，并对新增命名实体和命名实体间新增的关联关系赋予置信度形成候选知识项。

4.根据权利要求3所述的用于生成知识图谱的方法，其特征在于，在对新增命名实体和命名实体间新增的关联关系赋予置信度的步骤中，

根据新增命名实体和命名实体间新增的关联关系在多个图文单元中被重复佐证的次数，以及在文本单元中语句佐证环境的数量和在图像单元中图像佐证环境的数量计算置信度。

5.根据权利要求3所述的用于生成知识图谱的方法，其特征在于，在对新增命名实体和命名实体间新增的关联关系赋予置信度的步骤中进一步包括：

将候选知识项添加到初始知识图谱中形成候选新增知识图谱。

6.根据权利要求5所述的用于生成知识图谱的方法，其特征在于，所述对候选知识项进行修正的步骤包括：

展示候选新增知识图谱；

接收用户对选新增知识图谱中新增命名实体和命名实体间新增的关联关系的修正指令；

根据修正指令删除候选知识项。

7.一种用于生成知识图谱的***，其特征在于，包括：

初始化单元，其设置为基于包含命名实体类型之间属性及关联关系的初始知识图谱框架和种子知识集合生成初始知识图谱；

类型判断单元，其设置为判断图文单元的类型；

单一图文知识项识别单元，其设置为以初始知识图谱框架为约束条件，基于图文单元的类型识别单一图文单元中的命名实体以及命名实体之间的关联关系；

图文集合知识项识别单元，其设置为提取图文单元集合中新增命名实体和命名实体间新增的关联关系形成候选知识项；

修正单元，其设置为对候选知识项进行修正，根据修正后的知识项更新初始知识图谱。

8.根据权利要求7所述的用于生成知识图谱的***，其特征在于，所述单一图文知识项识别单元包括：

文本识别模块，设置为在图文单元的类型为文本单元的情况下，识别单一文本单元中出现的命名实体，提取文本单元中命名实体之间的关联关系；

图像识别模块，设置为在图文单元的类型为图像单元的情况下，通过图像处理技术识别单一图像单元中的文字单元及对应的命名实体，基于文字单元所属的图像区域提取命名实体之间的关联关系。

9.根据权利要求8所述的用于生成知识图谱的***，其特征在于，所述图文集合知识项识别单元包括：

知识项发现模块，其设置为根据图文单元集合中文本和图像中提取的命名实体之间的关联关系，以及命名实体所属文字段落或图像区域的特征进行类聚及分类处理；

比较模块，其设置为与初始知识图谱比较，得到新增命名实体和命名实体间新增的关联关系，并对新增命名实体和命名实体间新增的关联关系赋予置信度形成候选知识项。

10.根据权利要求9所述的用于生成知识图谱的***，其特征在于，所述图文集合知识项识别单元进一步包括：

局部更新模块，其设置为将候选知识项添加到初始知识图谱中形成候选新增知识图谱。