CN114547477A - 一种数据处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、电子设备和存储介质，其中，该方法包括：获取至少一个数据源的待处理数据；根据预设网络模型获取所述待处理数据对应的知识内容；根据所述知识内容和知识网络框架构建知识网络。本发明实施例通过获取多个数据源的待处理数据，使用预设网络模型提取各待处理数据中的知识内容，将知识内容按照知识网络框架构建知识网络，实现不同知识网络的统一构建，可降低数据处理难度，提高数据的利用率。

Description

一种数据处理方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术

近年来，随着人工智能技术的发展以及企业数据的增长，如何将大量沉淀的数据进行有效利用，成为当下的研究重点，伴随着云时代的来临，企业创造的结构化数据以及非结构化数据呈指数增长，这些数据下载到关系型数据库进行分析花费过多时间和成本。目前，通常将沉淀数据以知识网络的形式进行关联，通过对知识网络的搜索和推荐，实现数据的有效利用。但是知识网络的搜索指令依赖于网络结构，构建知识网络的整个流程复杂且难以统一，存在较高的技术实现难度，导致部分企业无法对海量沉淀数据得到有效的利用。

发明内容

本发明提供一种数据处理方法、装置、电子设备和存储介质，以构建知识网络，降低数据处理难度，提高数据的利用率。

第一方面，本发明实施例提供了一种数据处理方法，其中，该方法包括：

获取至少一个数据源的待处理数据；

根据预设网络模型获取所述待处理数据对应的知识内容；

根据所述知识内容和知识网络框架构建知识网络。

第二方面，本发明实施例还提供了一种数据处理装置，其中，该装置包括：

数据导入模块，用于获取至少一个数据源的待处理数据；

知识提取模块，用于根据预设网络模型获取所述待处理数据对应的知识内容；

网络构建模块，用于根据所述知识内容和知识网络框架构建知识网络。

第三方面，本发明实施例还提供了一种电子设备，其中，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。

本发明实施例，通过获取多个数据源的待处理数据，使用预设网络模型提取各待处理数据中的知识内容，将知识内容按照知识网络框架构建知识网络，实现不同知识网络的统一构建，可降低数据处理难度，提高数据的利用率。

附图说明

图1是本发明实施例一提供的一种数据处理方法的流程图；

图2是本发明实施例二提供的另一种数据处理方法的流程图；

图3是本发明实施例三提供的一种知识网络平台的示例图；

图4是本发明实施例三提供的知识网络构建流程图；

图5是本发明实施例三提供的celery分布式构建任务流程图；

图6是本发明实施例三提供的多源异构数据构建知识网络流程图；

图7是本发明实施例三提供的链式抽取流程图；

图8是本发明实施例三提供的知识融合流程图；

图9是本发明实施例四提供的一种数据处理装置的结构示意图；

图10是本发明实施五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1是本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于海量数据处理的情况，该方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，参见图1，本发明实施例提供的方法具体包括如下步骤：

步骤110、获取至少一个数据源的待处理数据。

其中，数据源可以是业务产生的各种类型的数据的存储源，数据源的存储格式在此不作限制，本发明实施例可以通过消息队列、数据库链接等方式读取数据源内的待处理数据，待处理数据可以是用于构建知识网络的数据，不同数据源的待处理数据的数据类型可以不同。

具体的，数据源可以根据业务需要和实际数据状况预先配置一个或多个数据源，可以在数据源中读取到用于构建知识网络的待处理数据。

步骤120、根据预设网络模型获取待处理数据对应的知识内容。

其中，预设网络模型可以是用于处理待处理数据的模型，预设网络模型可以包括神经网络模型、专家***模型等，预设网络模型可以提取待处理数据中的知识内容，该知识内容可以是待处理数据中的具有实际含义的实体，知识内容可以通过预设网络模型确定。

在本发明实施例中，可以使用预设网络模型对待处理数据中的进行处理，以提取其中的具有实际含义的实体作为知识内容，可以理解的是，针对不同数据类型的待处理数据可以预先多个不同的预设网络模型，可以在采集到待处理数据后，可以按照待处理数据的数据类型输入到对应的预设网络模型以获取对应的知识内容。

步骤130、根据知识内容和知识网络框架构建知识网络。

其中，知识网络框架可以是知识图谱中实体、属性以及关系的明确届定，知识网络框架可以根据业务所属知识领域的本体设置。

在本发明实施例中，可以基于知识网络框架将各知识内容连接为知识网络，其中，知识内容可以作为知识网络中的实体，而知识网络框架可以是连接各实体之间的属性或关系。

本发明实施例，通过获取多个数据源的待处理数据，使用预设网络模型提取各待处理数据中的知识内容，将知识内容按照知识网络框架构建知识网络，实现不同知识网络的统一构建，可降低数据处理难度，提高数据的利用率。

实施例二

图2是本发明实施例二提供的另一种数据处理方法的流程图，本发明实施例是在上述发明实施例基础上的具体化，参见图2，本发明实施例提供的方法具体包括如下步骤：

步骤210、根据配置的不同数据源读取待处理数据，其中，数据源包括：MQ数据源、AnyShare数据源、MySql数据源、Hive数据源中之一。

在本发明实施例中，可以预先配置一个或多个数据源，在数据源中读取待处理数据，可以理解的是，预先配置的数据源可以为MQ数据源、AnyShare数据源、MySql数据源、Hive数据源中的一种或多种，针对不同类型的数据源可以采取对应的数据读取方式获取待处理数据。

步骤220、获取基于预设知识本体构建的预设网络模型。

其中，预设知识本体可以是针对某个领域的术语集合，该术语集合的组织结构为层次化结构，预设知识本体可以获取、描述和表示相关领域的知识，预设知识本体可以包括核心元素集、元素间交互作用以及元素与规范语言的映射关系，在一个示例性的实施方式中，预设知识本体可以包括五种基本构成元素：类(概念)、关系、函数、公理和实例。

在本发明实施例中，针对不同的业务所属的知识领域，可以预先设置一个或多个预设知识本体，可以按照预设知识本体训练预设网络模型，使得预设网络模型可以提取到待处理数据中的知识内容，也即对应预设知识本体的类、关系、函数、公理或实例等内容。

步骤230、将待处理数据作为任务添加到预设网络模型的处理队列。

其中，处理队列可以是暂存待处理数据的存储空间，预设网络模型可以在处理队列中读取待处理数据。

具体的，可以为预设网络模型申请一处理队列，该处理队列中可以存储预设网络模型待处理的任务，在获取到待处理数据后，可以将一个或多个待处理数据作为一个任务存储到处理队列，可以理解的是，每个任务中可以由一个或多个待处理数据组成，不同任务包括的待处理数据的数据量可以按照业务需求以及处理资源进行配置。

步骤240、控制预设网络模型依次处理处理队列中任务以提取待处理数据的知识内容。

在本发明实施例中，预设网络模型可以从处理队列中依次读取到任务，并对任务中包括的待处理数据进行数据提取以获取到类、关系、函数、公理或实例等类型信息作为知识内容。

步骤250、对知识内容进行知识融合，其中，知识融合至少包括：实体对齐、属性对齐和属性值对齐。

其中，知识融合可以是将知识内容中对应不同预设知识本体元素的信息进行融合的过程，可以将对应相同预设知识本体元素的数据类型或者数据格式进行统一，知识融合可以包括实体对齐、属性对齐以及属性值对齐等。

具体的，在获取到知识内容后，可以将知识内容进行统一化，可以对知识内容进行实体对齐、属性对齐和属性值对齐等操作，使得知识内容中实体类型相同，属性相同以及属性值的格式相同。

步骤260、将知识融合后的知识内容与知识网络框架建立关联关系。

其中，关联关系可以是业务领域内的知识的层次架构关系，该关联关系可以包括知识网络框架内的实体与属性的对应关系以及实体与实体的对应关系。

在本发明实施例中，可以将经过知识融合后的知识内容按照知识网络框架建立关联关系，建立知识内容之间的联系，可以将知识内容转换为具有层次架构的知识网络。

步骤270、将知识内容按照关联关系存储为知识网络。

具体的，可以将知识内容其对应的关联关系作为知识网络进行存储，例如，可以将知识内容作为邻接矩阵的元素进行存储，而将关联关系作为该邻接矩阵中对应元素的位置信息，可以理解的是，知识网络的存储方式在此不作限制，还可以保存为图或者树。

步骤280、根据预设存储方式保存知识网络，预设存储方式包括：OrientDB存储、RDF存储和Neo4j存储。

在本发明实施例中，可以将知识网络存储到不同类型的存储软件中，例如，可以存储到：OrientDB存储、RDF存储和Neo4j存储等，知识网络的具体存储方式可以由用户根据需要进行配置，在进行知识网络的持久化存储时，可以按照配置参数将知识网络存储到对应的存储软件。

本发明实施例，通过配置的不同数据源读取待处理数据，获取按照预设知识本体构建的预设网络模型，将待处理数据添加到预设网络模型的处理队列，控制预设网络模型提取处理队列中待处理数据的知识内容，对知识内容进行知识融合，并将各知识内容按照知识网络框架建立关联关系，将知识内容和对应的关联关系作为知识网络，并按照预设存储方式保存该知识网络，实现了不同知识网络的统一构建，可降低数据处理难度，提高数据的利用率。

进一步的，在上述发明实施例的基础上，所述控制所述预设网络模型依次处理所述处理队列中任务以提取所述待处理数据的知识内容，包括：

针对结构化的所述待处理数据，按照所述预设网络模型中的预设规则提取所述待处理数据的属性信息以构成三元组作为所述知识内容；针对非结构化的所述待处理数据按照所述预设网络模型中的语言模型将所述待处理数据转换为向量，按照所述预设网络模型中的分类模型将所述向量划分到不同知识领域，针对不同所述知识领域的所述向量进行领域知识抽取和/或开放领域知识抽取以获取所述知识内容。

在本发明实施例中，获取到的待处理数据可以包括结构化数据以及非结构化数据，对于结构化的待处理数据，预设网络模型可以为规则模型，预设网络模型中可以配置有一条或多条数据处理规则，可以使用预设网络模型中的预设对待处理数据进行处理，提取待处理数据的属性信息，可以将各属性信息以实体、属性和关系的形式作为三元组，可以将该三元组作为提取到的知识内容。而对于非结构化的待处理数据，可以先使用语言模型将待处理数据转换为向量，再对向量按照其所属的知识领域进行分类，可以针对不同的知识领域内的向量分别进行知识抽取以获取到知识内容。

进一步的，在上述发明实施例的基础上，知识网络框架的关联关系基于人工标注、机器学习或编码模型定义中至少之一方式确定。

在本发明实施例中，知识网络框架中不同实体、属性之间的关联关系可以通过人工标注、机器学习或编码模型定义等方式确定。

实施例三

图3是本发明实施例三提供的一种数据处理方法的示例图，本发明实施例提供的数据处理方法可以基于知识网络平台实现，参见图3，该平台可以由数据源读取、模型管理、模型生成、模型训练、知识网络框架、知识内容抽取、知识融合和知识网络存储等部分组成,该数据处理方法可以先对知识网络平台进行配置：可以包括对获取待处理数据的数据源进行配置，数据源的种类可以包括MQ数据源、AnyShare数据源、MySql数据源、Hive数据源等；对知识网络框架的本体信息的配置，定义抽取的schema；对模型管理以及模型生成中抽取算法的配置，定义抽取的知识内容；对知识内容抽取进行配置，定义知识内容和schema的关联关系；对知识网络存储的配置，定义存储数据库。可以通过上述的配置流程实现知识网络平台的构建，便于实现知识网络的自动化构建，实现数据的有效处理。

参见图4，该数据处理方法可以依次按照配置数据源、配置本体、知识抽取、知识映射、知识融合和知识存储的过程进行。在知识抽取过程中由于需要对海量待处理数据进行处理，本发明实施例中的知识抽取可以借助celery分布式的架构实现并行任务执行减少数据处理和模型抽取的耗时，参见图5，知识抽取过程中以多个worker的形式并行处理，其中每个数据处理和信息抽取都是一个独立的worker，以工作流的方式完成整个构建任务，这样减少重复的数据处理部分和利用分布式的优势提高构建效率。

在知识抽取过程中，针对不同类型的待处理数据可以采取不同的数据处理模型，参见图6，可以配置多种不同的数据源，可以将抽取到的待处理数据时域最小编辑距离或文本相似度的方式建立关联关系，其中，针对增量数据可以在进行数据抽取时实现消息队列MQ获取增量，或者使用otag对比数据获取增量数据。

进一步的，知识抽取可以采用多次链式抽取的方式实现，参见图7，可以先对结构化数据使用规则抽取属性之后，对属性值进行三元组抽取，抽取结构化数据中的隐藏知识。非结构化数据使用语言模型将文本转成向量，例如：词袋模型tf-idf,词嵌入Word2Vec,预训练模型BERT。然后使用分类模型将文本分成不同的领域处理，根据数据内容的类型将后续处理分成领域知识抽取和开放领域抽取，开放领域的抽取例如抽取知识基础概念：is和has关系。领域抽取使用分类模型将文档分类，对于不同领域的文档使用不同的算法模型抽取。知识抽取模型可以针对不同的业务领域设置多种模型，例如，合同要素抽取模型，政策要素抽取模型，人工智能新闻抽取模型等有监督学习的模型，还可以包括无监督的文档结构模型，将文档结构组织和元数据抽取形成知识网络；对于抽取后的文本内容使用ngram、tf-idf、信息熵做新词发现抽取文档的核心词汇，在多次链式抽取过程中可以依次对待处理数据使用多个模型进行处理。

进一步的，知识抽取使用的模型可以由用户自定义生成，知识网络平台中可以通过模型的训练模块，用户可以针对业务需求设计算法模型，并在训练模块中对设计的算法模型进行训练，可以将训练完成的算法模型在知识抽取过程中使用。

进一步的，由于不同的知识图谱概念层级体系各不相同，为了获得更完整、更准确的知识可以使用知识融合，该知识融合可以将多源异构数据和多个知识图谱融合成一个概念层级的数据。通过知识融合，实体融合，属性对齐，属性值融合进行知识融合。融合流程如图8，具体方案是不同等价概念保留其中一种，删除其他的概念；表示不一致的实体使用分块计算、实体相似度算法进行实体消歧、共指消解完成实体对齐工作；使用Jaccard计算两个属性的实体-属性值集合的重叠度来将不同知识网络中的等价属性合并成一个属性；使用少数服从多数策略删除错误知识，例如实体：爱数，属性：公司类型，属性值中有10个是大数据基础服务公司，有一个是金融公司，融合后属性值：大数据基础服务公司。本发明还提供一种自定义的知识融合方式：指定以某个数据源为准，因为这个数据源可能是人工编辑的置信度较高。

对于知识存储，不同的任务和不同的人群对知识存储不同的需求，而目前很多构建流程基本只选择其中一种作为知识存储，本发明将融合后信息进行规范化之后，提供不同的方式存储知识，如支持OrientDB、RDF和Neo4j进行知识存储。OrientDB图数据库的更多的场景是面向企业做快速检索和复杂搜索，RDF面向算法研究员做实验研究。

实施例四

图9是本发明实施例四提供的一种数据处理装置的结构示意图，如图9所示，该装置包括：

数据导入模块301，用于获取至少一个数据源的待处理数据。

知识提取模块302，用于根据预设网络模型获取所述待处理数据对应的知识内容。

网络构建模块303，用于根据所述知识内容和知识网络框架构建知识网络。

本发明实施例，通过数据导入模块获取多个数据源的待处理数据，知识提取模块使用预设网络模型提取各待处理数据中的知识内容，网络构建模块将知识内容按照知识网络框架构建知识网络，实现不同知识网络的统一构建，可降低数据处理难度，提高数据的利用率。

进一步的，在上述发明实施例的基础上，数据导入模块具体用于根据配置的不同数据源读取待处理数据，其中，所述数据源包括：MQ数据源、AnyShare数据源、MySql数据源、Hive数据源中之一。

进一步的，在上述发明实施例的基础上，知识提取模块302包括：

模型获取单元，用于获取基于预设知识本体构建的预设网络模型。

数据暂存单元，用于将所述待处理数据作为任务添加到所述预设网络模型的处理队列。

知识提取单元，用于控制所述预设网络模型依次处理所述处理队列中任务以提取所述待处理数据的知识内容。

进一步的，在上述发明实施例的基础上，知识提取单元具体用于：针对结构化的所述待处理数据，按照所述预设网络模型中的预设规则提取所述待处理数据的属性信息以构成三元组作为所述知识内容；针对非结构化的所述待处理数据按照所述预设网络模型中的语言模型将所述待处理数据转换为向量，按照所述预设网络模型中的分类模型将所述向量划分到不同知识领域，针对不同所述知识领域的所述向量进行领域知识抽取和/或开放领域知识抽取以获取所述知识内容。

进一步的，在上述发明实施例的基础上，网络构建模块303包括：

知识融合单元，用于对所述知识内容进行知识融合，其中，所述知识融合至少包括：实体对齐、属性对齐和属性值对齐。

关系建立单元，用于将知识融合后的所述知识内容与知识网络框架建立关联关系。

网络建立单元，用于将所述知识内容按照所述关联关系存储为知识网络。

进一步的，在上述发明实施例的基础上，知识网络框架的关联关系基于人工标注、机器学习或编码模型定义中至少之一方式确定。

进一步的，在上述发明实施例的基础上，还包括：知识存储模块，用于根据预设存储方式保存所述知识网络，所述预设存储方式包括：OrientDB存储、RDF存储和Neo4j存储。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例五

图10是本发明实施五提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如信息展示方法。

在一些实施例中，信息展示方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的信息展示方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息展示方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法，该方法包括：

获取至少一个数据源的待处理数据；

根据预设网络模型获取所述待处理数据对应的知识内容；

根据所述知识内容和知识网络框架构建知识网络。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取至少一个数据源的待处理数据；

根据预设网络模型获取所述待处理数据对应的知识内容；

根据所述知识内容和知识网络框架构建知识网络。

2.根据权利要求1所述方法，其特征在于，所述获取至少一个数据源的待处理数据，包括：

根据配置的不同数据源读取待处理数据，其中，所述数据源包括：MQ数据源、AnyShare数据源、MySql数据源、Hive数据源中之一。

3.根据权利要求1所述方法，其特征在于，所述根据预设网络模型获取所述待处理数据对应的知识内容，包括：

获取基于预设知识本体构建的预设网络模型；

将所述待处理数据作为任务添加到所述预设网络模型的处理队列；

控制所述预设网络模型依次处理所述处理队列中任务以提取所述待处理数据的知识内容。

4.根据权利要求3所述方法，其特征在于，所述控制所述预设网络模型依次处理所述处理队列中任务以提取所述待处理数据的知识内容，包括：

针对结构化的所述待处理数据，按照所述预设网络模型中的预设规则提取所述待处理数据的属性信息以构成三元组作为所述知识内容；

针对非结构化的所述待处理数据按照所述预设网络模型中的语言模型将所述待处理数据转换为向量，按照所述预设网络模型中的分类模型将所述向量划分到不同知识领域，针对不同所述知识领域的所述向量进行领域知识抽取和/或开放领域知识抽取以获取所述知识内容。

5.根据权利要求1所述方法，其特征在于，根据所述知识内容和知识网络框架构建知识网络，包括：

对所述知识内容进行知识融合，其中，所述知识融合至少包括：实体对齐、属性对齐和属性值对齐；

将知识融合后的所述知识内容与知识网络框架建立关联关系；

将所述知识内容按照所述关联关系存储为知识网络。

6.根据权利要求5所述方法，其特征在于，所述知识网络框架的关联关系基于人工标注、机器学习或编码模型定义中至少之一方式确定。

7.根据权利要求1所述方法，其特征在于，还包括：

根据预设存储方式保存所述知识网络，所述预设存储方式包括：OrientDB存储、RDF存储和Neo4j存储。

8.一种数据处理装置，其特征在于，所述装置包括：

数据导入模块，用于获取至少一个数据源的待处理数据；

知识提取模块，用于根据预设网络模型获取所述待处理数据对应的知识内容；

网络构建模块，用于根据所述知识内容和知识网络框架构建知识网络。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的数据处理方法。

Images