CN110515944B - 基于分布式数据库的数据存储方法、存储介质和电子设备 - Google Patents

Abstract

本发明实施例公开了一种基于分布式数据库的数据存储方法、存储介质和电子设备。本发明实施例的服务器端在发送数据获取请求后，接收数据获取请求对应的目标数据集合，并对目标数据集合中包括至少一个更新的人工智能模型对应的流程树文件在内的各目标数据进行处理，从而将处理后的各目标数据进行存储。在本实施例中，服务器在监测到任一配置空间内的数据发生变化后，可以根据发生变化的数据确定目标数据集合，并自动发送数据获取请求。在接收到目标数据集合后，还可以自动对目标数据集合进行处理并进行存储。由此，可以自动对预测服务器存储的人工智能模型进行更新，降低人工成本，提升更新效率，并避免对人工智能模型的应用产生影响。

Description

基于分布式数据库的数据存储方法、存储介质和电子设备

技术领域

本发明公开涉及计算机技术领域，具体涉及一种基于分布式数据库的数据存储方法、存储介质和电子设备。

背景技术

随着科技的不断发展，人工智能模型的应用领域也在不断扩展。而各领域的数据量不断增长和变化，使得应用于各领域的人工智能模型也需要保持较高的更新频率。人工智能模型的数量庞大、更新频率快，人工智能模型的训练过程和应用过程通常无法在同一个服务器上进行。因此在现有技术中，在训练服务器端对人工智能模型进行更新训练后，需要通过人工的方式在预测服务器端的数据库中存储的人工智能模型进行更新。但上述方式人工成本高，且更新效率低，从而对人工智能模型的应用产生影响。

发明内容

有鉴于此,本发明实施例目的在于提供一种基于分布式数据库的数据存储方法、存储介质和电子设备，用于在训练服务器对人工智能模型进行更新后，自动对预测服务器存储的人工智能模型进行更新，降低人工成本，提升更新效率，从而避免对人工智能模型的应用产生影响。

根据本发明实施例的第一方面，提供了一种基于分布式数据库的数据写入方法，所述方法包括：

接收数据写入请求以及所述数据写入请求对应的目标数据集合，所述目标数据集合包括至少一个流程树文件；

确定所述目标数据集合对应的任务类型；

根据所述任务类型确定所述目标数据集合对应的目标配置空间；

将所述目标数据集合写入所述目标配置空间。

优选地，所述根据所述任务类型确定所述目标数据集合对应的目标配置空间包括：

响应于所述任务类型对应的配置空间存在，将所述对应的配置空间确定为所述目标配置空间；

响应于所述任务类型对应的配置空间不存在，创建新的配置空间，并将所述新的配置空间确定为所述目标配置空间。

优选地，所述将所述目标数据集合写入所述目标配置空间包括：

响应于所述目标配置空间存在与所述目标数据集合中的目标数据对应的字段，对所述对应的字段进行修改；

响应于所述目标配置中心不存在与所述目标数据集合对应的字段，增加所述对应的字段。

本实施例的配置中心在接收到数据写入请求以及对应的包括至少一个流程树文件的目标数据集合后，确定目标数据集合对应的任务类型，进而根据任务类型确定目标数据集合在配置中心中对应的目标配置空间，从而将目标数据集合写入目标配置中心内进行存储。在本实施例中，在训练服务器对人工智能模型训练完毕后，配置中心能够对训练服务器中更新的流程树文件等数据进行自动写入，有效降低了数据写入的人工成本。

根据本发明实施例的第二方面，提供了一种基于分布式数据库的数据存储方法，所述方法包括：

发送数据获取请求；

接收所述数据获取请求对应的目标数据集合，所述目标数据集合包括至少一个流程树文件；

对所述目标数据集合中的各目标数据进行处理，获取处理后的各所述目标数据；

将所述处理后的各目标数据进行存储。

优选地，所述发送数据获取请求包括：

通过预定服务发现框架监听配置中心中的预定配置空间；

响应于所述预定配置空间中的数据产生变化，将所述产生变化的数据确定为目标数据集合，将所述预定配置空间确定为目标配置空间，并向所述预定配置中心发送所述数据获取请求。

优选地，所述目标数据集合还包括各所述流程树文件对应的版本信息，以及模型文件和资源文件中的至少一项；

所述对所述目标数据集合中的各目标数据进行处理包括：

根据所述版本信息对所述目标数据进行唯一性验证；

响应于所述版本信息验证通过，对所述流程树文件进行解析处理，以获取所述流程树文件对应的链表文件；

响应于所述版本信息验证通过，对所述模型文件和/或所述资源文件进行解压缩处理。

优选地，所述对所述流程树文件进行解析处理，以获取所述流程树文件对应的链表文件包括：

基于触发器分别对各所述流程树文件中的各转换器进行链接，获取对应的所述链表文件。

优选地，所述将所述处理后的各目标数据进行存储包括：

根据各版本信息创建各所述处理后的目标数据对应的存储路径；

将所述处理后的目标数据存储到所述存储路径。

本发明实施例的服务器端在发送数据获取请求后，接收数据获取请求对应的目标数据集合，并对目标数据集合中包括至少一个更新的人工智能模型对应的流程树文件在内的各目标数据进行处理，从而将处理后的各目标数据进行存储。在本实施例中，服务器在监测到任一配置空间内的数据发生变化后，可以根据发生变化的数据确定目标数据集合，并自动发送数据获取请求。在接收到目标数据集合后，还可以自动对目标数据集合进行处理并进行存储。由此，可以自动对预测服务器存储的人工智能模型进行更新，降低人工成本，提升更新效率，从而避免对人工智能模型的应用产生影响。

根据本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储计算机程序指令，其中，所述计算机程序指令在被处理器执行时实现如第一方面中任一项所述的方法。

根据本发明实施例的第四方面，提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面中任一项所述的方法。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是现有技术的硬件***架构的示意图；

图2是本发明第一实施例的基于分布式数据库的数据写入方法的流程图；

图3是本发明实施例的将目标数据写入目标配置空间的示意图；

图4是本发明第二实施例的基于分布式数据库的数据存储方法的流程图；

图5是本发明第三实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个申请中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是现有技术的硬件***架构的示意图。如图1所示，服务器11为用于对人工智能模型进行训练的服务器，也即训练服务器，服务器12为应用人工智能模型进行数据预测的服务器，也即预测服务器，服务器11和服务器12可以通过网络进行通信连接。服务器11和服务器12均设置有对应的数据库，数据库用于对与人工智能模型相关的数据进行存储。容易理解，本实施例的服务器11和服务器12均可以有多个，本实施例不对服务器的数量进行限定。

人工智能模型是在大量数据的基础上，通过机器学习的方式对数据未来的走向等进行预测的模型。人工智能模型的应用领域可以包括数据预测、分类、语音识别、图像识别等领域。在现有技术中，在服务器11端对人工智能模型进行更新训练后，需要通过人工的方式将更新后的人工智能模型及相关的数据传送给服务器12，从而在服务器12的数据库中对人工智能模型及相关的数据进行更新存储。若存在多台服务器12，则对于每台服务器12，均需要通过人工的方式对数据进行更新，因此上述方式人工成本高，且更新效率低，会对人工智能模型的应用产生影响。

在分布式***中，业务被拆分成多个子服务，每个子服务的粒度相对较小，因此分布式***内会产生大量的子服务。每个子服务均需要必要的配置资源才能够运行，而配置中心的作用便是用于管理分配配置资源，使得每个子服务均能够正常运行。同时，配置中心的服务端可以从远端(也即训练服务器端)自动拉取产生变化的数据并在配置中心进行数据更新。因此，本发明实施例的***架构通过配置中心实现对目标数据的自动写入功能。训练服务器在对人工智能模型完成更新训练后，会自动将与更新后的人工智能模型相关的数据上传至配置中心。预测服务器通过订阅配置中心的预定配置空间获取预定配置空间中发生变化的数据，并向配置中心发送请求获取发生变化的数据，从而根据发生变化的数据对自身数据库中存储的人工智能模型完成更新。

图2是本发明第一实施例的基于分布式数据库的数据写入方法的流程图。本实施例的方法应用于配置中心。如图2所示，本实施例的方法包括如下步骤：

步骤S201，接收数据写入请求以及数据写入请求对应的目标数据集合。

在本实施例中，训练服务器在对人工智能模型完成更新训练后，生成或更新人工智能模型对应的流程树文件，并向配置中心发送数据写入请求。配置中心在接到训练服务器发送的数据写入请求后，获取数据写入请求对应的目标数据集合。流程树文件定义了人工智能模型从输入到输出的完整计算过程，可以包括获取训练样本后对训练样本的预处理步骤、将训练样本转化为向量的步骤、在获取人工智能模型的输出后对输出的处理步骤等，本实施例不做限定。

在对人工智能模型训练进行更新训练时，无论是训练样本或是对训练样本的与处理步骤或是将训练样本转化为向量的步骤等任一项发生了变化，该人工智能模型对应的流程树文件均会产生变化。因此在本实施例中，目标数据集合包括至少一个流程树文件。

容易理解，在本实施例中，每个流程树文件均可以看作一个目标数据。

步骤S202，确定目标数据集合对应的任务类型。

在对人工智能模型进行更新训练前，需要对人工智能模型的训练任务进行预先定义，并在人工智能模型更新完成后将任务类型作为流程树文件的内部配置参数。由此，配置中心在接收目标数据集合后，可以根据流程树文件的内部配置参数确定各目标数据对应的任务类型。在实施例中，任务类型可以为意图识别、文本相似匹配、槽位填充等，本实施例不做限定。

步骤S203，根据任务类型确定目标数据集合对应的目标配置空间。

在本实施例中，可以根据实际需求预先定义任务类型与配置中心内配置空间的对应关系。由此，可以根据任务类型与配置空间的对应关系确定目标数据集合内各目标数据对应的配置空间，从而在后续将目标数据写入对应的配置空间。若目标数据的任务类型存在对应的配置空间，则可以将对应的配置空间确定为该目标数据对应的目标配置空间。若目标数据的任务类型不存在对应的配置空间，则创建一个新的配置空间，并将创建的配置空间确定为该目标数据对应的目标配置空间。

步骤S204，将目标数据集合写入目标配置空间。

目标数据通常以key-value(键-值)的形式进行存储，每个键都可以看作是目标数据中的一个字段。在将目标数据集合中的目标数据写入目标配置空间时，若目标配置空间内存在与目标数据对应的字段，则将目标配置空间中与目标数据对应的字段替换为目标数据中的字段。若目标配置空间内不存在与目标数据对应的字段，则新增目标数据中的字段，由此可以提升目标数据集合的写入效率。

图3是本发明实施例的将目标数据写入目标配置空间的示意图。容易理解，图3所示的配置参数及数量均为示意性的。如图3所示，目标配置空间内存储的字段(也即，key)包括id(编号)、type(类型)、theta和alpha，其中id对应的值(也即，value)为122，type对应的值为1，theta对应的值为0.15，alpha对应的值为0.05。目标数据为目标数据集合中的数据，其同样包括id、type、theta和value。在将目标数据写入目标配置空间时，将目标数据与目标配置空间中的对应字段进行比较，若相同(例如，目标数据中的字段“Alpha”与目标配置空间内存储的字段“Alpha”对应的值)，则保持目标配置空间中该字段对应的值不变；若不相同(例如，目标数据中的字段“ID”与目标配置空间内存储的字段“ID”对应的值)，则将目标配置空间内存储的字段对应的值替换为目标数据中对应的值(例如，将目标配置空间中存储的字段“ID”对应的值由“122”修改为“123”)。

本实施例的配置中心在接收到数据写入请求以及对应的包括至少一个流程树文件的目标数据集合后，确定目标数据集合对应的任务类型，进而根据任务类型确定目标数据集合在配置中心中对应的目标配置空间，从而将目标数据集合写入目标配置中心内进行存储。在本实施例中，在训练服务器对人工智能模型训练完毕后，配置中心能够对训练服务器中更新的流程树文件等数据进行自动写入，有效降低了数据写入的人工成本。

图4是本发明第二实施例的基于分布式数据库的数据存储方法的流程图。本实施例的方法应用于预测服务器。如图4所示，本实施例的方法包括如下步骤：

步骤S401，发送数据获取请求。

具体地，预测服务器可以通过预定的服务发现框架(例如，Eureka、Zookeeper等)监听配置中心中的预定配置空间。若被监听的预定配置空间内的数据产生变化，则将该预定配置空间确定为目标配置空间，根据发生变化的数据确定目标数据集合，并向配置中心自动发送数据获取请求。在本实施例中，发生变化的数据可以为流程树文件。

以Eureka为例，Eureka作为服务注册中心，能够提供完整的服务注册以及服务发现实现。也就是说，预测服务器通过Eureka监听配置中心时，可以自动发现配置中心中发生变化的数据，并向配置中心发送数据获取请求。

步骤S402，接收数据获取请求对应的目标数据集合。

预测服务器向配置中心发送数据获取请求后，可以接收到配置中心发送的目标数据集合。在本实施例中，目标数据集合包括至少一个更新或生成的流程树文件。可选地，若用于训练人工智能模型的词映射或词嵌入发生了变化，则目标数据集合中还包括模型文件；若用于训练人工智能模型的词表、正则表达式等发生了变化，则目标数据集合中还包括资源文件；若训练服务器训练了一个新的人工智能模型，则目标数据集合还包括该人工智能模型。容易理解，在流程树文件更新或生成后，会产生流程树文件对应的版本信息。

步骤S403，对目标数据集合中的各目标数据进行处理，获取处理后的各目标数据。

在本实施例中，各目标数据均存在对应的版本信息。版本信息用于对各目标数据进行唯一性验证。若预测服务器内已存在任一版本信息(也即，没有通过唯一性验证)，表示该预测服务器内对应的目标数据已更新完成(也即，已存在对应的目标数据)，则无需对该预测服务器进行后续操作；若版本信息不存在(也即，通过了唯一性验证)，则对对应的数据进行处理，获取处理后的各目标数据。

在目标数据为流程树文件时，可以对流程树文件进行解析处理，获取流程树文件对应的链表文件。流程树文件通常被保存为json格式，需要将json格式的流程树文件进行解析转化为预测服务器所使用的编程语言，从而进行保存。因此具体地，可以基于触发器分别对各流程树文件中的各转换器进行链接，获取各流程树文件对应的链表文件。触发器(trigger)以及转换器用于承担数据转化的责任，用于匹配对应的输入字段和输出字段，并制定转换规则和约束条件，使得流程树文件中的各部分数据按照预定规则进行转换并生成链表文件。由此，在目标数据为各流程树文件时，可以将各流程树文件对应的链表作为处理后的目标数据。

在目标数据为模型文件和/或资源文件时，可以按照预定的解压缩规则对模型文件和/或资源文件进行解压缩处理，由此，将解压缩后的模型文件和/或资源文件作为处理后的目标数据。

步骤S404，将处理后的各目标数据进行存储。

具体地，在任一目标数据对应的版本信息通过唯一性验证后，可以根据该版本信息创建该目标数据对应的存储路径，并将处理后目标数据存储到对应的存储路径中。容易理解，可以将同一流程树文件对应的模型文件和/或资源文件存储到同一存储路径中。

可选地，对于本实施例的目标数据，在将各目标数据写入预测服务器对应的数据库时，若预测服务器对应的数据库存在与目标数据对应的字段，则将预测服务器对应的数据库中与目标数据对应的字段替换为目标数据中的字段。若预测服务器对应的数据库不存在与目标数据对应的字段，则新增目标数据中的字段，由此同样可以提升目标数据集合的写入效率。

本实施例的服务器端在发送数据获取请求后，接收数据获取请求对应的目标数据集合，并对目标数据集合中包括至少一个更新的人工智能模型对应的流程树文件在内的各目标数据进行处理，从而将处理后的各目标数据进行存储。在本例中，服务器在监测到任一配置空间内的数据发生变化后，可以根据发生变化的数据确定目标数据集合，并自动发送数据获取请求。在接收到目标数据集合后，还可以自动对目标数据集合进行处理并进行存储。由此，可以自动对预测服务器存储的人工智能模型进行更新，降低人工成本，提升更新效率，从而避免对人工智能模型的应用产生影响。

容易理解，在本发明实施例中，还可以将上述两个实施例结合，从而可以在配置中心对人工智能模型更新完毕后自动对测试服务器端的数据库内存储的数据进行更新存储，由此在目标数据集合从训练服务器到配置服务器端更新的过程中降低了人工成本，提升了更新效率，并避免了在预测服务器端对人工智能模型的应用产生影响。

图5是本发明第三实施例的电子设备的示意图。图5所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器51和存储器52。处理器51和存储器52通过总线53连接。存储器52适于存储处理器51可执行的指令或程序。处理器51可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器51通过执行存储器52所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线53将上述多个组件连接在一起，同时将上述组件连接到显示控制器54和显示装置以及输入/输出(I/O)装置55。输入/输出(I/O)装置55可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置55通过输入/输出(I/O)控制器56与***相连。

其中，存储器52可以存储软件组件，例如操作***、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

上述根据本发明实施例的方法、设备(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应理解，流程图和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。

同时，如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为***、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“***”的将软件方面与硬件方面相结合的实施方式。此外，本发明的方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。

可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体***、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行***、设备或装置使用的程序或结合指令执行***、设备或装置使用的程序的任意有形介质。

计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行***、设备或装置使用的或结合指令执行***、设备或装置使用的程序进行通信、传播或传输。

用于执行针对本发明各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如Java、Smalltalk、C++、PHP、Python等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行；部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于分布式数据库的数据存储方法，其特征在于，所述方法包括：

发送数据获取请求；

接收所述数据获取请求对应的目标数据集合，所述目标数据集合包括至少一个流程树文件和各所述流程树文件对应的版本信息；

对所述目标数据集合中的各目标数据进行处理，获取处理后的各所述目标数据；

将所述处理后的各目标数据进行存储；

所述对所述目标数据集合中的各目标数据进行处理包括：

根据所述版本信息对所述目标数据进行唯一性验证；

响应于所述版本信息验证通过，对所述流程树文件进行解析处理，以获取所述流程树文件对应的链表文件；

其中，所述发送数据获取请求包括：

通过预定服务发现框架监听配置中心中的预定配置空间；

响应于所述预定配置空间中的数据产生变化，根据所述产生变化的数据确定目标数据集合，将所述预定配置空间确定为目标配置空间，并向所述预定配置空间发送所述数据获取请求。

2.根据权利要求1所述的方法，其特征在于，所述目标数据集合还包括各所述流程树文件对应的模型文件和资源文件中的至少一项；

所述对所述目标数据集合中的各目标数据进行处理还包括：

响应于所述版本信息验证通过，对所述模型文件和/或所述资源文件进行解压缩处理。

3.根据权利要求1所述的方法，其特征在于，所述对所述流程树文件进行解析处理，以获取所述流程树文件对应的链表文件包括：

基于触发器分别对各所述流程树文件中的各转换器进行链接，获取对应的所述链表文件。

4.根据权利要求1所述的方法，其特征在于，所述将所述处理后的各目标数据进行存储包括：

根据各版本信息创建各所述处理后的目标数据对应的存储路径；

将所述处理后的目标数据存储到所述存储路径。

5.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-4中任一项所述的方法。

6.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-4中任一项所述的方法。

Images