CN115809292A - 数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请实施例提供了数据处理方法、装置、设备及介质，应用于数据处理技术领域，通过接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；调用预定义的重建接口重建目标模型客户端的索引模型；从目标外部数据源获取第一数据；将第一数据进行数据转换，得到与索引模型对应的第二数据；调用预定义的添加接口将第二数据***至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的工具包，具有硬件资源需求低和维护成本低的优点。

Description

数据处理方法、装置、设备及介质

技术领域

本申请涉及数据处理领域，尤其涉及数据处理方法、装置、设备及介质。

背景技术

医疗图像病症预测算法模型需要从数据源获取医疗图像数据实现离线训练和在线预测；在此过程中，存在以下问题：数据源接口多样化问题、数据获取流程多样化问题以及数据源与模型之间的数据格式适配问题。目前的解决方案包括flume日志收集***和flink分布式处理框架。其中，flume针对数据源接口多样化问题，能够通过配置接入不同数据源，但是不能直接利用到数据源至模型平台的数据传输上，且数据源扩展接口存在复杂且不易维护的问题。flink存在体积大，部署成本高的问题。

发明内容

本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

为此，本申请实施例的一个目的在于提供数据处理方法、装置、设备及介质。

为实现上述目的，本申请实施例的第一方面提供了一种数据处理方法，包括：

接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端；

调用预定义的重建接口重建所述目标模型客户端的索引模型；

从所述目标外部数据源获取第一数据；

将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据；

调用预定义的添加接口将所述第二数据添加至所述索引模型。

在一些实施例中，所述将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据，包括：

从多个数据转换器中确定与所述目标外部数据源和所述目标模型客户端对应的目标数据转换器；

通过所述目标数据转换器，将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据。

在一些实施例中，所述接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括：

接收来自外部管理模块的数据处理通知，所述数据处理通知包括业务标识和业务内多模型区隔标识；

根据所述业务标识和所述业务内多模型区隔标识，从路由表中由外部管理模块预配置的路由确定目标外部数据源和目标模型客户端。

在一些实施例中，所述从所述目标外部数据源获取第一数据，包括：

确定与所述目标外部数据源对应的数据源接口适配器；

向所述目标外部数据源发送数据获取指令；

通过与所述目标外部数据源对应的数据源接口适配器接收来自所述目标外部数据源的第一数据。

在一些实施例中，所述接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括：

通过与外部数据源对应的数据源接口适配器接收来自外部数据源的数据处理通知；

根据所述数据处理通知，将所述外部数据源确定为目标外部数据源，并从路由表确定目标模型客户端。

在一些实施例中，所述从所述目标外部数据源获取第一数据，包括：

通过与外部数据源对应的数据源接口适配器接收来自所述目标外部数据源的第一数据。

在一些实施例中，所述数据处理方法还包括：

接收来自外部应用的数据分析请求，所述数据分析请求包括业务标识、业务内多模型区隔标识、目标外部数据源和目标模型客户端；

根据所述数据分析请求，从所述索引模型获取目标数据；

通过所述目标模型客户端将所述目标数据发送至对应的目标模型，以使所述目标模型根据所述目标数据得到分析结果。

为实现上述目的，本申请实施例的第二方面提供了一种数据处理装置，包括：

目标确定模块，用于接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端；

模型重建模块，用于调用预定义的重建接口重建所述目标模型客户端的索引模型；

数据获取模块，用于从所述目标外部数据源获取第一数据；

数据转换模块，用于将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据；

数据添加模块，用于调用预定义的添加接口将所述第二数据添加至所述索引模型。

为实现上述目的，本申请实施例的第三方面提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的数据处理方法。

为实现上述目的，本申请实施例的第四方面一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的数据处理方法。

本申请实施例所公开的数据处理方法、装置、设备及介质，其通过接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；调用预定义的重建接口重建目标模型客户端的索引模型；从目标外部数据源获取第一数据；将第一数据进行数据转换，得到与索引模型对应的第二数据；调用预定义的添加接口将第二数据***至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的SDK工具包，具有硬件资源需求低和维护成本低的优点。

附图说明

为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本申请实施例所提供的中间件与外部模型平台、外部上游业务应用、外部管理模块、外部数据源之间的连接示意图；

图2是本申请实施例所提供的数据处理方法的步骤图；

图3是在中间件从数仓拉数据的情况下，步骤S100的子步骤图；

图4是在中间件从数仓拉数据的情况下，步骤S300的子步骤图；

图5是步骤S400的子步骤图；

图6是在数据源控制***向中间件推数据的情况下，步骤S100的子步骤图；

图7是在数据源控制***向中间件推数据的情况下，步骤S300的子步骤图；

图8是在线预测流程的步骤图；

图9是本申请实施例所提供的数据处理装置的结构图；

图10是本申请实施例所提供的电子设备的结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本说明书的描述中，参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先对本申请中涉及的若干名词进行解析：

中间件(midd l eware)：中间件是一类连接软件组件和应用的计算机软件，它包括一组服务。中间件是基础软件的一大类，属于可复用软件的范畴。中间件是一种独立的***软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作***之上，管理计算资源和网络通信。该架构通常用于支持并简化那些复杂的分布式应用程序，它包括web服务器、事务监控器和消息队列软件。中间件在操作***、网络和数据库之上，应用软件的下层，总的作用是为处于自己上层的应用软件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。

为实现上述目的，本申请的实施例提供了数据处理方法、装置、设备及介质，其通过接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；调用预定义的重建接口重建目标模型客户端的索引模型；从目标外部数据源获取第一数据；将第一数据进行数据转换，得到与索引模型对应的第二数据；调用预定义的添加接口将第二数据***至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；能够集成化为轻量的SDK工具包，具有硬件资源需求低和维护成本低的优点。

下面结合附图，对本申请实施例作进一步阐述。

本申请的实施例提供了一种数据传输方法，应用于中间件。

参照图1，中间件包括中控单元、多个数据源接口适配器、协议单元、多个数据转换器、多个模型客户端、多个在线请求适配器。

中控单元用于控制中间件资源的分配调度。

数据源接口适配器能与对应的数据源进行信息交互，从对应的位于中间件外部的数据源的数仓获取数据，以及与协议单元进行信息交互，调用协议单元的各个接口。

协议单元预定义了多个接口，包括重建接口、添加接口和终止接口，当然还预定义了数据的增删查改接口。

数据转换器用于将数据从一种格式转换为另一种格式。当外部数据源有N个，模型客户端有M个的时候，则数据转换器有N*M个。

模型客户端为位于中间件外部的模型的客户端。

不同的在线请求适配器对应不同的业务。

在该实施例中，该中间件具有体积小，集成化程度高的优点，其在形式上最小可以是一个SDK包，能够迅速地让***具有兼容各种数据源、各种模型的训练、预测能力。

另外，该中间件的扩展能力强。在现有的数据源、模型客户端的基础上，对中间件只需要根据现有的数据源和模型客户端进行路由配置即可。当需要新增数据源和模型平台，则对中间件根据新增的数据源和模型平台添加对应的新路由。

另外，能够集成化为轻量的SDK工具包，具有硬件资源需求低和维护成本低的优点。

另外，中间件可以与外部管理模块、外部数据源、外部模型平台、外部上游业务应用进行信息交互。

外部管理模块为设置在中间件外部的能用于对中间件进行管理控制的模块，管理员能通过外部管理模块对中间件进行配置和管理。

外部数据源为设置在中间件外部的数据源，数据源包括数仓和数据源控制***，数仓用于存储数据，数据源控制***用于对数仓进行配置、控制，以及与其他模块进行信息交互。

外部模型平台包括设置在中间件外部的多个模型，模型可以是机器学***台、es集群等。

例如，机器学习模型为用于机器学习的模型。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

es集群有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。对于集群外部，es集群在逻辑上是个整体，是去中心化的，即无中心节点。es集群，可以将单个索引的分片到多个不同分布式物理机器上存储，从而可以实现高可用、容错性等。es集群中索引由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，进而可以处理不能在一个单一的服务器上面运行的大型索引。每个分片可以有多个副本，通过将副本分配到多个服务器，提高查询的负载能力。

外部上游业务应用为设置在中间件外部的上游业务应用。上游业务应用是能向中间件配置业务的应用。

参照图2，本申请的实施例所提供的一种数据处理方法，包括但不限于以下步骤：

步骤S100，接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；

步骤S200，调用预定义的重建接口重建目标模型客户端的索引模型；

步骤S300，从目标外部数据源获取第一数据；

步骤S400，将第一数据进行数据转换，得到对应索引模型的第二数据；

步骤S500，调用预定义的添加接口将第二数据添加至索引模型。

上述数据处理方法能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的SDK工具包，具有硬件资源需求低和维护成本低的优点。

在该实施例中，中间件可以通过两种方式从数据源获取数据，第一种方式是中间件从数仓拉数据，第二种方式是数据源控制***向中间件推数据。

其中，对应中间件从数仓拉数据的方式，能用于对外部模型平台中的模型的离线训练，数据处理方法的具体处理过程如下。

参照图3，对于步骤S100，接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括但不限于以下步骤：

步骤S111，接收来自外部管理模块的数据处理通知，数据处理通知包括业务标识和业务内多模型区隔标识；

步骤S112，根据业务标识和业务内多模型区隔标识，从路由表中由外部管理模块预配置的路由确定目标外部数据源和目标模型客户端。

在步骤S111之前，外部管理模块对中间件分配路由，例如其中一条路由为：业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1，数据源＝第一个数据源，模型＝es集群。中间件将外部管理模块分配的路由记录在路由表中。

对于步骤S111，外部管理模块向中间件发送数据处理通知，数据处理通知包括业务标识和业务内多模型区隔标识，例如数据处理通知包括业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1。中间件的中控单元接收来自外部管理模块的数据处理通知。

对于步骤S112，中间件的中控单元根据数据处理通知中的业务标识appId＝appId1和业务内多模型区隔标识subId＝subId1，从路由表中查找得到由外部管理模块预配置的路由，即路由：业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1，数据源＝第一个数据源，模型＝es集群；进而确定目标外部数据源为第一个数据源，目标模型客户端为es集群。

对于步骤S200，通过对应第一个数据源的数据源接口适配器与中间件发送数据重建指令。中间件接收到来自对应第一个数据源的数据源接口适配器的数据重建指令，调用中间件的预定义的重建接口，重建对应es集群的目标模型客户端的索引模型。

参照图4，对于步骤S300，从目标外部数据源获取第一数据，包括但不限于以下步骤：

步骤S311，确定与目标外部数据源对应的数据源接口适配器；

步骤S312，向目标外部数据源发送数据获取指令；

步骤S313，通过与目标外部数据源对应的数据源接口适配器接收来自目标外部数据源的第一数据。

对于步骤S311，确定与目标外部数据源——第一个数据源对应的数据源接口适配器为第一个数据源接口适配器。

对于步骤S312，通过第一个数据源接口适配器向第一个数据源发送数据获取指令。

对于步骤S313，第一个数据源接收到来自第一个数据源接口适配器的数据获取指令，从数仓调用数据获取指令中映射的数据并向中间件发送；通过第一个数据源接口适配器接收来自第一个数据源的医疗图像数据，即第一数据。

参照图5，对于步骤S400，将第一数据进行数据转换，得到与索引模型对应的第二数据，包括但不限于以下步骤：

步骤S410，从多个数据转换器中确定与目标外部数据源和目标模型客户端对应的目标数据转换器；

步骤S420，通过目标数据转换器，将第一数据进行数据转换，得到与索引模型对应的第二数据。

在该实施例中，具体地，目标外部数据源为第一个数据源，目标模型客户端为es集群对应的模型客户端，则可以从M*N个数据转换器中确定第一个数据转换器为目标数据转换器，该目标数据转换器能够将数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式。通过该目标数据转换器将来自第一个数据源的第一数据进行转换，即将第一数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式，进而得到第二数据。

对于步骤S500，具体地，通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的第二数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

可以理解的是，当从第一个数据源不断有新数据传输的时候，先通过数据转换器将新数据的数据格式转换为对应es集群对应的模型客户端的索引模型的数据格式，持续通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的新数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

直至从第一数据源返回表示空(null)的数据，即第一数据源没有新数据传输。则通过第一个数据源接口适配器从协议模块调用终止接口，终止对该目标模型客户端的索引模型的数据添加操作。

其中，对应数据源控制***向中间件推数据的方式，数据处理方法的具体处理过程如下。

参照图6，对于步骤S100，接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括但不限于以下步骤：

步骤S121，通过与外部数据源对应的数据源接口适配器接收来自外部数据源的数据处理通知；

步骤S122，根据数据处理通知，将外部数据源确定为目标外部数据源，并从路由表确定目标模型客户端。

对于步骤S121，外部数据源的数据源控制***和对应外部数据源的数据源接口适配器持续通信连接，例如对应第一个数据源的数据源接口适配器订阅了第一个数据源的通知信息，当第一个数据源更新了数据，则第一个数据源的数据源控制***触发与对应第一个数据源的数据源接口适配器连通，并向该数据源接口适配器发送数据处理通知。对应第一个数据源的数据源接口适配器接收来自第一个数据源的数据处理通知。

对于步骤S112，由于是通过对应第一个数据源的数据源接口适配器接收数据处理通知，因此可以确定第一个数据源为目标外部数据源。并且，中间件的中控单元根据目标外部数据源为第一个数据源的信息，可以从路由表中查找得到路由：业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1，数据源＝第一个数据源，模型＝es集群；进而确定目标外部数据源为第一个数据源，目标模型客户端为es集群。

对于步骤S200，通过对应第一个数据源的数据源接口适配器与中间件发送数据重建指令。中间件接收到来自对应第一个数据源的数据源接口适配器的数据重建指令，调用中间件的预定义的重建接口，重建对应es集群的目标模型客户端的索引模型。

参照图7，对于步骤S300，从目标外部数据源获取第一数据，包括但不限于以下步骤：

步骤S321，通过与外部数据源对应的数据源接口适配器接收来自目标外部数据源的第一数据。

具体地，第一个数据源主动向中间件发送数据，中间件通过与第一个数据源对应的数据源接口适配器接收来自第一个数据源的医疗图像数据，即第一数据。

参照图5，对于步骤S400，将第一数据进行数据转换，得到与索引模型对应的第二数据，包括但不限于以下步骤：

步骤S410，从多个数据转换器中确定与目标外部数据源和目标模型客户端对应的目标数据转换器；

步骤S420，通过目标数据转换器，将第一数据进行数据转换，得到与索引模型对应的第二数据。

在该实施例中，具体地，目标外部数据源为第一个数据源，目标模型客户端为es集群对应的模型客户端，则可以从M*N个数据转换器中确定第一个数据转换器为目标数据转换器，该目标数据转换器能够将数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式。通过该目标数据转换器将来自第一个数据源的第一数据进行转换，即将第一数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式，进而得到第二数据。

对于步骤S500，具体地，通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的第二数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

可以理解的是，当从第一个数据源不断有新数据传输的时候，先通过数据转换器将新数据的数据格式转换为对应es集群对应的模型客户端的索引模型的数据格式，持续通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的新数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

直至从第一数据源返回表示空(null)的数据，即第一数据源没有新数据传输。则通过第一个数据源接口适配器从协议模块调用终止接口，终止对该目标模型客户端的索引模型的数据添加操作。

参照图8，在此基础上，数据处理方法还包括面向模型的在线预测流程。该在线预测流程，包括但不限于以下步骤：

步骤S610，接收来自外部应用的数据分析请求，数据分析请求包括业务标识、业务内多模型区隔标识、目标外部数据源和目标模型客户端；

步骤S620，根据数据分析请求，从索引模型获取目标数据；

步骤S630，通过目标模型客户端将目标数据发送至对应的目标模型，以使目标模型根据目标数据得到分析结果。

对于步骤S610，外部上游业务应用，即外部应用向中间件发送数据分析请求，以请求分析医疗图像得到病症结果；其中数据分析请求包括业务标识、业务内多模型区隔标识、目标外部数据源和目标模型客户端；例如业务标识appID＝appID1，业务内多模型区隔标识subID＝subID1，目标外部数据源为第一个数据源、目标模型客户端为对应es集群的模型客户端。中间件通过接收来自外部应用的数据分析请求。

对于步骤S620，中控单元调用与业务标识appID1对应的一个在线请求适配器解释数据分析请求，将数据地址映射至对应es集群的模型客户端的索引模型的目标数据的地址，然后调用协议单元预定义的查询接口，按照地址从对应es集群的模型客户端的索引模型查询得到对应医疗图像的目标数据。

对于步骤S630，通过对应es集群的模型客户端将目标数据发送至es集群。es集群接收来自对应es集群的模型客户端的目标数据，根据对应医疗图像的目标数据进行在线分析，由医疗图像进行病症分析得到分析结果，例如对肺部CT图像进行图像识别，得到表征肺部是否存在肿瘤以及肿瘤类型的分析结果。

本申请的实施例，提供了一种数据处理装置，应用中间件。

参照图9，数据处理装置包括目标确定模块110、模型重建模块120、数据获取模块130、数据转换模块140和数据添加模块150。

其中，目标确定模块110用于执行步骤S100，即接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；模型重建模块120用于执行步骤S200，即调用预定义的重建接口重建目标模型客户端的索引模型；数据获取模块130用于执行步骤S300，即从目标外部数据源获取第一数据；数据转换模块140用于执行步骤S400，即将第一数据进行数据转换，得到与索引模型对应的第二数据；数据添加模块150用于执行步骤S500，即调用预定义的添加接口将第二数据添加至索引模型。

在该实施例中，数据处理装置利用中间件可以通过两种方式从数据源获取数据，第一种方式是中间件从数仓拉数据，第二种方式是数据源控制***向中间件推数据。

其中，对应中间件从数仓拉数据的方式，数据处理的具体处理过程如下。

对于目标确定模块110，接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端。具体地，接收来自外部管理模块的数据处理通知，数据处理通知包括业务标识和业务内多模型区隔标识；根据业务标识和业务内多模型区隔标识，从路由表中由外部管理模块预配置的路由确定目标外部数据源和目标模型客户端。

进一步，外部管理模块对中间件分配路由，例如其中一条路由为：业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1，数据源＝第一个数据源，模型＝es集群。中间件将外部管理模块分配的路由记录在路由表中。

外部管理模块向中间件发送数据处理通知，数据处理通知包括业务标识和业务内多模型区隔标识，例如数据处理通知包括业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1。中间件的中控单元接收来自外部管理模块的数据处理通知。

中间件的中控单元根据数据处理通知中的业务标识appId＝appId1和业务内多模型区隔标识subId＝subId1，从路由表中查找得到由外部管理模块预配置的路由，即路由：业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1，数据源＝第一个数据源，模型＝es集群；进而确定目标外部数据源为第一个数据源，目标模型客户端为es集群。

对于模型重建模块120，通过对应第一个数据源的数据源接口适配器与中间件发送数据重建指令。中间件接收到来自对应第一个数据源的数据源接口适配器的数据重建指令，调用中间件的预定义的重建接口，重建对应es集群的目标模型客户端的索引模型。

对于数据获取模块130，从目标外部数据源获取第一数据，具体地，确定与目标外部数据源对应的数据源接口适配器；向目标外部数据源发送数据获取指令；通过与目标外部数据源对应的数据源接口适配器接收来自目标外部数据源的第一数据。

进一步，确定与目标外部数据源——第一个数据源对应的数据源接口适配器为第一个数据源接口适配器。通过第一个数据源接口适配器向第一个数据源发送数据获取指令。第一个数据源接收到来自第一个数据源接口适配器的数据获取指令，从数仓调用数据获取指令中映射的数据并向中间件发送；通过第一个数据源接口适配器接收来自第一个数据源的医疗图像数据，即第一数据。

对于数据转换模块140，将第一数据进行数据转换，得到与索引模型对应的第二数据。具体地，从多个数据转换器中确定与目标外部数据源和目标模型客户端对应的目标数据转换器；通过目标数据转换器，将第一数据进行数据转换，得到与索引模型对应的第二数据。

在该实施例中，具体地，目标外部数据源为第一个数据源，目标模型客户端为es集群对应的模型客户端，则可以从M*N个数据转换器中确定第一个数据转换器为目标数据转换器，该目标数据转换器能够将数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式。通过该目标数据转换器将来自第一个数据源的第一数据进行转换，即将第一数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式，进而得到第二数据。

对于数据添加模块150，通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的第二数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

可以理解的是，当从第一个数据源不断有新数据传输的时候，先通过数据转换器将新数据的数据格式转换为对应es集群对应的模型客户端的索引模型的数据格式，持续通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的新数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

直至从第一数据源返回表示空(null)的数据，即第一数据源没有新数据传输。则通过第一个数据源接口适配器从协议模块调用终止接口，终止对该目标模型客户端的索引模型的数据添加操作。

其中，对应数据源控制***向中间件推数据的方式，数据处理方法的具体处理过程如下。

对于目标确定模块110，接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端。具体地，通过与外部数据源对应的数据源接口适配器接收来自外部数据源的数据处理通知；根据数据处理通知，将外部数据源确定为目标外部数据源，并从路由表确定目标模型客户端。

进一步，外部数据源的数据源控制***和对应外部数据源的数据源接口适配器持续通信连接，例如对应第一个数据源的数据源接口适配器订阅了第一个数据源的通知信息，当第一个数据源更新了数据，则第一个数据源的数据源控制***触发与对应第一个数据源的数据源接口适配器连通，并向该数据源接口适配器发送数据处理通知。对应第一个数据源的数据源接口适配器接收来自第一个数据源的数据处理通知。由于是通过对应第一个数据源的数据源接口适配器接收数据处理通知，因此可以确定第一个数据源为目标外部数据源。并且，中间件的中控单元根据目标外部数据源为第一个数据源的信息，可以从路由表中查找得到路由：业务标识appId＝appId1，业务内多模型区隔标识subId＝subId1，数据源＝第一个数据源，模型＝es集群；进而确定目标外部数据源为第一个数据源，目标模型客户端为es集群。

对于模型重建模块120，通过对应第一个数据源的数据源接口适配器与中间件发送数据重建指令。中间件接收到来自对应第一个数据源的数据源接口适配器的数据重建指令，调用中间件的预定义的重建接口，重建对应es集群的目标模型客户端的索引模型。

对于数据获取模块130，从目标外部数据源获取第一数据。具体地，通过与外部数据源对应的数据源接口适配器接收来自目标外部数据源的第一数据。进一步，第一个数据源主动向中间件发送数据，中间件通过与第一个数据源对应的数据源接口适配器接收来自第一个数据源的医疗图像数据，即第一数据。

对于数据转换模块140，将第一数据进行数据转换，得到与索引模型对应的第二数据。具体地，从多个数据转换器中确定与目标外部数据源和目标模型客户端对应的目标数据转换器；通过目标数据转换器，将第一数据进行数据转换，得到与索引模型对应的第二数据。

进一步，目标外部数据源为第一个数据源，目标模型客户端为es集群对应的模型客户端，则可以从M*N个数据转换器中确定第一个数据转换器为目标数据转换器，该目标数据转换器能够将数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式。通过该目标数据转换器将来自第一个数据源的第一数据进行转换，即将第一数据从第一个数据源对应的数据格式转换为es集群对应的模型客户端的索引模型的数据格式，进而得到第二数据。

对于数据添加模块150，具体地，通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的第二数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

可以理解的是，当从第一个数据源不断有新数据传输的时候，先通过数据转换器将新数据的数据格式转换为对应es集群对应的模型客户端的索引模型的数据格式，持续通过第一个数据源接口适配器从协议模块调用预定义的添加接口，将经数据格式转换后的新数据经从第一个数据源至es集群对应的模型客户端的路由，添加至es集群对应的模型客户端的索引模型中。

直至从第一数据源返回表示空(null)的数据，即第一数据源没有新数据传输。则通过第一个数据源接口适配器从协议模块调用终止接口，终止对该目标模型客户端的索引模型的数据添加操作。

在此基础上，数据处理装置还执行面向模型的在线预测流程。该在线预测流程如下：接收来自外部应用的数据分析请求，数据分析请求包括业务标识、业务内多模型区隔标识、目标外部数据源和目标模型客户端；根据数据分析请求，从索引模型获取目标数据；通过目标模型客户端将目标数据发送至对应的目标模型，以使目标模型根据目标数据得到分析结果。

进一步，外部上游业务应用，即外部应用向中间件发送数据分析请求，其中数据分析请求包括业务标识、业务内多模型区隔标识、目标外部数据源和目标模型客户端；例如业务标识appID＝appID1，业务内多模型区隔标识subID＝subID1，目标外部数据源为第一个数据源、目标模型客户端为对应es集群的模型客户端。中间件通过接收来自外部应用的数据分析请求。

中控单元调用与业务标识appID1对应的一个在线请求适配器解释数据分析请求，将数据地址映射至对应es集群的模型客户端的索引模型的目标数据的地址，然后调用协议单元预定义的查询接口，按照地址从对应es集群的模型客户端的索引模型查询得到目标数据。

通过对应es集群的模型客户端将目标数据发送至es集群。es集群接收来自对应es集群的模型客户端的目标数据，根据对应医疗图像的目标数据进行在线分析，由医疗图像进行病症分析得到分析结果，例如对肺部CT图像进行图像识别，得到表征肺部是否存在肿瘤以及肿瘤类型的分析结果。

在该实施例中，通过目标确定模块110以接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；通过模型重建模块120以调用预定义的重建接口重建目标模型客户端的索引模型；通过数据获取模块130以从目标外部数据源获取第一数据；通过数据转换模块140以将第一数据进行数据转换，得到与索引模型对应的第二数据；通过数据添加模块150以调用预定义的添加接口将第二数据***至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的SDK工具包，具有硬件资源需求低和维护成本低的优点。

本申请的实施例还提供了一种电子设备。参照图10，电子设备包括存储器220、处理器210、存储在存储器220上并可在处理器210上运行的程序以及用于实现处理器210和存储器220之间的连接通信的数据总线230，所述程序被处理器210执行时实现如上的数据处理方法。

上述电子设备通过接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；调用预定义的重建接口重建目标模型客户端的索引模型；从目标外部数据源获取第一数据；将第一数据进行数据转换，得到与索引模型对应的第二数据；调用预定义的添加接口将第二数据***至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的工具包，具有硬件资源需求低和维护成本低的优点。

该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

总体而言，对于电子设备的硬件结构，处理器210可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。

存储器220可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器220可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器220中，并由处理器210来调用执行本申请实施例的数据监控方法。

输入/输出接口用于实现信息输入及输出。

通信接口用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线230在设备的各个组件(例如处理器210、存储器220、输入/输出接口和通信接口)之间传输信息。处理器210、存储器220、输入/输出接口和通信接口通过总线230实现彼此之间在设备内部的通信连接。

本申请的实施例还一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的数据处理方法。

上述计算机可读存储介质通过接收数据处理通知，根据数据处理通知，从路由表确定目标外部数据源和目标模型客户端；调用预定义的重建接口重建目标模型客户端的索引模型；从目标外部数据源获取第一数据；将第一数据进行数据转换，得到与索引模型对应的第二数据；调用预定义的添加接口将第二数据***至索引模型；能够兼容多种数据源和模型，快速完成数据的转换和传输；通过预定义的接口实现不同数据获取过程的统一化；能够集成化为轻量的工具包，具有硬件资源需求低和维护成本低的优点。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端；

调用预定义的重建接口重建所述目标模型客户端的索引模型；

从所述目标外部数据源获取第一数据；

将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据；

调用预定义的添加接口将所述第二数据添加至所述索引模型。

2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据，包括：

从多个数据转换器中确定与所述目标外部数据源和所述目标模型客户端对应的目标数据转换器；

通过所述目标数据转换器，将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据。

3.根据权利要求1或2所述的数据处理方法，其特征在于，所述接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括：

接收来自外部管理模块的数据处理通知，所述数据处理通知包括业务标识和业务内多模型区隔标识；

根据所述业务标识和所述业务内多模型区隔标识，从路由表中由外部管理模块预配置的路由确定目标外部数据源和目标模型客户端。

4.根据权利要求3所述的数据处理方法，其特征在于，所述从所述目标外部数据源获取第一数据，包括：

确定与所述目标外部数据源对应的数据源接口适配器；

向所述目标外部数据源发送数据获取指令；

通过与所述目标外部数据源对应的数据源接口适配器接收来自所述目标外部数据源的第一数据。

5.根据权利要求1或2所述的数据处理方法，其特征在于，所述接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端，包括：

通过与外部数据源对应的数据源接口适配器接收来自外部数据源的数据处理通知；

根据所述数据处理通知，将所述外部数据源确定为目标外部数据源，并从路由表确定目标模型客户端。

6.根据权利要求5所述的数据处理方法，其特征在于，所述从所述目标外部数据源获取第一数据，包括：

通过与外部数据源对应的数据源接口适配器接收来自所述目标外部数据源的第一数据。

7.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

接收来自外部应用的数据分析请求，所述数据分析请求包括业务标识、业务内多模型区隔标识、目标外部数据源和目标模型客户端；

根据所述数据分析请求，从所述索引模型获取目标数据；

通过所述目标模型客户端将所述目标数据发送至对应的目标模型，以使所述目标模型根据所述目标数据得到分析结果。

8.一种数据处理装置，其特征在于，包括：

目标确定模块，用于接收数据处理通知，根据所述数据处理通知，从路由表确定目标外部数据源和目标模型客户端；

模型重建模块，用于调用预定义的重建接口重建所述目标模型客户端的索引模型；

数据获取模块，用于从所述目标外部数据源获取第一数据；

数据转换模块，用于将所述第一数据进行数据转换，得到与所述索引模型对应的第二数据；

数据添加模块，用于调用预定义的添加接口将所述第二数据添加至所述索引模型。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的数据处理方法。

Images