CN109697215A - 数据采集方法、数据采集***和非易失性计算机存储介质 - Google Patents

Abstract

本发明公开一种数据采集方法。数据采集方法包括：从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式；通过适配的连接方式从第三方数据库获取源数据；及转换源数据为目标数据并保存在数据库中。本发明还公开一种数据采集***和计算机可读存储介质。本发明实施方式的数据采集方法、数据采集***和计算机可读存储介质根据与第三方数据库的应用程序编程接口网关适配的预设连接方式从第三方数据库获取源数据，可适配应用程序编程接口网关不同的多个第三方数据库，将多个API网关不同的第三数据库的源数据转换为目标数据并保存到数据库，从而实现多个第三方数据库和数据采集***的数据库的数据共享。

Description

数据采集方法、数据采集***和非易失性计算机存储介质

技术领域

本发明涉及通信技术领域，特别涉及一种用于采集第三方数据库的数据的数据采集方法、数据采集***和非易失性计算机可读存储介质。

背景技术

现有的各种平台的数据库都是独立的没有统一标准的应用程序编程接口(Application Programming Interface，API)网关，例如，第三方平台自有的数据库、公开的电商平台的数据库、及公开的信息平台的数据库等不同平台的数据库的API网关一般不同，API网关不同的数据库无法获取彼此的数据，因此无法实现数据共享。

发明内容

本发明的实施例提供了一种用于采集第三方数据库的数据的数据采集方法、数据采集***和非易失性计算机可读存储介质，以实现多个第三方数据库和数据采集***的数据库的数据共享。

本发明实施方式的用于采集第三方数据库的数据的数据采集方法包括以下步骤：从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式；通过所述适配的连接方式从所述第三方数据库获取源数据；及转换所述源数据为目标数据并保存在数据库中。

本发明实施方式的数据采集***包括数据库和处理器，所述处理器用于从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式、通过所述适配的连接方式从所述第三方数据库获取源数据、及转换所述源数据为目标数据并保存在所述数据库中。

本发明实施方式的一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行所述数据采集方法。

本发明实施方式的数据采集方法、数据采集***和非易失性计算机可读存储介质根据与第三方数据库的应用程序编程接口网关适配的预设连接方式从第三方数据库获取源数据，可适配应用程序编程接口网关不同的多个第三方数据库，将多个应用程序编程接口网关不同的第三数据库的源数据转换为目标数据并保存到数据库，从而实现多个第三方数据库和数据采集***的数据库的数据共享。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某些实施方式的数据采集方法的流程示意图。

图2是本发明某些实施方式的数据采集***的模块示意图。

图3是本发明某些实施方式的数据采集方法的原理示意图。

图4是本发明某些实施方式的数据采集方法的流程示意图。

图5是本发明某些实施方式的数据采集方法的场景示意图。

图6是本发明某些实施方式的数据采集方法的流程示意图。

图7是本发明某些实施方式的数据采集方法的场景示意图。

图8和图9是本发明某些实施方式的数据采集方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明实施方式的数据采集方法包括以下步骤：

012：从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式；

014：通过适配的连接方式从第三方数据库获取源数据；及

016：转换源数据为目标数据并保存在数据库中。

请参阅图2，本发明实施方式的数据采集***100包括数据库10和处理器20，处理器20用于从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式、通过适配的连接方式从第三方数据库获取源数据、及转换源数据为目标数据并保存在数据库10中。

也即是说，本发明实施方式的数据采集方法可以由本发明实施方式的数据采集***100实现，其中，步骤012、步骤014和步骤016可以处理器20实现

具体地，请结合图3，数据采集***100还包括存储器30，数据库10设置在存储器30中，多种预设的连接方式保存在存储器30中。数据采集***100可根据第三方数据库的API网关类型选择适配的连接方式进行通信连接，其中，第三方数据库指的是数据采集***100之外的第三方平台的数据库，例如第三方数据库可以是用友ERP的数据库、天猫商城的数据库、京东商城的数据库等。例如，用友ERP平台的API网关类型为数据库连接类型(例如，数据库连接类型为(Java DataBase Connectivity，JDBC))，则数据采集***100采用数据库连接方式与用友ERP的数据库连接；再例如，天猫商城的API网关类型为超文本传输协议(HyperText Transfer Protocol，HTTP)连接，则数据采集***100采用HTTP连接方式与天猫商城的数据库连接；再例如，京东商城的API网关类型为长连接套接字协议连接(例如，API网关类型为Socket连接)，则数据采集***100采用长连接套接字协议连接方式与京东商城的数据库连接。数据采集***100首先请求第三方数据库的API网关，然后根据第三方数据库的API网关类型选择一种与第三方数据库的API网关类型适配的连接方式以连接第三方数据库，在数据采集***100通过适配的连接方式和第三方数据库连接后，数据采集***100可以从第三方数据库获取源数据。最后，数据采集***100将源数据转换为目标数据并保存在数据库10中。

本发明实施方式的数据采集方法根据与第三方数据库的应用程序编程接口网关适配的预设连接方式从第三方数据库获取源数据，可适配API网关不同的多个第三方数据库，将多个API网关不同的第三数据库的源数据转换为目标数据并保存到数据库10，从而实现多个第三方数据库和数据采集***100的数据库10的数据共享。

在某些实施方式中，多种预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。

具体地，多种预设连接方式包括数据库连接和超文本传输协议连接；或者，多种预设连接方式包括数据库连接和长连接套接字协议连接；或者，多种预设连接方式包括超文本传输协议连接和长连接套接字协议连接；或者，多种预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接。多种预设连接方式可根据需要进行连接的第三方数据库的API网关进行确定，例如，当需要连接以采集源数据的两个第三方数据库的API网关分别包括数据库接口和HTTP接口时，数据采集***100通过数据库连接方式连接其中一个包括数据库接口的第三方数据库，通过HTTP连接方式连接另一个包括HTTP接口的第三方数据库，可以理解，数据采集***100既可以单独与其中一个第三方数据库连接，也可以同时连接两个第三方数据库，在此不做限制。如此，可以保证数据采集***100可以获取到多个API网关不同的第三方数据库的源数据。

请参阅图4，在某些实施方式中，数据采集方法还包括以下步骤：

0131：根据扩特兹公式框架设定定时触发时间；

步骤014包括以下步骤：

0141：在定时触发时间后通过适配的连接方式从第三方数据库获取源数据。

请再次参阅图2，在某些实施方式中，处理器20还用于根据扩特兹公式框架设定定时触发时间、及在定时触发时间后通过适配的连接方式从第三方数据库获取源数据。

也即是说，步骤0131和步骤0141可以由处理器20实现。

具体的，数据采集***100包括扩特兹公式(quartz)框架，通过quartz框架可以很方便的设定从第三方数据库获取源数据的执行时间。数据采集***100可以设定定时触发时间，定时触发时间可以是一个时刻(例如上午12:00)，也可以是一个时间段(例如一天)。例如，在定时触发时间为上午12:00时，数据采集***100在定时触发时间所在的时刻(即，上午12:00)后从第三方数据库获取源数据；而在定时触发时间为一个时间段时，数据采集***100在定时触发时间后通过适配的连接方式从第三方数据库获取源数据可以是：在定时触发时间结束后从第三方数据库获取源数据；也可以是：每隔定时触发时间后从第三方数据库获取源数据。在一个例子中，如图5所示，数据采集***100每天从天猫商城的数据库(即，第三方数据库)获取新上架的沐浴露商品数据，也即是说，数据采集***100设置的定时触发时间是一个时间段，且时间段的长度为1天。天猫商城采用HTTP连接方式，即，天猫商城的API网关包括HTTP接口，在上一次从天猫商城采集完源数据的时刻(例如为上午9：00)的定时触发时间后(即，一天后)，数据采集***100通过HTTP连接方式请求天猫商城的API网关(即，HTTP接口)以实现与天猫商城的数据库的连接，然后发送查询新上架的沐浴露相关商品数据的请求，天猫商城的数据库自身进行数据库查询操作后将查询到的新上架的沐浴露商品的源数据发送给数据采集***100。如此，数据采集***100可通过多时间维度(即定时触发时间可以为一个时刻，也可以为一个时间段)定时从第三方数据库获取源数据。

请参阅图6，在某些实施方式中，数据采集方法还包括以下步骤：

0132：设置自定义调用方法；

步骤014包括以下步骤：

0142：在自定义调用方法被调用时通过适配的连接方式从第三方数据库获取源数据。

请再次参阅图2，在某些实施方式中，处理器20还用于设置自定义调用方法、及在自定义调用方法被调用时通过适配的连接方式从第三方数据库获取源数据。

也即是说，步骤0132和步骤0142可以由处理器20实现。

具体的，数据采集***100可以自定义设置调用方法以从第三方数据库获取源数据。在一个例子中，如图7所示，京东商城的API网关包括Socket接口，数据采集***100通过设置搜索方法从京东商城的数据库(即，第三方数据库)获取跟用户输入相关的源数据。搜索方法用于在获取到用户的输入后，向京东商城的数据库发送查询用户的输入的请求以获取与用户输入相关的源数据。具体地，当数据采集***100获取到用户的输入(例如用户的输入为自行车)时执行搜索方法(即，搜索方法被调用)，数据采集***100通过Socket连接方式请求京东商城的API网关(即，Socket接口)，然后发送一个查询自行车的请求给京东商城，京东商城的数据库自身进行数据库查询(即，查询自行车相关数据)操作后即可返回与自行车相关的源数据。在获取到源数据后，数据采集***100转换源数据为目标数据并保存在数据库10中。用户可根据业务需要自定义设置调用方法。例如，用户想要获得京东商城的苹果手机的相关商品信息，则可设置如上述的搜索方法，输入苹果手机即可得到苹果手机相关的商品信息；再例如，用户想要保持自家水果店的商品价格和京东商城的水果商品的价格基本一致，则可设置一个同步方法，通过调用同步方法用户可获取京东商城上与用户水果店中的品种相同的水果商品的价格从而保持自家水果店的商品价格和京东商城的水果商品的价格基本一致。如此，根据不同的业务需求设置对应的调用方法，可满足不同用户的差异化需求。

请参阅图8，在某些实施方式中，步骤016还包括以下步骤：

0162：根据源数据的数据格式使用对应的转换框架将源数据转换为集合对象；

0164：遍历集合对象并根据预设规则对集合对象进行转换以生成目标数据；及

0166：保存目标数据到数据库10。

请再次参阅图2，在某些实施方式中，处理器20还用于根据源数据的数据格式使用对应的转换框架将源数据转换为集合对象、遍历集合对象并根据预设规则对集合对象进行转换以生成目标数据、及保存目标数据到数据库10。

也即是说，步骤0162、步骤0164和步骤0166可以由处理器20实现。

具体的，在从第三方数据库获取到源数据后，处理器20首先根据源数据的数据格式使用对应的转换框架将源数据转换为Java集合对象，例如，当源数据格式为JS对象简谱(JavaScript Object Notation，JSON)格式时，使用FASTJSON框架将源数据转换为Java集合对象；再例如，当源数据为可扩展标记语言(XML)数据格式时，使用用于XML绑定的Java体系结构(Java Architecture for XML Binding，JAXB)框架将源数据转换为Java集合对象；当源数据格式为字符串(String)格式时，通过Java可直接将源数据转换为Java集合对象。可以理解，源数据的数据格式还可以为其他类型的数据格式，在此不做限制。然后，处理器20获取集合对象的值即可得到集合对象的源字段，存储器30存储有预设规则，预设规则包括从源字段到目标字段的映射规则，例如源字段的日期与目标字段的日期的映射规则、源字段的字段类型与目标字段的字段类型的映射规则、源字段的字段长度与目标字段的字段长度的映射规则等，在进行源字段到目标字段的转换时，可选择对应的转换器进行转换，例如，通过日期转换器(包括源字段的日期到目标字段的日期的映射规则)转换源字段的日期格式为目标字段的日期格式，根据编码转换器(包括源字段的字段类型与目标字段的字段类型的映射规则、源字段的字段长度与目标字段的字段长度的映射规则等)转换源字段的字段类型为目标字段的字段类型、转换源字段的字段长度为目标字段字段长度等。当然，源字段和目标字段的映射规则不限于上述提到的三种预设规则，可根据源字段包括的数据设置一一对应的映射规则以使得源字段的所有数据均可以对应地被转换到目标字段中。最后，在集合对象中的所有源字段均转换完成后即可得到的目标数据(即，目标字段的集合)，然后将目标数据保存在数据库10中即可完成数据采集任务。

请参阅图9，在某些实施方式中，源数据对应的集合对象包括源字段，目标数据包括目标字段，步骤016还包括以下步骤：

0163：在源字段与目标字段不匹配时，过滤集合对象中与源字段对应的数据；

步骤0164包括以下步骤：

01642：遍历过滤后的集合对象并根据预设规则对过滤后的集合对象进行转换以生成目标数据。

请再次参阅图2，在某些实施方式中，处理器20还用于在源字段与目标字段不匹配时，过滤集合对象中与源字段对应的数据、及遍历过滤后的集合对象并根据预设规则对过滤后的集合对象进行转换以生成目标数据。

也即是说，步骤0163和步骤01642可以由处理器20实现。

具体地，在处理器20根据源数据的数据格式使用对应的转换框架将源数据转换为Java集合对象后，处理器20可以获取与源数据对应的集合对象中的源字段，然后处理器20比对源字段与目标字段，例如，存储器30设置有源字段与目标字段的映射规则，处理器20根据源字段找不到对应的映射规则以转换为目标字段时，判断源字段与目标字段不匹配，也即是说，与目标字段不匹配的源字段对应的数据不是数据采集***100想要采集的数据，数据采集***100将与目标字段不匹配的源字段对应的数据当做脏数据进行过滤，使得过滤后的源数据对应的集合对象中的源字段与目标字段一一对应，从而使得过滤后的源数据对应的集合对象中的数据均是数据采集***100所需要的数据。

本发明实施例还提供了一种非易失性计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行以下步骤：

012：从多种预设连接方式中选取与第三方数据库的应用程序编程接口网关适配的连接方式；

014：通过适配的连接方式从第三方数据库获取源数据；及

016：转换源数据为目标数据并保存在数据库10中。

进一步地，当计算机可执行指令被一个或多个处理器执行时，处理器还可以执行以下步骤：

0131：根据扩特兹公式框架设定定时触发时间；

0141：在定时触发时间后执行通过适配的连接方式从第三方数据库获取源数据的步骤。

进一步地，当计算机可执行指令被一个或多个处理器执行时，处理器还可以执行以下步骤：

0132：设置自定义调用方法；及

0142：在自定义调用方法被调用时执行通过适配的连接方式从第三方数据库获取源数据的步骤。

进一步地，当计算机可执行指令被一个或多个处理器执行时，处理器还可以执行以下步骤：

0162：根据源数据的数据格式使用对应的转换框架将源数据转换为集合对象；

0164：遍历集合对象并根据预设规则对集合对象进行转换以生成目标数据；及

0166：保存目标数据到数据库10。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种用于采集第三方数据库的数据的数据采集方法，其特征在于，所述数据采集方法包括：

从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式；

通过所述适配的连接方式从所述第三方数据库获取源数据；及

转换所述源数据为目标数据并保存在数据库中。

2.根据权利要求1所述的数据采集方法，其特征在于，多种所述预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。

3.根据权利要求1所述的数据采集方法，其特征在于，所述数据采集方法还包括：

根据扩特兹公式框架设定定时触发时间；

所述通过所述适配的连接方式从所述第三方数据库获取源数据，包括：

在所述定时触发时间后通过所述适配的连接方式从所述第三方数据库获取源数据。

4.根据权利要求1所述的数据采集方法，其特征在于，所述数据采集方法还包括：

设置自定义调用方法；

所述通过所述适配的连接方式从所述第三方数据库获取源数据，包括：

在所述自定义调用方法被调用时通过所述适配的连接方式从所述第三方数据库获取源数据。

5.根据权利要求1所述的数据采集方法，其特征在于，所述转换所述源数据为目标数据并保存在数据库中，包括：

根据所述源数据的数据格式使用对应的转换框架将所述源数据转换为集合对象；

遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据；及

保存所述目标数据到所述数据库。

6.根据权利要求5所述的数据采集方法，其特征在于，所述源数据对应的集合对象包括源字段，所述目标数据包括目标字段，所述转换所述源数据为目标数据并保存在数据库中，还包括：

在所述源字段与所述目标字段不匹配时，过滤所述集合对象中与所述源字段对应的数据；

所述遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据，包括：

遍历过滤后的所述集合对象并根据预设规则对所述过滤后的集合对象进行转换以生成所述目标数据。

7.一种数据采集***，其特征在于，所述数据采集***包括数据库和处理器，所述处理器用于从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式、通过所述适配的连接方式从所述第三方数据库获取源数据、及转换所述源数据为目标数据并保存在所述数据库中。

8.根据权利要求7所述的数据采集***，其特征在于，多种所述预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。

9.根据权利要求7所述的数据采集***，其特征在于，所述处理器还用于根据扩特兹公式框架设定定时触发时间、及在所述定时触发时间后通过所述适配的连接方式从所述第三方数据库获取所述源数据。

10.根据权利要求7所述的数据采集***，其特征在于，所述处理器还用于设置自定义调用方法、及在所述自定义调用方法被调用时通过所述适配的连接方式从所述第三方数据库获取所述源数据。

11.根据权利要求7所述的数据采集***，其特征在于，所述处理器还用于根据所述源数据的数据格式使用对应的转换框架将所述源数据转换为集合对象、遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据、及保存所述目标数据到所述数据库。

12.根据权利要求11所述的数据采集***，其特征在于，所述处理器还用于在所述源字段与所述目标字段不匹配时，过滤所述集合对象中与所述源字段对应的数据、及遍历过滤后的所述集合对象并根据预设规则对所述过滤后的集合对象进行转换以生成所述目标数据。

13.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的数据采集方法。