CN112988804A

CN112988804A - 数据传输方法及***

Info

Publication number: CN112988804A
Application number: CN201911275111.2A
Authority: CN
Inventors: 惠晓星; 许宗怡
Original assignee: Shaanxi West Credit Co ltd
Current assignee: Shaanxi West Credit Co ltd
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-06-18

Abstract

本公开提供一种数据传输方法及***，涉及电子信息技术领域，能够解决数据传输效率低的问题。具体技术方案为：发送设备在获取目标数据和目标信息后，将目标数据和目标信息，生成目标数据包，向接收设备发送该目标数据包；接收设备接收该目标数据包，并通过解析目标数据包获取目标信息，根据目标信息对目标数据进行处理。本公开用于数据传输。

Description

数据传输方法及***

技术领域

本公开涉及电子信息技术领域，尤其涉及数据传输方法及***。

背景技术

随着大数据时代的到来，数据传输技术也随之快速发展。为了实现快速、高效的传输数据，现有技术中，通过在传输数据之前，预先配置数据对应的属性信息、传输信息等信息，当接收设备在接收数据时，先读取数据的属性信息、传输信息等信息，从而确定处理数据对应的传输规则；但是这种方法如果需要向多个数据库进行传输时，会面临多个传输节点，并需要配置多个信息，而这些节点的配置信息必须保持一致，若配置信息不一致，则会导致数据传输异常。

发明内容

本公开实施例提供一种数据传输方法及***，能够解决数据传输效率低的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种数据传输方法，应用于发送设备，该方法包括：

获取目标数据、该目标数据对应的属性信息及该目标数据对应的预设处理规则，该预设处理规则用于指示处理该目标数据的规则；

根据预设处理规则和该属性信息，生成该目标数据对应的目标信息；

根据该目标数据和该目标信息，生成目标数据包，并发送该目标数据包。

在一个实施例中，该方法中获取目标数据，包括：

获取数据采集表，该数据采集表用于指示获取目标数据的预设处理规则，该数据采集表包括目标映射和目标数据的状态信息，该状态信息用于指示该目标数据对应的采集状态，该目标映射用于指示所数据采集表和至少一个目标数据源之间的映射关系，该目标数据源包括数据库、文件和Web Service中的至少一个；

根据该目标采集表，从该目标数据源获取目标数据，该目标数据源包括数据库、文件和服务器中的至少一个。

在一个实施例中，该方法中获取目标数据，包括：

监控该目标数据源的目标操作指令是否被激活，该目标操作指令用于指示对目标数据源进行操作，该操作包括增加、删除、修改中的至少一种；

当检测到该目标操作指令被激活时，根据该目标数据源，生成与该操作指令相对应的目标中间表；

通过该目标中间表，获取目标数据。

在一个实施例中，该方法中生成目标数据包，包括：

获取预设格式，该预设格式根据该目标数据的属性信息或者该预设处理规则中的至少一项确定；

根据该预设格式对该目标数据进行转化处理后，生成该目标数据包。

在一个实施例中，该方法还包括：

根据该发送数据包的反馈结果，对该目标数据表进行处理，该反馈结果包括发送成功或者发送失败。

本公开提供的方法是将数据传输时对应的处理规则、数据属性等传输目标信息与目标数据结合在一起，目标信息随着数据包从源节点传输至目标，减少了由于传输配置信息同步异常导致的数据传输问题。从而避免了现有技术中传输效率低的问题。

根据本公开实施例的第二方面，提供一种数据传输方法，应用于接收设备，该方法包括：

接收目标数据包，该目标数据包包括目标数据和目标信息，该目标信息包括该目标数据对应的预设处理规则和属性信息；

根据该目标信息，对该目标数据进行处理。

在一个实施例中，该方法中对该目标数据进行处理，包括：

解析该目标信息，根据解析结果，确定该目标数据对应的目标属性信息；

根据该目标属性信息和该接收设备的目标配置文件，确定与该目标消息相对应的目标传输通道和目标数据库；

根据该目标传输通道，将该目标数据包向目标数据库传输。

在一个实施例中，该方法在接收目标数据包之前，该方法还包括：

获取目标存储信息，该目标存储信息用于指示根据数据的属性信息确定处理该数据时对应的数据库；

获取该消息通道信息，用于指示根据数据的属性信息确定接收数据时对应的消息通道；

根据数据的属性信息，建立该目标存储信息和该消息通道之间的对应关系，并生成目标映射；

根据该目标存储信息和消息通道信息以及该目标映射，生成目标配置文件。

在一个实施例中，该方法中对该目标数据进行处理，包括：

根据该目标信息，确定该目标数据对应的目标数据的属性信息和该目标数据对应的处理规则；

根据该目标数据的属性信息和处理规则，对该目标数据进行处理。

根据本公开实施例的第三方面，提供一种数据传输***，包括：

发送设备和接收设备，

该发送设备和该接收设备相连接，

该发送设备，用于获取目标数据、该目标数据对应的属性信息及该目标数据对应的预设处理规则，该预设处理规则用于指示处理该目标数据的规则；

根据该目标数据和该目标信息，生成目标数据包，并发送该目标数据包；

该接收设备，用于接收目标数据包，该目标数据包包括目标数据和目标信息，该目标信息包括该目标数据对应的预设处理规则和属性信息；

根据该目标信息，对该目标数据进行处理。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种数据传输方法的流程图；

图2是本公开实施例提供的一种数据传输方法的流程图；

图3是本公开实施例提供的一种数据传输***的交互图；

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的***和方法的例子。

实施例一

本公开实施例提供一种数据传输方法，应用于发送设备，如图1所示，该数据传输方法包括以下步骤：

101、获取目标数据及该目标数据对应的预设处理规则。

该预设处理规则用于指示处理该目标数据的规则。

上述获取数据的方式可以通过多种途径获取，以从数据库获取数据进行举例：获取数据的方式可以根据表顺序获取数据、并发方式的获取数据、主从表模式的获取数据；以从文件中获取数据进行举例：获取数据的方式可以根据文件类型、更新时间获取；以从WebService中获取数据进行举例：按照客户端请求获取。

进一步的，在获取目标数据的时候可以通过定时器触发发送设备中的JAVA服务，JAVA服务调用获取数据的接口，获取数据的接口开始获取数据

现有技术是通过单表配置获取目标数据，当遇到大规模数据需要传输时，需要配置的表单也随之增大了，例如上千张表的交换采集配置实施场景，本公开所提供的方法实现了可批量配置相关采集，通过数据库底层接口，获取数据库表元数据信息，一次性可完成批量数据表采集配置，极大减少实施工作量。

此处列举几个具体事例阐述本公开中获取数据的方式，并不代表本公开就局限于此：

示例一、通过监控目标数据的状态信息进行获取，其具体获取目标数据的步骤，包括：

获取数据采集表，该数据采集表用于指示获取目标数据的预设处理规则，该数据采集表包括目标映射和目标数据的状态信息，该状态信息用于指示该目标数据对应的采集状态信息，该目标映射用于指示所数据采集表和至少一个目标数据源之间的映射关系，该目标数据源包括数据库、文件和Web Service中的至少一个；

现有技术是在源表的基础上增加一个数据是否采集的状态字段，实际实施过程中，需要对客户源表结构进行修改，会对客户的业务***造成影响，

本公开所提供的方法是通过生成一张数据采集表，该数据采集表包括存储已采集数据的状态信息，如表名、主键信息、数据更新时间，通过此表与已采集数据的数据源表进行关联，获取最新数据，从而不影响目标数据对应的数据源表结构，不影响***中的原有业务。

示例二、通过监控目标数据的中间表进行获取，即利用数据库触发器机制，直接查询数据库中间表，获取目标数据的关键字和表名，其具体获取目标数据的步骤，包括：

监控该目标数据源的目标操作指令是否被激活，该目标操作指令用于指示对目标数据源进行操作，该操作包括增加、删除、修改中的至少一个操作；

当检测到该目标操作指令被激活时，根据该目标数据源，生成与该操作指令相对应的目标中间表，例如，当操作指令为增加指令时，生成增加数据的目标数据表；

通过该目标中间表，获取目标数据。

现有技术是在传输数据时，通过在数据源表所在库建立一套中间表，源表创建增加、删除、修改三种数据库触发器，通过触发器实现数据的抽取，所有表的数据采集都基于这套中间表实现，但是这种技术对应的缺陷是，当需要批量处理多个数据表时，所有表的采集都从这套中间表中获取，由于触发的数据存储在同一张中间表，程序需要顺序执行，并发执行会引起锁表，

而本公开所提供方法中，在获取数据的过程中会为所有需要采集数据的表，根据操作指令自动生成对应的中间表，从而可实现并发采集处理数据，无需担心锁表问题。

本公开所提供的方法中获取目标数据的方法不局限于上述方法。

进一步的，本公开所提供的方法是将关联表数据按照关联类型，存储在同一XML中，确保是在一个事物里面执行的。

对应一条数据需要***不同数据库表的方式，保证在一个事物里面实现，通过对数据格式的扩展，还可以灵活实现多种数据采集模式。

在实际采集场景中的关联表一对一、关联表一对多、单表对应多表等，现有技术都无法在同一事物中完成，都需要每张表独立配置任务进行采集交换，到目标端数据入库是无序，无法保障数据的一致性和事物性，一般都是通过业务***层来解决。

102、根据该预设处理规则和该属性信息，生成该目标数据对应的目标信息。

该属性信息可以包括：数据类型、目标数据对应的源数据表的属性信息、数据的状态信息等信息

103、根据该目标数据和该目标信息，生成目标数据包，并发送该目标数据包。

本公开该方法中生成目标数据包，包括：

例如可以将数据表的字段名来自动转换成XML文件。

进一步的，本公开所提供方法中，在发送目标数据包之后还包括：

根据该发送数据包的反馈结果，对该目标中间表进行处理，该反馈结果包括发送成功或者发送失败。如，若成功发送数据，则将中间数据表删除。

根据该发送数据包的反馈结果，对该目标采集表进行处理，该反馈结果包括发送成功或者发送失败。如，目标数据已经成功获取，则将该目标数据对应的状态信息更新为已获取。

现有的技术在进行数据的传输时，是将数据独立传输，数据传输的目标、类型等传输所需属性信息，是通过存储在当前节点的数据库或配置文件中，数据到达本节点需要先读取配置信息，获取数据的传输属性，然后再进行数据下一步的处理判断，缺点是依赖配置信息，如果是多个节点进行传输，所有的节点配置信息必须保持一致，需要进行配置信息同步，这样就大大增加了配置信息不同步、不一致问题，数据传输异常情况会大大增加，数据传输效率就会降低。

实施例二

基于上述图1对应的实施例提供的数据传输方法，本公开另一实施例提供一种数据传输方法，该方法可以应用于接收设备，例如，接收设备可以是终端设备或网络服务器等，并不代表本公开局限于此。参照图2所示，本实施例提供的数据传输方法包括以下步骤：

201、接收目标数据包，该目标数据包包括目标数据和目标信息，该目标信息包括该目标数据对应的预设处理规则和属性信息；

在可选实施例中，本公开所提供的方法在接收目标数据包之前，该方法还包括：

该配置文件是接收端程序获取处理通道及数据库信息的配置，通过***B/S界面配置***数据源连接池信息和消息通道、类型等信息自动生成，该配置文件主要配置连接池信息和消息通道信息，连接池用来将接收到的数据存储到指定数据库中，消息通道用来接收不同类型消息，程序根据配置从消息通道中获取接收数据。

202、根据该目标信息，对该目标数据进行处理。

在可选实施例中，本公开该方法中对该目标数据进行处理，包括：

根据该目标属性信息和该接收设备的目标配置文件，确定与该目标消息相对应的目标传输通道；

根据该目标传输通道，将该目标数据包向目标数据库传输。

现有的技术，数据接收和处理均采用单一方式实现，比如采用消息机制实现，针对不同消息类型的数据无法灵活处理，不符合该消息类型则会出现程序错误，

本公开实施例提供的数据传输方法，接收设备可灵活选择消息通道获取数据，并根据消息中的类型信息，选择不同的数据处理执行相应的操作。

实施例三

基于上述图1和图2对应的实施例中所描述的数据传输方法，下述为本公开***实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种数据传输***30，如图3所示，该数据传输***30包括：

发送设备301和接收设备302，

该发送设备301和该接收设备302相连接，

该发送设备301，用于获取目标数据、该目标数据对应的属性信息及该目标数据对应的预设处理规则，该预设处理规则用于指示处理该目标数据的规则；

根据该目标数据和该目标信息，生成目标数据包，并向接收设备302发送该目标数据包；

该接收设备302，用于接收目标数据包，该目标数据包包括目标数据和目标信息，该目标信息包括该目标数据对应的预设处理规则和属性信息；

根据该目标信息，对该目标数据进行处理。

本公开实施例提供的数据传输***，发送设备在获取目标数据后，将目标数据和目标信息生成目标数据包后，向接收设备发送，接收设备接收该目标数据包，并解析目标数据包获取目标信息，根据目标信息对目标数据进行处理。

本***只需要配置数据源、目标数据存储、地址等核心所需目标信息，通过***批量完成数据的自动获取、传输通道自动选择、根据数据类型自动识别目标存储方式，具有实施工作量小、易操作等优势，批量提高政务信息整合共享项目建设的实施效率、减少大量人工配置情况下容易出错，返工的问题，极大提高了此类软件项目工程建设效率。

基于上述图1和图2对应的实施例中所描述的数据传输方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read Only Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1和图2对应的实施例中所描述的数据传输方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims

1.一种数据传输方法，其特征在于，应用于发送设备，所述方法包括：

获取目标数据、所述目标数据对应的属性信息及所述目标数据对应的预设处理规则，所述预设处理规则用于指示处理所述目标数据的规则；

根据预设处理规则和所述属性信息，生成所述目标数据对应的目标信息；

根据所述目标数据和所述目标信息，生成目标数据包，并发送所述目标数据包。

2.根据权利要求1所述的方法，其特征在于，所述获取目标数据，包括：

获取数据采集表，所述数据采集表用于指示获取目标数据的预设处理规则，所述数据采集表包括目标映射和目标数据的状态信息，所述状态信息用于指示所述目标数据对应的采集状态，所述目标映射用于指示所数据采集表和至少一个目标数据源之间的映射关系，所述目标数据源包括数据库、文件和Web Service中的至少一个；

根据所述目标采集表，从所述目标数据源获取目标数据，所述目标数据源包括数据库、文件和服务器中的至少一个。

3.根据权利要求1所述的方法，其特征在于，所述获取目标数据，包括：

监控所述目标数据源的目标操作指令是否被激活，所述目标操作指令用于指示对目标数据源进行操作，所述操作包括增加、删除、修改中的至少一种；

当检测到所述目标操作指令被激活时，根据所述目标数据源，生成与所述操作指令相对应的目标中间表；

通过所述目标中间表，获取目标数据。

4.根据权利要求1所述的方法，其特征在于，所述生成目标数据包，包括：

获取预设格式，所述预设格式根据所述目标数据的属性信息或者所述预设处理规则中的至少一项确定；

根据所述预设格式对所述目标数据进行转化处理后，生成所述目标数据包。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述发送数据包的反馈结果，对所述目标数据表进行处理，所述反馈结果包括发送成功或者发送失败。

6.一种数据传输方法，其特征在于，应用于接收设备，所述方法包括：

接收目标数据包，所述目标数据包包括目标数据和目标信息，所述目标信息包括所述目标数据对应的预设处理规则和属性信息；

根据所述目标信息，对所述目标数据进行处理。

7.根据权利要求6所述的方法，其特征在于，所述对所述目标数据进行处理，包括：

解析所述目标信息，根据解析结果，确定所述目标数据对应的目标属性信息；

根据所述目标属性信息和所述接收设备的目标配置文件，确定与所述目标消息相对应的目标传输通道和目标数据库；

根据所述目标传输通道，将所述目标数据包向目标数据库传输。

8.根据权利要求6所述的方法，其特征在于，在接收目标数据包之前，所述方法还包括：

获取目标存储信息，所述目标存储信息用于指示根据数据的属性信息确定处理所述数据时对应的数据库；

获取所述消息通道信息，用于指示根据数据的属性信息确定接收数据时对应的消息通道；

根据数据的属性信息，建立所述目标存储信息和所述消息通道之间的对应关系，并生成目标映射；

根据所述目标存储信息和消息通道信息以及所述目标映射，生成目标配置文件。

9.根据权利要求6所述的方法，其特征在于，所述对所述目标数据进行处理，包括：

根据所述目标信息，确定所述目标数据对应的目标数据的属性信息和所述目标数据对应的处理规则；

根据所述目标数据的属性信息和处理规则，对所述目标数据进行处理。

10.一种数据传输***，其特征在于，包括：发送设备和接收设备，

所述发送设备和所述接收设备相连接，

所述发送设备，用于获取目标数据、所述目标数据对应的属性信息及所述目标数据对应的预设处理规则，所述预设处理规则用于指示处理所述目标数据的规则；

根据所述目标数据和所述目标信息，生成目标数据包，并发送所述目标数据包；

所述接收设备，用于接收目标数据包，所述目标数据包包括目标数据和目标信息，所述目标信息包括所述目标数据对应的预设处理规则和属性信息；

根据所述目标信息，对所述目标数据进行处理。