CN102591725A - 一种异构数据库之间多线程数据交换的方法 - Google Patents

Abstract

本发明涉及数据库数据存储领域，尤其涉及一种异构数据库之间多线程数据交换的方法，该方法采用相互独立的多线程读写方式通过对数据缓冲池的应用，使***可以在不同操作***、不同数据库之间做到数据高效率转换和导入导出高速度，解决了现有技术中存在的问题。

Description

一种异构数据库之间多线程数据交换的方法

技术领域

本发明涉及数据库数据存储领域，尤其涉及一种异构数据库之间多线程数据交换的方法。

背景技术

数据库数据转换和导入导出在数据库领域中是经常需要使用的操作。传统的方式是采用数据库厂商专用的工具。这些工具在异构数据库之间转换和导入导出数据时通常具有以下不足：

1、仅针对单一数据库，无法或很难实现异构数据库之间导入或导出，性能不高，灵活性差。很难应用于数据库仓库领域。

2、对于异构数据库之间数据类型转换自定义功能的支持较弱或不支持。

3、配置繁琐，尤其在异构数据库导入导出场合，需要安装多种数据库客户端，每个客户端都需要单独配置，配置不统一，脚本编写麻烦。

4、有些工具针对于特定操作***，无法跨操作***平台。

发明内容

本发明本发明为克服上述的不足之处，目的在于针对异构数据库之间大量数据处理的需要，提供一种异构数据库之间多线程数据交换的方法，采用相互独立的多线程读写方式通过对数据缓冲池的应用，使***可以在不同操作***、不同数据库之间做到数据高效率转换和导入导出高速度，解决了现有技术中存在的问题。

本发明是通过以下技术方案达到上述目的：一种异构数据库之间多线程数据交换的方法，包括读线程、写线程和监控管理线程，读线程负责通过源对象接口从不同操作***、不同类型的源数据库读取数据，源数据库数量可以是1个或多个，也可以是文件类型，并以数据包形式放入数据缓冲池数据队列头部；写线程负责从数据缓冲池数据队列的尾部读取数据，并通过目标对象接口写入不同操作***、不同类型的目标数据库，目标数据库数量可以是1个或多个，也可以是文件类型；监控管理线程负责整体***的运行管理；其实施包括如下步骤：

1)读入配置参数，包括读写数据包大小、数据转换规则、源数据库信息、目标数据库信息、日志文件信息和读线程、写线程启动数。

读入配置参数也可以将配置信息写到配置文件中，然后指定配置文件路径，通过读入文件的方式获得。一般情况下，数据包大小为2～10M之间。

数据转换规则是针对复杂类型的转换和用户特殊的转换规则，用户根据自身情况进行定制，如某数字类型字段在转换中保持的小数点位数，指定对应的转换类型数据。对于复杂数据转换还可以指定函数来处理，如对于oracle的date类型分别赋值给一个db2的date字段和time字段。这个函数实现可以用java语言，也可以指定为perl脚本函数。

源数据库信息和目标数据库信息包括数据库url、操作***、数据库类型、数据库名称、用户名、密码。

2)按照步骤1)所述配置参数要求，启动监管管理线程、读线程和写线程；

3)读线程根据配置参数情况生成一个或多个线程，通过源对象接口连接源数据库，将获取的数据分批放入到缓冲池中，当缓冲池未满时数据被加入到缓冲池中的数据队列的头部，当缓冲池满了的时候，阻塞读线程；

4)写线程根据配置参数情况生成一个或多个线程，连接目标数据库，从缓冲池的数据队列尾部获取数据并通过目标对象接口写入目标数据库，若缓冲池无数据则阻塞写线程；

5)监控管理线程负责监控读写线程的工作情况，并记录日志，供调优分析，并根据调优分析结果动态调整读线程和写线程的比例和数量；

6)如果所有的读线程发现没有数据可读，并且数据缓冲池中数据队列长度为零，此时***结束读线程和写线程，进行数据清理，监控管理线程停止整个过程。

本发明的有益效果：本发明支持异构数据库之间进行数据类型转换和处理工作，为多种数据库提供统一访问接口，屏蔽不同数据库之间数据接口差异。为增加数据处理效率，在***中设计了多线程读写和数据缓冲池，避免传统一边读一边写相互影响的问题，既保证了***效率又减小了***开发工作量。部署维护方便，不依赖任何第三方应用程序，可独立运行。

附图说明

图1：一种异构数据库之间多线程数据交换的方法示意图。

具体实施方式

下面结合附图通过实施例对本发明作进一步阐述：

一种异构数据库之间多线程数据交换的方法，包括读线程、写线程和监控管理线程，读线程负责通过源对象接口从不同操作***、不同类型的源数据库读取数据，源数据库数量可以是1个或多个，也可以是文件类型，并以数据包形式放入数据缓冲池数据队列头部；写线程负责从数据缓冲池数据队列的尾部读取数据，并通过目标对象接口写入不同操作***、不同类型的目标数据库，目标数据库数量可以是1个或多个，也可以是文件类型；监控管理线程负责整体***的运行管理；其实施包括如下步骤：

1)读入配置参数，包括读写数据包大小、数据转换规则、源数据库信息、目标数据库信息、日志文件信息和读线程、写线程启动数。

读入配置参数也可以将配置信息写到配置文件中，然后指定配置文件路径，通过读入文件的方式获得。一般情况下，数据包大小为2～10M之间。

数据转换规则是针对复杂类型的转换和用户特殊的转换规则，用户根据自身情况进行定制，如某数字类型字段在转换中保持的小数点位数，指定对应的转换类型数据。对于复杂数据转换还可以指定函数来处理，如对于oracle的date类型分别赋值给一个db2的date字段和time字段。这个函数实现可以用java语言，也可以指定为perl脚本函数。

源数据库信息和目标数据库信息包括数据库url、操作***、数据库类型、数据库名称、用户名、密码。

2)按照步骤1)所述配置参数要求，启动监管管理线程、读线程和写线程；

3)读线程根据配置参数情况生成一个或多个线程，通过源对象接口连接源数据库，将获取的数据分批放入到缓冲池中，当缓冲池未满时数据被加入到缓冲池中的数据队列的头部，当缓冲池满了的时候，阻塞读线程；

4)写线程根据配置参数情况生成一个或多个线程，连接目标数据库，从缓冲池的数据队列尾部获取数据并通过目标对象接口写入目标数据库，若缓冲池无数据则阻塞写线程；

5)监控管理线程负责监控读写线程的工作情况，并记录日志，供调优分析，并根据调优分析结果动态调整读线程和写线程的比例和数量；

6)如果所有的读线程发现没有数据可读，并且数据缓冲池中数据队列长度为零，此时***结束读线程和写线程，进行数据清理，监控管理线程停止整个过程。

异构数据库之间难点是数据转换，不同数据库之间数据类型往往不一，直接导入很可能导致数据错误。数据转换功能主要针对特定的数据类型在异构数据库之间转换问题，由于历史原因，不同厂商数据库在对标准的实现上有所差异，比如针对于相同类型，不同的数据库在实现细节方面有些是不一致的，在转换中需要根据情况进行转换，例如Oracle中的DATE含有年、月、日、时、分、秒，它和DB2/400中的DATE不相互对应，DB2/400中的DATE只有年、月、日，TIME类型含有时、分、秒，因此日期和时间类型要进行转换。Oracle中的NUMBER类型可以对应DB2/400中的很多类型，这种对应关系要依赖于Oracle中number将用于保存何种类型的数据，是整型还是带有小数位的实型数据，另外类型所占用的存储空间也不相同。为了转换过程中尽量保证数据的准确性，***根据字段数据情况进行进行了智能判断和最优选择如：对于oracle date类型的数据转换到db2的date类型，将oracle的年、月、日数据赋值。若转换为db2的time类型则将用时、分、秒数据赋值。对于number类型是同样道理。***根据两个数据库之间的异同进行判断。保证了大部分需求。

数据缓冲池像是一个容器提供数据的生命周期管理，提供数据进出的缓冲，因为缓冲池的设计使得读写数据效率很高，而相互不会产生影响。缓冲池中维护一个数据包队列，读线程向数据队列头部增加，写线程在队列尾部获取。为减少***运行中方法切换率，数据采用分包的形式在容器中存储。每个数据包有相似的大小，大小设定要根据实际情况进行调整，若太大则缓冲效果差，若太小***频繁切换增加额外消耗。缓冲池在读写过程中控制数据的动态平衡，保证数据传递过程中的准确性。读写线程可以根据任务情况进行指定，监控线程只有一个。读写线程对应的数据交换采用数据缓冲池，使得读写线程隔离开来，隔离读写是为了避免写数据的速度影响读的的速度。避免传统一边读一边写的写的速度影响读的速度的问题，使得读写线程之间影响达到最小提升性能。数据缓冲池的工作模型是生产消费者模式，读线程是生产者，写线程是消费者，两者消费的是数据。

若目标或源对象为文件时，需指明文件路径，为支持大型文件，支持文件拆分，可以指定最大文件存放的数据条数，输出的文件名支持通配符方式，比如outfile{000}.data代表的含义是生成文件名为：

Outfile001.data

Outfile002.data

…….

Outfile998.data

Outfile999.data

为方便文件的处理，可以指定文件存放的格式，如文件列间隔符、行间隔符。同理读文件时也可以指定间隔符，使得***适应性更加灵活。

例如我们想从window2003***中安装的oracle将一张表tableA数据导入到运行于AIX***下面db2数据库表tableB。我们需要先安装本工具，本工具在两套***中安装不依赖任何第三方程序，也不需要安装任何数据库客户端。只需要将本工具安装在能连接两个数据库的网络环境中的任意主机即可。安装完毕后运行以下命令：本例运行于linux***。

./expload.sh -source_db_name oracle -source_db_conn192.168.10.11/database_name，username，password -target_db_name db2-target_db_conn 192.168.10.15/database_name，username，password -sql″select*from tableA where id＞500000；select*from tableA whereid＜＝500000″-table tableB-pre_type append-target_size 2命令参数的含义是：

-source_db_name_source_db_conn分别指定源数据库的类型和连接参数，本例是oracle

-target_db_name db2-target_db_conn分别指定目标数据库的类型和连接参数，本例是db2

若输出或输入为文件指定source_file或target_file参数替换即可。

-sql参数指定了两个sql，这两个sql指定的是同一张表，这样的目的是为了提高读性能。这里的sql数目和读线程的数量一一对应的。本例是2个读线程。-pre_type append该参数指定了预处理类型，本例是指添加到目标表中。也可以指定-pre_sql命令替换可以指定在写入目标表之前需要对目标表的处理比如删除目标表数据或者暂停索引的操作。一般配合-end_sql命令使用用来指定导出结束后执行的sql。

-target_size这个参数指定了写线程的数量为2个。

Oracle数据库中表tableA

id number N

TestDate date Y

TestVarChar varchar2(20) Y

TestNumber number  Y

Db2数据库中表tableB

id integer N

TestDate date Y

TestVarChar varchar(20) Y

TestNumber integer Y

源表数据为100w条，字段id是从1开始的序列字段，***在运行时根据每条sql查询出数据以每1000条作为一个包，若用户提供了类型转换条件则先进行数据转换，转换完毕后，放入到数据缓冲池中，放入后写线程继续取后面的数据如此反复。

对于目标数据我们设置了多条写线程，每个写线程尝试从缓存池中获取数据包，获取后逐条将数据写入到数据库中。根据设置的commit条件执行提交操作。为方便用户，***提供参数以生成运行日志，日志级别分为多个级别，每个级别生成的日志详细程度不同，在运行过程中生成的日志文件，主要内容是记录读写时间占比，读写过程中数据转换过程或数据异常等内容。这些数据可用于检查程序执行是否正常，为排除故障提供线索，用户也可以在自定义转换函数中打印日志方便调试函数实现。对于想进一步提升***性能的用户，日志里还记录了***运行过程中读写线程的占比和读写线程等待的时间，根据这些数据可以分析出来***的瓶颈所在，也可以分析出合适的线程参数。比如日志反映写的占比明显高过读线程，我们可以基本断定写的速度影响了整个导入导出性能，这时候在加大读线程将不会起作用也会带来资源浪费。目标应该是优化写线程，可以采用增加写线程数量等优化措施。若日志结果是写线程相对空闲，可以认为写数据喂不饱属于饥饿状态，则要考虑提升读线程数据量或者减少写线程的数量来节省资源。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (8)

1.一种异构数据库之间多线程数据交换的方法，其特征在于，包括读线程、写线程和监控管理线程，读线程负责通过源对象接口从不同操作***、不同类型的源数据库读取数据，并以数据包形式放入数据缓冲池数据队列头部；写线程负责从数据缓冲池数据队列的尾部读取数据，并通过目标对象接口写入不同操作***、不同类型的目标数据库；监控管理线程负责整体***的运行管理；其实施包括如下步骤：

1)读入配置参数，包括读写数据包大小、数据转换规则、源数据库信息、目标数据库信息、日志文件信息和读线程、写线程启动数；

2)按照步骤1)所述配置参数要求，启动监管管理线程、读线程和写线程；

3)读线程根据配置参数情况生成一个或多个线程，通过源对象接口连接源数据库，将获取的数据分批放入到缓冲池中，当缓冲池未满时数据被加入到缓冲池中的数据队列的头部，当缓冲池满了的时候，阻塞读线程；

4)写线程根据配置参数情况生成一个或多个线程，连接目标数据库，从缓冲池的数据队列尾部获取数据并通过目标对象接口写入目标数据库，若缓冲池无数据则阻塞写线程；

5)监控管理线程负责监控读写线程的工作情况，并记录日志，供调优分析，并根据调优分析结果动态调整读线程和写线程的比例和数量；

6)如果所有的读线程发现没有数据可读，并且数据缓冲池中数据队列长度为零，此时***结束读线程和写线程，进行数据清理，监控管理线程停止整个过程。

2.根据权利要求1所述的一种异构数据库之间多线程数据交换的方法，其特征在于，所述的数据包大小为2～10M之间。

3.根据权利要求1所述的一种异构数据库之间多线程数据交换的方法，其特征在于，步骤1)所述的读入配置参数也可以将配置信息写到配置文件中，然后指定配置文件路径，通过读入文件的方式获得。

4.根据权利要求1所述的一种异构数据库之间多线程数据交换的方法，其特征在于，步骤1)所述配置参数的数据转换规则可以通过指定函数的方式处理。

5.根据权利要求1所述的一种异构数据库之间多线程数据交换的方法，其特征在于，步骤1)所述配置参数的源数据库信息包括源数据库url、操作***、数据库类型、数据库名称、用户名、密码。

6.根据权利要求1所述的一种异构数据库之间多线程数据交换的方法，其特征在于，步骤1)所述配置参数的目标数据库信息包括目标源数据库url、操作***、数据库类型、数据库名称、用户名、密码。

7.根据权利要求1所述的一种异构数据库之间多线程数据交换的方法，其特征在于，源数据库或目标数据库数量可以是1个或多个。

8.根据权利要求1-7任一权利要求所述的一种异构数据库之间多线程数据交换的方法，其特征在于，源数据库或目标数据库可以是文件类型。

Images