CN106934037A

CN106934037A - 一种高并发实现数据库快速加载数据的方法

Info

Publication number: CN106934037A
Application number: CN201710152982.XA
Authority: CN
Inventors: 张承乾
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-03-15
Filing date: 2017-03-15
Publication date: 2017-07-07

Abstract

本发明公开了一种高并发实现数据库快速加载数据的方法，所述方法通过shell实现多线程和线程数控制，结合数据加载工具实现高并发的数据加载。本发明方法可以并行多线程调用数据加载工具进行数据加载，实现数据加载的自动化，提高I/O利用率，提高加载效率。

Description

一种高并发实现数据库快速加载数据的方法

技术领域

本发明涉及数据库技术领域，具体涉及一种高并发实现数据库快速加载数据的方法，主要针对数据库加载大数据量缓慢的问题，提高数据加载速度，实现数据库数据的快速迁移，从而降低数据迁移成本。

背景技术

在linux、unix操作***平台进行大数据量异构数据库迁移、以及分析性数据仓库加载日增量数据的过程中，发现数据加载往往会成为整个数据迁移的瓶颈所在。

基于linux、unix操作***的数据加载工具一般都是单进程，如果要实现并行加载数据，需要人工启动多个进程，操作不方便且数据加载缓慢。

单线程进行数据加载，由于无法充分利用I/O资源，使I/O成为数据加载的瓶颈，往往无法在规定的时间窗口内完成数据加载任务，导致数据迁移时间延长，增加了数据迁移的成本。

虽然部分数据库的加载工具能够支持单表加载过程中的并行，但是在面对大数据量的加载任务时，仍然无法满足性能需要。

发明内容

本发明要解决的技术问题是：本发明针对以上问题，提供一种高并发实现数据库快速加载数据的方法。

本发明所采用的技术方案为：

一种高并发实现数据库快速加载数据的方法，所述方法通过shell实现多线程和线程数控制，结合数据加载工具实现高并发的数据加载，提高I/O利用率，实现数据库数据的快速加载。

所述方法线程控制通过管道实现的，当管道无内容可读时,进程不执行；每个进程执行完成后，向管道写入一个换行符，从而保证进程数是指定的。

所述方法通过config.cfg文件配置数据库信息、目录路径以及线程数。

所述数据加载过程通过程序自动加载，数据加载过程全程不需要用户的干预，用户可以利用剩余时间从事其它工作。

所述数据加载过程采用定时任务，自动判断数据文件是否到达，如果数据文件已经全部到达，便会启动数据加载任务。

所述数据加载过程通过日志记录，以方便用户查看，核对数据加载的记录数是否正确；同时记录加载失败的数据。

所述数据加载工具包括ORACLE SQL*LOADER，DB2 load，KDB kdloader。

本发明的有益效果为：

本发明方法可以并行多线程调用数据加载工具进行数据加载，实现数据加载的自动化，提高I/O利用率，提高加载效率。

具体实施方式

根据具体实施方式对本发明进一步说明：

实施例1：

实施例2

在实施例1的基础，本实施例所述方法线程控制通过管道实现的，当管道无内容可读时进程不执行；每个进程执行完成后，向管道写入一个换行符，从而保证进程数是指定的。

所述方法多进程实现并控制进程数算法如下：

#!/bin/bash

#允许的进程数

THREAD_NUM=200

#定义描述符为9的管道

mkfifo tmp

exec 9<>tmp

#预先写入指定数量的换行符，一个换行符代表一个进程

for ((i=0;i<$THREAD_NUM;i++))

do

echo -ne "\n" 1>&9

done

if [ $# != 1 ] ;then

echo "The parameters you enter is not correct !";

exit -1;

fi

while read line

do

{

#进程控制

read -u 9

{

#isok=`curl -I -o /dev/null -s -w %{http_code} $line`

if [ "$isok" = "200" ]; then

echo $line "OK"

else

echo $line "no"

fi

echo -ne "\n" 1>&9

}&

}

done < $1

wait

echo "执行结束"

rm tmp

上述核心算法可以保证指定数量的子进程。

实施例3

在实施例1或2的基础，本实施例所述方法通过config.cfg文件配置数据库信息、目录路径以及线程数。

实施例4

在实施例3的基础，本实施例所述数据加载过程通过程序自动加载，数据加载过程全程不需要用户的干预，用户可以利用剩余时间从事其它工作。

实施例5

在实施例4的基础，本实施例所述数据加载过程采用定时任务，自动判断数据文件是否到达，如果数据文件已经全部到达，便会启动数据加载任务。

实施例6

在实施例5的基础，本实施例所述数据加载过程通过日志记录，以方便用户查看，核对数据加载的记录数是否正确；同时记录加载失败的数据。

实施例7

在实施例6的基础，本实施例所述数据加载工具包括ORACLE SQL*LOADER，DB2 load，KDB kdloader等。

实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种高并发实现数据库快速加载数据的方法，其特征在于，所述方法通过shell实现多线程和线程数控制，结合数据加载工具实现高并发的数据加载。

2.根据权利要求1所述的一种高并发实现数据库快速加载数据的方法，其特征在于，所述方法线程控制通过管道实现的，当管道无内容可读时,进程不执行；每个进程执行完成后，向管道写入一个换行符，从而保证进程数是指定的。

3.根据权利要求1或2所述的一种高并发实现数据库快速加载数据的方法，其特征在于，所述方法通过config.cfg文件配置数据库信息、目录路径以及线程数。

4.根据权利要求3所述的一种高并发实现数据库快速加载数据的方法，其特征在于，所述数据加载过程通过程序自动加载。

5.根据权利要求4所述的一种高并发实现数据库快速加载数据的方法，其特征在于，所述数据加载过程采用定时任务，自动判断数据文件是否到达，如果数据文件已经全部到达，便会启动数据加载任务。

6.根据权利要求5所述的一种高并发实现数据库快速加载数据的方法，其特征在于，所述数据加载过程通过日志记录，同时记录加载失败的数据。

7.根据权利要求6所述的一种高并发实现数据库快速加载数据的方法，其特征在于，所述数据加载工具包括ORACLE SQL*LOADER，DB2 load，KDB kdloader。