CN106713463A - 一种高性能的跨网络数据传输及导入的方法 - Google Patents
一种高性能的跨网络数据传输及导入的方法 Download PDFInfo
- Publication number
- CN106713463A CN106713463A CN201611225412.0A CN201611225412A CN106713463A CN 106713463 A CN106713463 A CN 106713463A CN 201611225412 A CN201611225412 A CN 201611225412A CN 106713463 A CN106713463 A CN 106713463A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- return
- imported
- datautils
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008676 import Effects 0.000 title claims abstract description 6
- 230000005540 biological transmission Effects 0.000 title abstract description 5
- 238000012546 transfer Methods 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000013144 data compression Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种高性能的跨网络数据传输及导入的方法,属于数据同步技术领域,本发明首先在数据传输前对数据进行压缩,通过http获取数据后进行解压缩,然后通过数据库的数据装载功能load进数据库中。本发明降低网络带宽占用,缩短数据传输时间,减少数据库操作时间,提升整个数据跨网络转移的性能。
Description
技术领域
本发明涉及数据压缩传输,属于数据通信中的数据同步技术领域,具体说是一种高性能的跨网络数据传输及导入的方法。
背景技术
批量数据跨网络通过http在异地数据库之间进行转移,先通过http请求进行数据获取、再通过批量***数据库,此种方式在数据量大的情况下占用网络带宽大,数据传输时间长,数据库操作频繁,事务机制锁占用时间长,性能非常低下。
发明内容
为了解决该问题,本发明提出了一种高性能的跨网络数据传输及导入的方法。在数据跨网络转移过程中,降低网络带宽占用,缩短数据传输时间,减少数据库操作时间,提升整个数据跨网络转移的性能。
本发明的技术方案如下:
一种高性能的跨网络数据传输及导入的方法,
在整个批量数据跨网络传输过程中,首先在数据传输前对数据进行压缩,通过http获取数据后进行解压缩,然后通过数据库的数据装载功能load进数据库中。
主要包括如下几个方面:
1、压缩并传输数据
方法:DataUtils.writeZipObject(OutputStream out,Object object)
参数:输出流、数据对象
返回:空
说明:将要传输的数据对象压缩,并写入http输出流
2、读取压缩数据
方法:DataUtils.readZipObject(InputStream in)
参数:输入流
返回:数据对象
说明:从http输入流中读取压缩后的数据对象,并解压,返回还原后的数据对象
3、将数据文件导入数据库
方法:DataUtils.loadDbDatafile(DataSource ds,String tableName,StringfileName)
参数:数据源,表名,文件名
其中要导入文件的格式为一行表示一条记录,列之间用逗号分隔
返回:导入结果的Map对象
code返回码:0000/成功,其它/失败
msg返回信息:成功或失败的提示信息
其它:load命令执行后返回的处理信息,一般不用关注
说明:将指定的数据文件内容导入到指定的表中,仅支持DB2数据库,可扩展。
本发明的有益效果是:
通过本发明技术的实现及运用,真实有效的解决了批量数据跨网络通过http在异地数据库之间进行转移的性能问题。
附图说明
图1是批量数据跨网络通过http在异地数据库之间进行转移的数据流转及结构图。
具体实施方式
下面对本发明的内容进行更加详细的阐述:
本发明的核心技术点实现方案如下:
压缩并传输数据的方法
方法:DataUtils.writeZipObject(OutputStream out,Object object)
参数:输出流、数据对象
返回:空
说明:将要传输的数据对象压缩,并写入http输出流
一、读取压缩数据的方法
方法:DataUtils.readZipObject(InputStream in)
参数:输入流
返回:数据对象
说明:从http输入流中读取压缩后的数据对象,并解压,返回还原后的数据对象
二、将数据文件导入数据库的方法
方法:DataUtils.loadDbDatafile(DataSource ds,String tableName,StringfileName)
参数:数据源,表名,文件名
其中要导入文件的格式为一行表示一条记录,列之间用逗号分隔
返回:导入结果的Map对象
code返回码:0000/成功,其它/失败
msg返回信息:成功或失败的提示信息
其它:load命令执行后返回的处理信息,一般不用关注
说明:将指定的数据文件内容导入到指定的表中,仅支持DB2数据库,可扩展。
本发明基于数据压缩技术、数据库导入功能,通过http跨网络进行大规模数据传输和数据装入,大大提高大量数据在异地数据库之间的转移的性能。
Claims (5)
1.一种高性能的跨网络数据传输及导入的方法,其特征在于,
在整个批量数据跨网络传输过程中,首先在数据传输前对数据进行压缩,通过http获取数据后进行解压缩,然后通过数据库的数据装载功能load进数据库中。
2.根据权利要求1所述的方法,其特征在于,
主要包括:
1)压缩并传输数据;
2)读取压缩数据;
3)将数据文件导入数据库。
3.根据权利要求2所述的方法,其特征在于,
1)压缩并传输数据
方法:DataUtils.writeZipObject(OutputStream out,Object object)
参数:输出流、数据对象
返回:空
说明:将要传输的数据对象压缩,并写入http输出流。
4.根据权利要求3所述的方法,其特征在于,
2)读取压缩数据
方法:DataUtils.readZipObject(InputStream in)
参数:输入流
返回:数据对象
说明:从http输入流中读取压缩后的数据对象,并解压,返回还原后的数据对象。
5.根据权利要求4所述的方法,其特征在于,
3)将数据文件导入数据库
方法:DataUtils.loadDbDatafile(DataSource ds,String tableName,StringfileName)
参数:数据源,表名,文件名
其中要导入文件的格式为一行表示一条记录,列之间用逗号分隔
返回:导入结果的Map对象
code返回码:0000/成功,其它/失败
msg返回信息:成功或失败的提示信息
其它:load命令执行后返回的处理信息,一般不用关注
说明:将指定的数据文件内容导入到指定的表中,仅支持DB2数据库,可扩展。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611225412.0A CN106713463A (zh) | 2016-12-27 | 2016-12-27 | 一种高性能的跨网络数据传输及导入的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611225412.0A CN106713463A (zh) | 2016-12-27 | 2016-12-27 | 一种高性能的跨网络数据传输及导入的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106713463A true CN106713463A (zh) | 2017-05-24 |
Family
ID=58895424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611225412.0A Pending CN106713463A (zh) | 2016-12-27 | 2016-12-27 | 一种高性能的跨网络数据传输及导入的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106713463A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101039212A (zh) * | 2006-03-15 | 2007-09-19 | 中兴通讯股份有限公司 | 一种数据快速入库方法 |
CN101977361A (zh) * | 2010-10-13 | 2011-02-16 | 深圳市多赢软件技术有限公司 | 一种批量短信预处理方法 |
CN102710769A (zh) * | 2012-05-31 | 2012-10-03 | 深圳市远行科技有限公司 | 一种Web Service客户端及其大批量数据传输方法 |
CN102710768A (zh) * | 2012-05-31 | 2012-10-03 | 深圳市远行科技有限公司 | 一种基于面向服务架构的大批量数据传输***及方法 |
CN103370704A (zh) * | 2010-12-21 | 2013-10-23 | 赛贝斯股份有限公司 | 移动数据库的批量初始下载 |
CN103516803A (zh) * | 2013-09-27 | 2014-01-15 | 深圳创维数字技术股份有限公司 | 一种批量传输缩略图的方法及相关设备 |
-
2016
- 2016-12-27 CN CN201611225412.0A patent/CN106713463A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101039212A (zh) * | 2006-03-15 | 2007-09-19 | 中兴通讯股份有限公司 | 一种数据快速入库方法 |
CN101039212B (zh) * | 2006-03-15 | 2010-11-03 | 中兴通讯股份有限公司 | 一种数据快速入库方法 |
CN101977361A (zh) * | 2010-10-13 | 2011-02-16 | 深圳市多赢软件技术有限公司 | 一种批量短信预处理方法 |
CN103370704A (zh) * | 2010-12-21 | 2013-10-23 | 赛贝斯股份有限公司 | 移动数据库的批量初始下载 |
CN102710769A (zh) * | 2012-05-31 | 2012-10-03 | 深圳市远行科技有限公司 | 一种Web Service客户端及其大批量数据传输方法 |
CN102710768A (zh) * | 2012-05-31 | 2012-10-03 | 深圳市远行科技有限公司 | 一种基于面向服务架构的大批量数据传输***及方法 |
CN103516803A (zh) * | 2013-09-27 | 2014-01-15 | 深圳创维数字技术股份有限公司 | 一种批量传输缩略图的方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103179133B (zh) | 基于实体类的客户端与服务器通信的方法 | |
CN101667843B (zh) | 嵌入式***的数据压缩、及解压缩方法与装置 | |
CN107391463A (zh) | 一种行情数据压缩方法及*** | |
CN105354020A (zh) | 一种Json格式数据解析方法及数据接收端 | |
CN110990482A (zh) | 异步数据库之间的数据同步方法及装置 | |
CN104486434A (zh) | 一种移动终端文件上传、下载的方法及移动终端 | |
CN104661042A (zh) | 一种传输流的传输方法、装置和*** | |
CN105430534A (zh) | 一种智能设备上报数据的方法和*** | |
CN102571939A (zh) | 一种跨平台通信方法及*** | |
CN106528866A (zh) | 一种更新元数据的方法、装置和*** | |
CN103152606B (zh) | 视频文件处理方法及装置、*** | |
CN103778258B (zh) | 一种数据库数据的发送、接收方法、客户端、服务器 | |
CN113821536B (zh) | 基于区块链的数据处理方法、装置、设备及可读存储介质 | |
CN102023978A (zh) | 一种海量数据处理方法及*** | |
CN103297183B (zh) | 数据通信方法及装置 | |
CN106713463A (zh) | 一种高性能的跨网络数据传输及导入的方法 | |
CN105337617A (zh) | 一种fsn文件高效压缩方法 | |
CN112866196A (zh) | 一种短波数字信号解译还原方法 | |
CN100401671C (zh) | 一种文件传送方法 | |
CN105631000B (zh) | 基于移动终端位置特征信息的终端缓存的数据压缩方法 | |
CN1949761B (zh) | 一种数据同步方法及其差分编码方法 | |
CN102647584A (zh) | 一种视频文件生成方法及*** | |
CN101257500A (zh) | 媒体数据处理方法、装置及*** | |
CN102790766A (zh) | 对象查询的方法、***、对象查询装置和对象查询获取装置 | |
CN106330955A (zh) | 一种即时通讯扩展方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170524 |
|
RJ01 | Rejection of invention patent application after publication |