CN102799485A - 历史数据的迁移方法及装置 - Google Patents

历史数据的迁移方法及装置 Download PDF

Info

Publication number
CN102799485A
CN102799485A CN2012102418060A CN201210241806A CN102799485A CN 102799485 A CN102799485 A CN 102799485A CN 2012102418060 A CN2012102418060 A CN 2012102418060A CN 201210241806 A CN201210241806 A CN 201210241806A CN 102799485 A CN102799485 A CN 102799485A
Authority
CN
China
Prior art keywords
cloud computing
computing platform
historical data
application system
platform server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102418060A
Other languages
English (en)
Other versions
CN102799485B (zh
Inventor
陈显龙
陈晓龙
杨志鹏
罗新伟
江春华
方文
胡宝良
牛仁义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forever Technology Co Ltd
Original Assignee
Beijing Forever Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forever Technology Co Ltd filed Critical Beijing Forever Technology Co Ltd
Priority to CN201210241806.0A priority Critical patent/CN102799485B/zh
Publication of CN102799485A publication Critical patent/CN102799485A/zh
Application granted granted Critical
Publication of CN102799485B publication Critical patent/CN102799485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种历史数据的迁移方法及装置,该历史数据的迁移方法包括:云计算平台服务器接收历史数据迁移工具发送的调用接口请求,其中,历史数据迁移工具在读取第一应用***的历史数据清单之后向云计算平台服务器发送调用接口请求,第一应用***与云计算平台服务器连接;以及云计算平台服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。通过本发明,使得历史非结构化数据的迁移能够完整、安全和快速地进行。

Description

历史数据的迁移方法及装置
技术领域
本发明涉及互联网领域,具体而言,涉及一种历史数据的迁移方法及装置。
背景技术
在信息化建设过程中,随着技术的发展,原有的信息***不断被功能强大的新***所取代,在新旧***的切换过程中,必然要面临一个数据迁移的问题。
原有的旧***从启用到被新***取代,在其使用期间必然会累积大量珍贵的历史数据,其中许多历史数据都是新***顺利启动所必须的。另外,这些历史数据也是进行决策分析的重要依据。数据迁移,就是将这些历史数据进行清洗、转换,并装载到新***中的过程。
随着科学技术信息的发展,信息***不断更新,在新旧***切换时,必然面临数据迁移的问题。数据迁移的质量也关系到***以后是否能稳定运行,如果迁移失败,新的***不能正常启用;如果迁移的数据冗余大,没能有效阻止垃圾数据,对***会造成很大的隐患。这些垃圾数据,可能会产生新的错误数据,严重时会导致***异常。
数据迁移主要适用于一套旧***切换到另一套新***,或多套旧***切换到一套新***的情况。对于多套旧***切换到一套新***的情况,由于信息化建设的先后,使得有多个不同的应用***同时运行,但是相互间不能做到相对有效的信息共享,所以就需要一套新***来包容所有旧***中的信息。
现有技术中没有关于历史非结构化数据迁移到云计算平台存储器的方案,大多数据历史数据迁移的方法都是手动线备份然后在手动拷贝的方式和使用数据库的自身工具,一些数据迁移方法或工具如:oracle自带的复制工具DataGuard、逻辑备份和数据泵等都是针对结构化数据进行操作,对于非结构化数据的迁移的工具或技术基本没有,而且目前对于非结构化数据的迁移有着很大的风险,包括数据的完整性、安全性、迁移效率都无法具备保障。对于支持多数据源的迁移、支持多数据格式的迁移、多业务应用数据迁移和迁移后用户使用非结构化历史数据的体验也没有保障。
针对数据迁移到云计算平台的完整性、安全性和效率不高的问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种历史数据的迁移方法及装置,以至少解决数据迁移到云计算平台的完整性、安全性和效率不高的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种历史数据的迁移方法。
根据本发明的历史数据的迁移方法包括:云计算平台服务器接收历史数据迁移工具发送的调用接口请求,其中,历史数据迁移工具在读取第一应用***的历史数据清单之后向云计算平台服务器发送调用接口请求,第一应用***与云计算平台服务器连接;以及云计算平台服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
进一步地,在云计算平台服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中之后,上述方法还包括:云计算平台服务器接收来自云计算平台存储器的历史数据的标识符;云计算平台服务器将历史数据的标识符添加到第一应用***的历史迁移数据清单和第二应用***的历史迁移数据清单中,其中,第二应用***与云计算平台服务器连接,第二应用***与第一应用***不同;云计算平台服务器将第一应用***的历史迁移数据清单返回至第一应用***中;以及云计算平台服务器将第二应用***的历史迁移数据清单返回至第二应用***中。
进一步地,在云计算平台服务器接收历史数据迁移工具发送的调用接口请求之后以及云计算平台服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中之前,上述方法还包括:云计算平台服务器验证调用接口请求;以及在验证调用接口请求不成功时,云计算平台服务器向历史迁移工具返回错误信息,并重新接受历史数据迁移工具发送的调用接口请求。
进一步地,在云计算平台服务器接收历史数据迁移工具发送的调用接口请求之前,上述方法还包括:云计算平台服务器接收源主机和目的主机预定资源请求;服务控制器选择云计算平台服务器中负载最低的服务器,云计算平台服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中包括:云计算平台服务器中负载最低的服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
进一步地,在云计算平台服务器接收源主机和目的主机预定资源请求之前,上述方法还包括:检测云计算平台服务器的内存是否够用;以及在云计算平台服务器的内存不够用时,释放内存。
进一步地,在云计算平台服务器接收源主机和目的主机预定资源请求之后以及服务控制器选择云计算平台服务器中负载最低的服务器之前,上述方法还包括:服务控制器判断预定资源请求所对应的资源是否预定成功;以及在预定资源请求所对应的资源没有预定成功时,服务控制器向源主机和目的主机返回错误信息。
为了实现上述目的,根据本发明的另一个方面,提供了一种历史数据的迁移装置,该装置用于执行本发明提供的任意一种历史数据的迁移方法。
根据本发明的另一方面,提供了一种历史数据的迁移装置。该历史数据的迁移装置包括:第一接收单元,用于接收历史数据迁移工具发送的调用接口请求,其中,历史数据迁移工具在读取第一应用***的历史数据清单之后向云计算平台服务器发送调用接口请求,第一应用***与云计算平台服务器连接;以及存储单元,用于通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
进一步地,上述装置还包括:第二接收单元,用于接收来自云计算平台存储器的历史数据的标识符;添加单元,用于将历史数据的标识符添加到第一应用***的历史迁移数据清单和第二应用***的历史迁移数据清单中,其中,第二应用***与云计算平台服务器连接,第二应用***与第一应用***不同;第一返回单元,用于将第一应用***的历史迁移数据清单返回至第一应用***中;以及第二返回单元,用于将第二应用***的历史迁移数据清单返回至第二应用***中。
进一步地,上述装置还包括:验证单元,用于验证调用接口请求;以及第三返回单元,用于在验证调用接口请求不成功时,向历史迁移工具返回错误信息,并重新接受历史数据迁移工具发送的调用接口请求。
进一步地,上述装置还包括:第三接收单元,用于接收源主机和目的主机预定资源请求。
进一步地,上述装置还包括:检测单元,用于检测云计算平台服务器的内存是否够用;以及释放单元,用于在云计算平台服务器的内存不够用时,释放内存。
通过本发明,由于在数据迁移前读取应用***的历史数据清单,从而可以根据该历史数据清单对各个旧应用***的数据进行迁移,因此能够保证数据迁移能够按步骤进行,进而保证了数据迁移时数据的完整性、安全性和迁移效率,因此解决了数据迁移到云计算平台的完整性、安全性和效率不高的问题,进而使得历史非结构化数据的迁移能够完整、安全和快速地进行。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的历史数据的迁移装置的结构框图;
图2是根据本发明第一优选实施例的历史数据的迁移装置的结构框图;
图3是根据本发明实施例的历史数据的迁移方法的流程图;
图4是根据本发明优选实施例的历史数据的迁移方法的流程图;以及
图5是根据本发明优选实施例的历史数据的动态迁移方法的流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
迁移的实现可以分为三个阶段:数据迁移前的准备、数据迁移的实施和数据迁移后的校验。
(1)数据迁移前的准备包括:旧***数据字典整理、旧***数据质量分析、新***数据字典整理、新旧***数据差异分析、建立新旧***数据之间影射管理、开发部署数据转换与迁移程序、制定数据转换与迁移过程中的应急方案、实施旧***数据到新***的转换与迁移工作、检查转换以及迁移后数据完成性与正确性。
(2)数据迁移的实施包括:确定迁移技术;建立新旧***的对照关系,即新***数据库表和旧***数据库表的映射关系;制定迁移顺序表和时间表;编写数据迁移脚本。
(3)数据迁移后的检验:数据迁移测试;确认迁移数据的正确性和完整性;整体迁移数据的质量检验。通过各种的查询工具对相同指标的数据进行查询并比较最终结果,根据新旧***的状态,检查有无异常,并比较新旧***产生的后果。
要进行成功的数据迁移,每一阶段的工作都很重要,充分而周到的准备工作是完成数据迁移的重要基础,正确的迁移策略和技术是完成数据迁移的核心条件,完善的检验工作是保证数据正确可靠的必不可少的补充。完成数据迁移之后要保证新***中的信息完备无遗漏,而且也不包含冗余信息。
本实施例相比于现有技术所做的改进主要在数据迁移的实施这个部分。
本发明实施例提供了一种历史数据的迁移装置,以下对本发明实施例所提供的历史数据的迁移装置进行介绍。
图1是根据本发明实施例的历史数据的迁移装置的结构框图。
如图1所示,该历史数据的迁移装置包括第一接收单元11和存储单元12。
第一接收单元11用于接收历史数据迁移工具发送的调用接口请求,其中,历史数据迁移工具在读取第一应用***的历史数据清单之后向云计算平台服务器发送调用接口请求,第一应用***与云计算平台服务器连接。
存储单元12用于通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
在本实施例中,由于在数据迁移前接收了历史数据迁移工具发送的调用接口请求并进而读取了应用***的历史数据清单,从而可以根据该历史数据清单对各个旧应用***的数据进行迁移,因此能够保证数据迁移能够按步骤进行,进而保证了数据迁移时数据的完整性、安全性和迁移效率,因此解决了数据迁移到云计算平台的完整性、安全性和效率不高的问题,进而使得历史非结构化数据的迁移能够完整、安全和快速地进行。
为了保证云计算平台的安全性和稳定性,优选地,上述装置还包括:验证单元,用于验证调用接口请求;以及第三返回单元,用于在验证调用接口请求不成功时,向历史迁移工具返回错误信息,并重新接受历史数据迁移工具发送的调用接口请求。
为了保证动态数据迁移的优选进行,优选地,上述装置还包括:第三接收单元,用于接收源主机和目的主机预定资源请求。
为了保证动态数据迁移的完整性,优选地,上述装置还包括:检测单元,用于检测云计算平台服务器的内存是否够用;以及释放单元,用于在云计算平台服务器的内存不够用时,释放内存。
图2是根据本发明第一优选实施例的历史数据的迁移装置的结构框图。该实施例可以作为图1所示实施例的优选实施方式。
如图2所示,该迁移装置除了包括第一接收单元11和存储单元12之外,还包括第二接收单元13、添加单元14、第一返回单元15和第二返回单元16。
第二接收单元13用于接收来自云计算平台存储器的历史数据的标识符。
添加单元14用于将历史数据的标识符添加到第一应用***的历史迁移数据清单和第二应用***的历史迁移数据清单中,其中,第二应用***与云计算平台服务器连接。
第一返回单元15用于将第一应用***的历史迁移数据清单返回至第一应用***中。
第二返回单元16将第二应用***的历史迁移数据清单返回至第二应用***中。
在该实施例中,通过标识符来对历史数据进行区分,提高了历史数据迁移的准确性。
本发明实施例提供了一种历史数据的迁移方法,该方法可以基于上述的历史数据的迁移装置来执行。
图3是根据本发明实施例的历史数据的迁移方法的流程图。
如图3所示,该历史数据的迁移方法包括如下的步骤S302至步骤S304。
步骤S302,云计算平台服务器接收历史数据迁移工具发送的调用接口请求,其中,历史数据迁移工具在读取第一应用***的历史数据清单之后向云计算平台服务器发送调用接口请求,第一应用***与云计算平台服务器连接。
在本实施例中,在进行旧业务应用***的梳理时,即对旧业务应用***的历史数据进行整理,包括非结构化数据及与非结构化数据相对应的元数据及数据之间的关联关系进行整理时,需要***的历史数据清单,使用历史迁移工具(foreverTools)或自主研发的历史数据迁移工具读取梳理后的历史数据清单,然后再调用云计算平台接口。
步骤S304,云计算平台服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
为了与云计算平台服务器进行连接,云计算平台服务器在接收历史数据迁移工具发送的调用接口请求后,要对调用接口请求进行验证。只有在验证成功时,才执行步骤S304。
在另一个实施例中,在执行完步骤S302后且执行步骤S304之间,云计算平台服务器验证调用接口请求。在验证调用接口请求不成功时,云计算平台服务器向历史迁移工具返回错误信息,并重新接受历史数据迁移工具发送的调用接口请求。
在云计算平台中,业务应用***需要多大的数据库容量,可以通过以下计算方式得出:
所需数据库空间=2G+(业务应用历史数据条数×2kb+(数据库年条数增长量×2kb+索引量)×保留年限×2)/(1-存储冗余)。
存储非结构化数据的数据库叫做内容库,包括p文件库、oracle大字段或专业的非结构化数据存储数据库如document等,内容库容量的计算方式是:
所需物理存储空间=((业务应用历史数据总量+业务应用数据年增长量×保留年限)×n+1/n)/(1-存储冗余)。
在以上两个计算公式中,n为数据盘的个数,物理存储空间考虑冗余,建议10-15%冗余。
业务应用历史数据总量是需要调研旧业务应用非结构数据情况。
业务应用数据年增长量是需要调研旧业务应用非结构数据情况。
数据库(主要是元数据)增长量=非结构化数据年增长量*10%。
索引量=数据库年增长量*0.8。
为了使存储的数据和数据***具有明显的对应关系,优选地,在步骤S304后,云计算平台服务器接收来自云计算平台存储器的历史数据的标识符。该标识符可以是非结构化数据的全文ID。
随后,云计算平台服务器将历史数据的标识符添加到第一应用***的历史迁移数据清单和第二应用***的历史迁移数据清单中,其中,第二应用***与云计算平台服务器连接,第二应用***与第一应用***不同。第一应用***和第二应用***是两个不同的旧应用***,当对其中一个应用***的数据进行了数据迁移时,需要将该数据的全文ID写入不同应用***的历史迁移数据清单,使各***都能识别该历史迁移数据,从而使得各***能够信息共享。
此时,云计算平台服务器将第一应用***的历史迁移数据清单返回至第一应用***中,并将第二应用***的历史迁移数据清单返回至第二应用***中。
通过以上步骤,数据导入云计算平台后,云计算平台将生成后的历史数据清单(全文ID关联关系)在业务应用***项目组的配合下更新到业务应用***。
全文ID由云计算平台服务器生成,可以保证数据的唯一性,基于全文ID的这一作用,本实施例提供了一种多业务应用***非结构化数据迁移到云计算平台的方法。
图4是根据本发明优选实施例的历史数据的迁移方法的流程图。如图4所示,该方法包括如下的步骤S1至步骤S6。
步骤S1,历史数据迁移工具读取就应用***的历史迁移数据清单。
步骤S2,历史数据迁移工具调用云计算平台服务器的接口。
步骤S3,在验证未通过时,云计算平台服务器向历史数据迁移工具返回错误信息;在验证通过时,历史数据迁移工具通过云计算平台服务器将旧应用***中的历史迁移数据存储到云计算平台存储器中。
步骤S4,云计算平台服务器接收云计算平台存储器返回的非结构化数据全文ID。
步骤S5,云计算平台服务器将全文ID返回至各旧***的历史迁移数据清单。
步骤S6,旧应用***梳理清洗数据字典,即对旧业务应用***的历史数据进行整理,包括非结构化数据及与非结构化数据相对应的元数据及数据之间的关联关系进行整理。
云计算平台建设目的是提升对数据的应用水平,尤其是对非结构化数据应用水平的提升。而多个业务应用***中产生的非结构化数据是平台的主要数据生产者。平台建立了数据生产者和数据消费者之间实现数据贯通的桥梁,而架设这一桥梁的关键技术即多业务应用***非结构化数据迁移到云计算平台技术。
在信息化建设过程中,企业基本都实施了多个业务应用***项目,这些业务应用***项目覆盖面广且存在数据结构不同、开发框架不同、运营实施不同、管理模式不同的复杂情况。同时涉及到跨网省、跨区域问题。因此,实现多业务应用***非结构化数据统一迁移到云计算平台是确保平台永续运营、并可持续发展的关键技术。
在多业务***的非结构化数据迁移到云计算平台中我们主要考虑数据的唯一性和数据之间的关联关系,因此,让每条非结构化数据在云计算平台中都具有唯一的全文ID并保证每条非结构化数据都具有业务***的独特性和数据与数据之间的关联,就为多业务***的非结构化数据迁移提供了好的基础。
本实施例进一步提供了一种动态数据迁移方法。
服务控制器负责管理整个服务器的网络。它负责动态收集整个网络中所有服务器的负载情况和状态,然后根据接收到的客户请求,经过分析,选择当前工作负载最轻的服务器来响应客户的请求,从而能从分利用服务器资源。
在各个服务器的负载信息收集与交换的过程中,服务器只与服务控制器进行通信,服务控制器根据获得的当前各个服务器的负载信息,决定由哪个服务器区执行当前的客户请求。
由于***不存在独立的数据节点,每个服务器都可以响应用户的请求,由所有服务器的所有数据共同构成一个庞大的数据资源的缓存,在这里将其称之为虚拟数据服务器。对于这个虚拟数据服务器,需要进行存储调度,所谓存储调度就是要维护这个虚拟数据服务器中的数据,服务控制器和各个服务器对这些数据进行有效的管理和调度,提高服务器缓存的数据资源的命中率,从而提高***性能。
在进行数据迁移时,云计算平台服务器接收源主机和目的主机预定资源请求。当有很多用户进行资源请求的时候,***中各个服务器会比较繁忙,而这个时候由于很多数据只是存在于某一个或几个服务器中,服务器由于响应用户的请求而处于阻塞的状态,因此不能响应其他用户的请求。现有技术的解决方法是,将这些用户需要的数据从服务器中复制出去。然而一边提供服务,一边再将大量的数据从一个服务器迁移到另一个服务器,这样进一步增加了网络的拥塞程度,严重的时候还会导致操作超时,因而出现服务失败等情况。因此,为了避免这样的情况,本实施例在***提供服务时只是单纯的对各个服务器进行统计操作,在服务器空闲时在进行数据迁移操作。
云计算平台服务器在***提供服务时进行统计操作。云计算平台服务器在服务器闲时,通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
对于每个用户的每个资源请求,服务控制器都要对该请求进行分析,按照其复杂度将其量化成工作负载指数,并根据当前各个服务器的负载情况来进行任务的分配,选择的原则是工作负载最轻的服务器来为用户服务,即服务控制器选择云计算平台服务器中负载最低的服务器,然后由服务控制器将该操作累加到目标服务器负载到列表中,当任务结束时,再由服务控制器将该服务器的当前工作负载减去它已经完成用户服务请求的负载指数,这样能够更加准确的监控各个服务器的当前工作负载情况,以便更有效地响应用户的请求。
云计算平台服务器中负载最低的服务器通过调用接口请求所对应的接口将第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
为了保证数据迁移的完整性,优选地,在云计算平台服务器接收源主机和目的主机预定资源请求之前,还需要检测云计算平台服务器的内存是否够用。在云计算平台服务器的内存不够用时,还需要释放内存。
为了进一步保证数据迁移的完整性,优选地,在云计算平台服务器接收源主机和目的主机预定资源请求之后以及服务控制器选择云计算平台服务器中负载最低的服务器之前,服务控制器可以判断预定资源请求所对应的资源是否预定成功。在预定资源请求所对应的资源没有预定成功时,服务控制器向源主机和目的主机返回错误信息。
图5是根据本发明优选实施例的历史数据的动态迁移方法的流程图。如图5所示,该方法包括如下的步骤S1至步骤S8。以下步骤的执行主体可以是一段程序。
步骤S1,获取数据迁移指示。
步骤S2,通知设备准备迁移。
步骤S3,检查内存是否够用,当结果为否时,执行步骤S4;当结果为是时,执行步骤S5。
步骤S4,采用LRU交换算法,LRU交换算法是内存管理的一种算法,对于在内存中但最近又不用的数据块(内存块)叫做LRU,数据库会根据那些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。关于操作***的内存管理,如何节省利用容量不大的内存为最多的进程提供资源,一直是研究的重要方向。而内存的虚拟存储管理,是现在最通用,最成功的方式是在内存有限的情况下,扩展一部分外存作为虚拟内存,真正的内存只存储当前运行时所用得到信息。这无疑极大地扩充了内存的功能,极大地提高了计算机的并发度。虚拟页式存储管理,则是将进程所需空间划分为多个页面,内存中只存放当前所需页面,其余页面放入外存的管理方式)释放内存。
步骤S5,源主机与目的主机建立socket连接,预定资源。
步骤S6,判断是否预定成功。
步骤S7,发送迁移信息,运行迁移模块,该模块在云存储平台,具体执行的操作就是把历史的非结构化数据从业务应用***迁移到云存储平台。
步骤S8,返回错误信息。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种历史数据的迁移方法,其特征在于,包括:
云计算平台服务器接收历史数据迁移工具发送的调用接口请求,其中,所述历史数据迁移工具在读取第一应用***的历史数据清单之后向所述云计算平台服务器发送所述调用接口请求,所述第一应用***与所述云计算平台服务器连接;以及
所述云计算平台服务器通过所述调用接口请求所对应的接口将所述第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
2.根据权利要求1所述的迁移方法,其特征在于,在所述云计算平台服务器通过所述调用接口请求所对应的接口将所述第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中之后,所述方法还包括:
所述云计算平台服务器接收来自云计算平台存储器的所述历史数据的标识符;
所述云计算平台服务器将所述历史数据的标识符添加到所述第一应用***的历史迁移数据清单和第二应用***的历史迁移数据清单中,其中,所述第二应用***与所述云计算平台服务器连接,所述第二应用***与所述第一应用***不同;
所述云计算平台服务器将所述第一应用***的历史迁移数据清单返回至所述第一应用***中;以及
所述云计算平台服务器将所述第二应用***的历史迁移数据清单返回至所述第二应用***中。
3.根据权利要求1所述的迁移方法,其特征在于,在云计算平台服务器接收历史数据迁移工具发送的调用接口请求之后以及所述云计算平台服务器通过所述调用接口请求所对应的接口将所述第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中之前,所述方法还包括:
所述云计算平台服务器验证所述调用接口请求;以及
在验证所述调用接口请求不成功时,所述云计算平台服务器向所述历史迁移工具返回错误信息,并重新接受所述历史数据迁移工具发送的调用接口请求。
4.根据权利要求1所述的迁移方法,其特征在于,
在云计算平台服务器接收历史数据迁移工具发送的调用接口请求之前,所述方法还包括:
所述云计算平台服务器接收源主机和目的主机预定资源请求;
服务控制器选择所述云计算平台服务器中负载最低的服务器,
所述云计算平台服务器通过所述调用接口请求所对应的接口将所述第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中包括:
所述云计算平台服务器中负载最低的服务器通过所述调用接口请求所对应的接口将所述第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
5.根据权利要求4所述的迁移方法,其特征在于,
在所述云计算平台服务器接收源主机和目的主机预定资源请求之前,所述方法还包括:
检测所述云计算平台服务器的内存是否够用;以及
在所述云计算平台服务器的内存不够用时,释放内存。
6.根据权利要求4所述的迁移方法,其特征在于,
在所述云计算平台服务器接收源主机和目的主机预定资源请求之后以及服务控制器选择所述云计算平台服务器中负载最低的服务器之前,所述方法还包括:
所述服务控制器判断所述预定资源请求所对应的资源是否预定成功;以及
在所述预定资源请求所对应的资源没有预定成功时,所述服务控制器向所述源主机和目的主机返回错误信息。
7.一种历史数据的迁移装置,应用于云计算平台服务器上,其特征在于,包括:
第一接收单元,用于接收历史数据迁移工具发送的调用接口请求,其中,所述历史数据迁移工具在读取第一应用***的历史数据清单之后向所述云计算平台服务器发送所述调用接口请求,所述第一应用***与所述云计算平台服务器连接;以及
存储单元,用于通过所述调用接口请求所对应的接口将所述第一应用***的历史数据清单对应的历史数据存储于云计算平台存储器中。
8.根据权利要求7所述的迁移装置,其特征在于,所述装置还包括:
第二接收单元,用于接收来自云计算平台存储器的所述历史数据的标识符;
添加单元,用于将所述历史数据的标识符添加到所述第一应用***的历史迁移数据清单和第二应用***的历史迁移数据清单中,其中,所述第二应用***与所述云计算平台服务器连接,所述第二应用***与所述第一应用***不同;
第一返回单元,用于将所述第一应用***的历史迁移数据清单返回至所述第一应用***中;以及
第二返回单元,用于将所述第二应用***的历史迁移数据清单返回至所述第二应用***中。
9.根据权利要求7所述的迁移装置,其特征在于,所述装置还包括:
验证单元,用于验证所述调用接口请求;以及
第三返回单元,用于在验证所述调用接口请求不成功时,向所述历史迁移工具返回错误信息,并重新接受所述历史数据迁移工具发送的调用接口请求。
10.根据权利要求7所述的迁移装置,其特征在于,所述装置还包括:
第三接收单元,用于接收源主机和目的主机预定资源请求。
11.根据权利要求10所述的迁移装置,其特征在于,所述装置还包括:
检测单元,用于检测所述云计算平台服务器的内存是否够用;以及
释放单元,用于在所述云计算平台服务器的内存不够用时,释放内存。
CN201210241806.0A 2012-07-12 2012-07-12 历史数据的迁移方法及装置 Active CN102799485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210241806.0A CN102799485B (zh) 2012-07-12 2012-07-12 历史数据的迁移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210241806.0A CN102799485B (zh) 2012-07-12 2012-07-12 历史数据的迁移方法及装置

Publications (2)

Publication Number Publication Date
CN102799485A true CN102799485A (zh) 2012-11-28
CN102799485B CN102799485B (zh) 2014-03-26

Family

ID=47198600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210241806.0A Active CN102799485B (zh) 2012-07-12 2012-07-12 历史数据的迁移方法及装置

Country Status (1)

Country Link
CN (1) CN102799485B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888281A (zh) * 2012-12-21 2014-06-25 腾讯科技(北京)有限公司 服务器灰度升级方法、装置及相应的灰度升级服务器
CN104320448A (zh) * 2014-10-17 2015-01-28 张维加 一种基于大数据的计算设备的缓存与预取加速方法和装置
CN104378396A (zh) * 2013-08-15 2015-02-25 上海七牛信息技术有限公司 数据管理装置及方法
CN104834560A (zh) * 2015-04-14 2015-08-12 浙江奇道网络科技有限公司 一种获取云中心和数据中心信息***的发掘迁移方法
CN105843883A (zh) * 2016-03-21 2016-08-10 国家电网公司 一种数据质量核查方法及装置
CN107278306A (zh) * 2014-12-30 2017-10-20 威斯科数据安全国际有限公司 基于个人访问历史的用户认证
CN108090087A (zh) * 2016-11-23 2018-05-29 上海泓智信息科技有限公司 文件处理方法及装置
CN108153806A (zh) * 2016-11-30 2018-06-12 Ncr公司 数据迁移
CN111552980A (zh) * 2020-04-24 2020-08-18 深圳拓邦股份有限公司 清洁***的数据迁移方法与清洁***
CN111723857A (zh) * 2020-06-17 2020-09-29 中南大学 一种流程生产装备运行状态的智能监测方法与***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170440A (zh) * 2011-03-24 2011-08-31 北京大学 适用于存储云间数据安全迁移的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170440A (zh) * 2011-03-24 2011-08-31 北京大学 适用于存储云间数据安全迁移的方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888281A (zh) * 2012-12-21 2014-06-25 腾讯科技(北京)有限公司 服务器灰度升级方法、装置及相应的灰度升级服务器
CN103888281B (zh) * 2012-12-21 2018-05-18 腾讯科技(北京)有限公司 服务器灰度升级方法、装置及相应的灰度升级服务器
CN104378396A (zh) * 2013-08-15 2015-02-25 上海七牛信息技术有限公司 数据管理装置及方法
CN104378396B (zh) * 2013-08-15 2018-05-15 上海七牛信息技术有限公司 数据管理装置及方法
CN104320448B (zh) * 2014-10-17 2019-11-01 张维加 一种基于大数据的计算设备的缓存与预取加速方法和装置
CN104320448A (zh) * 2014-10-17 2015-01-28 张维加 一种基于大数据的计算设备的缓存与预取加速方法和装置
CN107278306A (zh) * 2014-12-30 2017-10-20 威斯科数据安全国际有限公司 基于个人访问历史的用户认证
CN104834560A (zh) * 2015-04-14 2015-08-12 浙江奇道网络科技有限公司 一种获取云中心和数据中心信息***的发掘迁移方法
CN104834560B (zh) * 2015-04-14 2018-02-09 浙江奇道网络科技有限公司 一种获取云中心和数据中心信息***的发掘迁移方法
CN105843883A (zh) * 2016-03-21 2016-08-10 国家电网公司 一种数据质量核查方法及装置
CN108090087A (zh) * 2016-11-23 2018-05-29 上海泓智信息科技有限公司 文件处理方法及装置
CN108090087B (zh) * 2016-11-23 2020-08-21 上海泓智信息科技有限公司 文件处理方法及装置
CN108153806A (zh) * 2016-11-30 2018-06-12 Ncr公司 数据迁移
CN108153806B (zh) * 2016-11-30 2021-10-15 Ncr公司 数据迁移
CN111552980A (zh) * 2020-04-24 2020-08-18 深圳拓邦股份有限公司 清洁***的数据迁移方法与清洁***
CN111723857A (zh) * 2020-06-17 2020-09-29 中南大学 一种流程生产装备运行状态的智能监测方法与***

Also Published As

Publication number Publication date
CN102799485B (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN102799485B (zh) 历史数据的迁移方法及装置
CN110569305B (zh) 区块同步方法、装置、介质和计算设备
CN108153849B (zh) 一种数据库表切分方法、装置、***和介质
EP2998881A1 (en) A computer implemented method for dynamic sharding
CN107464151B (zh) 高并发业务的订单数据处理方法及装置
CN104202423B (zh) 一种通过软件架构扩展缓存的***
CN105677462A (zh) 基于物联网的分布式任务***及业务处理方法
CN106446168B (zh) 一种面向分布式数据仓库的加载客户端实现方法
CN109901786B (zh) 数据迁移方法、***、装置及计算机可读存储介质
CN102938784A (zh) 应用于分布式存储***中的数据存储方法和***
CN110188103A (zh) 数据对账方法、装置、设备和存储介质
CN104461747A (zh) 一种分布式任务调度***
CN106446159A (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN102834806A (zh) ***结构管理设备、***结构管理方法和程序
CN102833281A (zh) 一种分布式自增计数的实现方法、装置及***
US20180004797A1 (en) Application resiliency management using a database driver
CN103647804A (zh) 一种存储单元的数据处理方法、设备及***
CN106201788A (zh) 用于分布式存储集群的副本修复方法及***
CN111338834B (zh) 数据存储方法和装置
CN111260475A (zh) 一种数据处理方法、区块链节点设备及存储介质
US20180225325A1 (en) Application resiliency management using a database driver
CN110609707B (zh) 在线数据处理***生成方法、装置及设备
CN106557530B (zh) 业务***、数据修复方法及装置
CN110677497B (zh) 一种网络介质分发方法及装置
CN116974983A (zh) 数据处理方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Jiang Chunhua

Inventor after: Chen Xiaolong

Inventor after: Yang Zhipeng

Inventor after: Luo Xinwei

Inventor after: Chen Xianlong

Inventor after: Fang Wen

Inventor after: Hu Baoliang

Inventor after: Niu Renyi

Inventor before: Chen Xianlong

Inventor before: Chen Xiaolong

Inventor before: Yang Zhipeng

Inventor before: Luo Xinwei

Inventor before: Jiang Chunhua

Inventor before: Fang Wen

Inventor before: Hu Baoliang

Inventor before: Niu Renyi

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: CHEN XIANLONG CHEN XIAOLONG YANG ZHIPENG LUO XINWEI JIANG CHUNHUA FANG WEN HU BAOLIANG NIU RENYI TO: JIANG CHUNHUA CHEN XIAOLONG YANG ZHIPENG LUO XINWEI CHEN XIANLONG FANG WEN HU BAOLIANG NIU RENYI

GR01 Patent grant
GR01 Patent grant