CN111767270A - 数据迁移方法、装置、服务器及存储介质 - Google Patents
数据迁移方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN111767270A CN111767270A CN202010597629.4A CN202010597629A CN111767270A CN 111767270 A CN111767270 A CN 111767270A CN 202010597629 A CN202010597629 A CN 202010597629A CN 111767270 A CN111767270 A CN 111767270A
- Authority
- CN
- China
- Prior art keywords
- database
- migrated
- data
- target
- target database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 103
- 230000005012 migration Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 35
- 238000012986 modification Methods 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 11
- 230000037430 deletion Effects 0.000 claims description 11
- 238000007792 addition Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013024 troubleshooting Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据迁移方法，所述方法包括：与待迁移数据库建立连接，并确定待迁移数据库在各个时间的操作活跃度；根据操作活跃度，确定目标时间；在目标时间，禁止对待迁移数据库进行第一操作；与目标数据库建立连接，并将待迁移数据库中的数据迁移至目标数据库中，其中，目标数据库被禁止进行第二操作；当接收到针对迁移数据库进行第一操作的指令时，对目标数据库进行第一操作；若目标数据库在进行第一操作后不存在异常，确定目标数据库的性能指标；若目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。本发明还提供一种数据迁移装置、服务器及存储介质。本发明能提高数据迁移的稳定性以确保***的可用性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置、服务器及存储介质。
背景技术
目前，由于数据库技术的不断升级，需要对老数据库进行升级(即将数据迁移到新数据库)，但在实践中发现，在使用新的数据库时，数据增加、删除、查询以及修改等操作可能出现错误，这些错误容易引起服务中断，导致***不可用。
因此，如何提高数据迁移的稳定性以确保***的可用性是一个亟需解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种数据迁移方法、装置、服务器及存储介质，能够提高提高数据迁移的稳定性以确保***的可用性。
本发明的第一方面提供一种数据迁移方法，所述方法包括：
与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度；
根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低；
在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改；
与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询；
当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作；
判断所述目标数据库在进行所述第一操作后是否存在异常；
若所述目标数据库在进行所述第一操作后不存在异常，确定所述目标数据库的性能指标；
若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
在一种可能的实现方式中，所述判断所述目标数据库在进行所述第一操作后是否存在异常包括：
获取所述目标数据库存储的第一数据，以及获取所述待迁移数据库存储的第二数据；
判断所述第一数据与所述第二数据是否一致；
若所述第一数据与所述第二数据一致，确定所述目标数据库在进行所述第一操作后不存在异常；或
若所述第一数据与所述第二数据不一致，确定所述目标数据库在进行所述第一操作后存在异常。
在一种可能的实现方式中，所述确定完成数据迁移之后，所述方法还包括：
允许对所述目标数据库进行查询操作；
断开与所述待迁移数据库的连接。
在一种可能的实现方式中，所述数据迁移方法还包括：
当接收到针对数据迁移的暂停指令时，断开与所述目标数据库的连接；
判断所述待迁移数据库是否已断开连接；
若所述待迁移数据库已断开连接，连接所述待迁移数据库；
确定所述待迁移数据库具备执行所述第二操作的权限。
在一种可能的实现方式中，所述将所述待迁移数据库中的数据迁移至所述目标数据库中包括：
获取所述待迁移数据库存储的目标数据；
将所述目标数据导入至所述目标数据库中。
在一种可能的实现方式中，所述数据迁移方法还包括：
若所述目标数据库在进行所述第一操作后存在异常，生成异常告警信息；
将所述异常告警信息发送至异常管理设备。
在一种可能的实现方式中，所述数据迁移方法还包括：
若所述目标数据库的性能指标小于或等于预设性能指标阈值，生成性能告警信息；
将所述性能告警信息发送至性能管理设备。
本发明的第二方面提供一种数据迁移装置，所述装置包括：
确定模块，用于与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度；
所述确定模块，还用于根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低；
禁止模块，用于在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改；
迁移模块，用于与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询；
操作模块，用于当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作；
判断模块，用于判断所述目标数据库在进行所述第一操作后是否存在异常；
所述确定模块，还用于若所述目标数据库在进行所述第一操作后不存在异常，确定所述目标数据库的性能指标；
所述确定模块，还用于若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
本发明的第三方面提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据迁移方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据迁移方法。
由以上技术方案，本发明中，可以选择数据库操作活跃度最低的时间来进行数据迁移，降低对***运行的影响。并且，查询只能在所述待迁移数据库中进行，保证查询的数据是正确的，降低***运行出错的概率，在对数据库进行增加、删除以及修改操作时，同时在所述待迁移数据库中和所述目标数据库中进行，以对比操作结果来检测所述目标数据库是否稳定，即可以用来判断数据迁移是否存在异常。若所述目标数据库进行各种操作都没又异常且数据库的性能指标符合预设性能指标阈值，可以确定数据迁移完成。提高了数据迁移的稳定性，保证***一直可用。
附图说明
图1是本发明公开的一种数据迁移方法的较佳实施例的流程图。
图2是本发明公开的一种数据迁移装置的较佳实施例的功能模块图。
图3是本发明实现数据迁移方法的较佳实施例的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例的数据迁移方法应用在服务器中，也可以应用在服务器和通过网络与所述服务器进行连接的电子设备所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。
其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机***。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘***、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种数据迁移方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。所述数据迁移方法的执行主体可以为服务器。
S11、与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度。
本发明实施例中，所述待迁移数据库可以是指目前正在使用，但是需要进行升级的数据库(需要将所述待迁移数据库中存储的数据迁移到新的数据库中)，可以对所述待迁移数据库在各个时间的操作活跃度，一般来说，数据库中的查询的操作是最频繁的(视具体业务情况而定)，可以统计数据中各个时间的查询频率，比如数据库在0点0分0秒后的1小时内的查询次数。也可以对数据的其他操作(增加、删除等)进行统计。可以将对所述待迁移数据库进行的操作次数作为操作活跃度。
S12、根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低。
本发明实施例中，确定所述待迁移数据库在各个时间的操作活跃度后，可以将操作活跃度最低的时间确定为所述目标时间，所述目标时间往后的一段时间内，所述待迁移数据库的各种操作的次数是最少的。在这时候对所述待迁移数据库存储的数据进行数据迁移，对用户的影响最小，同时，由于数据库的操作频率低，使得数据迁移的过程不容易出错。
S13、在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改。
本发明实施例中，在所述目标时间，可以先暂停对所述待迁移数据库的增加数据、删除数据以及修改数据的操作。但是，保留了对所述待迁移数据库的查询操作，即***还可以从所述待迁移数据库中获取数据，以保证***的可用性。
S14、与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询。
具体的，所述将所述待迁移数据库中的数据迁移至所述目标数据库中包括：
获取所述待迁移数据库存储的目标数据；
将所述目标数据导入至所述目标数据库中。
其中，所述目标数据库用来接收所述待迁移数据库中的数据。
在该可选的实施方式中，先与所述目标数据库建立连接，再将所述待迁移数据库中的数据迁移到所述目标数据库中，但在数据迁移的过程中，禁止对所述目标数据库进行任何操作(包括增加数据、删除数据、修改数据以及查询数据的操作)，确保数据迁移的过程不出错误。
S15、当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作。
在本发明实施例中，所述待迁移数据库中的数据迁移至所述目标数据库中后，可以对所述待迁移数据库进行查询数据、增加数据、删除数据以及修改数据的操作，因为所述待迁移数据库比较稳定，先在所述待迁移数据库中进行数据的操作比较安全，不容易出错。当所述待迁移数据库执行增加数据、删除数据以及修改数据的操作时，需要同步在所述目标数据库中执行相同的操作，保持所述目标数据库的数据与所述待迁移数据库的数据的一致性，同时，保证在所述待迁移数据库仍然可用的情况下，不断测试所述目标数据库的数据库操作脚本，并排查所有可能遇到的问题。若所述目标数据库出现了错误，由于所述待迁移数据库还在正常运行，不会影响***的正常运行，提高了***的可用性。
S16、判断所述目标数据库在进行所述第一操作后是否存在异常，若否，执行步骤S17，若是，结束本流程。
具体的，所述判断所述目标数据库在进行所述第一操作后是否存在异常包括：
获取所述目标数据库存储的第一数据，以及获取所述待迁移数据库存储的第二数据；
判断所述第一数据与所述第二数据是否一致；
若所述第一数据与所述第二数据一致，确定所述目标数据库在进行所述第一操作后不存在异常；或
若所述第一数据与所述第二数据不一致，确定所述目标数据库在进行所述第一操作后存在异常。
在该可选的实施方式中，若所述目标数据库执行了与所述待迁移数据库相同的操作后，所述目标数据库的数据与所述待迁移数据库的数据一致，可以确定所述目标数据库在进行所述第一操作后不存在异常，若所述目标数据库执行了与所述待迁移数据库相同的操作后，所述目标数据库的数据与所述待迁移数据库的数据不一致，可以确定所述目标数据库在进行所述第一操作后存在异常。
作为一种可选的实施方式，所述方法还包括：
若所述目标数据库在进行所述第一操作后存在异常，生成异常告警信息；
将所述异常告警信息发送至异常管理设备。
在该可选的实施方式中，若所述目标数据库在进行所述第一操作后存在异常，可以生成异常告警信息，并将所述异常告警信息发送至异常管理设备，以提醒相关人员对所述目标数据库进行错误排查。
S17、确定所述目标数据库的性能指标。
其中，所述性能指标可以是所述目标数据库的剩余容量，所述目标数据库的查询速度，所述目标数据库进行相应操作的响应时间等。
S18、若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
在本发明实施例中，若所述目标数据库的性能指标大于预设性能指标阈值，确定所述目标数据库在进行数据迁移后各方面的性能都满足要求，比较稳定，确定完成数据迁移。
作为一种可选的实施方式，所述方法还包括：
若所述目标数据库的性能指标小于或等于预设性能指标阈值，生成性能告警信息；
将所述性能告警信息发送至性能管理设备。
在该可选的实施方式，若所述目标数据库的性能指标小于或等于预设性能指标阈值，生成性能告警信息，并将所述性能告警信息发送至性能管理设备，以提示相关人员对所述目标数据库进行性能重新检测，排查错误等操作。
作为一种可选的实施方式，所述确定完成数据迁移之后，所述方法还包括：
允许对所述目标数据库进行查询操作；
断开与所述待迁移数据库的连接。
在该可选的实施方式中，增加向所述目标数据库中的查询脚本，允许对所述目标数据库进行查询操作，即***可以从所述目标数据库获取数据，不需要再从所述带迁移数据库中获取数据，这时，可以断开与所述待迁移数据库的连接。
作为一种可选的实施方式，所述方法还包括：
当接收到针对数据迁移的暂停指令时，断开与所述目标数据库的连接；
判断所述待迁移数据库是否已断开连接；
若所述待迁移数据库已断开连接，连接所述待迁移数据库；
确定所述待迁移数据库具备执行所述第二操作的权限。
在该可选的实施方式中，数据迁移的过程可能会出现各种各样的问题，比如所述目标数据库不可用了，需要暂停数据迁移，这时候，需要确保所述待迁移数据库仍然可用，保持与所述待迁移数据的连接，***可以从所述待迁移数据库中进行查询数据、增加数据、删除数据以及修改数据的操作，不影响***的正常使用。
在图1所描述的方法流程中，可以选择数据库操作活跃度最低的时间来进行数据迁移，降低对***运行的影响。并且，查询只能在所述待迁移数据库中进行，保证查询的数据是正确的，降低***运行出错的概率，在对数据库进行增加、删除以及修改操作时，同时在所述待迁移数据库中和所述目标数据库中进行，以对比操作结果来检测所述目标数据库是否稳定，即可以用来判断数据迁移是否存在异常。若所述目标数据库进行各种操作都没又异常且数据库的性能指标符合预设性能指标阈值，可以确定数据迁移完成。提高了数据迁移的稳定性，保证***一直可用。
请参见图2，图2是本发明公开的一种数据迁移装置的较佳实施例的功能模块图。
在一些实施例中，所述数据迁移装置运行于服务器中。所述数据迁移装置可以包括多个由程序代码段所组成的功能模块。所述数据迁移装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的数据迁移方法中的部分或全部步骤。
本实施例中，所述数据迁移装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：确定模块201、禁止模块202、迁移模块203、操作模块204及判断模块205。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
确定模块201，用于与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度。
本发明实施例中，所述待迁移数据库可以是指目前正在使用，但是需要进行升级的数据库(需要将所述待迁移数据库中存储的数据迁移到新的数据库中)，可以对所述待迁移数据库在各个时间的操作活跃度，一般来说，数据库中的查询的操作是最频繁的(视具体业务情况而定)，可以统计数据中各个时间的查询频率，比如数据库在0点0分0秒后的1小时内的查询次数。也可以对数据的其他操作(增加、删除等)进行统计。可以将对所述待迁移数据库进行的操作次数作为操作活跃度。
所述确定模块201，还用于根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低。
本发明实施例中，确定所述待迁移数据库在各个时间的操作活跃度后，可以将操作活跃度最低的时间确定为所述目标时间，所述目标时间往后的一段时间内，所述待迁移数据库的各种操作的次数是最少的。在这时候对所述待迁移数据库存储的数据进行数据迁移，对用户的影响最小，同时，由于数据库的操作频率低，使得数据迁移的过程不容易出错。
禁止模块202，用于在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改。
本发明实施例中，在所述目标时间，可以先暂停对所述待迁移数据库的增加数据、删除数据以及修改数据的操作。但是，保留了对所述待迁移数据库的查询操作，即***还可以从所述待迁移数据库中获取数据，以保证***的可用性。
迁移模块203，用于与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询。
操作模块204，用于当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作。
在本发明实施例中，所述待迁移数据库中的数据迁移至所述目标数据库中后，可以对所述待迁移数据库进行查询数据、增加数据、删除数据以及修改数据的操作，因为所述待迁移数据库比较稳定，先在所述待迁移数据库中进行数据的操作比较安全，不容易出错。当所述待迁移数据库执行增加数据、删除数据以及修改数据的操作时，需要同步在所述目标数据库中执行相同的操作，保持所述目标数据库的数据与所述待迁移数据库的数据的一致性，同时，保证在所述待迁移数据库仍然可用的情况下，不断测试所述目标数据库的数据库操作脚本，并排查所有可能遇到的问题。若所述目标数据库出现了错误，由于所述待迁移数据库还在正常运行，不会影响***的正常运行，提高了***的可用性。
判断模块205，用于判断所述目标数据库在进行所述第一操作后是否存在异常。
所述确定模块201，还用于若所述目标数据库在进行所述第一操作后不存在异常，确定所述目标数据库的性能指标。
其中，所述性能指标可以是所述目标数据库的剩余容量，所述目标数据库的查询速度，所述目标数据库进行相应操作的响应时间等。
所述确定模块201，还用于若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
在本发明实施例中，若所述目标数据库的性能指标大于预设性能指标阈值，确定所述目标数据库在进行数据迁移后各方面的性能都满足要求，比较稳定，确定完成数据迁移。
作为一种可选的实施方式，所述判断模块205判断所述目标数据库在进行所述第一操作后是否存在异常的方式具体为：
获取所述目标数据库存储的第一数据，以及获取所述待迁移数据库存储的第二数据；
判断所述第一数据与所述第二数据是否一致；
若所述第一数据与所述第二数据一致，确定所述目标数据库在进行所述第一操作后不存在异常；或
若所述第一数据与所述第二数据不一致，确定所述目标数据库在进行所述第一操作后存在异常。
在该可选的实施方式中，若所述目标数据库执行了与所述待迁移数据库相同的操作后，所述目标数据库的数据与所述待迁移数据库的数据一致，可以确定所述目标数据库在进行所述第一操作后不存在异常，若所述目标数据库执行了与所述待迁移数据库相同的操作后，所述目标数据库的数据与所述待迁移数据库的数据不一致，可以确定所述目标数据库在进行所述第一操作后存在异常。
作为一种可选的实施方式，所述数据迁移装置还可以包括：
允许模块，用于所述确定模块201确定完成数据迁移之后，允许对所述目标数据库进行查询操作；
第一断开模块，用于断开与所述待迁移数据库的连接。
在该可选的实施方式中，增加向所述目标数据库中的查询脚本，允许对所述目标数据库进行查询操作，即***可以从所述目标数据库获取数据，不需要再从所述带迁移数据库中获取数据，这时，可以断开与所述待迁移数据库的连接。
作为一种可选的实施方式，所述数据迁移装置还可以包括：
第二断开模块，用于当接收到针对数据迁移的暂停指令时，断开与所述目标数据库的连接；
所述判断模块205，还用于判断所述待迁移数据库是否已断开连接；
连接模块，用于若所述待迁移数据库已断开连接，连接所述待迁移数据库；
所述确定模块201，还用于确定所述待迁移数据库具备执行所述第二操作的权限。
在该可选的实施方式中，数据迁移的过程可能会出现各种各样的问题，比如所述目标数据库不可用了，需要暂停数据迁移，这时候，需要确保所述待迁移数据库仍然可用，保持与所述待迁移数据的连接，***可以从所述待迁移数据库中进行查询数据、增加数据、删除数据以及修改数据的操作，不影响***的正常使用。
作为一种可选的实施方式，所述迁移模块203将所述待迁移数据库中的数据迁移至所述目标数据库中的方式具体为：
获取所述待迁移数据库存储的目标数据；
将所述目标数据导入至所述目标数据库中。
其中，所述目标数据库用来接收所述待迁移数据库中的数据。
在该可选的实施方式中，先与所述目标数据库建立连接，再将所述待迁移数据库中的数据迁移到所述目标数据库中，但在数据迁移的过程中，禁止对所述目标数据库进行任何操作(包括增加数据、删除数据、修改数据以及查询数据的操作)，确保数据迁移的过程不出错误。
作为一种可选的实施方式，所述数据迁移装置还可以包括：
第一生成模块，用于若所述目标数据库在进行所述第一操作后存在异常，生成异常告警信息；
第一发送模块，用于将所述异常告警信息发送至异常管理设备。
在该可选的实施方式中，若所述目标数据库在进行所述第一操作后存在异常，可以生成异常告警信息，并将所述异常告警信息发送至异常管理设备，以提醒相关人员对所述目标数据库进行错误排查。
作为一种可选的实施方式，所述数据迁移装置还可以包括：
第二生成模块，用于若所述目标数据库的性能指标小于或等于预设性能指标阈值，生成性能告警信息；
第二发送模块，用于将所述性能告警信息发送至性能管理设备。
在该可选的实施方式，若所述目标数据库的性能指标小于或等于预设性能指标阈值，生成性能告警信息，并将所述性能告警信息发送至性能管理设备，以提示相关人员对所述目标数据库进行性能重新检测，排查错误等操作。
在图2所描述的数据迁移装置中，可以选择数据库操作活跃度最低的时间来进行数据迁移，降低对***运行的影响。并且，查询只能在所述待迁移数据库中进行，保证查询的数据是正确的，降低***运行出错的概率，在对数据库进行增加、删除以及修改操作时，同时在所述待迁移数据库中和所述目标数据库中进行，以对比操作结果来检测所述目标数据库是否稳定，即可以用来判断数据迁移是否存在异常。若所述目标数据库进行各种操作都没又异常且数据库的性能指标符合预设性能指标阈值，可以确定数据迁移完成。提高了数据迁移的稳定性，保证***一直可用。
如图3所示，图3是本发明实现数据迁移方法的较佳实施例的服务器的结构示意图。所述服务器3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述服务器3的示例，并不构成对所述服务器3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器3还可以包括输入输出设备、网络接入设备等。
所述服务器3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述服务器3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述服务器3的控制中心，利用各种接口和线路连接整个服务器3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述服务器3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器3的使用所创建的数据等。此外，存储器31可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1，所述服务器3中的所述存储器31存储多个指令以实现一种数据迁移方法，所述处理器32可执行所述多个指令从而实现：
与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度；
根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低；
在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改；
与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询；
当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作；
判断所述目标数据库在进行所述第一操作后是否存在异常；
若所述目标数据库在进行所述第一操作后不存在异常，确定所述目标数据库的性能指标；
若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的服务器3中，可以选择数据库操作活跃度最低的时间来进行数据迁移，降低对***运行的影响。并且，查询只能在所述待迁移数据库中进行，保证查询的数据是正确的，降低***运行出错的概率，在对数据库进行增加、删除以及修改操作时，同时在所述待迁移数据库中和所述目标数据库中进行，以对比操作结果来检测所述目标数据库是否稳定，即可以用来判断数据迁移是否存在异常。若所述目标数据库进行各种操作都没又异常且数据库的性能指标符合预设性能指标阈值，可以确定数据迁移完成。提高了数据迁移的稳定性，保证***一直可用。
所述服务器3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据迁移方法，其特征在于，所述数据迁移方法包括：
与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度；
根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低；
在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改；
与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询；
当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作；
判断所述目标数据库在进行所述第一操作后是否存在异常；
若所述目标数据库在进行所述第一操作后不存在异常，确定所述目标数据库的性能指标；
若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
2.根据权利要求1所述的数据迁移方法，其特征在于，所述判断所述目标数据库在进行所述第一操作后是否存在异常包括：
获取所述目标数据库存储的第一数据，以及获取所述待迁移数据库存储的第二数据；
判断所述第一数据与所述第二数据是否一致；
若所述第一数据与所述第二数据一致，确定所述目标数据库在进行所述第一操作后不存在异常；或
若所述第一数据与所述第二数据不一致，确定所述目标数据库在进行所述第一操作后存在异常。
3.根据权利要求1所述的数据迁移方法，其特征在于，所述确定完成数据迁移之后，所述方法还包括：
允许对所述目标数据库进行查询操作；
断开与所述待迁移数据库的连接。
4.根据权利要求1所述的数据迁移方法，其特征在于，所述数据迁移方法还包括：
当接收到针对数据迁移的暂停指令时，断开与所述目标数据库的连接；
判断所述待迁移数据库是否已断开连接；
若所述待迁移数据库已断开连接，连接所述待迁移数据库；
确定所述待迁移数据库具备执行所述第二操作的权限。
5.根据权利要求1至4中任一项所述的数据迁移方法，其特征在于，所述将所述待迁移数据库中的数据迁移至所述目标数据库中包括：
获取所述待迁移数据库存储的目标数据；
将所述目标数据导入至所述目标数据库中。
6.根据权利要求1至4中任一项所述的数据迁移方法，其特征在于，所述数据迁移方法还包括：
若所述目标数据库在进行所述第一操作后存在异常，生成异常告警信息；
将所述异常告警信息发送至异常管理设备。
7.根据权利要求1至4中任一项所述的数据迁移方法，其特征在于，所述数据迁移方法还包括：
若所述目标数据库的性能指标小于或等于预设性能指标阈值，生成性能告警信息；
将所述性能告警信息发送至性能管理设备。
8.一种数据迁移装置，其特征在于，所述数据迁移装置包括：
确定模块，用于与待迁移数据库建立连接，并确定所述待迁移数据库在各个时间的操作活跃度；
所述确定模块，还用于根据所述操作活跃度，确定目标时间，其中，所述目标时间对应的操作活跃度最低；
禁止模块，用于在所述目标时间，禁止对所述待迁移数据库进行第一操作，其中，所述第一操作包括增加、删除以及修改；
迁移模块，用于与目标数据库建立连接，并将所述待迁移数据库中的数据迁移至所述目标数据库中，其中，所述目标数据库被禁止进行第二操作，其中，所述第二操作包括增加、删除、修改以及查询；
操作模块，用于当接收到针对所述待迁移数据库进行所述第一操作的指令时，对所述目标数据库进行所述第一操作；
判断模块，用于判断所述目标数据库在进行所述第一操作后是否存在异常；
所述确定模块，还用于若所述目标数据库在进行所述第一操作后不存在异常，确定所述目标数据库的性能指标；
所述确定模块，还用于若所述目标数据库的性能指标大于预设性能指标阈值，确定完成数据迁移。
9.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的数据迁移方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的数据迁移方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597629.4A CN111767270A (zh) | 2020-06-28 | 2020-06-28 | 数据迁移方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597629.4A CN111767270A (zh) | 2020-06-28 | 2020-06-28 | 数据迁移方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767270A true CN111767270A (zh) | 2020-10-13 |
Family
ID=72722225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010597629.4A Pending CN111767270A (zh) | 2020-06-28 | 2020-06-28 | 数据迁移方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767270A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380185A (zh) * | 2020-10-30 | 2021-02-19 | 中国人寿保险股份有限公司 | 一种数据转储方法、设备、电子设备及存储介质 |
| CN113342780A (zh) * | 2021-06-28 | 2021-09-03 | 深圳壹账通智能科技有限公司 | Dsu数据的迁移方法、装置和计算机设备 |
| CN113360482A (zh) * | 2021-08-10 | 2021-09-07 | 深圳市中科鼎创科技股份有限公司 | 基于sql数据库的在线迁移方法 |
| CN114610697A (zh) * | 2022-03-22 | 2022-06-10 | 平安科技（深圳）有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN114610697B (zh) * | 2022-03-22 | 2024-06-28 | 平安科技（深圳）有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530290A (zh) * | 2012-07-03 | 2014-01-22 | 深圳市腾讯计算机***有限公司 | 数据库间的数据迁移方法和*** |
| JP2019211805A (ja) * | 2018-05-31 | 2019-12-12 | 株式会社野村総合研究所 | データベースマイグレーション支援システム及びプログラム |
| CN111090638A (zh) * | 2019-12-25 | 2020-05-01 | 中国工商银行股份有限公司 | 一种数据库迁移中交易功能的对比方法及装置 |
| CN111198868A (zh) * | 2019-12-12 | 2020-05-26 | 北京淇瑀信息科技有限公司 | 一种智能分库实时数据迁移方法和装置 |
-
2020
- 2020-06-28 CN CN202010597629.4A patent/CN111767270A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530290A (zh) * | 2012-07-03 | 2014-01-22 | 深圳市腾讯计算机***有限公司 | 数据库间的数据迁移方法和*** |
| JP2019211805A (ja) * | 2018-05-31 | 2019-12-12 | 株式会社野村総合研究所 | データベースマイグレーション支援システム及びプログラム |
| CN111198868A (zh) * | 2019-12-12 | 2020-05-26 | 北京淇瑀信息科技有限公司 | 一种智能分库实时数据迁移方法和装置 |
| CN111090638A (zh) * | 2019-12-25 | 2020-05-01 | 中国工商银行股份有限公司 | 一种数据库迁移中交易功能的对比方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 姚世军: "《Oracle 12c云数据库备份与恢复技术》", 31 January 2018, 中国铁道出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380185A (zh) * | 2020-10-30 | 2021-02-19 | 中国人寿保险股份有限公司 | 一种数据转储方法、设备、电子设备及存储介质 |
| CN112380185B (zh) * | 2020-10-30 | 2024-05-28 | 中国人寿保险股份有限公司 | 一种数据转储方法、设备、电子设备及存储介质 |
| CN113342780A (zh) * | 2021-06-28 | 2021-09-03 | 深圳壹账通智能科技有限公司 | Dsu数据的迁移方法、装置和计算机设备 |
| CN113360482A (zh) * | 2021-08-10 | 2021-09-07 | 深圳市中科鼎创科技股份有限公司 | 基于sql数据库的在线迁移方法 |
| CN114610697A (zh) * | 2022-03-22 | 2022-06-10 | 平安科技（深圳）有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN114610697B (zh) * | 2022-03-22 | 2024-06-28 | 平安科技（深圳）有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6865219B2 (ja) | 連続クエリ処理におけるイベントバッチ処理、出力シーケンス化、およびログベースの状態記憶 | |
| CN109344153B (zh) | 业务数据的处理方法及终端设备 | |
| CN108900353B (zh) | 故障告警方法及终端设备 | |
| CN111767270A (zh) | 数据迁移方法、装置、服务器及存储介质 | |
| CN112597153B (zh) | 一种基于区块链的数据存储方法、装置及存储介质 | |
| CN109885786B (zh) | 数据缓存处理方法、装置、电子设备及可读存储介质 | |
| CN111694841A (zh) | 订单标识生成方法、装置、服务器及存储介质 | |
| CN111913667A (zh) | 一种基于Ceph的OSD阻塞检测方法、***、终端及存储介质 | |
| CN112612853A (zh) | 基于数据库集群的数据处理方法、装置及电子设备 | |
| CN107656750A (zh) | 插件更新方法及装置 | |
| CN112306700A (zh) | 一种异常rpc请求的诊断方法和装置 | |
| CN112363935A (zh) | 数据联调方法、装置、电子设备及存储介质 | |
| CN111899018B (zh) | 订单数据处理方法、装置、服务器及存储介质 | |
| US10127270B1 (en) | Transaction processing using a key-value store | |
| CN110535724B (zh) | 应用程序网络读写限制方法、装置、电子设备及存储介质 | |
| WO2020015114A1 (zh) | 应用运行状态查询方法及终端设备 | |
| CN111736975A (zh) | 请求控制方法、装置、计算机设备及计算机可读存储介质 | |
| CN109299613B (zh) | 数据库分区权限的设置方法和终端设备 | |
| CN113272785B (zh) | 一种挂载文件***的方法、终端设备及存储介质 | |
| CN111078418A (zh) | 操作同步方法、装置、电子设备及计算机可读存储介质 | |
| CN115114612A (zh) | 访问处理方法、装置、电子设备以及存储介质 | |
| CN114124524A (zh) | 一种云平台权限设置方法、装置、终端设备及存储介质 | |
| CN114157662A (zh) | 一种云平台参数适配方法、装置、终端设备及储存介质 | |
| CN110083438B (zh) | 事务分发方法、装置、设备和存储介质 | |
| CN109828983B (zh) | Pg数据库处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |
|
| RJ01 | Rejection of invention patent application after publication |