CN114281757A - 一种数据库的迁移方法、***及计算机可读存储介质 - Google Patents
一种数据库的迁移方法、***及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114281757A CN114281757A CN202111507025.7A CN202111507025A CN114281757A CN 114281757 A CN114281757 A CN 114281757A CN 202111507025 A CN202111507025 A CN 202111507025A CN 114281757 A CN114281757 A CN 114281757A
- Authority
- CN
- China
- Prior art keywords
- database
- log file
- conversion
- binlog
- increment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000013508 migration Methods 0.000 title claims abstract description 46
- 230000005012 migration Effects 0.000 title claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims abstract description 121
- 230000008569 process Effects 0.000 claims abstract description 83
- 238000001914 filtration Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000004044 response Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库的迁移方法、***及计算机可读存储介质，方法包括：配置主数据库的迁移信息并且配置备数据库的迁移信息；并行启动备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；基于Binlog增量读取进程读取二进制日志文件以生成中继日志文件；基于Binlog增量转换进程读取中继日志文件，并对中继日志文件进行格式转换以生成转换日志文件；基于Binlog增量写入进程对转换日志文件进行解析，并将解析后的转换日志文件写入备数据库。本发明实现了主数据库的数据到备数据库的迁移，解决了随着人工智能平台运行时间增长，主数据库响应缓慢、占用存储空间大的问题。
Description
技术领域
本发明涉及数据库技术领域，尤其涉及一种数据库的迁移方法、***及计算机可读存储介质。
背景技术
人工智能平台通常使用MySQL数据库存储业务数据，包括审计日志、用户信息、业务信息等。随着平台长时间运行会产生很多数据，尤其是审计日志相关的数据，从而导致MySQL响应缓慢、存储空间持续增长的问题。针对目前的场景分析得出数据基本都是归档数据，用户不经常使用，但是从安全角度来说不能直接删除(可能会用于输出相关的业务报表)。基于此，经过充分的调研和技术验证，本发明提出一种数据迁移策略，将MySQL数据库的归档数据迁移到另一个数据库，在不影响原有业务的基础上提高了MySQL数据库的吞吐量，减少了MySQL数据库的磁盘占用空间，同时通过另外的数据库对MySQL数据库的数据进行备份，增加了数据的安全性，并且降低了维护成本和技术风险，提高了人工智能平台在同类产品中的竞争力。
发明内容
有鉴于此，本发明提出了一种数据库的迁移方法、***及计算机可读存储介质，通过将数据从主数据库迁移到备数据库，解决了随着人工智能平台运行时间的增长，主数据库响应缓慢、占用存储空间大的问题。
基于上述目的，本发明实施例的一方面提供了一种数据库的迁移方法，具体包括如下步骤：
配置主数据库的迁移信息以获取所述主数据库的二进制日志文件，并且配置备数据库的迁移信息以从所述主数据库读取待迁移数据；
并行启动所述备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；
基于所述Binlog增量读取进程读取所述二进制日志文件以生成中继日志文件；
基于所述Binlog增量转换进程读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件；
基于所述Binlog增量写入进程对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库。
在一些实施方式中，配置主数据库和备数据库的迁移信息包括：
修改主数据库的配置文件以获取所述主数据库的二进制日志文件，并为所述二进制日志文件配置基于语句复制的策略，并为所述主数据库建立账号；
基于主数据库信息在所述备数据库创建配置文件，其中，所述配置文件包括：备数据库的账号信息，主数据库的地址、账号信息、二进制日志文件的偏移位置。
在一些实施方式中，读取所述二进制日志文件以生成中继日志文件包括：
读取所述备数据库的配置文件，从所述配置文件获取所述主数据库的地址、账号信息以建立所述备数据库与所述主数据库的连接；
从所述配置文件获取所述二进制日志文件的偏移位置，基于所述二进制日志文件的偏移位置并间隔预设周期从所述二进制日志文件读取待迁移数据；
将每个预设周期读取的所述待迁移数据分别写入对应的中继日志文件，并将所述对应的中继日志文件的索引信息加入到中继缓存队列中；
在每个所述预设周期将所述索引信息加入所述中继缓存队列后，更新所述二进制日志文件的偏移位置。
在一些实施方式中，读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件，包括：
从所述中继缓存队列依次读取所述中继日志文件的索引信息，基于所述索引信息从对应的中继日志文件中获取待迁移数据；
基于预设转换格式对所述待迁移数据进行转换，并将转换后的待迁移数据写入对应的转换日志文件，并将对应的转换日志文件索引信息加入到转换日志缓存队列；
删除进行过转换的所述对应的中继日志文件。
在一些实施方式中，对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库，包括：
从所述转换日志队列依次读取所述转换日志文件的索引信息，基于所述转换日志文件的索引信息获取对应的转换日志文件；
对所述对应的转换日志文件进行解析；
调用所述备数据库的API接口将解析后的转换日志文件写入所述备数据库；
删除解析过的所述对应的转换日志文件。
在一些实施方式中，所述备数据库的配置文件还包括过滤信息；
基于预设转换格式对所述待迁移数据进行转换包括：
读取所述备数据库的配置文件，判断所述配置文件是否包含所述过滤信息；
若是所述配置文件包含所述过滤信息，基于所述过滤信息和所述预设转换格式对所述待迁移数据进行转换；
若是所述配置文件不包含所述过滤信息，基于所述预设转换格式对所述待迁移数据进行转换。
在一些实施方式中，方法进一步包括：
监听所述主数据库与所述备数据库的连通状态、所述Binlog增量读取进程的状态、所述Binlog增量写入进程的状态及所述Binlog增量转换进程的状态。
在一些实施方式中，方法进一步包括：
响应于接收到数据查询请求，基于所述主数据库和/或所述备数据库获取所述数据，并将获取的数据返回给用户。
本发明实施例的又一方面，还提供了一种数据库的迁移***，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述计算机程序由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明至少具有以下有益技术效果：通过配置主数据库和备数据库的迁移信息以获取主数据库的二进制日志文件；并行启动备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；基于Binlog增量读取进程读取二进制日志文件以生成中继日志文件；基于Binlog增量转换进程读取中继日志文件，并对中继日志文件进行格式转换以生成转换日志文件；基于Binlog增量写入进程对转换日志文件进行解析，并将解析后的转换日志文件写入备数据库，实现了主数据库的数据到备数据库的迁移，从而提高了主数据库的吞吐量，减少了主数据库的磁盘占用空间，增加了主数据库的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的数据库的迁移方法的一实施例的框图；
图2为本发明提供的主数据库迁移数据到备数据库的示意图；
图3为本发明提供的备数据库的数据迁移过程示意图；
图4为本发明提供的数据库的迁移***的一实施例的示意图；
图5为本发明提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种数据库的迁移方法的实施例。如图1所示，其包括如下步骤：
步骤S101、配置主数据库的迁移信息以获取所述主数据库的二进制日志文件，并且配置备数据库的迁移信息以从所述主数据库读取待迁移数据；
步骤S103、并行启动所述备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；
步骤S105、基于所述Binlog增量读取进程读取所述二进制日志文件以生成中继日志文件；
步骤S107、基于所述Binlog增量转换进程读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件；
步骤S109、基于所述Binlog增量写入进程对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库。
主数据库为MySQL数据库；备数据库为InfluxDB数据库，InfluxDB数据库为一种时序型数据库；Binlog为MySQL数据库的二进制日志文件。
如图2所示，为主数据库迁移数据到备数据库的示意图。
配置主数据库的迁移信息以获取主数据库的二进制日志文件，配置备数据库的迁移信息以从主数据库读取二进制日志文件；
并行启动Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程之后，各个进程的执行步骤具体如下：
Binlog增量读取进程：读取主数据的二进制日志文件生成中继日志文件；
Binlog增量转换进程：读取中继日志文件进行格式转换，转换成转换日志文件；
Binlog增量写入进程：读取并解析转换日志文件，并在解析后写入备数据库。
本实施例通过配置主数据库和备数据库的迁移信息以获取主数据库的二进制日志文件；并行启动备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；基于Binlog增量读取进程读取二进制日志文件以生成中继日志文件；基于Binlog增量转换进程读取中继日志文件，并对中继日志文件进行格式转换以生成转换日志文件；基于Binlog增量写入进程对转换日志文件进行解析，并将解析后的转换日志文件写入备数据库，实现了主数据库的数据到备数据库的迁移，从而提高了主数据库的吞吐量，减少了主数据库的磁盘占用空间，增加了主数据库的安全性。
更进一步的，将三个进程与操作***启动绑定，使各个进程在操作***启动时，同操作***一同启动，无需再单独启动每个进程，提高了数据库的迁移速度。
在一些实施方式中，配置主数据库和备数据库的迁移信息包括：
修改主数据库的配置文件以获取所述主数据库的二进制日志文件，并为所述二进制日志文件配置基于语句复制的策略，并为所述主数据库建立账号；
基于主数据库信息在所述备数据库创建配置文件，其中，所述配置文件包括：备数据库的账号信息，主数据库的地址、账号信息、二进制日志文件的偏移位置。
结合图2，主数据库的迁移信息配置过程如下：
由于本发明实施例是基于MySQL的二进制日志文件完成数据的增量迁移，因此要修改主数据库的配置文件提前完Binlog的配置及Binlog的基于语句复制的策略，修改MySQL的my.cnf配置文件；
由于备数据库通过I/O线程会建立一个与主数据库的TCP/IP连接以从主数据库读取数据，因此在主数据库创建一个数据增量同步的账号，账号包括用户名和密码，比如：GRANT REPLICATION SLAVE ON*.*TO'数据库'@'％'IDENTIFIED BY'密码'。
结合图2，从数据库的迁移信息配置过程如下：
在备数据库中增加一个配置文件，该配置文件中包括主数据库的地址、用户名和密码、过滤信息、备数据库的用户名和密码，其中，过滤信息指的是在主数据库与从数据库的数据迁移过程中，可以忽略的表和/或字段。可以在配置文件中根据实际应用场景需要进行配置或不进行配置。
在启动迁移之前需要完成偏移位置的配置和确认，首先在主数据库中执行命令来获取当前的二进制日志文件以及偏移位置，把获取到的偏移信息，例如当前二进制日志文件的文件名和当前二进制日志文件的偏移位置，写入到备数据库的配置文件。
每次迁移前通过确认二进制日志文件的迁移位置，能够确定需要迁移的主数据库的增量，无需对整个二进制日志文件进行迁移，例如，每天早上对前一天的数据库增量进行迁移，通过读取前一天的二进制日志文件的迁移位置，即可以确定从哪里开始的数据为数据库的增量，进而从该位置进行迁移，迁移速度快，占用磁盘空间少。
在一些实施方式中，读取所述二进制日志文件以生成中继日志文件包括：
读取所述备数据库的配置文件，从所述配置文件获取所述主数据库的地址、账号信息以建立所述备数据库与所述主数据库的连接；
从所述配置文件获取所述二进制日志文件的偏移位置，基于所述二进制日志文件的偏移位置并间隔预设周期从所述二进制日志文件读取待迁移数据；
将每个预设周期读取的所述待迁移数据分别写入对应的中继日志文件，并将所述对应的中继日志文件的索引信息加入到中继缓存队列中；
在每个所述预设周期将所述索引信息加入所述中继缓存队列后，更新所述二进制日志文件的偏移位置。
如图3所示，为备数据库的数据迁移过程示意图。
结合图2和图3，在Binlog增量读取进程中，首先读取配置文件，获取待读取的主数据库的地址、用户名/密码、Binlog以及Binlog的偏移量(即偏移位置)；然后使用Mysqlbinlog命令读取增量数据写入到一个新创建的中继日志文件中，并且把中继日志文件的索引信息加入到缓存队列中；最后更新配置文件中的偏移量。
Binlog增量读取进程是周期性进行的，一个周期代表一个进程。预设周期，由用户根据实际应用场景进行自定义，例如10min，20min，30min等。每一个周期均会生成一个中继日志文件，保存到默认的路径下。中继日志文件的索引信息及中继日志文件的路径信息。
在一些实施方式中，读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件，包括：
从所述中继缓存队列依次读取所述中继日志文件的索引信息，基于所述索引信息从对应的中继日志文件中获取待迁移数据；
基于预设转换格式对所述待迁移数据进行转换，并将转换后的待迁移数据写入对应的转换日志文件，并将对应的转换日志文件索引信息加入到转换日志缓存队列；
删除进行过转换的所述对应的中继日志文件。
结合图2和图3，在Binlog增量转换进程中，首先从中继日志队列中弹出未被转换过的中继日志绝对路径进行解析，得到对应的中继日志文件，对应的中继日志文件中的数据即待迁移数据；然后将待迁移数据按照预设转换格式，即预先定义好的InfluxDB备数据库的格式要求，对待迁移数据进行格式转换，将转换后的待迁移数据写入到新的转换日志文件中，一个中继日志文件对应一个转换日志文件，最后删除已经被处理过的中继日志。
按照预设转换格式对数据进行转换为的是将数据转换成可以写入InfluxDB的SQL文件。具体的，为数据的类型的转换，例如，将字符类型映射成string、浮点数值类型映射为float、整数数值类型映射为int、布尔映射为整数的0和1、其他类型映射为string；如果是表的话，除了按照上述类型进行转换外，把MySQL中的表在InfluxDB中进行创建(同一个表只创建一次)，将表的索引映射为关键词tag，类型为string。
在一些实施方式中，对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库，包括：
从所述转换日志队列依次读取所述转换日志文件的索引信息，基于所述转换日志文件的索引信息获取对应的转换日志文件；
对所述对应的转换日志文件进行解析；
调用所述备数据库的API接口将解析后的转换日志文件写入所述备数据库；
删除解析过的所述对应的转换日志文件。
结合图2和图3，在Binlog增量写入进程中，首先从转换日志队列中弹出未被转换过的转换日志绝对路径进行解析，得到对应的转换日志文件；对转换日志文件进行解析，即针对转换日志文件中的每一个语句，在语句的开头加上POST并且在语句的结尾加上WRITE，代表将传递的日志写入InfluxDB，把解析后的转换日志文件通过InfluxDB API接口直接写入InfluxDB中，最后删除已经被处理过的转换日志文件。
在一些实施方式中，所述备数据库的配置文件还包括过滤信息；
基于预设转换格式对所述待迁移数据进行转换包括：
读取所述备数据库的配置文件，判断所述配置文件是否包含所述过滤信息；
若是所述配置文件包含所述过滤信息，基于所述过滤信息和所述预设转换格式对所述待迁移数据进行转换；
若是所述配置文件不包含所述过滤信息，基于所述预设转换格式对所述待迁移数据进行转换。
在配置文件中可以配置过滤信息，如果配置了过滤信息，那么在中继日志文件转换成转换日志文件时，通过过滤条件进行转换，过滤掉无需写入InfluxDB的数据，进一步提高了数据迁移效率。
在一些实施方式中，方法进一步包括：
监听所述主数据库与所述备数据库的连通状态、所述Binlog增量读取进程的状态、所述Binlog增量写入进程的状态及所述Binlog增量转换进程的状态。
结合图2，监听主数据库的状态、备数据库读进程/转换进程/写进程的状态、从数据库配置文件中的偏移量是否与主库中的一致、检测到异常之后的处理方式(比如，通知运维人员处理或重启服务)。
监听主数据库的状态：在从数据库中使用从数据库的配置文件周期性(10s)执行select查询语句，来判断从数据库与主数据库的连通性，连续超过10*10s则通知运维人员排查问题。
监听备库读进程/转换进程/写进程的状态：在从数据库中使用ps–aux查询语句查询对应的进程信息是否存在(不存在则启动对应的线程)，内存使用是否合理(如果发现内存使用过高则需要通知运维人员处理)、备数据对应的中继日志文件、转换日志文件是否按照时间周期性生成，是否存在未被处理的文件(把未处理的数据直接加入到对应的队列中，如果已经处理过则删除对应的文件)。
在一些实施方式中，方法进一步包括：
响应于接收到数据查询请求，基于所述主数据库和/或所述备数据库获取所述数据，并将获取的数据返回给用户。
结合图2，数据展示主要用于处理用户查询MySQL中的数据和InfluxDB的数据的情况。前端用户的查询请求，可能是针对MySQL也可能针对InfluxDB，视查询请求中需要查询的数据范围(开始时间、截止时间)而定。如果查询的数据范围为InfluxDB的数据，则从InfluxDB获取后展示给用户；如果查询的数据范围为MySQL的数据，则从MySQL获取后展示给用户；如果查询的数据范围同时在MySQL和InfluxDB中，则分别从MySQL和InfluxDB获取后，进行拼装，拼装完成后展示给用户。
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种数据库的迁移***30，在该迁移***30中包括处理器310以及存储器320，存储器320存储有可在处理器上运行的计算机程序321，处理器310执行程序时执行如上的方法的步骤。
其中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述数据库的迁移方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行装置的各种功能应用以及数据处理，即实现上述方法实施例的数据库的迁移方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本实施例通过配置主数据库和备数据库的迁移信息以获取主数据库的二进制日志文件；并行启动备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；基于Binlog增量读取进程读取二进制日志文件以生成中继日志文件；基于Binlog增量转换进程读取中继日志文件，并对中继日志文件进行格式转换以生成转换日志文件；基于Binlog增量写入进程对转换日志文件进行解析，并将解析后的转换日志文件写入备数据库，实现了主数据库的数据到备数据库的迁移，从而提高了主数据库的吞吐量，减少了主数据库的磁盘占用空间，增加了主数据库的安全性。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质40，计算机可读存储介质40存储有被处理器执行时执行如上方法的计算机程序410。
本发明实施例还可以包括相应的计算机设备。计算机设备包括存储器、至少一个处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述任意一种方法。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个***的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种数据库的迁移方法，其特征在于，包括：
配置主数据库的迁移信息以获取所述主数据库的二进制日志文件，并且配置备数据库的迁移信息以从所述主数据库读取待迁移数据；
并行启动所述备数据库的Binlog增量读取进程、Binlog增量转换进程和Binlog增量写入进程；
基于所述Binlog增量读取进程读取所述二进制日志文件以生成中继日志文件；
基于所述Binlog增量转换进程读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件；
基于所述Binlog增量写入进程对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库。
2.根据权利要求1所述的方法，其特征在于，配置主数据库和备数据库的迁移信息包括：
修改主数据库的配置文件以获取所述主数据库的二进制日志文件，并为所述二进制日志文件配置基于语句复制的策略，并为所述主数据库建立账号；
基于主数据库信息在所述备数据库创建配置文件，其中，所述配置文件包括：备数据库的账号信息，主数据库的地址、账号信息、二进制日志文件的偏移位置。
3.根据权利要求2所述的方法，其特征在于，读取所述二进制日志文件以生成中继日志文件包括：
读取所述备数据库的配置文件，从所述配置文件获取所述主数据库的地址、账号信息以建立所述备数据库与所述主数据库的连接；
从所述配置文件获取所述二进制日志文件的偏移位置，基于所述二进制日志文件的偏移位置并间隔预设周期从所述二进制日志文件读取待迁移数据；
将每个预设周期读取的所述待迁移数据分别写入对应的中继日志文件，并将所述对应的中继日志文件的索引信息加入到中继缓存队列中；
在每个所述预设周期将所述索引信息加入所述中继缓存队列后，更新所述二进制日志文件的偏移位置。
4.根据权利要求3所述的方法，其特征在于，读取所述中继日志文件，并对所述中继日志文件进行格式转换以生成转换日志文件，包括：
从所述中继缓存队列依次读取所述中继日志文件的索引信息，基于所述索引信息从对应的中继日志文件中获取待迁移数据；
基于预设转换格式对所述待迁移数据进行转换，并将转换后的待迁移数据写入对应的转换日志文件，并将对应的转换日志文件索引信息加入到转换日志缓存队列；
删除进行过转换的所述对应的中继日志文件。
5.根据权利要求4所述的方法，其特征在于，对所述转换日志文件进行解析，并将解析后的转换日志文件写入所述备数据库，包括：
从所述转换日志队列依次读取所述转换日志文件的索引信息，基于所述转换日志文件的索引信息获取对应的转换日志文件；
对所述对应的转换日志文件进行解析；
调用所述备数据库的API接口将解析后的转换日志文件写入所述备数据库；
删除解析过的所述对应的转换日志文件。
6.根据权利要求4所述的方法，其特征在于，所述备数据库的配置文件还包括过滤信息；
基于预设转换格式对所述待迁移数据进行转换包括：
读取所述备数据库的配置文件，判断所述配置文件是否包含所述过滤信息；
若是所述配置文件包含所述过滤信息，基于所述过滤信息和所述预设转换格式对所述待迁移数据进行转换；
若是所述配置文件不包含所述过滤信息，基于所述预设转换格式对所述待迁移数据进行转换。
7.根据权利要求1～6任意一项所述的方法，其特征在于，进一步包括：
监听所述主数据库与所述备数据库的连通状态、所述Binlog增量读取进程的状态、所述Binlog增量写入进程的状态及所述Binlog增量转换进程的状态。
8.根据权利要求1～6任意一项所述的方法，其特征在于，进一步包括：
响应于接收到数据查询请求，基于所述主数据库和/或所述备数据库获取所述数据，并将获取的数据返回给用户。
9.一种数据库的迁移***，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-8任意一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-8任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111507025.7A CN114281757A (zh) | 2021-12-10 | 2021-12-10 | 一种数据库的迁移方法、***及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111507025.7A CN114281757A (zh) | 2021-12-10 | 2021-12-10 | 一种数据库的迁移方法、***及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114281757A true CN114281757A (zh) | 2022-04-05 |
Family
ID=80871630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111507025.7A Withdrawn CN114281757A (zh) | 2021-12-10 | 2021-12-10 | 一种数据库的迁移方法、***及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114281757A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115840737A (zh) * | 2023-02-16 | 2023-03-24 | 济南邦德激光股份有限公司 | 一种基于数据库的分离式日志管理方法及*** |
| CN116578655A (zh) * | 2023-07-06 | 2023-08-11 | 舟谱数据技术南京有限公司 | 一种数据传输***及其控制方法 |
| CN118132538A (zh) * | 2024-05-06 | 2024-06-04 | 深圳九有数据库有限公司 | 一种数据库***更换方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-10 CN CN202111507025.7A patent/CN114281757A/zh not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115840737A (zh) * | 2023-02-16 | 2023-03-24 | 济南邦德激光股份有限公司 | 一种基于数据库的分离式日志管理方法及*** |
| CN116578655A (zh) * | 2023-07-06 | 2023-08-11 | 舟谱数据技术南京有限公司 | 一种数据传输***及其控制方法 |
| CN116578655B (zh) * | 2023-07-06 | 2023-09-15 | 舟谱数据技术南京有限公司 | 一种数据传输***及其控制方法 |
| CN118132538A (zh) * | 2024-05-06 | 2024-06-04 | 深圳九有数据库有限公司 | 一种数据库***更换方法、装置、电子设备及存储介质 |
| CN118132538B (zh) * | 2024-05-06 | 2024-07-16 | 深圳九有数据库有限公司 | 一种数据库***更换方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114281757A (zh) | 一种数据库的迁移方法、***及计算机可读存储介质 | |
| CN109271435B (zh) | 一种支持断点续传的数据抽取方法及*** | |
| US9336288B2 (en) | Workflow controller compatibility | |
| US10338960B2 (en) | Processing data sets in a big data repository by executing agents to update annotations of the data sets | |
| CN110069572A (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
| CN111324610A (zh) | 一种数据同步的方法及装置 | |
| CN104423960A (zh) | 一种项目持续集成的方法及*** | |
| CN112148788A (zh) | 异构数据源的数据同步方法及*** | |
| CN103927314A (zh) | 一种数据批量处理的方法和装置 | |
| CN109086382B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
| CN115374102A (zh) | 数据处理方法及*** | |
| CN104767795A (zh) | 一种基于hadoop的lte mro数据统计方法及*** | |
| CN115129736A (zh) | 基于规则引擎的规则事件动态加载与更新方法及相关设备 | |
| CN109885642B (zh) | 面向全文检索的分级存储方法及装置 | |
| KR20200046769A (ko) | 보고서 자동 생성 기반의 업무 프로세스 관리 시스템 제공 방법 | |
| CN110705724A (zh) | 一种可重用自动化运维管理*** | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN110941629A (zh) | 元数据处理方法、装置、设备及计算机可读存储介质 | |
| CN114385760A (zh) | 增量数据实时同步的方法、装置、计算机设备及存储介质 | |
| CN115033646A (zh) | 一种基于Flink&Doris构建实时数仓***的方法 | |
| CN115374116A (zh) | 一种高可配的多数据源即时异构融合方法和*** | |
| CN111159142B (zh) | 一种数据处理方法及装置 | |
| KR102339897B1 (ko) | 보고서 자동 생성 기반의 업무 프로세스 관리 시스템 제공 방법 | |
| CN117762865A (zh) | 大数据平台的数据入湖方法及*** | |
| CN116521664A (zh) | 数据仓库的数据监控方法及装置、计算设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220405 |
|
| WW01 | Invention patent application withdrawn after publication |