CN110825813A - 一种数据迁移方法及装置 - Google Patents

Abstract

本发明提供的数据迁移方法及装置，基于全业务生命周期的业务数据关系模型实现针对任意一个待迁移主表数据识别出其对应的全业务生命周期的全部关联数据，从而保证在数据迁移过程中将所有关联的业务数据全部迁移，避免业务数据残留。同时，将待迁移数据写入历史数据库之后，删除生产数据库中的相应数据，从而节省生产数据库中的存储空间。

Description

一种数据迁移方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种数据迁移方法及装置。

背景技术

在民航客运领域，每一个旅客的出行，从买票，改签或换开，乘机或退款，直到最终完成行程。而对于航空公司而言，需要收集各个环节的信息，这些信息最终流转到客运结算***，客运结算***根据数据的实际情况完成相关结算处理，生成财务数据并导入财务***。整个流程都是围绕客运票证进行处理的，在结算环节，完成所有业务处理并达到最终状态，对应的客运票证就完成了它的生命周期，不再进行业务处理。

对于客运结算***而言，不断地接收客运票证各环节的数据，并在***内完成业务处理后形成与原始数据相关的业务数据是其核心工作，因此，***累计数据量会不断增大。而不断增大的原始数据和业务数据会带来很多负面影响，例如，大量占用生产环境的存储空间，影响***业务处理的性能、影响***备份效率等。同时，由于当前的票证数据均以票号为唯一标识，票号在相关***设计中都作为唯一键值使用，但是，由于全球使用最为广泛的BSP(Billing and Settlement Plan，开账与结算计划)中性票数据会以2-3年为周期重复发放票号，造成线性结算***需要不断运维，即将重复发放票号的历史数据进行票号运维以解决相关的业务冲突。

为了解决上述问题，有必要将完成业务处理或已经超过规定时限的历史数据从生产数据库中清理出去。但对于结算***，其历史数据需要具有在线查询需求。因此，历史数据在结算***中不能只是简单的清理，而是需要迁移到历史数据库中存储。目前的历史数据迁移方案都是由运维人员定期操作，使用固定脚本或固定处理流程，对历史数据进行备份和清理；此外，在清理历史数据时，不会清理业务处理尚未完成的数据，会造成大量的业务不完整数据的积存，同时可能会引发相关业务操作的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据迁移方法及装置，以解决现有的历史数据迁移方案无法自动迁移及迁移数据时造成大量业务不完整数据的积存的问题。其技术方案如下：

第一方面，本发明提供了一种数据迁移方法，包括：

从生产数据库中识别出满足预设迁移条件的待迁移主表数据，所述预设迁移条件包括迁移周期；

基于全业务生命周期的业务数据关系模型，从所述生产数据库的各个数据表中识别出与所述待迁移主表数据存在业务关联的全部关联数据，所述全业务生命周期的业务数据关系模型用于描述整个业务生命周期内各数据主表之间具有关联关系的业务数据之间的关系；

基于关联数据提取规则，从所述生产数据库中读取校验正确的待迁移主表数据及全部关联数据，得到待迁移数据，所述关联数据提取规则用于描述不同数据之间的业务关联关系；

将校验正确的所述待迁移数据写入历史数据库中，以及，从所述生产数据库中删除已经写入所述历史数据库中的待迁移数据。

第二方面，本发明还提供了一种数据迁移装置，包括：

第一识别模块，用于从生产数据库中识别出满足预设迁移条件的待迁移主表数据，所述预设迁移条件包括迁移周期；

第二识别模块，用于基于全业务生命周期的业务数据关系模型，从所述生产数据库的各个数据表中识别出与所述待迁移主表数据存在业务关联的全部关联数据，所述全业务生命周期的业务数据关系模型用于描述整个业务生命周期内各数据主表之间具有关联关系的业务数据之间的关系；

读取模块，用于基于关联数据提取规则，从所述生产数据库中读取校验正确的待迁移主表数据及全部关联数据，得到待迁移数据，所述关联数据提取规则用于描述不同数据之间的业务关联关系；

迁移模块，用于将校验正确的所述待迁移数据写入历史数据库中，以及，从所述生产数据库中删除已经写入所述历史数据库中的待迁移数据。

本发明提供的数据迁移方法，基于全业务生命周期的业务数据关系模型实现针对任意一个待迁移主表数据识别出其对应的全业务生命周期的全部关联数据，从而保证在数据迁移过程中将所有关联的业务数据全部迁移，避免业务数据残留。同时，将待迁移数据写入历史数据库之后，删除生产数据库中的相应数据，从而节省生产数据库中的存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的全业务生命周期的业务数据关系模型示意图；

图2是本发明实施例提供的业务数据表关联模型示意图；

图3是本发明实施例提供的一种数据迁移方法的流程图；

图4是本发明实施例提供的获取整个业务生命周期内相关联的全部关联业务标识过程的流程图；

图5是本发明实施例提供的数据校验过程的流程图；

图6是本发明实施例提供的获取关联数据提取规则过程的流程图；

图7是本发明实施例提供的数据迁移过程的流程图；

图8是本发明实施例提供的另一种数据迁移方法的流程图；

图9是本发明实施例提供的一种数据迁移装置的框图；

图10是本发明实施例提供的另一种数据迁移装置的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在进行数据迁移之前，需要进行以下准备工作：

1)根据实际业务需求定义待迁移数据表，基于全业务生命周期的业务数据关系模型及业务数据的实际存储结构，定义业务数据表关联模型。基于待迁移数据表和实际数据的关联关系，定义待迁移关系表，该待迁移关系表描述了各个待迁移数据表之间的关联关系。然后，基于业务数据表关联模型及待迁移关系表，定义各个待迁移数据表的关联数据提取规则(即提取关联数据SQL表)。

在民航客运结算***中，针对不同的业务分别记录有多个数据表，多个数据表可以定义为数据主表及数据从表，且定义了数据主表与数据从表的关联关系。根据实际业务需求定义待迁移数据表，如，民航国际客运收入管理业务***涉及的数据表包括：销售客票表、运输客票表、分摊记录追踪表等。

全业务生命周期的业务数据关系模型如图1所示，该模型描述了整个业务生命周期内各数据主表之间具有关联关系的业务数据之间的关系。业务数据表关联模型如图2所示，该业务数据表关联模型用于描述各个数据主表之间的关联关系。

其中，通过分析各个待迁移数据表及实际的业务数据之间的关联关系得到待迁移关系表，如表1所示：

表1

关联数据提取规则是从生产数据库中读取待迁移数据的重要依据，例如，生产数据库可以采用关系型数据库，如ORACLE数据库，此种应用场景下，关联数据提取规则即提取关联数据SQL表，如表2所示，关联数据SQL表包含如下信息：

表2

2)创建历史数据库；

本发明中历史数据库与生产数据库分离部署。其中，生产数据库是用于存储用户可以通过应用***进行业务处理的数据的数据库，即正在运行的数据库，可以采用关系型数据库，如ORACLE数据库。

历史数据库是专门用于存储完成迁移的历史数据的数据库，历史数据库中的数据只能提供查询功能，不能进行任何业务处理。其中，历史数据是指已经完成***规定的业务操作的数据，或者，超过业务处理期限的数据。历史数据库的特性是一次写、不修改、少量读，而且***响应等级相对较低，因此，历史数据库在选型上，可以选择MySQL数据库，以降低数据库软件成本。不同类型的数据库之间的数据类型定义有一定的差异，可以根据实际应用需求相互转换。

此外，历史数据库中存储历史数据的表，都以“历史数据分区标记”字段为分区键，创建分区，一般以年月或年作为分区键，便于后续基于此键值进行历史数据库历史数据离线操作时，以分区为单位进行分区删除，降低处理难度。

3)创建完历史数据库后，在历史数据库中创建相应的数据表

在历史数据库中，创建与生产数据库中的待迁移数据表结构相同的数据表，并增加历史数据专用字段，从而创建得到历史数据表，用于存储迁移后的历史数据，并支持后续的查询过程。

其中，历史数据专用字段的定义如表3所示：

表3

在历史数据库中的各个数据表中，为各个数据增加相应的关联键(即，历史数据追踪号)，由数据的原有业务标识和关联键组合后得到新的业务标识，以历史数据追踪号为前导列。使得在生产数据库中存在关联关系的数据迁移到历史数据库后具有统一的关联键(即，历史数据追踪号)，从而让重复使用的票号(即业务标识)在历史数据库中可以区分其所在的不同业务生命周期。

以销售客票表为例，生产数据库中的销售客票表的业务标识为票号字段，历史数据库中的销售客票表，将历史数据追踪号字段、票号字段设为新的业务标识，并以历史数据追踪号为前导列。如果票号字段是后续查询的主要依据，则为票号字段创建非唯一索引。

4)需要定义及维护数据存留周期配置(如表4所示)、数据校验规则配置(如表5所示)、***运行参数配置(如表6所示)等，根据这些配置规则配置校验作业，实现定期进行迁移数据的筛选和校验，并记录校验结果；以及，根据这些配置规则配置迁移作业，实现定期进行数据迁移处理。

表4为数据存留周期配置说明：

表4

表5为数据校验规则配置说明：

表5

迁移校验规则	校验是否应用
		1.未配平配比记录已经完成审核	N
2.已经完成销号	N
		3.已经完成销售报告审核	Y
4.运输已完成账务处理	Y
		5.对内开账已完成账务处理	Y
6.分摊处理已完成	Y
		7.税费拆分已完成

表6为***运行参数配置说明：

表6

请参见图3，示出了本发明实施例提供的一种数据迁移方法的流程图，该方法应用于服务器中，如图3所示，该方法包括以下步骤：

S110，从生产数据库中识别出满足预设迁移条件的待迁移主表数据。

其中，所述预设迁移条件包括迁移周期，该迁移周期具体可以是数据存留周期，其中，数据存留周期可以采用如表4所示的周期数，也可以根据实际需求自行设定。

凡是超过对应的数据存留周期的数据，都需要进行迁移处理，实际使用过程中，需要计算数据的应迁移日期并记录。然后通过比较当前时间是否大于某主表历史数据的应迁移日期，如果大于，则确定该主表历史数据需要进行迁移处理，即，识别出该主表历史数据为待迁移数据；如果小于，则该主表历史数据仍存储在生产数据库中。

在民航客运结算***中，针对不同的业务分别记录有多个数据表，例如，民航国际客运收入管理业务***涉及的数据表包括：销售客票表、运输客票表、分摊记录追踪表等，这些数据表之间具有主从表关联关系。例如，销售客票表和运输客票表均是数据主表，分摊记录追踪表是与销售客票表相关联的从表，通过分摊处理编号与销售客票表之间建立关联关系。

数据主表是指可以通过关联键直接获取数据的表，例如，客票销售表、行李票销售表等。

数据从表是指不能直接根据业务标识获取数据，必须现根据业务标识从数据主表中获取主表数据，再依据表2中的规则获取从表数据读取SQL，执行该SQL获得从表中的相关数据。

因此，可以根据数据主表中的关联键查找到所有相关联的数据从表，因此，只需确定出待迁移主表数据，然后，依据该待迁移主表数据查找到相关联的待迁移从表数据。

S120，基于全业务生命周期的业务数据关系模型，从生产数据库的各个数据表中识别出与所述待迁移主表数据存在业务关联的全部关联数据。

对于S110中识别出的待迁移主表数据，基于全业务生命周期的业务数据关系模型，获取在整个业务生命周期内与该待迁移主表数据相关联的全部关联业务标识，进而依据关联业务标识获得相应的业务数据。

在本发明的一个实施例中，如图4所示，获取整个业务生命周期内相关联的全部关联业务标识的过程如下：

S121，获取待查询业务标识。

本实施例中，该待查询业务标识是生产数据库中业务数据的唯一标识，例如，可以是BSP中性票证数据的票号。

待查询业务标识可以是在全业务生命周期内与待迁移主表数据相关联的任意一条数据的业务标识。例如，首次查找某一待迁移主表数据相关联的业务标识，待查询业务标识即该待迁移主表数据的业务标识；查找到与该待迁移主表数据相关联的业务标识后，再逐一查询与这些业务标识相关联的其它业务标识。

S122，判断业务标识数组中是否包含该待查询业务标识；如果否，则执行S123；如果是，则执行S124。

需要说明的是，S122是判断当前待查询业务标识是否查询过的具体过程。

业务标识数组中记录与该待迁移主表数据相关联的业务标识，如果业务标识数组中存在当前待查询业务标识，表明已经查询过与该待查询业务标识相关联的业务标识，此时可以直接查询与该待查询业务标识对应的全部销售交易号；如果业务标识数组中不存在当前待查询业务标识，表明之前未查询过与该待查询的业务标识相关联的业务标识。

S123，将该待查询业务标识存入业务标识数组中。

S124，根据该待查询业务标识查询相应的数据表中与该待查询业务标识相匹配的销售交易号。

与销售数据相关的数据表中都包含业务标识字段和销售交易号字段，该步骤是查询各个销售数据表中与待查询业务标识相对应的销售记录数据，然后，从这些销售记录数据中获取销售交易号。

例如，根据业务标识查询销售客票、销售行李票、销售MCO、销售退款单、销售作废票、退换票旧票票联、部分退票旧票等数据表，获取与该待查询业务标识相匹配的销售记录数据，然后，从这些销售记录中获取销售交易号。即，基于销售消息向旧票方向追溯，同时，查找联票、伴票及混合伴票，以及基于补充退款向旧票方向追溯。

S125，针对每个销售交易号，查询生产数据库中的各个数据表中是否存在与该销售交易号对应的业务标识；如果存在，则分别以查询到的各个业务标识为待查询业务标识，并执行S122；如果不存在，则结束当前销售交易号的查询匹配流程，继续查询下一个销售交易号对应的业务标识。

例如，待查询业务标识为票号a，并且查询到与该票号a对应的销售交易号包括a1、a2、a3，对于销售交易号a1查询对应的数据表获得与该交易号a1相关联的全部业务标识例如，b和c；然后，确定业务标识b是否包含在业务标识数组中，如果业务标识数组中不包含业务标识b则继续查询业务标识b对应的全部销售交易号，例如b1；继续查询销售交易号b1对应的全部业务标识，例如d；继续查询发现该业务标识d没有对应的销售交易号。至此，针对销售交易号a1的查询过程结束，继续返回查询销售交易号a2相关联的所有业务员标识。

执行上述S121～S125所示的步骤，实现获取与待迁移主表数据相关联的全部关联业务标识。然后，可以根据识别出的全部关联业务标识读取相应的待迁移数据。

在发明的一个实施例中，分别配置数据校验作业和数据迁移作业，且数据校验作业与数据迁移作业采用异步处理，原因是数据校验操作和数据迁移操作对生产数据库的影响不同，数据校验操作对生产数据库只做读操作，对生产数据库造成的影响较小，因此可以在任意时段执行；而数据迁移操作需要针对所有待迁移数据表做读写操作，且在实际处理时通过多线程并行执行，这会对生产数据库造成较大的性能影响，因此数据迁移作业通常放在非用户使用阶段执行(例如，周一～周五的运行时间为22:00，周六、周日运行时间为凌晨2:00)，单次运行时间不限，但需定义单次处理阀值，以避免其执行周期过长而影响在线用户使用的现象发生。

其中，数据校验作业按照***配置的迁移周期，定期进行迁移数据筛选及校验，并记录校验结果。

在本发明的一个实施例中，如图5所示，数据校验作业进行数据校验的过程如下：

S21，加载数据校验规则配置。

S22，从各个待迁移数据表中获取一待迁移主表数据。

数据校验作业按一定的顺序(例如，以数据进行***时间的升序)，基于迁移周期配置筛选生产数据库中的数据，识别出需要进行校验的数据对应的业务标识；并基于识别出的业务标识及业务数据表关联模型，获取全业务生命周期内具有关联关系的全部关联业务标识(即，S121～S127所示的过程)。针对识别出的全部关联业务标识获得待迁移数据。

S23，基于数据校验规则配置，对获得的待迁移主表数据进行校验，如果校验正确，则执行S24；如果校验错误，则执行S25；

S24，将该待迁移主表数据的信息记录到待迁移数据键值表中。

待迁移数据键值表用于后续进行数据迁移，其中，待迁移数据键值表中各个字段的含义如表7所示：

表7

S25，记录校验错误的数据信息。

如果数据校验错误，则记录校验错误数据的错误原因提供给用户进行分析处理，并记录完成校验的数据范围，为再次运行校验提供依据。

此处需要说明的是，数据校验作业所校验的数据中可以包括生成数据库中的不需要迁移的数据进行校验；也可以只对识别出的需要迁移的数据进行校验。

此外，数据校验作业单次运行处理范围从***运行参数配置(即，表6所示的参数)中的“校验完成至日期”配置项维护的日期开始，至运行数据校验作业的日期，即“校验日期缓冲期(天)”维护的天数得到的日期为止。例如，“校验完成至日期”为20170101，“校验日期缓冲期(天)”为60，数据校验作业运行日期为20180506，因此，可以计算得到校验范围的终止日期为20180506减去60天，即，20180307。最终，确定当前数据校验作业处理数据范围为20170101至20180307这段时间产生的生产数据。

数据校验作业的运行时间可以配置为每天0点，单次运行时间不限，直至生产数据库中待迁移数据表中所有需要校验的数据都完成扫描为止。当数据校验作业启动时，判断***运行参数配置中的“数据校验运行状态”配置项标识的作业运行状态，若为“RUN”表明上一次触发的数据校验作业还在运行中，此时，直接终止当前提交的数据校验作业。

S130，基于关联数据提取规则，从生产数据库中读取校验正确的待迁移主表数据及全部关联数据，得到待迁移数据。

所述关联数据提取规则用于描述不同数据之间的业务关联关系；

在本发明的一个实施例中，如图6所示，获取关联数据提取规则的过程如下：

S31，分析***业务数据之间的关系得到全业务生命周期的业务数据关系模型。

其中，获得的全业务生命周期的业务数据关系模型如图2所示。

S32，基于全业务生命周期的业务数据关系模型，以及***业务数据存储结构，得到业务数据表关联模型。所述业务数据表关联模型用于描述***内的各个数据主表之间的关联关系。

S33，基于业务数据表关系模型，以及预先获得的待迁移关系表，得到关联数据提取规则。

待迁移关系表通过分析各个待迁移数据表及实际的业务数据之间的关联关系得到，例如，某个具体实例中，待迁移数据表包括销售客票表、运输客票表、分摊记录追踪表等，则待迁移关系表如表8所示：

表8

例如，待迁移数据表包括：销售客票表，表名SALPAX；运输客票表，表名UPLPAX；分摊记录追踪表，表名PRPIND。其中，销售客票表是主表，其主键(即，业务标识)为票号字段即SALPAX.TKTNO，运输记录表也是主表，此表也存储票号字段即UPLLPAX.TKTNO，在确认关联票号集合后，可直接使用票号获取此两表记录。分摊记录追踪表为2级关联表，与其直接关联的上级表为销售客票表，两个表通过分摊处理编号即SALPAX.TRC和PRPIND.TRC进行关联。在定义查询SQL时，对于直接使用主表业务标识(即票号)查询的表，可直接定义绑定变量，在执行SQL时将票号作为参数传入。对于不使用票号查询的表，可以先通过子查询在主表获取主表记录，再将子查询结果作为关联条件，查询当前表记录。对于3级及3及以上关联表，可通过多级子查询，逐级获取父表关联记录后再定位当前表记录。获得的关联数据提取规则，即提取关联数据SQL表如表9所示：

表9

获得关联数据提取规则后，基于该关联数据提取规则从生产数据库中读取相应的待迁移主表数据及全部关联数据，其中，待迁移主表数据及全部关联数据，即待迁移数据。

S140，将校验正确的待迁移数据写入历史数据库中，以及，从生产数据库中删除已经写入所述历史数据库中的待迁移数据。

该步骤通过提交数据迁移作业实现，数据迁移作业启动时，判断***运行参数配置中“数据迁移运行状态”配置项标识的作业运行状态，若状态为“RUN”时，表明上一次启动的数据迁移作业还在运行中，则直接终止本次提交的数据迁移作业。

数据迁移作业启动后，依据待迁移数据键值表中记录的已经校验正确的待迁移主表数据的业务标识，从待迁移数据主表中读取与该业务标识相对应的数据；以及，依据关联数据提取规则从待迁移数据从表中读取与该业务标识具有关联关系的全业务生命周期内的待迁移从表数据；为了避免数据校验作业与数据迁移作业异步处理，造成已经完成校验的数据发生变化，因此，需要对这些数据进行再次校验，最后，将再次校验正确的数据写入历史数据库中对应的数据表中。

在本发明的一个实施例中，如图7所示，数据迁移作业的迁移过程如下：

S41，依据待迁移数据键值表中记录的数据的业务标识，从生产数据库中读取与该业务标识对应的待迁移主表数据。

S42，对业务标识对应的待迁移主表数据进行再次校验，并在再次校验正确后，基于关联数据提取规则，从生产数据库中提取与该业务标识具有关联关系的待迁移从表数据。

S43，对待迁移从表数据进行再次校验正确后，将业务标识对应的待迁移主表数据及具有关联关系的待迁移从表数据写入所述历史数据库中，以及，删除所述生产数据库中的所述待迁移数据。

将待迁移数据写入历史数据库后记录写入数据记录数；同理，将待迁移数据从生产数据库中删除后记录删除数据记录数。

在本发明的一个实施例中，写历史数据库的过程及删除生产数据库的过程采用分布式事务，保证历史数据库的操作和生产数据库的操作同时执行事务提交，在出错时同时进行事务回滚，如果部分提交成功，部分提交失败，则执行自动事务补偿，保证数据只会存储于生产数据库或历史数据库的其中之一。

在事务(例如，写历史数据库事务、删除生产数据库事务)提交前，分别获取生产数据库中各待迁移数据表的删除数据记录数(即，关系型数据库中SQL删除的数据条数)及历史数据库各历史数据表的写入数据记录数；如果删除记录数与写入数据记录数不匹配，则进行事务回滚并记录错误日志，便于后续定位问题所在。在事务提交过程中，先提交写历史数据库事务，再提交删除生产数据库事务，如果写历史数据库事务提交成功，删除生产数据库事务提交失败，则进行补偿，即，删除之前写入历史数据库的历史数据并提交删除操作。如果补偿失败，则邮件通知管理用户，进行手动干预。采用上述的事务控制，保证生产数据不会丢失，只有在事务部分提交成功且补偿失败的特殊情况下，生产数据库和历史数据库会同时存在一些数据，需要管理用户手工处理。在完成数据记录数核对后，记录迁移操作日志，迁移数据明细级和汇总级统计数据。最后提交用于完成迁移数据业务处理的关联作业。

本实施例提供的数据迁移方法，基于全业务生命周期的业务数据关系模型实现针对任意一个待迁移主表数据识别出其对应的全业务生命周期的全部关联数据，从而保证在数据迁移过程中将所有关联的业务数据全部迁移，避免业务数据残留。同时，将待迁移数据写入历史数据库之后，删除生产数据库中的相应数据，从而节省生产数据库中的存储空间。

请参见图8，示出了本发明实施例提供的另一种数据迁移方法的流程图，该方法在图3所示实施例的基础上还可以包括以下步骤：

S210，从写入历史数据库中的待迁移数据中，识别出未完成***预设业务处理的数据。

数据迁移作业完成本次历史数据迁移后，提交一个立即执行的业务处理作业，该业务处理作业用于对已完成迁移的历史数据进行相应的业务处理。业务处理作业只需对已完成迁移的历史数据中未完成预设业务处理的数据进行相应的业务处理，因此，需要先识别出未完成业务处理的数据，未完成业务处理的数据即未配平的数据。

S220，对于未完成***预设业务处理的数据，生成对应的业务数据写入所述历史数据库中。

对于写入历史数据库中的未完成业务处理的数据(即，未配平数据)，进行相应的业务处理，即主要针对业务处理尚未完成的数据生成相应的历史数据迁移账务。针对销售未到数据，生成销售未到的相关单票账务；针对使用未到数据，生成使用未到的相关单票账务。

例如，在业务场景中，存在销售未到的数据，该销售未到的数据超期后需要进行数据迁移。在业务流程中，对于销售未到的数据，其运输收入需要做相应的预估账，如果销售来了则需要把预估账转为运输收入；但是，如果销售始终没来，将数据迁移到历史数据库的过程中，需要将已经做过的预估账转成损益账。

本实施例提供的数据迁移方法，在对历史数据迁移至历史数据库的过程中，对未完成业务处理的数据进行相应的业务处理，避免数据迁移过程中大量业务不完整的数据积存在生产数据库中，同时，避免数据迁移可能会引发的相关业务操作问题出现。

此外，本发明提供的数据迁移方法，还能够针对历史数据进行查询；在定义查询页面的查询条件时，除针对业务字段查询外，还可以将历史数据追踪号字段及数据迁移时间字段显示在展示结果中，从而避免查询结果由于部分业务字段重复使用而产生使用歧义。例如，本***中，销售客票表中的业务标识(即，票号)，会因上游***重复使用而重复，在历史数据查询过程中，对销售记录基于票号查询，在展示结果中就要带上数据迁移时间，来区分相同票号的数据记录之间的差异。

此外，本发明提供的数据迁移方法还可以提供统计报表，以处理周期为汇总维度，将一定时间周期内完成数据迁移的数据量，按一定的业务维度进行统计。

相应于上述的数据迁移方法实施例，本发明还提供了数据迁移装置实施例。

请参见图9，示出了本发明实施例提供的一种数据迁移装置的框图，该装置应用于服务器中，如图9所示，该装置包括：第一识别模块110、第二识别模块120、读取模块130和迁移模块140。

第一识别模块110，用于从生产数据库中识别出满足预设迁移条件的待迁移主表数据。其中，预设迁移条件包括迁移周期。

第二识别模块120，用于基于全业务生命周期的业务数据关系模型，从生产数据库的各个数据表中识别出与待迁移主表数据存在业务关联的全部关联数据。

其中，全业务生命周期的业务数据关系模型用于描述整个业务生命周期内各数据主表之间具有关联关系的业务数据之间的关系。

读取模块130，用于基于关联数据提取规则，从所述生产数据库中读取校验正确的待迁移主表数据及全部关联数据，得到待迁移数据。

关联数据提取规则用于描述不同数据之间的业务关联关系。在本发明的一个实施例中，该数据迁移装置还包括：获取模块210，用于获取关联数据提取规则。

其中，该获取模块210具体用于：

分析***业务数据之间的关系得到全业务生命周期的业务数据关系模型；

基于全业务生命周期的业务数据关系模型，以及***业务数据存储结构，得到业务数据表关联模型。其中，业务数据表关联模型用于描述***内的各个数据主表之间的关联关系。

基于业务数据表关系模型，以及预先获得的待迁移关系表，得到关联数据提取规则。其中，待迁移关系表用于记录各个待迁移数据表之间的关联关系。

在本发明一个实施例中，确定校验正确的待迁移主表数据及全部关联数据的过程如下：

基于预先设定的校验时间周期，从生产数据库中的数据中筛选出待校验数据对应的业务标识；

基于待校验数据对应的业务标识，以及业务数据表关联模型，获取全业务生命周期内与待校验数据的业务标识具有关联关系的全部关联业务标识；

基于全部关联业务标识，识别出具有关联关系的待迁移数据，待迁移数据包括待迁移主表中的数据及待迁移从表中的数据；

对于识别出的具有关联关系的待迁移数据，基于预设的数据校验规则进行正确性校验；

将校验正确的待迁移主表中的数据的信息记录到待迁移数据键值表中。

在本发明的一个实施例中，基于待校验数据对应的业务标识，以及业务数据表关联模型，获取全业务生命周期内与待校验数据的业务标识具有关联关系的全部关联业务标识的过程具体如下：

获取待查询业务标识；

判断是否查询过待查询业务标识对应的销售交易号；

若没有查询过所述待查询业务标识对应的销售交易号，则查询该待查询业务标识对应的全部销售交易号；

针对每个销售交易号，查询与该销售交易号对应的全部关联业务标识；

循环将查询到的每个关联业务标识作为新的待查询业务标识，并返回执行判断是否查询过待查询业务标识对应的销售交易号的步骤，直到查询到全业务生命周期内与待校验数据的业务标识相关联的全部关联业务标识。

迁移模块140，用于将校验正确的待迁移数据写入历史数据库中，以及，从生产数据库中删除已经写入历史数据库中的待迁移数据。

在本发明的一个实施例中，历史数据库和生产数据库分离部署。

在本发明的一个实施例中，迁移模块140用于将校验正确的待迁移数据写入历史数据库中时具体用于：

依据待迁移数据键值表中记录的数据的业务标识，从生产数据库中读取与该业务标识对应的待迁移主表数据；

对业务标识对应的待迁移主表数据进行再次校验，并在再次校验正确后，基于关联数据提取规则，从生产数据库中提取与该业务标识具有关联关系的待迁移从表数据；

对待迁移从表数据进行再次校验正确后，将业务标识对应的待迁移主表数据及具有关联关系的待迁移从表数据写入历史数据库中，以及，删除生产数据库中的待迁移数据。

在本发明的另一个实施例中，将校验正确的待迁移数据写入历史数据库的过程中，为具有关联关系的各个待迁移数据创建关联键。其中，关联键用于标记历史数据库的各个数据表中具有关联关系的数据。

对于已经写入历史数据库中的任一待迁移数据，将该待迁移数据在生产数据库中的业务标识及该待迁移数据的关联键组合后确定为该待迁移数据的新的业务标识。

在本发明的一个实施例中，如图10所示，该装置还包括：第三识别模块310、业务处理模块320。

第三识别模块310，用于从写入历史数据库中的待迁移数据中，识别出未完成***预设业务处理的数据。

业务处理模块320，用于对于未完成***预设业务处理的数据，生成对应的业务数据并写入所述历史数据库中。

本实施例提供的数据迁移方法，在对历史数据迁移至历史数据库的过程中，对未完成业务处理的数据进行相应的业务处理，避免数据迁移过程中大量业务不完整的数据积存在生产数据库中，同时，避免数据迁移可能会引发的相关业务操作问题出现。

此外，本发明提供的数据迁移装置，还能够针对历史数据进行查询；在定义查询页面的查询条件时，除针对业务字段查询外，还可以将历史数据追踪号字段及数据迁移时间字段显示在展示结果中，从而避免查询结果由于部分业务字段重复使用而产生使用歧义。例如，本***中，销售客票表中的业务标识(即，票号)，会因上游***重复使用而重复，在历史数据查询过程中，对销售记录基于票号查询，在展示结果中就要带上数据迁移时间，来区分相同票号的数据记录之间的差异。

此外，本发明提供的数据迁移装置还可以提供统计报表，以处理周期为汇总维度，将一定时间周期内完成数据迁移的数据量，按一定的业务维度进行统计。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：

从生产数据库中识别出满足预设迁移条件的待迁移主表数据，所述预设迁移条件包括迁移周期；

基于全业务生命周期的业务数据关系模型，从所述生产数据库的各个数据表中识别出与所述待迁移主表数据存在业务关联的全部关联数据，所述全业务生命周期的业务数据关系模型用于描述整个业务生命周期内各数据主表之间具有关联关系的业务数据之间的关系；

基于关联数据提取规则，从所述生产数据库中读取校验正确的待迁移主表数据及全部关联数据，得到待迁移数据，所述关联数据提取规则用于描述不同数据之间的业务关联关系；

将校验正确的所述待迁移数据写入历史数据库中，以及，从所述生产数据库中删除已经写入所述历史数据库中的待迁移数据。

2.根据权利要求1所述的方法，其特征在于，所述关联数据提取规则通过以下方式获得：

分析***业务数据之间的关系得到全业务生命周期的业务数据关系模型；

基于所述全业务生命周期的业务数据关系模型，以及***业务数据存储结构，得到业务数据表关联模型，所述业务数据表关联模型用于描述***内的各个数据主表之间的关联关系；

基于所述业务数据表关系模型，以及预先获得的待迁移关系表，得到所述关联数据提取规则，所述待迁移关系表用于记录各个待迁移数据表之间的关联关系。

3.根据权利要求1所述的方法，其特征在于，确定校验正确的待迁移主表数据及全部关联数据的过程包括：

基于预先设定的校验时间周期，从所述生产数据库中的数据中筛选出待校验数据对应的业务标识；

基于待校验数据对应的业务标识，以及业务数据表关联模型，获取全业务生命周期内与所述待校验数据的业务标识具有关联关系的全部关联业务标识；

基于所述全部关联业务标识，识别出具有关联关系的待迁移数据，待迁移数据包括待迁移主表中的数据及待迁移从表中的数据；

对于识别出的具有关联关系的待迁移数据，基于预设的数据校验规则进行正确性校验；

将校验正确的待迁移主表中的数据的信息记录到待迁移数据键值表中。

4.根据权利要求3所述的方法，其特征在于，基于待校验数据对应的业务标识，以及业务数据表关联模型，获取全业务生命周期内与所述待校验数据的业务标识具有关联关系的全部关联业务标识，包括：

获取待查询业务标识；

判断是否查询过所述待查询业务标识对应的销售交易号；

若没有查询过所述待查询业务标识对应的销售交易号，则查询该待查询业务标识对应的全部销售交易号；

针对每个销售交易号，查询与该销售交易号对应的全部关联业务标识；

循环将查询到的每个关联业务标识作为新的待查询业务标识，并返回执行判断是否查询过所述待查询业务标识对应的销售交易号的步骤，直到查询到全业务生命周期内与所述待校验数据的业务标识相关联的全部关联业务标识。

5.根据权利要求3所述的方法，其特征在于，所述将校验正确的所述待迁移数据写入历史数据库中，包括：

依据所述待迁移数据键值表中记录的数据的业务标识，从所述生产数据库中读取与该业务标识对应的待迁移主表数据；

对所述业务标识对应的待迁移主表数据进行再次校验，并在再次校验正确后，基于关联数据提取规则，从所述生产数据库中提取与该业务标识具有关联关系的待迁移从表数据；

对所述待迁移从表数据进行再次校验正确后，将所述业务标识对应的待迁移主表数据及具有关联关系的待迁移从表数据写入所述历史数据库中，以及，删除所述生产数据库中的所述待迁移数据。

6.根据权利要求1所述的方法，其特征在于，所述将校验正确的待迁移数据写入历史数据库中，包括：

将校验正确的待迁移数据写入历史数据库的过程中，为具有关联关系的各个待迁移数据创建关联键，所述关联键用于标记所述历史数据库的各个数据表中具有关联关系的数据；

对于已经写入所述历史数据库中的任一待迁移数据，将该待迁移数据在所述生产数据库中的业务标识及该待迁移数据的关联键组合后确定为该待迁移数据的新的业务标识。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从写入历史数据库中的待迁移数据中，识别出未完成***预设业务处理的数据；

对于未完成***预设业务处理的数据，生成对应的业务数据并写入所述历史数据库中。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述历史数据库与所述生产数据库分离部署。

9.一种数据迁移装置，其特征在于，包括：

第一识别模块，用于从生产数据库中识别出满足预设迁移条件的待迁移主表数据，所述预设迁移条件包括迁移周期；

第二识别模块，用于基于全业务生命周期的业务数据关系模型，从所述生产数据库的各个数据表中识别出与所述待迁移主表数据存在业务关联的全部关联数据，所述全业务生命周期的业务数据关系模型用于描述整个业务生命周期内各数据主表之间具有关联关系的业务数据之间的关系；

读取模块，用于基于关联数据提取规则，从所述生产数据库中读取校验正确的待迁移主表数据及全部关联数据，得到待迁移数据，所述关联数据提取规则用于描述不同数据之间的业务关联关系；

迁移模块，用于将校验正确的所述待迁移数据写入历史数据库中，以及，从所述生产数据库中删除已经写入所述历史数据库中的待迁移数据。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：获取模块，用于获取关联数据提取规则；

所述获取模块具体用于：

分析***业务数据之间的关系得到全业务生命周期的业务数据关系模型；

基于所述全业务生命周期的业务数据关系模型，以及***业务数据存储结构，得到业务数据表关联模型，所述业务数据表关联模型用于描述***内的各个数据主表之间的关联关系；

基于所述业务数据表关系模型，以及预先获得的待迁移关系表，得到所述关联数据提取规则，所述待迁移关系表用于记录各个待迁移数据表之间的关联关系。

Images