CN105068805B - 一种数据移植过程中数据稽核的方法和*** - Google Patents
一种数据移植过程中数据稽核的方法和*** Download PDFInfo
- Publication number
- CN105068805B CN105068805B CN201510484913.XA CN201510484913A CN105068805B CN 105068805 B CN105068805 B CN 105068805B CN 201510484913 A CN201510484913 A CN 201510484913A CN 105068805 B CN105068805 B CN 105068805B
- Authority
- CN
- China
- Prior art keywords
- data
- business
- transplanting
- script
- checked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种数据移植过程中数据稽核的方法和***。方法包括获取待升级***的产品数据，基于Shell技术，对产品数据进行预稽核处理；对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储；在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果；提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据。本发明通过数据稽核发现移植程序的缺陷，对数据移植的准确性、对账的准确性提供参考数据。
Description
技术领域
本发明涉及电子信息处理领域，特别涉及一种数据移植过程中数据稽核的方法和***。
背景技术
在移动通信***升级的过程中，需要将旧模型数据结构的产品数据转换成新模型数据结构的产品数据。由于产品数据移植存在以下问题：数据量巨大、业务多而复杂、CRM旧***存量产品订购数据与对应的业务表存在一定的数据差异、CRM旧***与计费接口小表也存在一定数据差异、产品域新老数据模型差异较大，因此，对产品数据的移植将不得不考虑数据移植稽核的实现方法，否则无法保证数据移植的准确性，以及确保billing对账结果达到局方要求。
发明内容
本发明所要解决的技术问题是提供一种对数据移植的准确性、对账的准确性提供参考数据的数据移植过程中数据稽核的方法。
本发明解决上述技术问题的技术方案如下：一种数据移植过程中数据稽核的方法，包括以下步骤
步骤1，获取待升级***的产品数据，基于Shell技术，对所述产品数据进行预稽核处理；
步骤2，对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储；
步骤3，在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果；
步骤4，提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据。
为了解决技术问题，本发明还提供一种数据移植过程中数据稽核的***，包括预稽核模块，用于获取待升级***的产品数据，基于Shell技术，对所述产品数据进行预稽核处理；
数据移植模块，用于对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储；
数据稽核模块，用于在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果；
异常数据处理模块，用于提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据。
本发明的有益效果是：在割接预演阶段能发现旧***的异常数据，为调整差异数据提供依据，通过数据稽核发现移植程序的缺陷，对数据移植的准确性、对账的准确性提供参考数据。
附图说明
图1为本发明一种数据移植过程中数据稽核的方法步骤流程图；
图2为本发明一种数据移植过程中数据稽核的***模块关系示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明一种数据移植过程中数据稽核的方法步骤流程图。
如图1所示，一种数据移植过程中数据稽核的方法，包括以下步骤
步骤S1，获取待升级***的产品数据，基于Shell技术，对产品数据进行预稽核处理。对旧***(待升级***)的数据稽核和数据调平工作，是为了确保数据移植的准确性以及计费对账的准确性。
步骤S2，对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储。移植规则包括资费是否存在，用户是否有效，订购是否有效。
步骤S3，在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果。
步骤S4，提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据。自动处理脚本将异常数据进行数据原因分类，并进行逐一处理。如果数据异常原因为配置数据匹配不上，则向处理人员反馈调整配置或者考虑程序容错处理，如果数据异常原因为旧***实例数据问题，则向处理人员反馈需调整旧***的数据，如果数据异常原因为移植程序bug，则向处理人员反馈需调整移植程序。如果数据异常原因为旧***表与表之间存在差异，则向处理人员反馈需检查表与表之间的差异数据。如果数据异常原因为移植脚本出错，则向处理人员反馈对移植脚本进行调整。
步骤S1中，预稽核处理包括，基于Shell技术，对产品数据设计相应的Shell脚本，运行稽核脚本，产生差异数据，根据差异数据调用预设的自动处理脚本调平产品数据。
当待升级***的业务量大，需移植的产品数据量大时，采用将业务分为业务大类，业务大类下再细分为业务子类进行移植，从而提高移植效率、减小移植过程中业务之间的相互影响、提高后面业务稽核的效率。在本发明中，可将待移植的产品数据分为4个业务大类，包括个人业务、家庭业务、V网业务和通用集团业务，对每个业务大类进行分业务表移植。数据移植中，每一个移植程序只归属于一个业务大类，数据稽核中，一个业务大类对应一个稽核脚本，其中一个业务大类可以包含多个业务的移植程序。
步骤S2中，产品数据包括多个业务大类，例如，个人业务、家庭业务、V网业务和通用集团业务等4个业务大类，每个业务大类包括多个业务子类，在每个业务子类的数据移植过程中，将符合移植规则的数据录入其所属业务子类的实例数据业务表，将不符合移植规则的数据录入其所属业务子类的异常数据中间表。
步骤S3中，基于Shell技术，对各个业务子类生成的实例数据业务表、异常数据中间表和移植前的数据设计相应的稽核脚本，进行数量上和移植规则的稽核，并将稽核结果录入稽核结果表，每个业务大类对应一张稽核结果表，每个业务子类对应稽核结果表中的一条数据。
步骤S3中，对各个业务子类生成的实例数据业务表进行汇总，得到汇总数据，基于Shell技术，对汇总数据设计相应的稽核脚本，进行数据结构的稽核，并将稽核结果录入汇总数据稽核结果表。数据结构的稽核包括检查是否移植数据是否存在异常，如：主资费缺失、资费与成员表member_id不匹配检查等。
下表为本发明移植程序与稽核脚本的对应明细：
下表为本发明移植脚本与移植脚本的稽核中间表的对应明细：
| 稽核脚本名称 | 稽核脚本说明 | 稽核脚本对应的稽核中间表 | 备注 |
| audit_person_cplus.sh | 个人C++稽核 | CHK_TRAN_PERSON_DETAIL_CPLUS | 过程中稽核 |
| audit_A_all_shell.sh | 个人独立脚本稽核 | CHK_TRAN_PERSON_DETAIL_A | 过程中稽核 |
| audit_B_all_shell.sh | 个人有依赖脚本稽核 | CHK_TRAN_PERSON_DETAIL_B | 过程中稽核 |
| audit_vpmn_grp.sh | V网集团稽核 | CHK_TRAN_PERSON_DETAIL_VGRP | 过程中稽核 |
| audit_vpmn_mbr.sh | V网成员稽核 | CHK_TRAN_PERSON_DETAIL_VMBR | 过程中稽核 |
| audit_family_shell.sh | 家庭业务稽核 | CHK_TRAN_FAMILY_DETAIL | 过程中稽核 |
| audit_group_shell.sh | 通用集团稽核 | CHK_TRAN_GROUP_DETAIL | 过程中稽核 |
| chk_pd_userprc_info_wzzf_new.sh | 主资费缺失检查 | CHK_PD_USERPRC_INFO_CY_MAIN | 数据汇总后稽核 |
| chk_mainproddup.sh | 重复主资费检查 | CHK_PD_USERPRCMAIN_DUP | 数据汇总后稽核 |
| chk_prc_memberid.sh | 资费与成员表member_id不匹配检查 | CHK_PD_USERPRC_MEMBERID_CY | 数据汇总后稽核 |
如上述两个表所示，每一个稽核脚本对应一个业务大类，当一个业务大类的所有移植程序都执行完毕之后，执行该业务大类所对应的稽核脚本，当稽核脚本执行完毕之后，查看稽核结果表中数据是否存在异常数据，如果有，则调用预设自动处理脚本处理异常数据。如果无，则执行下一个业务分类对应的移植脚本。
当所有的业务大类的移植程序都执行完，并且稽核脚本检查无问题的情况下，在将各个业务大类的数据汇总，数据汇总完之后，在执行数据汇总后的稽核脚本，当所有的稽核脚本检查无误后，则表示该次数据移植无问题。
本发明中，一个完整的稽核脚本需要具备以下几个要素：创建一张属于该稽核脚本的中间表，所有稽核中间表的表结构保持一致，稽核脚本必须为所归属的业务大类下的每一个移植程序创建一个稽核函数，每一个稽核函数的稽核要点需要从对应移植程序出发。例如：邮寄账单在移植过程中产生了包资费、子资费、资费属性，则稽核脚本可以从资费和资费属性这两张表去做数据量的稽核。
图2为本发明一种数据移植过程中数据稽核的***模块关系示意图。
如图2所示，一种数据移植过程中数据稽核的***，包括预稽核模块、数据移植模块、数据稽核模块和异常数据处理模块。
预稽核模块，用于获取待升级***的产品数据，基于Shell技术，对产品数据进行预稽核处理；预稽核处理包括，基于Shell技术，对产品数据设计相应的Shell脚本，运行稽核脚本，产生差异数据，根据差异数据调用预设的自动处理脚本调平产品数据。数据移植模块，用于对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储；数据稽核模块，用于在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果；异常数据处理模块，用于提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据。
数据移植过程中数据稽核的***，产品数据包括多个业务大类，例如个人业务、家庭业务、V网业务和通用集团业务。每个业务大类包括多个业务子类，数据移植模块在对每个业务子类的数据移植过程中，将符合移植规则的数据录入其所属业务子类的实例数据业务表，将不符合移植规则的数据录入其所属业务子类的异常数据中间表。
数据移植过程中数据稽核的***，数据稽核模块，还用于基于Shell技术，对各个业务子类生成的实例数据业务表、异常数据中间表和移植数据源表设计相应的稽核脚本，进行数量上和移植规则的稽核，并将稽核结果录入稽核结果表，每个业务大类对应一张稽核结果表，每个业务子类对应稽核结果表中的一条数据。
数据移植过程中数据稽核的***，数据稽核模块，还用于对各个业务子类生成的实例数据业务表进行汇总，得到汇总数据，基于Shell技术，对汇总数据设计相应的稽核脚本，进行数据结构的稽核，并将稽核结果录入汇总数据稽核结果表。
本发明的有益效果为：固化稽核数据的方式方法并形成脚本，每次移植数据只需要执行稽核脚本输出稽核结果，减少手工操作带来的不便，提高稽核效率。数据移植稽核脚本能在数据移植预演阶段提前发现旧***的异常数据、移植脚本的bug、以及产品配置表中的异常配置数据，提前发现的问题能帮助移植人员提前处理好数据源和移植脚本中隐藏的问题。数据移植稽核脚本能确保数据移植的准确性、对账报告的准确性，同时能为衡量移植数据的质量提供参考数据。在数据移植割接当晚，移植人员可根据稽核脚本确认移植是否成功，也可快速定位移植过程中的数据问题，为移植人员节约宝贵的割接时间，提高数据割接的成功率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种数据移植过程中数据稽核的方法，其特征在于，包括以下步骤：
步骤1，获取待升级***的产品数据，基于Shell技术，对所述产品数据进行预稽核处理；
步骤2，对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储；
步骤3，在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果；
步骤4，提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据；
步骤1中，所述预稽核处理包括，基于Shell技术，对所述产品数据设计相应的Shell脚本，运行稽核脚本，产生差异数据，根据所述差异数据调用预设的自动处理脚本调平所述产品数据；
步骤3中，基于Shell技术，对各个业务子类生成的实例数据业务表、异常数据中间表和移植前的数据设计相应的稽核脚本，进行数量上和移植规则的稽核，并将稽核结果录入稽核结果表，每个业务大类对应一张稽核结果表，每个业务子类对应稽核结果表中的一条数据。
2.根据权利要求1所述一种数据移植过程中数据稽核的方法，其特征在于，步骤2中，所述产品数据包括4个业务大类，个人业务、家庭业务、V网业务和通用集团业务；每个业务大类包括多个业务子类，在每个业务子类的数据移植过程中，将符合移植规则的数据录入其所属业务子类的实例数据业务表，将不符合移植规则的数据录入其所属业务子类的异常数据中间表。
3.根据权利要求1所述一种数据移植过程中数据稽核的方法，其特征在于，步骤3中，对各个业务子类生成的实例数据业务表进行汇总，得到汇总数据，基于Shell技术，对汇总数据设计相应的稽核脚本，进行数据结构的稽核，并将稽核结果录入汇总数据稽核结果表。
4.一种数据移植过程中数据稽核的***，其特征在于，包括
预稽核模块，用于获取待升级***的产品数据，基于Shell技术，对所述产品数据进行预稽核处理；
数据移植模块，用于对完成预稽核的产品数据进行移植，在移植过程中，根据移植规则对产品数据进行分类存储；
数据稽核模块，用于在产品数据移植完成后，基于Shell技术，对移植后的生成数据和移植前的数据设计相应的稽核脚本，生成稽核结果；
异常数据处理模块，用于提取稽核结果中的异常数据，通过excel工具导出异常数据文档，并调用预设自动处理脚本处理异常数据；
所述预稽核处理包括，基于Shell技术，对所述产品数据设计相应的Shell脚本，运行稽核脚本，产生差异数据，根据所述差异数据调用预设的自动处理脚本调平所述产品数据；
所述数据稽核模块，还用于基于Shell技术，对各个业务子类生成的实例数据业务表、异常数据中间表和移植前的数据设计相应的稽核脚本，进行数量上和移植规则的稽核，并将稽核结果录入稽核结果表，每个业务大类对应一张稽核结果表，每个业务子类对应稽核结果表中的一条数据。
5.根据权利要求4所述一种数据移植过程中数据稽核的***，其特征在于，所述产品数据包括4个业务大类，个人业务、家庭业务、V网业务和通用集团业务；每个业务大类包括多个业务子类，数据移植模块在对每个业务子类的数据移植过程中，将符合移植规则的数据录入其所属业务子类的实例数据业务表，将不符合移植规则的数据录入其所属业务子类的异常数据中间表。
6.根据权利要求4所述一种数据移植过程中数据稽核的***，其特征在于，所述数据稽核模块，还用于对各个业务子类生成的实例数据业务表进行汇总，得到汇总数据，基于Shell技术，对汇总数据设计相应的稽核脚本，进行数据结构的稽核，并将稽核结果录入汇总数据稽核结果表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510484913.XA CN105068805B (zh) | 2015-08-07 | 2015-08-07 | 一种数据移植过程中数据稽核的方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510484913.XA CN105068805B (zh) | 2015-08-07 | 2015-08-07 | 一种数据移植过程中数据稽核的方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105068805A CN105068805A (zh) | 2015-11-18 |
| CN105068805B true CN105068805B (zh) | 2018-09-11 |
Family
ID=54498185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510484913.XA Active CN105068805B (zh) | 2015-08-07 | 2015-08-07 | 一种数据移植过程中数据稽核的方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105068805B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045466B (zh) * | 2016-02-06 | 2020-08-25 | 华为技术有限公司 | 业务数据的稽核方法、装置及*** |
| CN107918564B (zh) * | 2017-11-13 | 2021-01-15 | 泰康保险集团股份有限公司 | 数据传输异常处理方法、装置、电子设备及存储介质 |
| CN111291226B (zh) * | 2020-02-20 | 2023-08-11 | 浪潮卓数大数据产业发展有限公司 | 一种设计文档表与数据库表稽核的***及方法 |
| CN112364058B (zh) * | 2020-11-10 | 2024-06-18 | 北京思特奇信息技术股份有限公司 | 一种产商品资费配置的稽核方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621529A (zh) * | 2008-06-30 | 2010-01-06 | 上海全成通信技术有限公司 | 一种异构海量数据高效低成本的装载方法 |
| CN101706909A (zh) * | 2009-11-18 | 2010-05-12 | 山东浪潮齐鲁软件产业股份有限公司 | 一种面向企业数据集成的全面数据质量管理方法 |
| CN103473643A (zh) * | 2013-09-10 | 2013-12-25 | 北京思特奇信息技术股份有限公司 | 一种boss***的产品管理数据稽核方法及*** |
| CN104462562A (zh) * | 2014-12-29 | 2015-03-25 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移***及方法 |
| US9075663B2 (en) * | 2010-05-12 | 2015-07-07 | Samsung Electronics Co., Ltd. | Cloud-based web workers and storages |
-
2015
- 2015-08-07 CN CN201510484913.XA patent/CN105068805B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621529A (zh) * | 2008-06-30 | 2010-01-06 | 上海全成通信技术有限公司 | 一种异构海量数据高效低成本的装载方法 |
| CN101706909A (zh) * | 2009-11-18 | 2010-05-12 | 山东浪潮齐鲁软件产业股份有限公司 | 一种面向企业数据集成的全面数据质量管理方法 |
| US9075663B2 (en) * | 2010-05-12 | 2015-07-07 | Samsung Electronics Co., Ltd. | Cloud-based web workers and storages |
| CN103473643A (zh) * | 2013-09-10 | 2013-12-25 | 北京思特奇信息技术股份有限公司 | 一种boss***的产品管理数据稽核方法及*** |
| CN104462562A (zh) * | 2014-12-29 | 2015-03-25 | 浪潮软件集团有限公司 | 一种基于数据仓库自动化的数据迁移***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105068805A (zh) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105068805B (zh) | 一种数据移植过程中数据稽核的方法和*** | |
| CN107506383B (zh) | 一种审计数据处理方法和计算机设备 | |
| CN109871309B (zh) | 一种计费***测试案例生成方法和*** | |
| CN107967347A (zh) | 批量数据处理方法、服务器、***及存储介质 | |
| CN105913233A (zh) | 适用于应用客户端支付的sdk处理方法 | |
| CN103559025A (zh) | 一种采用聚类方式进行软件重构的方法 | |
| CN106021422B (zh) | 一种基于关系型数据库形成Hive数据仓库的方法及*** | |
| WO2008095384A1 (en) | Matching method and system for marketing campaign recommendation | |
| CN110147361A (zh) | 大数据环境下实现主数据编码规则维护功能的***及其方法 | |
| CN102722537A (zh) | 一种数据库测试数据的生成方法及*** | |
| CN105574032A (zh) | 规则匹配运算方法及装置 | |
| CN109299913A (zh) | 员工薪资方案生成方法及装置 | |
| CN108959307A (zh) | 可扩展数据上报方法、***、及存储介质 | |
| CN109117467A (zh) | 可配置的动态数据报表的生成方法、***、设备和介质 | |
| CN102521713B (zh) | 数据处理装置和数据处理方法 | |
| CN102364475A (zh) | 基于身份识别对检索结果排序的***及方法 | |
| CN111984826B (zh) | 基于xml的数据自动入库方法、***、装置和存储介质 | |
| CN105681287A (zh) | 基于筛选规则的用户服务分配筛选方法 | |
| CN108769756A (zh) | 同名次主播再排序方法及***、服务器及存储介质 | |
| CN105404608B (zh) | 一种基于公式解析的复杂指标集计算方法和*** | |
| CN105049475B (zh) | 大规模社区的数据高效存储优化方法及*** | |
| CN104317590B (zh) | 嵌入式配置***及嵌入式配置审核流程的方法 | |
| CN111651148A (zh) | 一种Stream SQL的动态生成方法及*** | |
| CN113590640B (zh) | 解决银行业务跨平台跨日账务平衡的方法及装置 | |
| CN110322230A (zh) | 一种工作流***与业务***的对接规范实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |