CN104750703B - 一种提高数据准确性的方法和装置 - Google Patents

一种提高数据准确性的方法和装置 Download PDF

Info

Publication number
CN104750703B
CN104750703B CN201310738426.2A CN201310738426A CN104750703B CN 104750703 B CN104750703 B CN 104750703B CN 201310738426 A CN201310738426 A CN 201310738426A CN 104750703 B CN104750703 B CN 104750703B
Authority
CN
China
Prior art keywords
data
module
dealing
variance
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310738426.2A
Other languages
English (en)
Other versions
CN104750703A (zh
Inventor
李岳
韩昆
马超
孟强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Tianjin Co Ltd
Original Assignee
China Mobile Group Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Tianjin Co Ltd filed Critical China Mobile Group Tianjin Co Ltd
Priority to CN201310738426.2A priority Critical patent/CN104750703B/zh
Publication of CN104750703A publication Critical patent/CN104750703A/zh
Application granted granted Critical
Publication of CN104750703B publication Critical patent/CN104750703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种提高数据准确性的方法，包括：从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；所述第二差异数据的总数不大于告警阈值、且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。本发明还同时公开了一种提高数据准确性的装置。

Description

一种提高数据准确性的方法和装置
技术领域
本发明涉及数据库管理技术，尤其涉及一种提高数据准确性的方法和装置。
背景技术
业务支撑***是依据用户办理或使用电信业务对用户计费的***，该***包括：业务受理模块、内存数据库、异常数据处理程序、物理数据库、短信发送模块等；该***的实现流程包括：业务受理模块接收来自办理业务终端和网元的数据并按照既定业务对接收数据进行规则处理后，将数据同时写入内存数据库和物理数据库中；在内存数据库和物理数据库完成读写操作后，将业务所需数据提交给业务受理模块的其它进程继续下一环节处理。
现有技术中，业务支撑***完成处理一项业务需要多个应用进程串行执行，当后一步进程运行异常时，由前一步进程向内存数据库中写入的数据不能回滚，如此，就会使内存数据库不断积累错误数据，从而降低内存数据库的数据准确性。并且，由于内存数据库中错误的数据仍会被提交给业务支撑***中的业务受理模块继续处理，这样，通常会导致两种后果，进程异常退出或进程僵死。显然，内存数据库的错误数据会对业务支撑***的稳定性造成严重威胁。
发明内容
有鉴于此，本发明实施例的主要目的是提供一种提高数据准确性的方法和装置，能有效解决现有技术中因内存数据库的数据不能回滚而导致保留错误数据的问题，进而提高内存数据库中数据的准确性。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种提高数据准确性的方法，该方法包括：
从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；
延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
当确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
上述方案中，所述方法还包括：
当确定所述第二差异数据的总数大于告警阈值时，发出告警信息，通知用户处理；
当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理。
上述方案中，所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
上述方案中，所述时间阈值为业务支撑***中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间。
本发明实施例还提供了一种提高数据准确性的装置，该装置包括：比较处理模块、延时模块、判断处理模块；其中，
所述比较处理模块，用于从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表；将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
所述延时模块，用于延迟时间阈值；
所述判断处理模块，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
上述方案中，所述判断处理模块包括判断模块、异常数据处理模块；其中，
所述判断模块，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，触发异常数据处理模块；
所述异常数据处理模块，用于启动异常数据处理程序。
上述方案中，所述判断模块还用于：
当确定所述第二差异数据的总数大于告警阈值，发出告警信息，通知用户处理；
当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理。
上述方案中，所述判断处理模块还包括计数模块，用于记录所述告警阈值；所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
本发明实施例所提供的提高数据准确性的方法和装置，对内存数据库与物理数据库中的数据进行一次比对和二次比对，获得二次比对后的差异数据；当所述差异数据的总数不大于告警阈值、且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。如此，能有效解决现有技术中因内存数据库的数据不能回滚而导致保留错误数据的问题，从而实现了日常自动检查和处理内存数据库中错误数据的功能，进而提高了内存数据库中数据的准确性。
附图说明
图1为本发明实施例提高数据准确性的方法实现流程示意图；
图2为本发明实施例提高数据准确性的装置的组成结构示意图。
具体实施方式
在本发明实施例中：从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；当所述差异数据的总数不大于告警阈值、且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
这里，所述一次比对和二次比对可以是定时进行，如设置比对周期；也可以是在业务受理模块处理程序运行异常时进行。
其中，所述第一差异数据、第二差异数据均指经过比较后物理数据库和内存数据库中有哪些数据存在差异；所述定时进行可以是设置比对周期，周期长短可以根据实际需求设置，如：设置为两小时、四小时等等。
这里，所述设定时段可以根据需要进行调整，比如：对数据校准要求高时，可以将设定时段取为最近8小时或12小时；对数据校准要求不高时，可以将设定时段取为最近24小时、2天或3天。
这里，所述启动异常数据处理程序为：依据业务类型及主键为参数，从物理数据库中提取二次比对后的差异数据所对应的正确数据，替换所对应的内存数据库中的错误数据；其中，所述主键是用来区分数据库中不同数据的标识字段。
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例提高数据准确性的方法实现流程示意图，如图1所示，本发明实施例提高数据准确性的方法包括：
步骤S100：从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中的数据与物理数据库对应数据进行一次比对，获得一次比对后的第一差异数据；
这里，所述导出数据生成文本文件包括：可以依据业务类型及时间为参数，从内存数据库中导出数据，生成多个文本文件；其中，业务类型包括用户开户、过户、优惠办理、变更名称、申请停机等。
具体地，根据物理数据库数据和内存数据库数据之间对应字段与格式的默认规则将生成的文本文件导入物理数据库备份表。
进一步的，在将生成的文本文件导入物理数据库备份表之前，需清空物理数据库备份表。
这里，以业务类型及主键为参数，将物理数据库备份表中的数据与物理数据库对应数据一一进行比对，确定第一差异数据。
步骤S101：延迟时间阈值后，分别从内存数据库和物理数据库中读取第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
这里，所述时间阈值为业务支撑***中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间。
相应地，从内存数据库和物理数据库中读取第一差异数据对应的数据进行二次比对，同样也是以业务类型及主键为参数选择具体的数据表进行数据对应。
这里，步骤S100和步骤S101中的一次比对和二次比对，具体的比对过程均采用可配置的多线程处理机制，且依据业务类型以及业务数据量划分线程数，以保证比对过程的处理效率。
步骤S102：对步骤S101获得的第二差异数据进行判断，当确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序；
这里，异常数据处理程序具体为：以业务类型为参数，从物理数据库中提取出与第二差异数据所对应的正确数据，替换所对应的内存数据库中错误数据。
进一步地，本发明实施例所述方法还包括：
当确定所述第二差异数据的总数大于告警阈值时，发出告警信息，通知用户处理；其中，所述告警信息可以包括：第二差异数据的记录数和比对差异数据结果生成时间。
当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理；其中，所述告警信息可以包括：当前处理时间、上一次处理时间以及所述设定时间段范围。
其中，告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
图2为本发明实施例提高数据准确性的装置组成结构示意图，如图2所示，本发明实施例提高数据准确性的装置包括：比较处理模块20、延时模块22、判断处理模块21；其中，
比较处理模块20，用于从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
这里，在将生成的文本文件导入物理数据库备份表之前，比较处理模块20还用于清空物理数据库备份表。
具体地，比较处理模块20根据物理数据库数据和内存数据库数据之间对应字段与格式的默认规则将生成的文本文件导入物理数据库备份表。
所述延时模块22，用于延迟时间阈值；
这里，所述时间阈值为业务支撑***中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间。
判断处理模块21，用于当确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
这里，所述判断处理模块包括判断模块211、异常数据处理模块212；其中，
所述判断模块211，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，触发异常数据处理模块212；
所述异常数据处理模块212，用于启动异常数据处理程序。
这里，异常数据处理模块212启动异常数据处理程序具体为：以业务类型及主键为参数，从物理数据库中提取出与第二差异数据所对应的正确数据，替换所对应的内存数据库中错误数据。
进一步地，判断模块211还用于：
当确定所述第二差异数据的总数大于告警阈值时，发出告警短信，通知用户处理；其中，所述告警信息可以包括：第二差异数据的记录数和比对差异数据结果生成时间。
当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理；其中，所述告警信息可以包括：当前处理时间、上一次处理时间以及所述设定时间段范围。
这里，判断处理模块21还包括计数模块210，用于记录所述告警阈值；所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
在实际应用中，所述比较处理模块20、判断模块211以及异常数据处理模块212均可由位于终端的中央处理器（CPU）、微处理器（MPU）、数字信号处理器（DSP）、或现场可编程门阵列（FPGA）实现；所述延时模块22以及计数模块210分别可由存储器、延时器、计数器实现。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种提高数据准确性的方法，其特征在于，所述方法包括：
从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；
延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
所述时间阈值为业务支撑***中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间；
当确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序；
所述设定时段的时间长度根据数据校准要求进行设置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当确定所述第二差异数据的总数大于告警阈值时，发出告警信息，通知用户处理；
当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理。
3.根据权利要求1或2所述的方法，其特征在于，所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
4.一种提高数据准确性的装置，其特征在于，所述装置包括：比较处理模块、延时模块、判断处理模块；其中，
比较处理模块，用于从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表；将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
延时模块，用于延迟时间阈值；所述时间阈值为业务支撑***中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间；
判断处理模块，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序；所述设定时段的时间长度根据数据校准要求进行设置。
5.根据权利要求4所述的装置，其特征在于，所述判断处理模块包括判断模块、异常数据处理模块；其中，
所述判断模块，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，触发异常数据处理模块；
所述异常数据处理模块，用于启动异常数据处理程序。
6.根据权利要求5所述的装置，其特征在于，所述判断模块还用于：
当确定所述第二差异数据的总数大于告警阈值，发出告警信息，通知用户处理；
当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理。
7.根据权利要求4至6任一项所述的装置，其特征在于，所述判断处理模块还包括计数模块，用于记录所述告警阈值；所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
CN201310738426.2A 2013-12-26 2013-12-26 一种提高数据准确性的方法和装置 Active CN104750703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310738426.2A CN104750703B (zh) 2013-12-26 2013-12-26 一种提高数据准确性的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310738426.2A CN104750703B (zh) 2013-12-26 2013-12-26 一种提高数据准确性的方法和装置

Publications (2)

Publication Number Publication Date
CN104750703A CN104750703A (zh) 2015-07-01
CN104750703B true CN104750703B (zh) 2018-06-26

Family

ID=53590408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310738426.2A Active CN104750703B (zh) 2013-12-26 2013-12-26 一种提高数据准确性的方法和装置

Country Status (1)

Country Link
CN (1) CN104750703B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647936B (zh) * 2018-05-08 2022-07-08 中国平安人寿保险股份有限公司 佣金发放方法、装置、计算机设备及存储介质
CN108805098A (zh) * 2018-06-21 2018-11-13 云城（北京）数据科技有限公司 纸面文档与电子文档的比对方法、装置和***
CN109284301A (zh) * 2018-08-31 2019-01-29 阿里巴巴集团控股有限公司 数据核对方法及装置
CN109146427A (zh) * 2018-08-31 2019-01-04 万翼科技有限公司 定标的邮件沟通方法、装置及计算机可读存储介质
CN110175090A (zh) * 2019-05-29 2019-08-27 数字中融信息技术河北有限公司 一种具有对比处理且能够备份还原的数据管理方法
CN110287200B (zh) * 2019-07-02 2022-03-25 贵阳货车帮科技有限公司 对账方法、***、计算机设备和存储介质
CN111125008B (zh) * 2019-12-20 2022-04-22 浪潮电子信息产业股份有限公司 一种异常inode的动态修复方法、***及相关组件
CN111324620A (zh) * 2020-02-18 2020-06-23 中国联合网络通信集团有限公司 数据处理方法、装置及存储介质
CN111949728A (zh) * 2020-07-14 2020-11-17 北京思特奇信息技术股份有限公司 一种动态数据差异比对方法与***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858745A (zh) * 2006-04-05 2006-11-08 华为技术有限公司 实现内存数据和数据库数据事务一致性的处理方法
CN101079683A (zh) * 2007-06-27 2007-11-28 ***通信集团四川有限公司 数据一致性处理方法
CN101998354A (zh) * 2009-08-24 2011-03-30 ***通信集团甘肃有限公司 用户数据一致性的核查方法及装置
KR20130008333A (ko) * 2011-07-12 2013-01-22 (주)선재소프트 데이타베이스 관리자를 이용한 융합 데이타베이스 관리 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858745A (zh) * 2006-04-05 2006-11-08 华为技术有限公司 实现内存数据和数据库数据事务一致性的处理方法
CN101079683A (zh) * 2007-06-27 2007-11-28 ***通信集团四川有限公司 数据一致性处理方法
CN101998354A (zh) * 2009-08-24 2011-03-30 ***通信集团甘肃有限公司 用户数据一致性的核查方法及装置
KR20130008333A (ko) * 2011-07-12 2013-01-22 (주)선재소프트 데이타베이스 관리자를 이용한 융합 데이타베이스 관리 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于HA结构的HLR***容灾中心技术;景旭等;《计算机技术与发展》;20070731;第16卷(第7期);第2.2、2.3、3.3节 *

Also Published As

Publication number Publication date
CN104750703A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
CN104750703B (zh) 一种提高数据准确性的方法和装置
CN109472566B (zh) 区块动态生成方法、装置、计算机设备和存储介质
WO2019062189A1 (zh) 电子装置、数据表归档处理的方法、***及存储介质
CN112115026B (zh) 服务器集群监控方法、装置、电子设备及可读存储介质
CN109611815B (zh) 一种燃气蒸汽锅炉的能耗报警管理方法及装置
EP3796182A1 (en) Data processing method and apparatus, and computer-readable storage medium
WO2012048555A1 (zh) 数据入库方法和装置
CN106020722A (zh) 一种云存储***的重复数据去重方法、装置及***
CN101676881A (zh) 日志管理服务器
CN113141410B (zh) 动态调节的qps控制方法、***、设备及存储介质
WO2019052112A1 (zh) 一种增量数据同步方法、可读存储介质、终端设备及装置
CN103412929A (zh) 一种海量数据的存储方法
WO2019029149A1 (zh) 保单的险种状态信息统计方法、终端设备及存储介质
CN110413492A (zh) 存储盘的健康评估方法、电子设备和计算机程序产品
CN111291022A (zh) 一种基于区块链的数据存储***
CN107480283A (zh) 实现大数据快速存储的方法、装置以及存储***
CN107766512B (zh) 一种日志数据存储方法和日志数据存储***
CN104166650B (zh) 数据存储装置和数据存储方法
CN106294470A (zh) 基于切分日志的实时增量日志信息读取的方法
CN107315806B (zh) 一种基于文件***的嵌入式存储方法和装置
CN109656945A (zh) 一种信息处理方法
CN106294630A (zh) 多媒体信息推荐方法、装置及多媒体***
CN113382088B (zh) 手机银行消息推送方法及装置
CN106599326B (zh) 一种云化架构下的记录数据剔重处理方法及***
CN110244096B (zh) 一种电能量计量***中对电表满码自动发现与处理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant