CN103793530A - 一种定期清理业务数据的方法、装置和*** - Google Patents

一种定期清理业务数据的方法、装置和*** Download PDF

Info

Publication number
CN103793530A
CN103793530A CN201410066606.5A CN201410066606A CN103793530A CN 103793530 A CN103793530 A CN 103793530A CN 201410066606 A CN201410066606 A CN 201410066606A CN 103793530 A CN103793530 A CN 103793530A
Authority
CN
China
Prior art keywords
cleaning
business datum
clean
record
task database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410066606.5A
Other languages
English (en)
Inventor
王远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Shangke Information Technology Co Ltd
Priority to CN201410066606.5A priority Critical patent/CN103793530A/zh
Publication of CN103793530A publication Critical patent/CN103793530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种定期清理业务数据的方法，该方法包括：预先为每一条业务数据在清理任务数据库中建立相应的清理记录；定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。本发明还公开了一种定期清理业务数据的装置及***。采用本发明能够减轻业务主数据库的压力。

Description

一种定期清理业务数据的方法、装置和***
技术领域
本发明涉及数据存储技术领域，特别涉及一种定期清理业务数据的方法、装置和***。
背景技术
在很多场景下，都有需求要定时清理业务数据。如在电子商务***中，要求超过一定时间不付款的订单要取消。现有技术一般全表扫描需要清理的业务数据，但是在数据量大的情况下，全表扫描业务数据会造成效率底下，影响业务数据库性能等缺点。
发明内容
本发明的目的在于提供一种定期清理业务数据的方法、装置和***，能够减轻业务主数据库的压力。
为实现上述发明目的，本发明提供了一种定期清理业务数据的方法，该方法包括：
预先为每一条业务数据在清理任务数据库中建立相应的清理记录；
定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。
为实现上述发明目的，本发明还提供了一种定期清理业务数据的装置，应用于清理子***，该装置包括：
清理任务数据库，用于为每一条业务数据存储相应的清理记录；
扫描单元，用于定期扫描清理任务数据库；
处理单元，用于对符合清理条件的清理记录及相应的业务数据进行删除。
为实现上述发明目的，本发明还提供了一种定期清理业务数据的***，该***包括业务子***和清理子***；
所述业务子***，用于在业务数据库中存储业务数据；
所述清理子***，用于预先为每一条业务数据在清理任务数据库中建立相应的清理记录；定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。
综上所述，本发明实施例提供的定期清理业务数据的方法：预先为每一条业务数据在清理任务数据库中建立相应的清理记录；定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。这样，扫描的是清理任务数据库，而不是现有技术中的业务主数据库，由于清理任务数据库中建立的是与业务数据相关的缩略的清理记录，扫描起来效率较高，同时不会影响业务数据库的性能。对于超过一定时间不付款的订单，既删清理任务数据库中的清理记录，又删业务数据库中的业务数据，从而实现清理业务数据的目的。
附图说明
图1为本发明实施例定期清理业务数据方法的流程示意图。
图2为本发明具体实施例中应用于上述方法的定期清理业务数据装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。
本发明的核心思想是：在现有技术业务子***的基础上，增加清理子***，通过清理子***预先为每一条业务数据在清理任务数据库中建立相应的清理记录；定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。使用独立的清理任务数据库，可减少数据清理对业务主数据库的压力，保持轻量化，提升数据清理效率。
本发明实施例提供了一种定期清理业务数据的方法，其流程示意图如图1所示，该方法包括：
步骤11、预先为每一条业务数据在清理任务数据库中建立相应的清理记录；
具体地，本发明实施例通过接收业务数据写入的通知消息，为每一条业务数据在清理任务数据库中建立相应的清理记录。
步骤12、定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。
这里，定期扫描清理任务数据库的频率可以根据具体应用而定。
优选地，上述删除的方法具体为：先删除业务数据库中相应的业务数据，再删除清理任务数据库中的清理记录。这是因为，如果先删除清理记录，再删除业务数据，假设业务数据由于***等原因删除失败的话，则该条本应删除的业务数据就会一直存在于业务数据库中，所以优选为先删业务数据，再删清理记录。其中，删除业务数据，可以通过调用接口等方式实现。
进一步地，该方法还包括：根据所接收的业务数据状态变化的消息，判断该业务数据是否需要清理，如果不需要，则删除相应的清理记录。
基于同样的发明构思，本发明还提出一种定期清理业务数据的装置，参见图2，图2为本发明具体实施例中应用于上述方法的定期清理业务数据的装置的结构示意图，该装置应用于清理子***，包括：
清理任务数据库201，用于为每一条业务数据存储相应的清理记录；
扫描单元202，用于定期扫描清理任务数据库；
处理单元203，用于对符合清理条件的清理记录及相应的业务数据进行删除。
进一步地，所述处理单元203，还用于根据所接收的业务数据状态变化的消息，判断该业务数据是否需要清理，如果不需要，则删除相应的清理记录。
进一步地，所述装置进一步包括：
创建单元204，用于通过接收业务数据写入的通知消息，为每一条业务数据在清理任务数据库中建立相应的清理记录。
优选地，本发明实施例还提供了一种定期清理业务数据的***，该***包括业务子***和清理子***；
所述业务子***，用于在业务数据库中存储业务数据；
所述清理子***，用于预先为每一条业务数据在清理任务数据库中建立相应的清理记录；定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。
所述业务子***在所存储的业务数据状态发生变化时，通知清理子***，用于清理子***根据所接收的业务数据状态变化的消息，判断该业务数据是否需要清理，如果不需要，则删除相应的清理记录。
所述业务子***在存储每条业务数据时，通知清理子***，用于清理子***为每一条业务数据在清理任务数据库中建立相应的清理记录。
为清楚说明本发明，下面列举具体场景对本发明的方法及装置进行详细说明，整个业务流程如下：
假设业务子***的业务数据库中存储的业务数据为订单，订单内容为：
订单号下订单日期购买产品名称购买数量付款状态
用户每向业务数据库写入上述一条订单，则通过Active MQ发送一条消息给清理子***，该消息可以携带订单号、下订单日期和付款状态等信息，清理子***接收到该消息后，在自身的清理任务数据库中写入一条与该订单相应的清理记录，该清理记录是将订单缩略后的内容，比较简单，例如清理记录可以将Active MQ中携带的消息记录下来，即清理记录包括订单号、下订单日期和付款状态；
清理子***的扫描单元，会每隔30秒扫描清理任务数据库，如果清理记录中订单号对应的付款状态，在下订单日期24小时后仍然为“未付款”，则这样的超过24小时不付款的订单需要在业务数据库中取消，因此，这样的清理记录是符合清理条件的，所以，清理子***的处理单元，会删除业务数据库中，与该条清理记录相应的订单，然后删除该条清理记录。
在这个过程中，用户可能经过考虑决定对某一订单进行付款，也就是说，如果业务子***的业务数据库中业务数据状态发生变化，例如某一个订单的付款状态变为“已付款”，则通过Active MQ发送一条消息给清理子***，该消息可以携带订单号、订单状态改变时间、订单由“未付款”变为“已付款”的状态等信息，清理子***接收到该消息后，判断该业务数据成为有效数据，不需要清理该业务数据，则，只删除清理任务数据库中与这条订单相应的清理记录即可。
本发明定期清理业务数据的方法、装置及***，会带来如下好处：
一、定期扫描清理任务数据库中需要清理的数据，而不扫描业务数据库，从而避免了清理任务影响业务数据库性能；
二、对于符合清理条件的数据，同时清理业务数据库和清理任务数据库中的相应数据，保持任务表的轻量化，提升性能。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种定期清理业务数据的方法，该方法包括：
预先为每一条业务数据在清理任务数据库中建立相应的清理记录；
定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。
2.如权利要求1所述的方法，其特征在于，所述删除的方法具体为：先删除业务数据库中相应的业务数据，再删除清理任务数据库中的清理记录。
3.如权利要求1所述的方法，其特征在于，该方法进一步包括：
根据所接收的业务数据状态变化的消息，判断该业务数据是否需要清理，如果不需要，则删除相应的清理记录。
4.如权利要求1所述的方法，其特征在于，通过接收业务数据写入的通知消息，为每一条业务数据在清理任务数据库中建立相应的清理记录。
5.一种定期清理业务数据的装置，应用于清理子***，该装置包括：
清理任务数据库，用于为每一条业务数据存储相应的清理记录；
扫描单元，用于定期扫描清理任务数据库；
处理单元，用于对符合清理条件的清理记录及相应的业务数据进行删除。
6.如权利要求5所述的装置，其特征在于，
所述处理单元，还用于根据所接收的业务数据状态变化的消息，判断该业务数据是否需要清理，如果不需要，则删除相应的清理记录。
7.如权利要求5所述的装置，其特征在于，所述装置进一步包括：
创建单元，用于通过接收业务数据写入的通知消息，为每一条业务数据在清理任务数据库中建立相应的清理记录。
8.一种定期清理业务数据的***，其特征在于，该***包括业务子***和清理子***；
所述业务子***，用于在业务数据库中存储业务数据；
所述清理子***，用于预先为每一条业务数据在清理任务数据库中建立相应的清理记录；定期扫描清理任务数据库，对符合清理条件的清理记录及相应的业务数据进行删除。
9.如权利要求8所述的***，其特征在于，所述业务子***在所存储的业务数据状态发生变化时，通知清理子***，用于清理子***根据所接收的业务数据状态变化的消息，判断该业务数据是否需要清理，如果不需要，则删除相应的清理记录。
10.如权利要求8所述的***，其特征在于，所述业务子***在存储每条业务数据时，通知清理子***，用于清理子***为每一条业务数据在清理任务数据库中建立相应的清理记录。
CN201410066606.5A 2014-02-26 2014-02-26 一种定期清理业务数据的方法、装置和*** Pending CN103793530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410066606.5A CN103793530A (zh) 2014-02-26 2014-02-26 一种定期清理业务数据的方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410066606.5A CN103793530A (zh) 2014-02-26 2014-02-26 一种定期清理业务数据的方法、装置和***

Publications (1)

Publication Number Publication Date
CN103793530A true CN103793530A (zh) 2014-05-14

Family

ID=50669196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410066606.5A Pending CN103793530A (zh) 2014-02-26 2014-02-26 一种定期清理业务数据的方法、装置和***

Country Status (1)

Country Link
CN (1) CN103793530A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036001A (zh) * 2014-06-13 2014-09-10 上海新炬网络技术有限公司 基于热表动态优先调度的数据快速清理方法
CN105975577A (zh) * 2016-05-04 2016-09-28 乐视控股（北京）有限公司 大数据处理中的数据优化方法和装置
CN105975600A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 大数据处理中的任务优化方法和装置
CN106528840A (zh) * 2016-11-11 2017-03-22 中国银行股份有限公司 基于银行***的业务数据的清理方法以及***
CN107832230A (zh) * 2017-12-04 2018-03-23 中国工商银行股份有限公司 基于数据调优的测试方法、设备以及***
CN110795243A (zh) * 2019-10-21 2020-02-14 Oppo（重庆）智能科技有限公司 应用处理方法及相关装置
US10783125B2 (en) 2016-11-08 2020-09-22 International Business Machines Corporation Automatic data purging in a database management system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344893A (zh) * 2008-07-17 2009-01-14 中兴通讯股份有限公司 一种历史数据的存取方法和装置
CN102915382A (zh) * 2012-11-21 2013-02-06 亚信联创科技（中国）有限公司 一种基于索引的数据库的数据查询方法和装置
CN103064833A (zh) * 2011-10-18 2013-04-24 阿里巴巴集团控股有限公司 一种清理数据库历史数据的方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344893A (zh) * 2008-07-17 2009-01-14 中兴通讯股份有限公司 一种历史数据的存取方法和装置
CN103064833A (zh) * 2011-10-18 2013-04-24 阿里巴巴集团控股有限公司 一种清理数据库历史数据的方法和***
CN102915382A (zh) * 2012-11-21 2013-02-06 亚信联创科技（中国）有限公司 一种基于索引的数据库的数据查询方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邹小三: "如何自动给数据库减肥", 《华南金融电脑》 *
郭鹏: "《Cassandra实战》", 30 June 2011 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036001A (zh) * 2014-06-13 2014-09-10 上海新炬网络技术有限公司 基于热表动态优先调度的数据快速清理方法
CN104036001B (zh) * 2014-06-13 2017-05-10 上海新炬网络信息技术有限公司 基于热表动态优先调度的数据快速清理方法
CN105975577A (zh) * 2016-05-04 2016-09-28 乐视控股（北京）有限公司 大数据处理中的数据优化方法和装置
WO2017190469A1 (zh) * 2016-05-04 2017-11-09 乐视控股（北京）有限公司 大数据处理中的数据优化方法和装置
CN105975600A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 大数据处理中的任务优化方法和装置
US10783125B2 (en) 2016-11-08 2020-09-22 International Business Machines Corporation Automatic data purging in a database management system
CN106528840A (zh) * 2016-11-11 2017-03-22 中国银行股份有限公司 基于银行***的业务数据的清理方法以及***
CN107832230A (zh) * 2017-12-04 2018-03-23 中国工商银行股份有限公司 基于数据调优的测试方法、设备以及***
CN110795243A (zh) * 2019-10-21 2020-02-14 Oppo（重庆）智能科技有限公司 应用处理方法及相关装置

Similar Documents

Publication Publication Date Title
CN103793530A (zh) 一种定期清理业务数据的方法、装置和***
CN111027984B (zh) 业务订单的处理方法、***、电子设备及计算机存储介质
US8078206B2 (en) Mobile phone and method for managing short messages of the mobile phone
CN101753936B (zh) 一种视频监控***的存储空间的配置方法和视频服务器
CN101594256A (zh) 容灾方法、装置和***
CN102486785A (zh) 一种数据同步方法、装置及***
CN111581017B (zh) 一种现代应用的备份恢复***及方法
CN106874145A (zh) 一种基于消息队列的异步数据备份方法
CN101937378B (zh) 一种对存储设备的数据进行备份保护的方法及计算机***
CN114003439B (zh) 数据备份方法、装置、设备及存储介质
CN110532066A (zh) 一种事务一致性的实现方法及***
CN101142573A (zh) 全局数据同步的***和方法
CN102024010A (zh) 数据处理***及其处理方法
CN114356654A (zh) 备份***、备份方法、装置、计算机设备和存储介质
CN109743179A (zh) 一种电子证照按需签发方法
US9317502B2 (en) System and method for monitoring items
CN111274255B (zh) 业务数据监控方法及***、监控架构、设备、存储介质
CN102419721A (zh) 一卡通消费数据分散存储、集中备份与恢复的方法
CN106302625A (zh) 数据更新方法、装置及相关***
CN102521078B (zh) 基于第三方云的教务资源等级备份方法
CN102195936A (zh) 多媒体文件的存储方法及***、读取方法及***
CN111741080A (zh) 网络文件分发方法及装置
CN1996886A (zh) Iptv***冗余数据的清除方法
CN112818166B (zh) 一种视频信息查询方法、装置、电子设备和存储介质
CN110971679B (zh) 一种会议业务调度方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140514

RJ01 Rejection of invention patent application after publication