CN101364897A - 一种历史数据归档的***与实现方法 - Google Patents
一种历史数据归档的***与实现方法 Download PDFInfo
- Publication number
- CN101364897A CN101364897A CNA2008102161958A CN200810216195A CN101364897A CN 101364897 A CN101364897 A CN 101364897A CN A2008102161958 A CNA2008102161958 A CN A2008102161958A CN 200810216195 A CN200810216195 A CN 200810216195A CN 101364897 A CN101364897 A CN 101364897A
- Authority
- CN
- China
- Prior art keywords
- filing
- historical data
- archiving
- thread
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种历史数据归档的***与实现方法，包括一归档参数配置模块、一归档数据加载模块与一归档操作模块；所述归档参数配置模块为所述历史数据配置所述归档表名，并将所述归档模式、所述归档输出目录、所述归档开始时间、所述归档动作、所述过滤条件以及所述归档字段等所述归档参数配置到所述归档表名下；所述归档数据加载模块加载所有所述归档参数作为所述历史数据归档的输入；所述归档操作模块根据所有所述归档参数检测是否存在满足归档条件的所述历史数据，对满足所述归档条件的所述历史数据进行归档操作。采用本发明的***与实现方法使操作更简便，提高了操作的灵活性与输出数据的直观性，大大减少了数据冗余。
Description
技术领域
本发明涉及数据库中历史数据归档领域，尤其涉及一种历史数据归档的***与实现方法。
背景技术
述网管***中需要对大量的历史数据进行处理，例如性能数据，由于需要对不同设备的不同工作端点的不同性能项进行周期采集，例如5分钟/24小时。所述网管***每天都会产生非常多的性能数据，比如大于1千万条，需要对这些数据进行归档也即备份，以供以后查询、统计、报表处理等使用，当前常用的归档办法是利用所述网管***的数据库***本身提供的备份恢复工具进行，但是此方法可能由于归档数据过多，尤其是冗余数据比较多的时候会影响到后续使用的效率。所述历史数据归档后还需要恢复后才可以使用这些数据，造成操作很不方便，并且这些操作要求对数据库比较熟悉，一般人员不容易完成。
现有技术的第二种归档方法是自己开发工具进行历史数据的归档。当前进行报表处理等业务操作时，需要先将归档数据加载到所述数据库***的临时数据库中，再对所述临时数据库中的数据进行查询。虽然归档与加载都是工具自动完成，操作相对简单了，并且所述临时数据库使用效率也比用户数据库高，但是当归档数据量非常大的时候，数据的加载与对所述临时数据库的查询容易成为***的性能瓶颈。
但是现有所述网管***除性能不能较好的满足用户需求以外，还有一个明显的缺点，就是归档后的数据都是所述网管***生成的数据，是一种原始数据，是开发人员面对的数据，当一般用户需要使用这些数据时还需要查阅相关资料才能明白数据的具体意义，这就使得归档文件不能以一种确切的方式输送出来。可见，现有技术有待于更进一步的发展。
发明内容
本发明为解决上述现有技术中的缺陷提供一种历史数据归档***与方法，在现有技术基础上设置归档参数配置模块、归档数据加载模块与归档操作模块，以增加操作的简便性与灵活性，提高网管***处理数据的效率。
为解决上述技术问题，本发明方案包括：
一种历史数据归档的***，其中，所述***包括一归档参数配置模块、一归档数据加载模块与一归档操作模块，所述归档参数配置模块与所述归档数据加载模块通信连接，所述归档数据加载模块与所述归档操作模块通信连接，所述归档参数配置模块用于为历史数据配置归档参数；所述归档数据加载模块用于加载所述归档参数配置模块配置的所有所述归档参数；所述归档操作模块用于对所述历史数据进行归档操作。
所述的***，其中，所述归档操作模块还包括一主线程，所述主线程用于创建一归档线程、检测是否存在满足归档条件的所述历史数据与唤醒所述归档线程进行归档操作，所述归档线程处于休眠状态并等待所述主线程唤醒进行归档操作。
所述历史数据归档***的方法，包括以下步骤：
A、所述归档参数配置模块为所述历史数据配置所述归档表名，并将归档参数配置到所述归档表名下；
B、所述归档数据加载模块加载所有所述归档参数作为所述历史数据归档的输入；
C、所述归档操作模块根据所有所述归档参数检测是否存在满足归档条件的所述历史数据，对满足所述归档条件的所述历史数据进行归档操作。
所述的实现方法，其中，所述归档参数包括：归档模式、归档输出目录、归档开始时间、归档动作、过滤条件以及归档字段。
所述的实现方法，其中，所述归档模式包括周期归档与门限归档，所述周期归档还配置有归档周期；所述门限归档还配置有门限值与检测所述历史数据门限的门限周期。
所述的实现方法，其中，所述归档动作包括判断所述归档模式与所述归档表名是否匹配、是否删除原所述历史数据以及当所述历史数据为空时是否删除所述归档表名。
所述的实现方法，其中，所述归档字段包括字段名称以及所述字段名称转化后的值、字段值以及所述字段值转化后的值。
所述的实现方法，其中，所述步骤C还包括：当没有满足所述归档条件的所述历史数据时，则所述归档线程处于休眠状态。
所述的实现方法，其中，所述步骤C还包括以下步骤：
C1、所述主线程为每个所述归档表名创建一所述归档线程，所述归档线程处于休眠状态；
C2、所述主线程根据所述过滤条件以及所述归档周期或所述门限周期定期检测是否存在满足所述归档条件的所述历史数据，若存在，则所述主线程唤醒所述归档线程进行归档操作。
所述的实现方法，其中，所述步骤C2还包括以下步骤：
C21、所述归档线程查找所有需要归档的所述归档表名，并获取所述归档表名下的所有所述归档参数；
C22、所述归档线程根据所述过滤条件查找满足归档条件的所述历史数据；
C23、所述归档线程将满足所述归档条件的所述历史数据原始值进行转化并输出到指定目录的归档文件中。
所述的实现方法，其中，所述步骤C2还包括以下步骤：
C24、所述归档线程将所述历史数据归档后，对原所述历史数据与所述表名进行所述归档参数指定的其它操作。
本发明提供了一种历史数据归档的***与实现方法，在现有技术基础上设置归档参数配置模块、归档数据加载模块与归档操作模块，使所述网管***根据业务需求通过配置即可完成，降低了对数据库操作的复杂性，提高了用户操作的简便性、灵活性与输出数据的直观性；还可以根据用户的过滤条件仅对满足条件的数据进行归档，减少了数据冗余，大大提高了网管***处理数据的效率。
附图说明
图1是本发明历史数控归档的***结构与流程示意图；
图2是本发明历史数据归档具体实施例的流程示意图。
具体实施方式
以下将结合附图，对本发明各较佳实施例进行较为详细的说明。
本发明提供了一种历史数据归档的***与实现方法，如图1所示的，在现有技术基础上设置归档参数配置模块、归档数据加载模块与归档操作模块，使所述网管***根据业务需求通过配置即可完成，降低了对数据库操作的复杂性，提高了用户操作的简便性与灵活性；还可以根据用户的过滤条件仅对满足条件的历史数据进行归档，减少了数据冗余，大大提高了网管***处理数据的效率。
如图1所示的，所述历史数据归档***包括一归档参数配置模块、一归档数据加载模块与一归档操作模块，所述归档参数配置模块与所述归档数据加载模块通信连接，所述归档数据加载模块与所述归档操作模块通信连接，所述归档参数配置模块用于为历史数据配置归档表名、归档模式、归档输出目录、归档开始时间、归档动作、过滤条件以及归档字段等归档参数；所述归档数据加载模块用于加载所述归档参数配置模块配置的所有所述归档参数；所述归档操作模块用于对所述历史数据进行归档操作；所述归档操作模块还包括一所述主线程，所述主线程用于创建一所述归档线程、检测是否存在满足归档条件的所述历史数据与唤醒所述归档线程进行归档操作，所述归档线程处于休眠状态并等待所述主线程唤醒进行归档操作。
上述本发明的历史数据归档***流程，如图1所示，包括以下步骤：
步骤101：所述归档参数配置模块为所述历史数据配置所述归档表名，并将所述归档模式、所述归档输出目录、所述归档开始时间、所述归档动作、所述过滤条件以及所述归档字段等所述归档参数配置到所述归档表名下；
步骤102：所述归档数据加载模块加载所述步骤101中配置的所有所述归档参数作为所述历史数据归档的输入；
步骤103：所述归档操作模块根据所有所述归档参数检测是否存在满足归档条件的所述历史数据，对满足所述归档条件的所述历史数据进行归档操作。
其中，所述步骤101中还包括：所述归档模式包括周期归档与门限归档，所述周期归档还配置有归档周期；所述门限归档还配置有门限值与检测所述历史数据门限的门限周期；所述归档动作包括判断所述归档模式与所述归档表名是否匹配、是否删除原所述历史数据以及当所述历史数据为空时是否删除所述归档表名；所述归档字段包括字段名称以及所述字段名称转化后的值、字段值以及所述字段值转化后的值。
其中，所述步骤103中还包括：当没有满足所述归档条件的所述历史数据时，则所述归档线程处于休眠状态。所述主线程为每个所述归档表名创建一所述归档线程，所述归档线程处于休眠状态；所述主线程根据所述过滤条件以及所述归档周期或所述门限周期定期检测是否存在满足所述归档条件的所述历史数据，若存在，则所述主线程唤醒所述归档线程进行归档操作。所述归档线程查找所有需要归档的所述归档表名，并获取所述归档表名下的所有所述归档参数；所述归档线程根据所述过滤条件查找满足归档条件的所述历史数据；所述归档线程将满足所述归档条件的所述历史数据原始值进行转化并输出到指定目录的归档文件中。所述归档线程将所述历史数据归档后，对原所述历史数据与所述表名进行所述归档参数指定的其它操作。可见，经过本发明如图1所示流程的处理降低了对数据库操作的复杂性，增加了用户操作的简便性与灵活性。
为了更进一步的阐述本发明，针对一具体实施例进行说明。
如图1与图2所示的，本实施例参数值存放在外部配置文件中，通过手动配置该文件来配置所述归档参数的值，具体过程如下：建立数据结构DUMP_INFO_TABLE，成员之一是要归档的所述归档表名，解析配置文件过程中所述归档表名会存放在这里；然后建立数据结构DUMP_MODE_INFO，成员包括所述归档模式、所述归档输出目录、所述归档开始时间与所述归档周期值，这些成员的值在解析配置文件过程中会被填充，并且定义该数据结构的一个成员作为所述数据结构DUMP_INFO_TABLE的一个成员；随后建立数据结构DUMP_RULE_INFO，成员包括是否模式匹配，是否删除原有数据，是否删除所述归档表名以及所述过滤条件，这些成员的值在解析配置文件过程中会被填充，并且定义该数据结构的一个成员作为所述数据结构DUMP_INFO_TABLE的一个成员；再建立数据结构TRANS_INFO_FIELD，成员包括所述字段名称以及所述字段转化后的名称、所述字段各种取值以及所述字段值转化之后的值，这些值在解析配置文件过程中会被填充，并且定义该数据结构的一个队列对象作为所述数据结构DUMP_INFO_TABLE的一个成员；最后创建一个DUMP_INFO_TABLE的队列对象DumpInfoTables，将上述配置的所有所述归档参数完成一个所述数据结构DUMP_INFO_TABLE的对象赋值，并添加到所述队列DumpInfoTables中，将所述队列对象DumpInfoTables作为参数传递到所述归档操作模块。
如图2所示的，本实施例还包括以下步骤：
步骤201：所述归档操作模块为传递进来的所述队列对象DumpInfoTables中每个要归档的所述归档表名创建一个归档线程，所述归档线程创建后进入睡眠状态；所述主线程根据所述过滤条件、所述门限周期或归档周期每隔一段时间去查看DumpInfoTables中的每个所述归档表名是否满足归档条件，若满足所述归档条件，则唤醒所述归档线程进入归档操作；否则所述归档线程继续睡眠一段时间；所述主线程再去检查所述队列对象DumpInfoTables中的每个所述归档表名是否满足归档条件；
步骤202：对所述队列对象DumpInfoTables中每一个满足归档条件的所述归档表名进行归档；
步骤203：所述归档线程查看所述队列对象DumpInfoTables是否是模式匹配，若是，则构造sql语句查询所有可能需要归档的所述归档表名；
步骤204：所述归档线程建立一数据结构FIELDINFO，成员包括字段的名称，字段的类型，同时建立一个映射，存放所述归档表名与FIELDINFO，建立所述归档表名与相应字段的映射信息，获取上一步查询到的所有信息；
步骤205：根据所述队列对象DumpInfoTables中该表的过滤条件进行查询，并得到一个结果集；
步骤206：所述归档线程读取所述结果集中每一条记录的每一个字段值并转化输出到归档文件中；
步骤207：所述归档线程输出归档的所述历史数据完成后，对原有所述历史数据与所述归档表名进行删除等其他操作。为方便查询、统计和报表处理等，本实施例归档文件为Excel文件。
综上所述，采用本发明提供的一种历史数据归档的***与实现方法，在现有技术基础上设置归档参数配置模块、归档数据加载模块与归档操作模块，根据业务需求通过手动配置即可完成，并不涉及到复杂的数据库操作，从而使操作更简便，较好的地满足了用户需求；可以根据所述归档周期或所述门限周期，按照用户指定的所述过滤条件进行指定的归档，将数据转化为用户容易理解的格式输出，从而大大提高了操作的灵活性与输出数据的直观性；还可以根据用户的指令仅对满足条件的所述历史数据进行归档操作，大大减少了数据冗余，进一步提高了所述网管***处理数据的效率。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的请求保护范围应以所附权利要求为准。
Claims (11)
1、一种历史数据归档的***，其特征在于，所述***包括一归档参数配置模块、一归档数据加载模块与一归档操作模块，所述归档参数配置模块与所述归档数据加载模块通信连接，所述归档数据加载模块与所述归档操作模块通信连接，所述归档参数配置模块用于为历史数据配置归档参数；所述归档数据加载模块用于加载所述归档参数配置模块配置的所有所述归档参数；所述归档操作模块用于对所述历史数据进行归档操作。
2、根据权利要求1所述的***，其特征在于，所述归档操作模块还包括一主线程，所述主线程用于创建一归档线程、检测是否存在满足归档条件的所述历史数据与唤醒所述归档线程进行归档操作，所述归档线程处于休眠状态并等待所述主线程唤醒进行归档操作。
3、一种实现根据权利要求1所述***的方法，包括以下步骤：
A、所述归档参数配置模块为所述历史数据配置所述归档表名，并将归档参数配置到所述归档表名下；
B、所述归档数据加载模块加载所有所述归档参数作为所述历史数据归档的输入；
C、所述归档操作模块根据所有所述归档参数检测是否存在满足归档条件的所述历史数据，对满足所述归档条件的所述历史数据进行归档操作。
4、根据权利要求3所述的实现方法，其特征在于，所述归档参数包括：归档模式、归档输出目录、归档开始时间、归档动作、过滤条件以及归档字段。
5、根据权利要求4所述的实现方法，其特征在于，所述归档模式包括周期归档与门限归档，所述周期归档还配置有归档周期；所述门限归档还配置有门限值与检测所述历史数据门限的门限周期。
6、根据权利要求4所述的实现方法，其特征在于，所述归档动作包括判断所述归档模式与所述归档表名是否匹配、是否删除原所述历史数据以及当所述历史数据为空时是否删除所述归档表名。
7、根据权利要求4所述的实现方法，其特征在于，所述归档字段包括字段名称以及所述字段名称转化后的值、字段值以及所述字段值转化后的值。
8、根据权利要求3所述的实现方法，其特征在于，所述步骤C还包括：当没有满足所述归档条件的所述历史数据时，则所述归档线程处于休眠状态。
9、根据权利要求3所述的实现方法，其特征在于，所述步骤C还包括以下步骤：
C1、所述主线程为每个所述归档表名创建一所述归档线程，所述归档线程处于休眠状态；
C2、所述主线程根据所述过滤条件以及所述归档周期或所述门限周期定期检测是否存在满足所述归档条件的所述历史数据，若存在，则所述主线程唤醒所述归档线程进行归档操作。
10、根据权利要求9所述的实现方法，其特征在于，所述步骤C2还包括以下步骤：
C21、所述归档线程查找所有需要归档的所述归档表名，并获取所述归档表名下的所有所述归档参数；
C22、所述归档线程根据所述过滤条件查找满足归档条件的所述历史数据；
C23、所述归档线程将满足所述归档条件的所述历史数据原始值进行转化并输出到指定目录的归档文件中。
11、根据权利要求9所述的实现方法，其特征在于，所述步骤C2还包括以下步骤：
C24、所述归档线程将所述历史数据归档后，对原所述历史数据与所述表名进行所述归档参数指定的其它操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2008102161958A CN101364897A (zh) | 2008-09-17 | 2008-09-17 | 一种历史数据归档的***与实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2008102161958A CN101364897A (zh) | 2008-09-17 | 2008-09-17 | 一种历史数据归档的***与实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101364897A true CN101364897A (zh) | 2009-02-11 |
Family
ID=40391070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2008102161958A Pending CN101364897A (zh) | 2008-09-17 | 2008-09-17 | 一种历史数据归档的***与实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101364897A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514295A (zh) * | 2013-10-10 | 2014-01-15 | 中国电子科技集团公司第十五研究所 | 历史数据归档方法及历史数据归档装置 |
| CN105279261A (zh) * | 2015-10-23 | 2016-01-27 | 北京京东尚科信息技术有限公司 | 动态可扩展数据库归档方法和*** |
| CN106126526A (zh) * | 2016-06-13 | 2016-11-16 | 浪潮电子信息产业股份有限公司 | 一种数据管理方法及装置 |
| CN107370773A (zh) * | 2016-05-11 | 2017-11-21 | 北京京东尚科信息技术有限公司 | 高可用可伸缩的分布式数据归档的方法和*** |
| CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| WO2018058983A1 (zh) * | 2016-09-28 | 2018-04-05 | 平安科技（深圳）有限公司 | 数据库容量计算方法、装置、服务器及存储设备 |
| CN109583842A (zh) * | 2018-12-04 | 2019-04-05 | 北京诺士诚国际工程项目管理有限公司 | 一种监理月报生成方法、装置、电子设备及计算机存储介质 |
| CN111506749A (zh) * | 2020-04-15 | 2020-08-07 | 北京金山云网络技术有限公司 | 一种监控数据归档方法、装置、电子设备及存储介质 |
| CN113032406A (zh) * | 2021-05-26 | 2021-06-25 | 四川新网银行股份有限公司 | 一种通过元数据库集中化管理分表的数据归档方法 |
-
2008
- 2008-09-17 CN CNA2008102161958A patent/CN101364897A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514295A (zh) * | 2013-10-10 | 2014-01-15 | 中国电子科技集团公司第十五研究所 | 历史数据归档方法及历史数据归档装置 |
| CN103514295B (zh) * | 2013-10-10 | 2016-09-28 | 中国电子科技集团公司第十五研究所 | 历史数据归档方法及历史数据归档装置 |
| CN105279261A (zh) * | 2015-10-23 | 2016-01-27 | 北京京东尚科信息技术有限公司 | 动态可扩展数据库归档方法和*** |
| CN105279261B (zh) * | 2015-10-23 | 2019-07-02 | 北京京东尚科信息技术有限公司 | 动态可扩展数据库归档方法和*** |
| CN107370773A (zh) * | 2016-05-11 | 2017-11-21 | 北京京东尚科信息技术有限公司 | 高可用可伸缩的分布式数据归档的方法和*** |
| CN106126526A (zh) * | 2016-06-13 | 2016-11-16 | 浪潮电子信息产业股份有限公司 | 一种数据管理方法及装置 |
| WO2018058983A1 (zh) * | 2016-09-28 | 2018-04-05 | 平安科技（深圳）有限公司 | 数据库容量计算方法、装置、服务器及存储设备 |
| CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| CN107870981B (zh) * | 2017-09-30 | 2021-10-22 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| CN109583842A (zh) * | 2018-12-04 | 2019-04-05 | 北京诺士诚国际工程项目管理有限公司 | 一种监理月报生成方法、装置、电子设备及计算机存储介质 |
| CN111506749A (zh) * | 2020-04-15 | 2020-08-07 | 北京金山云网络技术有限公司 | 一种监控数据归档方法、装置、电子设备及存储介质 |
| CN111506749B (zh) * | 2020-04-15 | 2024-01-02 | 北京金山云网络技术有限公司 | 一种监控数据归档方法、装置、电子设备及存储介质 |
| CN113032406A (zh) * | 2021-05-26 | 2021-06-25 | 四川新网银行股份有限公司 | 一种通过元数据库集中化管理分表的数据归档方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101364897A (zh) | 一种历史数据归档的***与实现方法 | |
| CN102027457B (zh) | 单独可访问数据单元的管理存储 | |
| CN103036956B (zh) | 一种分布式组态化海量数据归档***及实现方法 | |
| CN105808633A (zh) | 数据归档方法和*** | |
| CN105243528A (zh) | 大数据环境下金融it***中图形化集中对账***与方法 | |
| CN102193917A (zh) | 一种数据处理和查询方法和装置 | |
| CN111857777B (zh) | 基于双芯智能电表的***更新方法、装置和计算机设备 | |
| CN101937474A (zh) | 海量数据查询方法及设备 | |
| CN103927314A (zh) | 一种数据批量处理的方法和装置 | |
| CN109766206A (zh) | 一种日志采集方法及*** | |
| CN102521218A (zh) | 文件合成方法及装置 | |
| CN104519078A (zh) | 实现云存储的方法与装置 | |
| CN104679500A (zh) | 实体类自动生成实现方法及装置 | |
| CN104915262A (zh) | 一种基于excel数据结构的校验***及其方法 | |
| CN101631041A (zh) | 业务配置处理方法及配置关系管理模块 | |
| CN114281757A (zh) | 一种数据库的迁移方法、***及计算机可读存储介质 | |
| CN101286886B (zh) | 恢复网络设备配置信息的方法及装置 | |
| CN103257971A (zh) | 终端和文件管理方法 | |
| CN108574718A (zh) | 一种云主机创建方法及装置 | |
| CN103207872A (zh) | 一种实时索引方法和服务器 | |
| CN102752138A (zh) | 异步配置管理方法和网络设备 | |
| CN103559586B (zh) | 一种报表文档管理装置、***及方法 | |
| US20050268213A1 (en) | System and method for automating job management in mobile data collection | |
| CN101458628A (zh) | 一种程序版本管理方法 | |
| CN114328579A (zh) | 自动创建和分配任务的***、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Open date: 20090211 |