CN102541908A - 日志数据库***的分卷管理方法 - Google Patents

日志数据库***的分卷管理方法 Download PDF

Info

Publication number
CN102541908A
CN102541908A CN2010106067153A CN201010606715A CN102541908A CN 102541908 A CN102541908 A CN 102541908A CN 2010106067153 A CN2010106067153 A CN 2010106067153A CN 201010606715 A CN201010606715 A CN 201010606715A CN 102541908 A CN102541908 A CN 102541908A
Authority
CN
China
Prior art keywords
database
log
management method
data
setting value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010106067153A
Other languages
English (en)
Inventor
王宏
康凯
林跃
姜军
张萌
张锐
周建辉
唐达鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Zhongke Bowei Automation Technology Co Ltd
Original Assignee
Shenyang Zhongke Bowei Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Zhongke Bowei Automation Technology Co Ltd filed Critical Shenyang Zhongke Bowei Automation Technology Co Ltd
Priority to CN2010106067153A priority Critical patent/CN102541908A/zh
Publication of CN102541908A publication Critical patent/CN102541908A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种日志数据库***的分卷管理方法，该分卷管理方法主要步骤：获取日志信息并写入内存缓冲区；判断原数据库文件中记录数或占用空间大小是否超过设定值；如超过设定值，则新建数据库并以当前时间命名，从内存缓冲区中获取数据并存入新建的数据库中；按指定时间范围从数据库名称索引表中查找对应的一个或多个数据库，从而快速查询所需信息。使用本方法可以实现对设备日志信息的灵活存储和快速查询。

Description

日志数据库***的分卷管理方法
技术领域
本发明涉及一种针对现场设备的日志数据进行管理的日志数据库***的分卷管理方法。
背景技术
工业现场设备的控制***运行时，由于设备要求的自动化程度高，设备要进行大量的各种类型信息跟踪记录。常规***所使用的数据文件存储多为文本文件或自定义的二进制文件。当记录的信息多时文件的储存空间会增大，影响数据查询的效率。有些方案是把日志文件全部读入内存后来进行查询，这种以空间换时间的方式对***的内存要求会比较高，并对更大的数据处理仍会无法应付。同时对自定义的二进制文件，二次开发难度也很高。为解决上述数据库查询效率低的问题，本发明提供一种存储方式灵活，查询率高的日志数据库***分卷管理方法。
发明内容
为解决上述存在的问题，本发明提供一种查询速度快、存储方式灵活的日志数据库***的分卷管理方法。
为达到上述发明目的，本发明采取如下方法：
该日志数据库***的分卷管理方法包括如下步骤：
从设备的日志接口获取日志信息并判断该信息是否有效；
如有效，将日志信息转换为指定的格式并写入内存缓冲区；
判断原数据库文件中记录数或占用空间大小是否超过设定值；
如超过设定值，则新建数据库并以当前时间命名，将数据库名称存入数据库名称索引表，将内存缓冲区中的数据存入新建的数据库；
通过数据查询模块查询数据库并显示查询结果。
如未超过设定值则将内存缓冲区中的数据存入原数据库。
所述的数据库记录数的设定值为用户设定的数据库所能容纳的最大记录数N，其范围在10万条～100万条之间。
所述的数据库的占用空间大小设定值为用户设定的数据库占用空间的最大值，其范围在10M～100M之间。
数据查询包括如下步骤：
按指定时间范围查询数据库名称索引表，判断是否存在对应的数据库，
如存在对应的数据库，则对数据库进行查询并显示查询结果。
如不存在对应的数据库，退出本次查询并提示。
本发明具有以下有益效果及优点：
1.存储方式灵活。日志数据在本***中被存储为数据库文件，日志***允许用户选择自定义存储方式来划分数据库文件，可以按数据库文件的占用空间或日志记录数来划分数据库，并以创建数据库的时间命名。
2.查询速度快。由于采用了分卷存储的存储方式，减少了每个数据库中的信息量，因此大大提升了查询速度。
3.便于数据管理。由于日志数据存储为若干个以时间命名的数据库文件，使得用户可以方便地删除指定时间段的日志数据或者删除过期的日志数据，节省了数据存储空间。
4.通用性强。常规***所使用的数据文件存储多为自定义的二进制文件，在开发不同的日志***时，需要重新设定二进制文件的结构。该方法采用数据库对日志文件进行存储，通用性强，利于二次开发。
附图说明
图1为本发明***程序流程图；
图2为图1中数据查询模块流程图。
具体实施方式
下面根据附图对本发明的方案进一步详细描述：
如图1所示，日志数据库***的分卷管理方法包括如下步骤：
从设备的日志接口获取日志信息并判断该信息是否有效；
如有效，将日志信息转换为指定的格式并写入内存缓冲区；
判断原数据库文件中记录数或占用空间大小是否超过设定值；
如超过设定值，则新建数据库并以当前时间命名，将数据库名称存入数据库名称索引表，将内存缓冲区中的数据存入新建的数据库；
通过数据查询模块查询数据库并显示查询结果。
如未超过设定值则将内存缓冲区中的数据存入原数据库；
将日志信息转换为指定的格式：设备发送的历史数据格式包含时间、参数名称、参数值的数据，数据存储之前需要对其中的时间和参数名称进行格式转换，其步骤：将时间转换为64位整数；根据参数名称，查询数据库中的参数索引表，获取该参数所对应的32位整数形式的索引号，再将参数名称转换为该索引号。
所述的数据库记录数的设定值为用户设定的数据库所能容纳的最大记录数N，其范围在10万条～100万条之间。
所述的数据库的占用空间大小设定值为用户设定的数据库占用空间的最大值，其范围在10M～100M之间。
数据查询步骤如下
按指定时间范围查询数据库名称索引表，判断是否存在对应的数据库，
如存在对应的数据库，则对数据库进行查询并显示查询结果。
如不存在对应的数据库，退出本次查询并提示。
如图2所示，数据查询步骤如下：
按照用户要查询的时间范围，按指定时间范围从数据库名称索引表中查找符合条件的一个或多个数据库；若不存在符合条件的数据库，会自动退出本次信息查询并进行提示；若存在一个或多个符合条件的数据库，则依次查询各个数据库，得到所查到的日志数据并显示。
数据库名称采用“特定字符”+“时间字符”的命名规则。其中，特定字符为用户自定义的字符串，用于识别该数据库是否为日志数据库；时间字符为创建数据库时的***时间(精确到毫秒)所转换成的一个64位整数。

Claims (6)

1.一种日志数据库***的分卷管理方法，其特征在于包括如下步骤：
从设备的日志接口获取日志信息并判断该信息是否有效；如有效，将日志信息转换为指定的格式并写入内存缓冲区；
判断原数据库文件中记录数或占用空间大小是否超过设定值；
如超过设定值，则新建数据库并以当前时间命名，将数据库名称存入数据库名称索引表，将内存缓冲区中的数据存入新建的数据库；
通过数据查询模块查询数据库并显示查询结果。
2.根据权利要求1所述的日志数据库***的分卷管理方法，其特征在于：如未超过设定值则将内存缓冲区中的数据存入原数据库。
3.根据权利要求1所述的日志数据库***的分卷管理方法，其特征在于：所述的数据库记录数的设定值为用户设定的数据库所能容纳的最大记录数N，其范围在10万条～100万条之间。
4.根据权利要求1所述的日志数据库***的分卷管理方法，其特征在于：所述的数据库的占用空间大小设定值为用户设定的数据库占用空间的最大值，其范围在10M～100M之间。
5.根据权利要求1所述的日志数据库***的分卷管理方法，其特征在于：数据查询包括如下步骤：
按指定时间范围查询数据库名称索引表，判断是否存在对应的数据库，如存在对应的数据库，则对数据库进行查询并显示查询结果。
6.根据权利要求5所述的日志数据库***的分卷管理方法，其特征在于：如不存在对应的数据库，退出本次查询并提示。
CN2010106067153A 2010-12-27 2010-12-27 日志数据库***的分卷管理方法 Pending CN102541908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010106067153A CN102541908A (zh) 2010-12-27 2010-12-27 日志数据库***的分卷管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010106067153A CN102541908A (zh) 2010-12-27 2010-12-27 日志数据库***的分卷管理方法

Publications (1)

Publication Number Publication Date
CN102541908A true CN102541908A (zh) 2012-07-04

Family

ID=46348825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106067153A Pending CN102541908A (zh) 2010-12-27 2010-12-27 日志数据库***的分卷管理方法

Country Status (1)

Country Link
CN (1) CN102541908A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645858A (zh) * 2013-11-08 2014-03-19 上海华力微电子有限公司 Wat测试曲线数据的保存方法和装置
CN104063441A (zh) * 2014-06-12 2014-09-24 北京东进航空科技股份有限公司 数据库运维***及其对数据的运维方法
CN104636353A (zh) * 2013-11-07 2015-05-20 中国科学院沈阳自动化研究所 集成电路生产线搬运***的高性能日志记录查询方法
WO2018006721A1 (zh) * 2016-07-08 2018-01-11 中兴通讯股份有限公司 日志文件的存储方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207513A (zh) * 2006-12-22 2008-06-25 中兴通讯股份有限公司 保存历史数据的方法及装置
CN101383728A (zh) * 2007-09-06 2009-03-11 佳能株式会社 网络设备、网络设备管理方法以及网络设备管理***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207513A (zh) * 2006-12-22 2008-06-25 中兴通讯股份有限公司 保存历史数据的方法及装置
CN101383728A (zh) * 2007-09-06 2009-03-11 佳能株式会社 网络设备、网络设备管理方法以及网络设备管理***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636353A (zh) * 2013-11-07 2015-05-20 中国科学院沈阳自动化研究所 集成电路生产线搬运***的高性能日志记录查询方法
CN104636353B (zh) * 2013-11-07 2017-09-15 中国科学院沈阳自动化研究所 集成电路生产线搬运***的高性能日志记录查询方法
CN103645858A (zh) * 2013-11-08 2014-03-19 上海华力微电子有限公司 Wat测试曲线数据的保存方法和装置
CN104063441A (zh) * 2014-06-12 2014-09-24 北京东进航空科技股份有限公司 数据库运维***及其对数据的运维方法
WO2018006721A1 (zh) * 2016-07-08 2018-01-11 中兴通讯股份有限公司 日志文件的存储方法及装置
CN107590162A (zh) * 2016-07-08 2018-01-16 中兴通讯股份有限公司 日志文件的存储方法及装置

Similar Documents

Publication Publication Date Title
CN100428244C (zh) 同步企业应用变化历史的装置、***以及方法
CN103793479A (zh) 日志管理方法及***
CN101446984B (zh) 一种文件存储方法、装置及文件删除方法和装置
CN104317800A (zh) 一种海量智能用电数据混合存储***及方法
CN106202292B (zh) 一种基于结构化数据模型的标准信息分析方法
CN102147711A (zh) 一种基于数据内容识别的存储方法及装置
CN103246595A (zh) 应用程序管理方法、装置、服务器及终端设备
CN102779138B (zh) 实时数据的硬盘存取方法
CN104102652A (zh) 一种非结构化数据存储***及方法
CN102662988A (zh) 一种用于rfid中间件的冗余数据过滤方法
CN102541908A (zh) 日志数据库***的分卷管理方法
CN103412826A (zh) 固态硬盘的垃圾回收方法及***
CN104035993A (zh) 电子书的存储检索方法、电子书管理***、阅读***
CN111061758A (zh) 数据存储方法、装置及存储介质
CN107273449B (zh) 一种基于内存数据库的断点处理方法及***
CN109213898A (zh) 视频监控***的录像检索方法及装置
CN101963993B (zh) 一种数据库单表记录快速查找的方法
CN108763323A (zh) 基于资源集和大数据技术的气象格点文件应用方法
CN109189724B (zh) 提高视频监控***音视频数据存储效率的方法及装置
CN104166736A (zh) 倒排索引文件的存储方法和装置
CN102195936A (zh) 多媒体文件的存储方法及***、读取方法及***
CN103778231A (zh) 一种数据银行管理操作记录信息的方法及***
CN111221820A (zh) 一种设备联网数据的存储及实时读取的方法
CN110389939A (zh) 一种基于NoSQL和分布式文件***的物联网存储***
CN110019117A (zh) 一种数据归档方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704