CN106649615A - 一种日志段管理方法及装置 - Google Patents
一种日志段管理方法及装置 Download PDFInfo
- Publication number
- CN106649615A CN106649615A CN201611085968.4A CN201611085968A CN106649615A CN 106649615 A CN106649615 A CN 106649615A CN 201611085968 A CN201611085968 A CN 201611085968A CN 106649615 A CN106649615 A CN 106649615A
- Authority
- CN
- China
- Prior art keywords
- event
- log
- size
- log event
- daily record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 7
- 238000007726 management method Methods 0.000 claims description 33
- 238000010276 construction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种日志段管理方法,包括以下步骤:S1:写入日志事件;S2:判定S1中写入日志事件是否为子树事件;若是,则将该日志事件大小忽略且不计入日志事件总大小,并更新事件数量值;若否,则获取该日志事件大小信息且计入日志事件总大小,并更新事件数量值和事件大小值;S3:判定事件数量值是否达到日志事件数量阈值和判定事件大小值是否达到日志事件大小阈值;若事件数量值未达到日志事件数量阈值且事件大小值未达到日志事件大小阈值,则转入S1;否则,转入S4;S4:构造日志段,转入S1。本发明还公开了一种日志段管理装置。
Description
技术领域
本发明涉及元数据管理技术领域,尤其涉及一种日志段管理方法,还涉及一种日志段管理装置。
背景技术
现有文件***主要分为两大部分:元数据管理、数据管理。其中,元数据的请求是文件***所有请求的50%以上,所以提升元数据请求的处理性能,可以有效提升整个文件***的性能。
为了保证元数据节点存储内容的可恢复性,元数据节点的每次操作都会以日志事件的形式记录在日志段里。每个日志段能存放一定大小的(具体大小和磁盘条带有关,下文以4M为例说明)或者一定数量(可以配置,下文以1024为例说明)日志事件,当把日志事件记录到日志段后,会判断日志段里包含的日志事件总量。如果日志段中日志事件总大小超出4M或者总量超过1024个时,此日志段结束,元数据节点会重新构造一个日志段准备存储下一条日志事件。而每个日志段的默认起始事件就是子树事件,事件里记录了***当前元数据节点目录结构的子树根、子树根边界等内容。
在多个元数据节点的***里,每个元数据节点都有自己负责的目录结构。在动态子树情况下,新建的目录可以根据集群元数据热度分给相对空闲的元数据节点,以达到平衡元数据负载,提升文件***性能的目的。
如果新建的目录和其父目录不是同一个元数据节点负责,那新建的目录需要作为子树根被所属的元数据节点记录。基于刚才所述的日志事件存储机制:元数据节点负责的子树根越多,日志段里记录的子树事件越大。在现有的机制下,当子树根达到一定数量级,子树事件大小就可以超过4M。导致任意元数据操作,比如对文件增删改、重命名,即便操作本身需要存储的内容很小,但是由于过大的子树事件,仍然要重新构造日志段,而新日志段的起始又是过大的子树事件。频繁的构造日志段和构造过大的子树事件引发元数据性能直线下降。
因此,对于本领域技术人员而言,在支持多个元数据节点的***中,如何防止过于频繁的构造日志段而引发元数据性能下降为亟需解决的技术问题。
发明内容
基于背景技术存在的技术问题,本发明提出了一种日志段管理方法,包括以下步骤:
S1:写入日志事件;
S2:判定S1中写入日志事件是否为子树事件;若是,则将该日志事件大小忽略且不计入日志事件总大小,并更新事件数量值;若否,则获取该日志事件大小信息且计入日志事件总大小,并更新事件数量值和事件大小值;
S3:判定事件数量值是否达到日志事件数量阈值和判定事件大小值是否达到日志事件大小阈值;若事件数量值未达到日志事件数量阈值且事件大小值未达到日志事件大小阈值,则转入S1;否则,转入S4;
S4:构造日志段,转入S1。
优选地,在步骤S1之前,还包括步骤:设定日志事件数量阈值和日志事件大小阈值。
优选地,日志事件数量阈值为1024,和/或,日志事件大小阈值为4M。
本发明还提出了一种日志段管理方法,包括以下步骤:
判断所写入日志事件是否为子树事件;
将子树事件放入第一日志事件池,将非子树事件放入第二日志事件池;
统计第一日志事件池和第二日志事件池中日志事件总数量并作为事件数量值,统计第二日志事件池中日志事件总大小并作为事件大小值;
事件数量值小于日志段事件数量阈值且事件大小值小于日志段事件大小阈值,则在当前日志段写入日志事件,否则,构造新日志段写入日志事件。
优选地,包括以下步骤:设定日志事件数量阈值和日志事件大小阈值。
优选地,日志事件数量阈值为1024,和/或,日志事件大小阈值为4M。
本发明中提供的两种日志段管理方法,关键点均在于对日志事件进行判定并区分为子树事件和非子树事件,子树事件计入日志事件总数量且容量大小不计入日志事件总大小,非子树事件计入日志事件总数量且容量大小计入日志事件总大小,从而避免子树事件过大引起日志段的频繁构造;上述方法至少具有以下优点:
1、不会由于过大子树事件导致频繁的构造日志段,避免了过大子树事件引发的元数据性能直线下降,可以提升元数据集群性能;
2、适用于可以支持多个元数据节点的文件***,与现有元数据集群动态子树目录结构兼容性好,可广泛应用于云存储***、分布式文件***等。
本发明还提出了日志段管理装置,包括:
事件写入模块,用于向当前日志段中写入日志事件;
第一判断模块,判定日志事件是否为子树事件;
管理模块,用于统计当前日志段中日志事件总数量作为事件数量值;还用于统计非子树事件的大小之和作为事件大小值;
第二判断模块,用于在事件数量值达到日志事件数量阈值时,生成触发信号;还用于在事件大小值达到日志事件大小阈值是,生成触发信号;
日志段生成模块,用于在第二判断模块生成触发信号时,构造日志段。
优选地,还包括:赋值模块,用于设定日志事件数量阈值和日志事件大小阈值。
本发明提出的日志段管理装置,其有益效果与日志段管理方法的有益效果基本类似,此处不再赘述。
附图说明
图1为本发明提出的一种日志段管理方法中一种实施例的流程示意图;
图2为本发明提出的一种日志段管理方法中另一种实施例的流程示意图;
图3为本发明提出的一种日志段管理装置的一种实施例的结构框图。
具体实施方式
如图1-3所示,图1为本发明提出的一种日志段管理方法中一种实施例的流程示意图;图2为本发明提出的一种日志段管理方法中另一种实施例的流程示意图;图3为本发明提出的一种日志段管理装置的一种实施例的结构框图。
下面结合附图和实施例对本发明进行详细的描述。
实施例1
参考图1,本发明所公开的一种日志段管理方法,包括以下步骤:
S0:设定日志事件数量阈值为1024和日志事件大小阈值4M;
S1:写入日志事件;
S2:判定S1中写入日志事件是否为子树事件;若是,则将该日志事件大小忽略且不计入日志事件总大小,并更新事件数量值;若否,则获取该日志事件大小信息且计入日志事件总大小,并更新事件数量值和事件大小值;
S3:判定事件数量值是否达到1024和判定事件大小值是否达到4M;若事件数量值未达到1024且事件大小值未达到4M,则转入S1;否则,转入S4;
S4:构造日志段,转入S1。
在上述实施例1中,我们可以获知,先进行写入日志事件是否为子树事件,若是则忽略该事件大小仅计入事件数量,从而有效防止子树事件过大导致日志段的构造,避免了过大子树事件引发的元数据性能直线下降。
实施例2
参考图2,本发明所公开的一种日志段管理方法,包括以下步骤:
设定日志事件数量阈值1024和日志事件大小阈值4M;
判断所写入日志事件是否为子树事件;
将子树事件放入第一日志事件池,将非子树事件放入第二日志事件池;
统计第一日志事件池和第二日志事件池中日志事件总数量并作为事件数量值,统计第二日志事件池中日志事件总大小并作为事件大小值;
事件数量值小于日志段事件数量阈值且事件大小值小于日志段事件大小阈值,则在当前日志段写入日志事件,否则,构造新日志段写入日志事件。
在上述实施例2中,我们可以获知,实施例2采用的是判定日志事件是否为子树事件后,将子树事件与非子树事件划分为两部分,在统计日志事件总数量时,两部分都进行统计,在统计日志事件总大小时,则仅统计非子树事件部分;可以有效防止子树事件过大导致日志段的构造,避免了过大子树事件引发的元数据性能直线下降。
参考图3,本发明所公开的一种日志段管理装置,包括:
事件写入模块,用于向当前日志段中写入日志事件;
第一判断模块,判定日志事件是否为子树事件;
管理模块,用于统计当前日志段中日志事件总数量作为事件数量值;还用于统计非子树事件的大小之和作为事件大小值;
第二判断模块,用于在事件数量值达到日志事件数量阈值时,生成触发信号;还用于在事件大小值达到日志事件大小阈值是,生成触发信号;
日志段生成模块,用于在第二判断模块生成触发信号时,构造日志段;
赋值模块,用于设定日志事件数量阈值和日志事件大小阈值。
上述日志段管理装置,其有益效果与日志段管理方法的有益效果基本类似,此处不再赘述。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种日志段管理方法,其特征在于,包括以下步骤:
S1:写入日志事件;
S2:判定S1中写入日志事件是否为子树事件;若是,则将该日志事件大小忽略且不计入日志事件总大小,并更新事件数量值;若否,则获取该日志事件大小信息且计入日志事件总大小,并更新事件数量值和事件大小值;
S3:判定事件数量值是否达到日志事件数量阈值和判定事件大小值是否达到日志事件大小阈值;若事件数量值未达到日志事件数量阈值且事件大小值未达到日志事件大小阈值,则转入S1;否则,转入S4;
S4:构造日志段,转入S1。
2.根据权利要求1所述的日志段管理方法,其特征在于,在步骤S1之前,还包括步骤:设定日志事件数量阈值和日志事件大小阈值。
3.根据权利要求1或2所述的日志段管理方法,其特征在于,日志事件数量阈值为1024,和/或,日志事件大小阈值为4M。
4.一种日志段管理方法,其特征在于,包括以下步骤:
判断所写入日志事件是否为子树事件;
将子树事件放入第一日志事件池,将非子树事件放入第二日志事件池;
统计第一日志事件池和第二日志事件池中日志事件总数量并作为事件数量值,统计第二日志事件池中日志事件总大小并作为事件大小值;
事件数量值小于日志段事件数量阈值且事件大小值小于日志段事件大小阈值,则在当前日志段写入日志事件,否则,构造新日志段写入日志事件。
5.根据权利要求4所述的日志段管理方法,其特征在于,包括以下步骤:设定日志事件数量阈值和日志事件大小阈值。
6.根据权利要求5所述的日志段管理方法,其特征在于,日志事件数量阈值为1024,和/或,日志事件大小阈值为4M。
7.一种日志段管理装置,其特征在于,包括:
事件写入模块,用于向当前日志段中写入日志事件;
第一判断模块,判定日志事件是否为子树事件;
管理模块,用于统计当前日志段中日志事件总数量作为事件数量值;还用于统计非子树事件的大小之和作为事件大小值;
第二判断模块,用于在事件数量值达到日志事件数量阈值时,生成触发信号;还用于在事件大小值达到日志事件大小阈值是,生成触发信号;
日志段生成模块,用于在第二判断模块生成触发信号时,构造日志段。
8.根据权利要求7所述的日志段管理装置,其特征在于,还包括:
赋值模块,用于设定日志事件数量阈值和日志事件大小阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611085968.4A CN106649615B (zh) | 2016-11-30 | 2016-11-30 | 一种日志段管理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611085968.4A CN106649615B (zh) | 2016-11-30 | 2016-11-30 | 一种日志段管理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106649615A true CN106649615A (zh) | 2017-05-10 |
CN106649615B CN106649615B (zh) | 2020-09-22 |
Family
ID=58813729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611085968.4A Active CN106649615B (zh) | 2016-11-30 | 2016-11-30 | 一种日志段管理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106649615B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306168A (zh) * | 2011-08-23 | 2012-01-04 | 成都市华为赛门铁克科技有限公司 | 日志操作方法、装置及文件*** |
CN102541982A (zh) * | 2011-10-25 | 2012-07-04 | 曙光信息产业(北京)有限公司 | 一种组织和访问元数据文件日志的方法 |
US8412689B2 (en) * | 2010-07-07 | 2013-04-02 | Microsoft Corporation | Shared log-structured multi-version transactional datastore with metadata to enable melding trees |
CN103198088A (zh) * | 2011-11-07 | 2013-07-10 | Sap股份公司 | 基于阴影分页的日志段目录 |
CN104252406A (zh) * | 2013-06-28 | 2014-12-31 | 华为技术有限公司 | 数据处理的方法及装置 |
CN105049260A (zh) * | 2015-08-24 | 2015-11-11 | 浪潮(北京)电子信息产业有限公司 | 日志管理方法和装置 |
-
2016
- 2016-11-30 CN CN201611085968.4A patent/CN106649615B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8412689B2 (en) * | 2010-07-07 | 2013-04-02 | Microsoft Corporation | Shared log-structured multi-version transactional datastore with metadata to enable melding trees |
CN102306168A (zh) * | 2011-08-23 | 2012-01-04 | 成都市华为赛门铁克科技有限公司 | 日志操作方法、装置及文件*** |
CN102541982A (zh) * | 2011-10-25 | 2012-07-04 | 曙光信息产业(北京)有限公司 | 一种组织和访问元数据文件日志的方法 |
CN103198088A (zh) * | 2011-11-07 | 2013-07-10 | Sap股份公司 | 基于阴影分页的日志段目录 |
CN104252406A (zh) * | 2013-06-28 | 2014-12-31 | 华为技术有限公司 | 数据处理的方法及装置 |
CN105049260A (zh) * | 2015-08-24 | 2015-11-11 | 浪潮(北京)电子信息产业有限公司 | 日志管理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106649615B (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103412803B (zh) | 数据恢复的方法及装置 | |
CN107870981B (zh) | 电子装置、数据表归档处理的方法及存储介质 | |
JP2016519810A5 (zh) | ||
CN110781184B (zh) | 数据表的构建方法、装置、设备及存储介质 | |
CN103577590A (zh) | 一种数据查询方法和*** | |
TW201232294A (en) | Formatting data by example | |
CN104268099B (zh) | 一种管理数据读写的方法及装置 | |
CN107590226A (zh) | 一种基于瓦片的矢量地图渲染方法 | |
CN102467521A (zh) | 一种易扩展的多级分类检索方法及*** | |
CN106599104A (zh) | 一种基于redis集群的海量数据关联方法 | |
CN102902811B (zh) | 一种快速生成树结构的数据库设计方法 | |
CN102158349A (zh) | 一种日志管理装置及方法 | |
CN107391652A (zh) | 一种模板化报表接口定义***及方法 | |
CN102982186B (zh) | 基于oracle数据库***的range分区表的维护方法和*** | |
CN110750372B (zh) | 基于共享内存的日志***及日志管理方法 | |
CN104408128B (zh) | 一种基于b+树异步更新索引的读优化方法 | |
CN107704200A (zh) | 一种数据存放方法 | |
CN110991152B (zh) | 一种数据逐级采集与自动汇总的方法与*** | |
CN110597805B (zh) | 一种内存索引结构处理方法 | |
CN106503260B (zh) | 一种提高数据库的有效存储空间的方法和装置 | |
CN107301249A (zh) | 一种文件访问信息记录方法、***及分布式集群*** | |
US8341168B1 (en) | System for displaying hierarchical data | |
CN106649615A (zh) | 一种日志段管理方法及装置 | |
CN104794567A (zh) | 一种基于HBase的传染病数据管理方法 | |
CN103258047A (zh) | 一种面向药企作业成本控制数据仓库的数据组织方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200828 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |