CN106649615B - 一种日志段管理方法及装置 - Google Patents

一种日志段管理方法及装置 Download PDF

Info

Publication number
CN106649615B
CN106649615B CN201611085968.4A CN201611085968A CN106649615B CN 106649615 B CN106649615 B CN 106649615B CN 201611085968 A CN201611085968 A CN 201611085968A CN 106649615 B CN106649615 B CN 106649615B
Authority
CN
China
Prior art keywords
log
event
size
value
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611085968.4A
Other languages
English (en)
Other versions
CN106649615A (zh
Inventor
程瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201611085968.4A priority Critical patent/CN106649615B/zh
Publication of CN106649615A publication Critical patent/CN106649615A/zh
Application granted granted Critical
Publication of CN106649615B publication Critical patent/CN106649615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志段管理方法，包括以下步骤：S1：写入日志事件；S2：判定S1中写入日志事件是否为子树事件；若是，则将该日志事件大小忽略且不计入日志事件总大小，并更新事件数量值；若否，则获取该日志事件大小信息且计入日志事件总大小，并更新事件数量值和事件大小值；S3：判定事件数量值是否达到日志事件数量阈值和判定事件大小值是否达到日志事件大小阈值；若事件数量值未达到日志事件数量阈值且事件大小值未达到日志事件大小阈值，则转入S1；否则，转入S4；S4：构造日志段，转入S1。本发明还公开了一种日志段管理装置。

Description

一种日志段管理方法及装置
技术领域
本发明涉及元数据管理技术领域，尤其涉及一种日志段管理方法，还涉及一种日志段管理装置。
背景技术
现有文件***主要分为两大部分：元数据管理、数据管理。其中，元数据的请求是文件***所有请求的50％以上，所以提升元数据请求的处理性能，可以有效提升整个文件***的性能。
为了保证元数据节点存储内容的可恢复性，元数据节点的每次操作都会以日志事件的形式记录在日志段里。每个日志段能存放一定大小的(具体大小和磁盘条带有关，下文以4M为例说明)或者一定数量(可以配置，下文以1024为例说明)日志事件，当把日志事件记录到日志段后，会判断日志段里包含的日志事件总量。如果日志段中日志事件总大小超出4M或者总量超过1024个时，此日志段结束，元数据节点会重新构造一个日志段准备存储下一条日志事件。而每个日志段的默认起始事件就是子树事件，事件里记录了***当前元数据节点目录结构的子树根、子树根边界等内容。
在多个元数据节点的***里，每个元数据节点都有自己负责的目录结构。在动态子树情况下，新建的目录可以根据集群元数据热度分给相对空闲的元数据节点，以达到平衡元数据负载，提升文件***性能的目的。
如果新建的目录和其父目录不是同一个元数据节点负责，那新建的目录需要作为子树根被所属的元数据节点记录。基于刚才所述的日志事件存储机制：元数据节点负责的子树根越多，日志段里记录的子树事件越大。在现有的机制下，当子树根达到一定数量级，子树事件大小就可以超过4M。导致任意元数据操作，比如对文件增删改、重命名，即便操作本身需要存储的内容很小，但是由于过大的子树事件，仍然要重新构造日志段，而新日志段的起始又是过大的子树事件。频繁的构造日志段和构造过大的子树事件引发元数据性能直线下降。
因此，对于本领域技术人员而言，在支持多个元数据节点的***中，如何防止过于频繁的构造日志段而引发元数据性能下降为亟需解决的技术问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种日志段管理方法，包括以下步骤：
S1：写入日志事件；
S2：判定S1中写入日志事件是否为子树事件；若是，则将该日志事件大小忽略且不计入日志事件总大小，并更新事件数量值；若否，则获取该日志事件大小信息且计入日志事件总大小，并更新事件数量值和事件大小值；
S3：判定事件数量值是否达到日志事件数量阈值和判定事件大小值是否达到日志事件大小阈值；若事件数量值未达到日志事件数量阈值且事件大小值未达到日志事件大小阈值，则转入S1；否则，转入S4；
S4：构造日志段，转入S1。
优选地，在步骤S1之前，还包括步骤：设定日志事件数量阈值和日志事件大小阈值。
优选地，日志事件数量阈值为1024，和/或，日志事件大小阈值为4M。
本发明还提出了一种日志段管理方法，包括以下步骤：
判断所写入日志事件是否为子树事件；
将子树事件放入第一日志事件池，将非子树事件放入第二日志事件池；
统计第一日志事件池和第二日志事件池中日志事件总数量并作为事件数量值，统计第二日志事件池中日志事件总大小并作为事件大小值；
事件数量值小于日志段事件数量阈值且事件大小值小于日志段事件大小阈值，则在当前日志段写入日志事件，否则，构造新日志段写入日志事件。
优选地，包括以下步骤：设定日志事件数量阈值和日志事件大小阈值。
优选地，日志事件数量阈值为1024，和/或，日志事件大小阈值为4M。
本发明中提供的两种日志段管理方法，关键点均在于对日志事件进行判定并区分为子树事件和非子树事件，子树事件计入日志事件总数量且容量大小不计入日志事件总大小，非子树事件计入日志事件总数量且容量大小计入日志事件总大小，从而避免子树事件过大引起日志段的频繁构造；上述方法至少具有以下优点：
1、不会由于过大子树事件导致频繁的构造日志段，避免了过大子树事件引发的元数据性能直线下降，可以提升元数据集群性能；
2、适用于可以支持多个元数据节点的文件***，与现有元数据集群动态子树目录结构兼容性好，可广泛应用于云存储***、分布式文件***等。
本发明还提出了日志段管理装置，包括：
事件写入模块，用于向当前日志段中写入日志事件；
第一判断模块，判定日志事件是否为子树事件；
管理模块，用于统计当前日志段中日志事件总数量作为事件数量值；还用于统计非子树事件的大小之和作为事件大小值；
第二判断模块，用于在事件数量值达到日志事件数量阈值时，生成触发信号；还用于在事件大小值达到日志事件大小阈值是，生成触发信号；
日志段生成模块，用于在第二判断模块生成触发信号时，构造日志段。
优选地，还包括：赋值模块，用于设定日志事件数量阈值和日志事件大小阈值。
本发明提出的日志段管理装置，其有益效果与日志段管理方法的有益效果基本类似，此处不再赘述。
附图说明
图1为本发明提出的一种日志段管理方法中一种实施例的流程示意图；
图2为本发明提出的一种日志段管理方法中另一种实施例的流程示意图；
图3为本发明提出的一种日志段管理装置的一种实施例的结构框图。
具体实施方式
如图1-3所示，图1为本发明提出的一种日志段管理方法中一种实施例的流程示意图；图2为本发明提出的一种日志段管理方法中另一种实施例的流程示意图；图3为本发明提出的一种日志段管理装置的一种实施例的结构框图。
下面结合附图和实施例对本发明进行详细的描述。
实施例1
参考图1，本发明所公开的一种日志段管理方法，包括以下步骤：
S0：设定日志事件数量阈值为1024和日志事件大小阈值4M；
S1：写入日志事件；
S2：判定S1中写入日志事件是否为子树事件；若是，则将该日志事件大小忽略且不计入日志事件总大小，并更新事件数量值；若否，则获取该日志事件大小信息且计入日志事件总大小，并更新事件数量值和事件大小值；
S3：判定事件数量值是否达到1024和判定事件大小值是否达到4M；若事件数量值未达到1024且事件大小值未达到4M，则转入S1；否则，转入S4；
S4：构造日志段，转入S1。
在上述实施例1中，我们可以获知，先进行写入日志事件是否为子树事件，若是则忽略该事件大小仅计入事件数量，从而有效防止子树事件过大导致日志段的构造，避免了过大子树事件引发的元数据性能直线下降。
实施例2
参考图2，本发明所公开的一种日志段管理方法，包括以下步骤：
设定日志事件数量阈值1024和日志事件大小阈值4M；
判断所写入日志事件是否为子树事件；
将子树事件放入第一日志事件池，将非子树事件放入第二日志事件池；
统计第一日志事件池和第二日志事件池中日志事件总数量并作为事件数量值，统计第二日志事件池中日志事件总大小并作为事件大小值；
事件数量值小于日志段事件数量阈值且事件大小值小于日志段事件大小阈值，则在当前日志段写入日志事件，否则，构造新日志段写入日志事件。
在上述实施例2中，我们可以获知，实施例2采用的是判定日志事件是否为子树事件后，将子树事件与非子树事件划分为两部分，在统计日志事件总数量时，两部分都进行统计，在统计日志事件总大小时，则仅统计非子树事件部分；可以有效防止子树事件过大导致日志段的构造，避免了过大子树事件引发的元数据性能直线下降。
参考图3，本发明所公开的一种日志段管理装置，包括：
事件写入模块，用于向当前日志段中写入日志事件；
第一判断模块，判定日志事件是否为子树事件；
管理模块，用于统计当前日志段中日志事件总数量作为事件数量值；还用于统计非子树事件的大小之和作为事件大小值；
第二判断模块，用于在事件数量值达到日志事件数量阈值时，生成触发信号；还用于在事件大小值达到日志事件大小阈值是，生成触发信号；
日志段生成模块，用于在第二判断模块生成触发信号时，构造日志段；
赋值模块，用于设定日志事件数量阈值和日志事件大小阈值。
上述日志段管理装置，其有益效果与日志段管理方法的有益效果基本类似，此处不再赘述。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种日志段管理方法，其特征在于，包括以下步骤：
S1：写入日志事件；
S2：判定S1中写入日志事件是否为子树事件；若是，则将该日志事件大小忽略且不计入日志事件总大小，并更新事件数量值；若否，则获取该日志事件大小信息且计入日志事件总大小，并更新事件数量值和事件大小值；
S3：判定事件数量值是否达到日志事件数量阈值和判定事件大小值是否达到日志事件大小阈值；若事件数量值未达到日志事件数量阈值且事件大小值未达到日志事件大小阈值，则转入S1；否则，转入S4；
S4：构造日志段，转入S1。
2.根据权利要求1所述的日志段管理方法，其特征在于，在步骤S1之前，还包括步骤：设定日志事件数量阈值和日志事件大小阈值。
3.根据权利要求1或2所述的日志段管理方法，其特征在于，日志事件数量阈值为1024，和/或，日志事件大小阈值为4M。
4.一种日志段管理方法，其特征在于，包括以下步骤：
判断所写入日志事件是否为子树事件；
将子树事件放入第一日志事件池，将非子树事件放入第二日志事件池；
统计第一日志事件池和第二日志事件池中日志事件总数量并作为事件数量值，统计第二日志事件池中日志事件总大小并作为事件大小值；
事件数量值小于日志段事件数量阈值且事件大小值小于日志段事件大小阈值，则在当前日志段写入日志事件，否则，构造新日志段写入日志事件。
5.根据权利要求4所述的日志段管理方法，其特征在于，包括以下步骤：设定日志事件数量阈值和日志事件大小阈值。
6.根据权利要求5所述的日志段管理方法，其特征在于，日志事件数量阈值为1024，和/或，日志事件大小阈值为4M。
7.一种日志段管理装置，其特征在于，包括：
事件写入模块，用于向当前日志段中写入日志事件；
第一判断模块，判定日志事件是否为子树事件；
管理模块，用于统计当前日志段中日志事件总数量作为事件数量值；还用于统计非子树事件的大小之和作为事件大小值；
第二判断模块，用于在事件数量值达到日志事件数量阈值时，生成触发信号；还用于在事件大小值达到日志事件大小阈值是，生成触发信号；
日志段生成模块，用于在第二判断模块生成触发信号时，构造日志段。
8.根据权利要求7所述的日志段管理装置，其特征在于，还包括：
赋值模块，用于设定日志事件数量阈值和日志事件大小阈值。
CN201611085968.4A 2016-11-30 2016-11-30 一种日志段管理方法及装置 Active CN106649615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611085968.4A CN106649615B (zh) 2016-11-30 2016-11-30 一种日志段管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611085968.4A CN106649615B (zh) 2016-11-30 2016-11-30 一种日志段管理方法及装置

Publications (2)

Publication Number Publication Date
CN106649615A CN106649615A (zh) 2017-05-10
CN106649615B true CN106649615B (zh) 2020-09-22

Family

ID=58813729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611085968.4A Active CN106649615B (zh) 2016-11-30 2016-11-30 一种日志段管理方法及装置

Country Status (1)

Country Link
CN (1) CN106649615B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306168A (zh) * 2011-08-23 2012-01-04 成都市华为赛门铁克科技有限公司 日志操作方法、装置及文件***
CN102541982A (zh) * 2011-10-25 2012-07-04 曙光信息产业(北京)有限公司 一种组织和访问元数据文件日志的方法
US8412689B2 (en) * 2010-07-07 2013-04-02 Microsoft Corporation Shared log-structured multi-version transactional datastore with metadata to enable melding trees
CN103198088A (zh) * 2011-11-07 2013-07-10 Sap股份公司 基于阴影分页的日志段目录
CN104252406A (zh) * 2013-06-28 2014-12-31 华为技术有限公司 数据处理的方法及装置
CN105049260A (zh) * 2015-08-24 2015-11-11 浪潮(北京)电子信息产业有限公司 日志管理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8412689B2 (en) * 2010-07-07 2013-04-02 Microsoft Corporation Shared log-structured multi-version transactional datastore with metadata to enable melding trees
CN102306168A (zh) * 2011-08-23 2012-01-04 成都市华为赛门铁克科技有限公司 日志操作方法、装置及文件***
CN102541982A (zh) * 2011-10-25 2012-07-04 曙光信息产业(北京)有限公司 一种组织和访问元数据文件日志的方法
CN103198088A (zh) * 2011-11-07 2013-07-10 Sap股份公司 基于阴影分页的日志段目录
CN104252406A (zh) * 2013-06-28 2014-12-31 华为技术有限公司 数据处理的方法及装置
CN105049260A (zh) * 2015-08-24 2015-11-11 浪潮(北京)电子信息产业有限公司 日志管理方法和装置

Also Published As

Publication number Publication date
CN106649615A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
US11226987B2 (en) System and method for in-place data writes to reduce fragmentation in a multidimensional database environment
CN102650931B (zh) 一种写入数据的方法及***
CN104615594B (zh) 一种数据更新方法及装置
EP2631821A1 (en) File storage method and device thereof
CN104268099B (zh) 一种管理数据读写的方法及装置
CN107045531A (zh) 一种优化hdfs小文件存取的***及方法
CN103064639A (zh) 数据存储方法及装置
US10976946B2 (en) Method and computer system for managing blocks
CN104281717B (zh) 一种建立海量id映射关系的方法
CN101783740B (zh) 消息文件管理方法及装置
CN102158349A (zh) 一种日志管理装置及方法
CN104268088A (zh) 车载dvr硬盘数据存储方法
KR102061466B1 (ko) 메모리 관리를 위한 보존 가비지 콜렉팅 및 정수 태깅 기법
CN107402870B (zh) 一种元数据服务器中日志段的处理方法及装置
CN110399096B (zh) 分布式文件***元数据缓存重删的方法、装置以及设备
US11625187B2 (en) Method and system for intercepting a discarded page for a memory swap
CN103473298A (zh) 数据归档方法和装置以及存储***
US11287996B2 (en) Method, device and computer program product for storing data
CN106155917A (zh) 内存管理方法及装置
CN104408128B (zh) 一种基于b+树异步更新索引的读优化方法
CN104133970A (zh) 一种数据空间管理方法及装置
US10002458B2 (en) Data plot processing
CN106649615B (zh) 一种日志段管理方法及装置
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN102270179B (zh) 用于cad***的基于片元的数据存储和处理方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200828

Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province

Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601

Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant