CN103049351B - 多元数据服务器的日志处理方法和装置 - Google Patents
多元数据服务器的日志处理方法和装置 Download PDFInfo
- Publication number
- CN103049351B CN103049351B CN201210541441.3A CN201210541441A CN103049351B CN 103049351 B CN103049351 B CN 103049351B CN 201210541441 A CN201210541441 A CN 201210541441A CN 103049351 B CN103049351 B CN 103049351B
- Authority
- CN
- China
- Prior art keywords
- copy
- daily record
- primary copy
- metadata
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种多元数据服务器的日志处理方法，包括：在主副本在内存中保存日志之后，将日志传送给从副本；主副本和从副本分别进行记录日志设备和应用元数据磁盘的操作；以及当主副本和从副本完成应用元数据磁盘的操作之后，向对方发送应用结束消息。通过本发明的技术方案，能够提高***的可用性和可靠性。
Description
技术领域
本发明总的来说涉及多元数据服务器，更具体地，涉及多元数据服务器的日志处理方法和装置。
背景技术
为了保证多元数据服务器的一致性和原子性，采用了日志***进行完成元数据的数据存储。为了保证数据的原子性，现代日志***采用的一般原则即先写日志后写磁盘的策略。为了防止元数据丢失，只有所有的副本均完成应用以后，才能删除日志，因此，如何即时回收日志设备，是多元数据服务器中一个非常重要的问题。
现有的日志***如hadoop文件***(HDFS)采用定时应用日志，在应用结束后，将日志设备进行回收。在这种方法下，当主副本(元数据服务器组中提供数据服务的副本)发生失效时，由于从副本(元数据服务器中不提供服务，但接受主副本传递的数据的副本)节点需要将日志设备的日志进行才能提供服务，无法及时进行接管(元数据主副本节点失效时，从副本节点代替主副本服务器提供换数据服务)元数据服务，因此，失效时的可用性比较差。同时，若主副本的日志设备损坏时，若这些日志没有传递给从副本，将丢弃这部分日志对应的元数据文件，因此，***的可靠性比较差。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出了多元数据服务器的日志处理方法和装置，能够解决现有技术中可用性和可靠性较差的问题。
根据本发明的一个方面，提供了一种多元数据服务器的日志处理方法，包括：在主副本在内存中保存日志之后，将日志传送给从副本；主副本和从副本分别进行记录日志设备和应用元数据磁盘的操作；以及当主副本和从副本完成应用元数据磁盘的操作之后，向对方发送应用结束消息。
优选地，主副本利用网络消息向从副本传送所述日志。
优选地，在主副本在接收到从副本的应用结束消息之后，应答客户端。
优选地，后台运行一个回收日志线程，当接收到主副本和从副本发送的应用接收消息时，回收日志线程启动回收操作。
优选地，启动回收操作包括：定时检查是否存在可以回收的日志，如果存在则进行回收操作。
根据本发明的另一方面，提供了一种多元数据服务器的日志处理装置，包括：传送模块，用于在主副本在内存中保存日志之后，使主副本将日志传送给从副本；记录和应用模块，用于使主副本和从副本分别进行记录日志设备和应用元数据磁盘的操作；以及发送模块，用于当主副本和从副本完成应用元数据磁盘的操作之后，使主副本和从副本向对方发送应用结束消息。
优选地，传送模块利用网络消息从主副本向所述从副本传送日志。
优选地，该装置还包括应答模块，用于在主副本在接收到从副本的所述应用结束消息之后，应答客户端。
优选地，该装置还包括回收模块，用于后台运行一个回收日志线程，当接收到主副本和从副本发送的应用接收消息时，回收日志线程启动回收操作。
优选地，回收模块定时检查是否存在可以回收的日志，如果存在则进行回收操作。
本发明通过使主副本及时将日志传送给从副本，使得在主副本发生失效时，从副本可以接管主副本的元数据服务，并且由于在主从副本均保存元数据日志之后才应答客户端，所以不会丢失客户端的元数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的多元数据服务器的日志处理方法的流程图；
图2是根据本发明实施例的多元数据服务器的日志处理装置的框图；以及
图3是详细示出根据本发明实施例的日志处理装置的示图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明实施例的多元数据服务器的日志处理方法的流程图。
参照图1，根据本发明的多元数据服务器的日志处理方法包括：S102，在主副本在内存中保存日志之后，将日志传送给从副本；S104，主副本和从副本分别进行记录日志设备和应用元数据磁盘的操作；以及S106，当主副本和从副本完成应用元数据磁盘的操作之后，向对方发送应用结束消息。
这里，主副本可以利用网络消息向从副本传送日志。当然，本领域技术人员应该理解，还可以采用其他消息方式来传送日志。
在本发明的实施例中，主副本在接收到从副本的应用结束消息之后，应答客户端(即，元数据服务器的节点)。这样就能够在主副本失效时，不应答客户端，使得客户端可以重发从副本，因此不会丢失客户端的元数据。
另外，后台运行一个回收日志线程，当接收到主副本和从副本发送的应用接收消息时，回收日志线程启动回收操作。其中，启动回收操作包括：定时检查是否存在可以回收的日志，如果存在则进行回收操作。
图2是根据本发明实施例的多元数据服务器的日志处理装置的框图。
参照图2，根据本发明的多元数据服务器的日志处理装置包括：传送模块22，用于在主副本在内存中保存日志之后，使主副本将日志传送给从副本；记录和应用模块24，用于使主副本和从副本分别进行记录日志设备和应用元数据磁盘的操作；以及发送模块26，用于当主副本和从副本完成应用元数据磁盘的操作之后，使主副本和从副本向对方发送应用结束消息。
这里，传送模块22可以利用网络消息从主副本向从副本传送日志。
此外，该装置还可以包括应答模块，用于在主副本在接收到从副本的应用结束消息之后，应答客户端。
另外，该装置还可以包括回收模块，用于后台运行一个回收日志线程，当接收到主副本和从副本发送的应用接收消息时，回收日志线程启动回收操作。回收模块定时检查是否存在可以回收的日志，如果存在则进行回收操作。
图3是详细示出根据本发明实施例的日志处理装置的示图。
参照图3，元数据副本采用消息(例如，网络消息)传递日志。当主副本收到日志后，在主副本内存中保存日志之后，将日志传递给从副本。
然后，主副本和从副本分别进行记录日志设备和应用元数据磁盘的操作。当任何一方应用元数据磁盘的操作结束之后，向对方通知该结果。当主副本收到从副本的回收日志应答后，应答客户端(元数据服务器的节点)。
此外，当收到所有副本的应用结束消息之后，回收日志。具体来说，在后台启动一个回收日志线程，当接收到主副本和从副本发送的应用接收消息时，启动回收操作，具体为定时检查是否有可回收的日志，若可以，则进行回收动作。
本领域技术人员应该理解，虽然本发明采用了定时回收的策略，但还可以采用其他方式，诸如触发方式。
通过采用本发明的这种方法，可以使得日志被及时传递给从副本，这样，当主副本发生失效时，从副本只需应用了主副本传递的日志，即可以接管主副本的元数据服务。
此外，由于在主从副本均保存了元数据日志后，主副本才应答客户端。因此，当主副本失效时，并没有应答客户端，客户端可以重发从副本，使得不会丢失客户端的元数据。
另外，本发明还采用了异步垃圾回收策略，极大地简化了整个日志***的回收机制。由于是定时进行，可以将这一阶段产生的数据统一进行回收，有利于***采用数据聚合等优化策略，提高性能。
综上所述，借助于本发明的上述技术方案，通过保证在主从副本之间的日志均保存到内存后才应答客户端并进行多次消息通信来通知其他副本节点应用结束使得本发明的日志***与现有技术相比提高了可用性和可靠性。并且通过后台异步回收日志，采用数据聚合技术，将一个时间段的日志进行回收，进一步提高了日志***的性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种多元数据服务器的日志处理方法，其特征在于，所述方法包括：
主副本在内存中保存日志之后，将所述日志传送给从副本；
所述主副本将元数据先后写入与其对应的日志记录设备和磁盘，同时，所述从副本也将所述元数据先后写入与其对应的日志记录设备和磁盘；以及
当所述主副本和所述从副本完成将所述元数据写入与其对应的磁盘的操作之后，向对方发送应用结束消息；
然后，在所述主副本在接收到所述从副本的所述应用结束消息之后，应答客户端。
2.根据权利要求1所述的方法，其特征在于，所述主副本利用网络消息向所述从副本传送所述日志。
3.根据权利要求1所述的方法，其特征在于，后台运行一个回收日志线程，当接收到所述主副本和所述从副本发送的所述应用结束消息时，所述回收日志线程启动回收操作。
4.根据权利要求3所述的方法，其特征在于，启动回收操作包括：定时检查是否存在可以回收的日志，如果存在则进行所述回收操作。
5.一种多元数据服务器的日志处理装置，其特征在于，所述装置包括：
传送模块，用于在主副本在内存中保存日志之后，使所述主副本将所述日志传送给从副本；
写入模块，用于使所述主副本进行将元数据先后写入与其对应的日志记录设备和磁盘的操作，同时也使所述从副本进行将所述元数据先后写入与其对应的日志记录设备和磁盘的操作；以及
发送模块，用于当所述主副本和所述从副本完成将所述元数据写入与其对应的磁盘的操作之后，使所述主副本和所述从副本向对方发送应用结束消息；
应答模块，用于在所述主副本在接收到所述从副本的所述应用结束消息之后，应答客户端。
6.根据权利要求5所述的装置，其特征在于，所述传送模块利用网络消息从所述主副本向所述从副本传送所述日志。
7.根据权利要求5所述的装置，其特征在于，所述装置还包括回收模块，用于后台运行一个回收日志线程，当接收到所述主副本和所述从副本发送的所述应用结束消息时，所述回收日志线程启动回收操作。
8.根据权利要求7所述的装置，其特征在于，所述回收模块定时检查是否存在可以回收的日志，如果存在则进行所述回收操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210541441.3A CN103049351B (zh) | 2012-12-13 | 2012-12-13 | 多元数据服务器的日志处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210541441.3A CN103049351B (zh) | 2012-12-13 | 2012-12-13 | 多元数据服务器的日志处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103049351A CN103049351A (zh) | 2013-04-17 |
| CN103049351B true CN103049351B (zh) | 2016-06-08 |
Family
ID=48062000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210541441.3A Active CN103049351B (zh) | 2012-12-13 | 2012-12-13 | 多元数据服务器的日志处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103049351B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516549B (zh) * | 2013-09-27 | 2018-03-27 | 浪潮电子信息产业股份有限公司 | 一种基于共享对象存储的文件***元数据日志机制 |
| CN103544081B (zh) * | 2013-10-23 | 2015-08-12 | 曙光信息产业(北京)有限公司 | 双元数据服务器的管理方法和装置 |
| CN111190874B (zh) * | 2019-12-27 | 2023-10-03 | 天津中科曙光存储科技有限公司 | 一种分布式存储的高可靠数据日志模块及其构建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6205449B1 (en) * | 1998-03-20 | 2001-03-20 | Lucent Technologies, Inc. | System and method for providing hot spare redundancy and recovery for a very large database management system |
| CN102368267A (zh) * | 2011-10-25 | 2012-03-07 | 曙光信息产业(北京)有限公司 | 一种维护分布式***中副本一致性的方法 |
| CN102508891A (zh) * | 2011-10-25 | 2012-06-20 | 曙光信息产业(北京)有限公司 | 一种基于丢弃的多元数据服务器元数据日志一致性的方法 |
-
2012
- 2012-12-13 CN CN201210541441.3A patent/CN103049351B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6205449B1 (en) * | 1998-03-20 | 2001-03-20 | Lucent Technologies, Inc. | System and method for providing hot spare redundancy and recovery for a very large database management system |
| CN102368267A (zh) * | 2011-10-25 | 2012-03-07 | 曙光信息产业(北京)有限公司 | 一种维护分布式***中副本一致性的方法 |
| CN102508891A (zh) * | 2011-10-25 | 2012-06-20 | 曙光信息产业(北京)有限公司 | 一种基于丢弃的多元数据服务器元数据日志一致性的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103049351A (zh) | 2013-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10831741B2 (en) | Log-shipping data replication with early log record fetching | |
| CN111200624B (zh) | 一种跨网闸数据传输方法及*** | |
| US8401998B2 (en) | Mirroring file data | |
| US11003621B2 (en) | Scalable enterprise content management | |
| CN101997823B (zh) | 一种分布式文件***及其数据访问方法 | |
| CN102955720B (zh) | 一种提高ext文件***稳定性的方法 | |
| US8195613B2 (en) | Transactional archiving of an electronic document | |
| US9910592B2 (en) | System and method for replicating data stored on non-volatile storage media using a volatile memory as a memory buffer | |
| US10303663B1 (en) | Remote durable logging for journaling file systems | |
| US20120303761A1 (en) | Breakpoint continuous transmission method | |
| CN106802892B (zh) | 用于主备数据一致性校验的方法和设备 | |
| CN104092717A (zh) | 消息处理方法及***、消息目的端设备与分布式消息*** | |
| CN104503863A (zh) | 用于虚拟容器***容灾的内核态与用户态数据交换方法 | |
| CN101216794A (zh) | 改进的Server-Less备份方法、存储设备及备份服务器 | |
| CN103049351B (zh) | 多元数据服务器的日志处理方法和装置 | |
| CN106293954A (zh) | 一种基于分布式锁的高可用服务管理方法 | |
| CN104965835B (zh) | 一种分布式文件***的文件读写方法及装置 | |
| US20160139996A1 (en) | Methods for providing unified storage for backup and disaster recovery and devices thereof | |
| CN108205482A (zh) | 文件挂载恢复方法 | |
| CN102904917A (zh) | 海量图片的处理***及其方法 | |
| CN106843760A (zh) | 一种基于重删的异步远程复制***及方法 | |
| CN103530203A (zh) | 遥感卫星数据的异地备份***及方法 | |
| CN102523205A (zh) | 内容校验和的确定方法及装置 | |
| CN116633948A (zh) | 一种广域网数据复制传输方法以及装置 | |
| US8615495B1 (en) | Techniques for providing a differential backup from a storage image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220721 Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Patentee after: Dawning Information Industry (Beijing) Co.,Ltd. Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd. Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. |