CN111752907A - 一种集群日志集中管控方法、***、终端及存储介质 - Google Patents
一种集群日志集中管控方法、***、终端及存储介质 Download PDFInfo
- Publication number
- CN111752907A CN111752907A CN202010470321.3A CN202010470321A CN111752907A CN 111752907 A CN111752907 A CN 111752907A CN 202010470321 A CN202010470321 A CN 202010470321A CN 111752907 A CN111752907 A CN 111752907A
- Authority
- CN
- China
- Prior art keywords
- log
- interface
- synchronization
- slave node
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000001360 synchronised effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种集群日志集中管控方法、***、终端及存储介质,包括:记录集群主节点所有接口操作信息,生成记录日志;设置日志同步周期;根据所述同步周期定期将新生成的记录日志同步更新至从节点。本发明能够减少接口中添加日志带来的日志格式和粒度不统一,无法面向前端提供服务。减少主节点故障,需要切换时的时间消耗,提高用户体验。有效备份日志数据,主从节点无缝切换。
Description
技术领域
本发明涉及服务器集群技术领域,具体涉及一种集群日志集中管控方法、***、终端及存储介质。
背景技术
多节点集群中,主节点对外提供服务,并记录相关日志。但主节点在故障下需要从节点变为主节点对外提供服务。这时候就需要服务和日志可以平移迁移到新的节点上,完成过渡。目前的日志都是分开记录在各个操作接口上,主节点迁移完成后,访问界面接口时,判断主节点是否发生了改变,如果发生则触发日志数据合并,这样不仅造成首次使用接口反应慢,而且容易导致日志量大,中途失败后导致接口无法使用,影响用户体验。
发明内容
针对现有技术的上述不足,本发明提供一种集群日志集中管控方法、***、终端及存储介质,以解决上述技术问题。
第一方面,本发明提供一种集群日志集中管控方法,包括:
记录集群主节点所有接口操作信息,生成记录日志;
设置日志同步周期;
根据所述同步周期定期将新生成的记录日志同步更新至从节点。
进一步的,所述记录集群主节点所有接口操作信息,生成记录日志,包括:
在配置文件中设定接口信息;
调取所述接口信息并根据所述接口信息定位目标接口;
对目标接口进行操作信息的记录,参数的封装和脱敏处理,并在脱敏处理完成后加上时间戳。
进一步的,所述根据所述同步周期定期将新生成的记录日志同步更新至从节点,包括:
校验从节点的接收模块是否正常,如果正常则继续同步日志;
将同步至从节点的数据做已同步标记并记录本次同步时间;
将没有已同步标记的数据同步至从节点。
第二方面,本发明提供一种集群日志集中管控***,包括:
接口记录单元,配置用于记录集群主节点所有接口操作信息,生成记录日志;
周期设置单元,配置用于设置日志同步周期;
日志同步单元,配置用于根据所述同步周期定期同步单元,配置用于根据所述同步周期定期将新生成的记录日志同步更新至从节点。
进一步的,所述接口记录单元包括:
地址配置模块,配置用于在配置文件中设定接口信息;
接口定位模块,配置用于调取所述接口信息并根据所述接口信息定位目标接口;
操作记录模块,配置用于对目标接口进行操作信息的记录,参数的封装和脱敏处理,并在脱敏处理完成后加上时间戳。
进一步的,所述根据所述同步周期定期同步单元包括:
接收校验模块,配置用于校验从节点的接收模块是否正常,如果正常则继续同步日志;
数据标记模块,配置用于将同步至从节点的数据做已同步标记并记录本次同步时间;
数据发送模块,配置用于将没有已同步标记的数据同步至从节点。
第三方面,提供一种终端,包括:
处理器、存储器,其中,
该存储器用于存储计算机程序,
该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。
第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本发明的有益效果在于,
本发明提供的集群日志集中管控方法、***、终端及存储介质,能够减少接口中添加日志带来的日志格式和粒度不统一,无法面向前端提供服务。减少主节点故障,需要切换时的时间消耗,提高用户体验。有效备份日志数据,主从节点无缝切换。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的方法的示意性流程图。
图3是本发明一个实施例的***的示意性框图。
图4为本发明实施例提供的一种终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
图1是本发明一个实施例的方法的示意性流程图。其中,图1执行主体可以为一种集群日志集中管控***。
如图1所示,该方法100包括:
步骤110,记录集群主节点所有接口操作信息,生成记录日志;
步骤120,设置日志同步周期;
步骤130,根据所述同步周期定期将新生成的记录日志同步更新至从节点。
参考图2,具体的,所述集群日志集中管控方法包括:
日志处理程序,根据配置信息,对不同的接口进行操作信息的记录,参数的封装和脱敏处理。处理完成后加上时间戳,记录到数据库中。
日志同步程序,定时同步日志信息到从节点,每次同步只同步上一次同步成功,到本次同步之间的数据。每个节点的同步,先校验从节点是否可达,从节点的接收程序是否正常,如果正常则继续同步时间,如果不正常则不同步数据。同步成功时做相应的标记,同步失败时,记录本次同步时间,当节点可达能同步的时候,会将上次未同步的数据一起同步,当节点通了之后,可以手动触发日志同步程序。
日志接收程序,日志接收程序接收日志同步程序同步过来的日志数据,记录到日志接收程序所在从节点的数据库上。
在多节点集群中主节点对外提供服务,进行日志的处理,即记录主节点各接口操作信息生成记录日志。在日志处理的同时,主节点的日志同步程序会定时的同步日志数据到从节点,在每次同步之前会先执行一次同步检查,检查从节点是否能够正常接收日志同步消息,从节点收到主节点的同步检查消息后,会返回结果给主节点,如果满足同步条件,日志同步程序会同步记录日志到从节点。如果不满足同步条件,本节点本次不同步。
如图3示,该***300包括:
接口记录单元310,配置用于记录集群主节点所有接口操作信息,生成记录日志;
周期设置单元320,配置用于设置日志同步周期;
日志同步单元330,配置用于根据所述同步周期定期同步单元,配置用于根据所述同步周期定期将新生成的记录日志同步更新至从节点。
可选地,作为本发明一个实施例,所述接口记录单元包括:
地址配置模块,配置用于在配置文件中设定接口信息;
接口定位模块,配置用于调取所述接口信息并根据所述接口信息定位目标接口;
操作记录模块,配置用于对目标接口进行操作信息的记录,参数的封装和脱敏处理,并在脱敏处理完成后加上时间戳。
可选地,作为本发明一个实施例,所述根据所述同步周期定期同步单元包括:
接收校验模块,配置用于校验从节点的接收模块是否正常,如果正常则继续同步日志;
数据标记模块,配置用于将同步至从节点的数据做已同步标记并记录本次同步时间;
数据发送模块,配置用于将没有已同步标记的数据同步至从节点。
图4为本发明实施例提供的一种终端***400的结构示意图,该终端***400可以用于执行本发明实施例提供的集群日志集中管控方法。
其中,该终端***400可以包括:处理器410、存储器420及通信单元430。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,该存储器420可以用于存储处理器410的执行指令,存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。当存储器420中的执行指令由处理器410执行时,使得终端400能够执行以下上述方法实施例中的部分或全部步骤。
处理器410为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit,简称IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器410可以仅包括中央处理器(Central Processing Unit,简称CPU)。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
通信单元430,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
因此,本发明能够减少接口中添加日志带来的日志格式和粒度不统一,无法面向前端提供服务。减少主节点故障,需要切换时的时间消耗,提高用户体验。有效备份日志数据,主从节点无缝切换,本实施例所能达到的技术效果可以参见上文中的描述,此处不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中,应该理解到,所揭露的***和方法,可以通过其它的方式实现。例如,以上所描述的***实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,***或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种集群日志集中管控方法,其特征在于,包括:
记录集群主节点所有接口操作信息,生成记录日志;
设置日志同步周期;
根据所述同步周期定期将新生成的记录日志同步更新至从节点。
2.根据权利要求1所述的方法,其特征在于,所述记录集群主节点所有接口操作信息,生成记录日志,包括:
在配置文件中设定接口信息;
调取所述接口信息并根据所述接口信息定位目标接口;
对目标接口进行操作信息的记录,参数的封装和脱敏处理,并在脱敏处理完成后加上时间戳。
3.根据权利要求1所述的方法,其特征在于,所述根据所述同步周期定期将新生成的记录日志同步更新至从节点,包括:
校验从节点的接收模块是否正常,如果正常则继续同步日志;
将同步至从节点的数据做已同步标记并记录本次同步时间;
将没有已同步标记的数据同步至从节点。
4.一种集群日志集中管控***,其特征在于,包括:
接口记录单元,配置用于记录集群主节点所有接口操作信息,生成记录日志;
周期设置单元,配置用于设置日志同步周期;
根据所述同步周期定期同步单元,配置用于根据所述同步周期定期将新生成的记录日志同步更新至从节点。
5.根据权利要求4所述的***,其特征在于,所述接口记录单元包括:
地址配置模块,配置用于在配置文件中设定接口信息;
接口定位模块,配置用于调取所述接口信息并根据所述接口信息定位目标接口;
操作记录模块,配置用于对目标接口进行操作信息的记录,参数的封装和脱敏处理,并在脱敏处理完成后加上时间戳。
6.根据权利要求4所述的***,其特征在于,所述根据所述同步周期定期同步单元包括:
接收校验模块,配置用于校验从节点的接收模块是否正常,如果正常则继续同步日志;
数据标记模块,配置用于将同步至从节点的数据做已同步标记并记录本次同步时间;
数据发送模块,配置用于将没有已同步标记的数据同步至从节点。
7.一种终端,其特征在于,包括:
处理器;
用于存储处理器的执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-3任一项所述的方法。
8.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470321.3A CN111752907A (zh) | 2020-05-28 | 2020-05-28 | 一种集群日志集中管控方法、***、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470321.3A CN111752907A (zh) | 2020-05-28 | 2020-05-28 | 一种集群日志集中管控方法、***、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111752907A true CN111752907A (zh) | 2020-10-09 |
Family
ID=72673636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010470321.3A Withdrawn CN111752907A (zh) | 2020-05-28 | 2020-05-28 | 一种集群日志集中管控方法、***、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111752907A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817989B (zh) * | 2021-01-22 | 2023-07-25 | 网易(杭州)网络有限公司 | 数据处理方法、数据处理装置、存储介质及电子设备 |
-
2020
- 2020-05-28 CN CN202010470321.3A patent/CN111752907A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817989B (zh) * | 2021-01-22 | 2023-07-25 | 网易(杭州)网络有限公司 | 数据处理方法、数据处理装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106713487B (zh) | 数据的同步方法和装置 | |
US8301600B1 (en) | Failover recovery in a distributed data store | |
CN111124277B (zh) | 一种深度学习数据集缓存方法、***、终端及存储介质 | |
CN112286905A (zh) | 数据迁移方法及装置、存储介质、电子设备 | |
CN109558215A (zh) | 虚拟机的备份方法、恢复方法、装置及备份服务器集群 | |
CN108319617B (zh) | 确定数据库主从差异的方法、装置及切换控制方法、装置 | |
CN112235136B (zh) | 一种网络文件***备份方法、***、终端及存储介质 | |
CN111352700A (zh) | 一种虚拟机跨云在线迁移方法、***、终端及存储介质 | |
CN111966449B (zh) | 一种虚拟机备份管理方法、***、终端及存储介质 | |
CN112463239A (zh) | Bios与bmc交互选项默认值修改方法、***、终端及存储介质 | |
CN109361777B (zh) | 分布式集群节点状态的同步方法、同步***及相关装置 | |
CN110659158A (zh) | 基于双机热备环境的Influx DB数据备份方法 | |
CN108810127A (zh) | 基于区块链的灾备方法及装置 | |
CN111552701A (zh) | 确定分布式集群中数据一致性的方法及分布式数据*** | |
CN114064217B (zh) | 一种基于OpenStack的节点虚拟机迁移方法及装置 | |
CN111506331A (zh) | 一种服务器bmc刷新方法、***、终端及存储介质 | |
CN111752907A (zh) | 一种集群日志集中管控方法、***、终端及存储介质 | |
CN114218193A (zh) | 数据迁移方法、装置、计算机设备和可读存储介质 | |
CN114565502A (zh) | Gpu资源管理方法、调度方法、装置、电子设备及存储介质 | |
CN114020279A (zh) | 应用软件分布式部署方法、***、终端及存储介质 | |
CN114168636A (zh) | 基于缓存一致性的数据处理方法、装置、设备及存储介质 | |
CN114610817B (zh) | 数据同步方法、装置、多活***、电子设备及存储介质 | |
CN112003730A (zh) | 一种集群快速部署的方法、***、终端及存储介质 | |
CN110851528A (zh) | 数据库同步方法、装置、存储介质及计算机设备 | |
CN114996033A (zh) | 工程数据管理方法、***、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201009 |
|
WW01 | Invention patent application withdrawn after publication |