CN117472907A - 多集群索引的管理方法、***、装置、存储介质 - Google Patents
多集群索引的管理方法、***、装置、存储介质 Download PDFInfo
- Publication number
- CN117472907A CN117472907A CN202311483200.2A CN202311483200A CN117472907A CN 117472907 A CN117472907 A CN 117472907A CN 202311483200 A CN202311483200 A CN 202311483200A CN 117472907 A CN117472907 A CN 117472907A
- Authority
- CN
- China
- Prior art keywords
- index
- cluster
- target
- management
- clusters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title description 151
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000010076 replication Effects 0.000 claims description 23
- 238000012986 modification Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000806 elastomer Substances 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2264—Multidimensional index structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种多集群索引的管理方法、***、装置、存储介质及电子装置,其中,该方法包括:从数据库中获取多个集群的索引列表以及索引列表中包括的每个索引的配置信息;基于配置信息确定多个集群中包括的待管理的目标集群;基于配置信息中包括的管理要求对目标集群的目标索引进行管理。通过本发明,解决了相关技术中存在的管理集群的索引效率低的问题,达到提高管理集群索引的效率的效果。
Description
技术领域
本发明实施例涉及通信领域,具体而言,涉及一种多集群索引的管理方法、***、装置、存储介质及电子装置。
背景技术
在相关技术中,现有的多ES集群索引生命周期管理技术在面对大规模数据集时存在一些缺点和挑战,需要解决:
一、缺乏统一管理:现有技术通常无法提供一种统一的方法来管理多个ES集群上的索引生命周期,导致操作人员在不同集群上进行繁琐的手动配置和管理。
二、性能限制:在处理大规模数据集时,现有技术可能面临性能瓶颈,处理速度较慢,无法满足业务需求。
三、复杂的配置:现有技术的配置复杂,需要操作人员编写复杂的规则和脚本,且不易维护和扩展,降低了***的易用性和可扩展性。
由此可知,相关技术中存在管理多集群索引效率低的问题。
针对相关技术中存在的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种多集群索引的管理方法、***、装置、存储介质及电子装置,以至少解决相关技术中存在的管理多集群索引效率低的问题。
根据本发明的一个实施例,提供了一种多集群索引的管理方法,包括:从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;基于所述配置信息确定多个所述集群中包括的待管理的目标集群;基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
根据本发明的另一个实施例,提供了一种多集群索引的管理***,包括:多个集群,多个所述集群中包括的每个所述集群中存储有索引以及所述索引对应的文档数据;数据库,所述数据库用于存储多个所述集群的索引的索引列表以及所述索引的配置信息;调度器,所述调度器与多个所述集群连接,与所述数据库连接,用于从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息,基于所述配置信息确定多个所述集群中包括的待管理的目标集群,基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
根据本发明的再一个实施例,提供了一种多集群索引的管理装置,包括:获取模块,用于从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;确定模块,用于基于所述配置信息确定多个所述集群中包括的待管理的目标集群;管理模块,用于基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;根据配置信息确定多个集群中包括的待管理的目标集群;根据配置信息中包括的管理要求对目标集群的目标索引进行管理。由于数据库中可以存储多个集群的索引列表以及索引列表中包括的每个索引的配置信息,实现了对多个集群的统一管理,由于配置信息中包括管理要求,可以根据配置信息中包括的管理要求对目标集群的索引进行管理,提高了管理效率。因此,可以解决相关技术中存在的管理集群的索引效率低的问题,达到提高管理集群索引的效率的效果。
附图说明
图1是本发明实施例的一种多集群索引的管理方法的移动终端的硬件结构框图;
图2是根据本发明实施例的多集群索引的管理方法的流程图;
图3是根据本发明实施例的多集群索引的管理***结构示意图;
图4是根据本发明实施例的多集群索引的管理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
在后端处理数据的过程中都会使用Elasticsearch(简称ES)***。在这些应用中,日益增长的数据量和其特有的数据处理方式,常常会产生数以亿计的记录。这些海量数据会消耗大量的磁盘存储空间和***资源,严重降低集群性能甚至使***瘫痪。因此,ES***经常需要实现对数据存储的管理,周期性地将旧的数据删除,以保证ES***的性能和稳定。随着大数据应用的广泛发展,企业日益面临处理海量数据的挑战。在面对海量数据时,使用多个Elasticsearch(ES)集群用于索引管理已成为一种常见的解决方案。对于ES索引的生命周期管理可以使用ES的生命周期管理API和Curator工具。
ES的生命周期管理API允许用户定义索引的生命周期策略,例如基于时间的过期和删除。通过配置生命周期策略,可以实现自动管理索引的生命周期,从而减少操作人员的工作量。然而,当前的生命周期管理API主要针对单个ES集群的索引管理,并没有提供用于跨多个ES集群的统一管理方法。
Curator是一个流行的开源工具,用于管理和维护ES集群。它提供了一些功能,如索引快照与清理、分片管理等。但是,Curator主要侧重于单个ES集群的管理,对于多ES集群的索引生命周期管理还存在一些限制和挑战。
在相关技术中,在多ES集群索引生命周期管理方面存在以下缺点:
一、缺乏统一管理:现有技术通常无法提供一种统一的方法来管理多个ES集群上的索引生命周期。操作人员需要在不同集群上进行手动配置和管理,导致操作繁琐、易错和工作量增加。
二、受限制的性能:面对大规模的数据集时,现有技术可能面临性能瓶颈。由于无法进行并发处理或优化,处理速度较慢,无法满足实时业务需求。
三、复杂的配置:现有技术的配置过程复杂,需要操作人员编写复杂的规则和脚本。这导致配置错误的风险增加,也增加了***管理和维护的难度。
四、缺乏智能化和自动化:现有技术大多需要操作人员手动执行索引生命周期管理任务。缺乏智能化的决策机制,无法智能地根据具体条件或规则自动执行索引操作。
五、缺乏可扩展性:现有技术可能在处理大规模数据集时缺乏良好的可扩展性。随着数据量的增加,现有技术可能无法有效处理和管理大量的索引。
综上所述,相关技术中,在多ES集群索引生命周期管理方面存在缺乏统一管理、性能受限、复杂配置、缺乏智能化和自动化以及可扩展性差等缺点。
针对相关技术中存在的上述问题,提出以下实施例。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种多集群索引的管理方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的多集群索引的管理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种多集群索引的管理方法,图2是根据本发明实施例的多集群索引的管理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;
步骤S204,基于所述配置信息确定多个所述集群中包括的待管理的目标集群;
步骤S206,基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
在上述实施例中,集群可以是Elasticsearch集群,Elasticsearch是一个基于开源的分布式搜索和分析引擎,它是建立在Apache Lucene库之上的。它被广泛用于实时数据索引、搜索和分析,适用于处理大量、多变的数据。在Elasticsearch中,索引(Index)是指逻辑上相关联的文档的集合。它类似于传统数据库中的表,但在Elasticsearch中,索引更加灵活和自由,可以动态创建字段和进行全文搜索。
在上述实施例中,多集群索引的管理方法的执行主体可以是调度器。多集群索引的管理方法可以应用在多集群索引的管理***中,多集群索引的管理***可以包括多个集群、调度器以及数据库。调度器与数据库连接,可以从数据库中获取多个集群的索引列表以及索引列表中包括的每个索引的配置信息。其中,配置信息中可以包括索引创建的日期、索引的管理要求、管理索引的时机等,索引的管理要求可以包括索引跨级群复制信息、索引的修改信息等。管理索引的时机可以包括索引保留周期、索引管理时机等。可以根据配置信息中包括的管理要求在管理索引的时机达到时对目标集群的索引进行管理。
在上述实施例中,多集群索引的管理***结构示意图可参见附图3,如图3所示,多集群索引的管理***还可以包括索引管理单元。索引管理单元对应于图3中的索引定义/维护/删除。即索引管理单元支持集群管理员通过多集群索引的管理***来实现一站式的多ES集群索引的日常管理工作,包括索引创建、定义索引模版、定义索引保留周期、索引的修改、索引的删除、索引的跨集群复制。
对于分布在不同地域数据中心的多个ES集群,通过多集群索引的管理***能够方便的管理,同时,多集群索引的管理***中还能够支持不同版本的Elasticsearch集群,对管理员屏蔽了不同版本之间的差异,管理起来更加简便。也就是说,多个集群中包括的集群的版本可以相同,也可以不同。
调度器单元用于连接至ES集群,通过网络协议获取ES索引和文档数据。通过数据库中获取集群索引列表以及索引的保留周期,通过调度器设置的定时任务,定期轮询满足清理条件的索引,并对满足条件的索引进行清理。
调度器还支持索引的跨集群复制,对于设置了复制任务的索引,在满足条件时,自动从源集群启动数据复制到目标集群。复制过程中,还支持探测集群的压力,根据集群压力的大小动态调整复制速率,从而保证其他业务的稳定性。
数据库用于保存索引生命周期管理过程中产生的元数据、操作数据以及一些配置数据,包括数据中心、ES集群、索引等配置数据,调度作业历史记录及管理员登录和操作记录,Es集群版本差异等元数据。
跨ES集群的索引生命周期管理方法实现了对ES集群操作的封装和抽象,可以自动化地在多个不同的ES集群之间复制索引和数据,同时也可以定期地清理旧的索引数据。
通过本发明,从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;根据配置信息确定多个集群中包括的待管理的目标集群;根据配置信息中包括的管理要求对目标集群的目标索引进行管理。由于数据库中可以存储多个集群的索引列表以及索引列表中包括的每个索引的配置信息,实现了对多个集群的统一管理,由于配置信息中包括管理要求,可以根据配置信息中包括的管理要求对目标集群的索引进行管理,提高了管理效率。因此,可以解决相关技术中存在的管理集群的索引效率低的问题,达到提高管理集群索引的效率的效果。
在一个示例性实施例中,基于所述配置信息确定多个所述集群中包括的待管理的目标集群包括:确定每个所述配置信息中包括的索引保留周期;确定所述索引保留周期中包括的到期索引周期对应的第一索引;将所述第一索引对应的集群确定为所述目标集群。在本实施例中,可以通过数据库中获取集群索引列表以及索引的索引保留周期,通过调度器设置的定时任务,定期轮询满足清理条件的索引,并对满足条件的索引进行清理。其中,满足清理条件的索引即为索引保留周期到期的索引,可以确定该索引对应的目标集群,在目标集群中对该索引进行清除。
在一个示例性实施例中,基于所述配置信息确定多个所述集群中包括的待管理的目标集群包括:确定每个所述配置信息中包括的索引管理时机;确定所述索引管理时机中包括的达到索引管理时机的第二索引;将所述第二索引对应的集群确定为所述目标集群。在本实施例中,配置信息中还可以包括索引管理时机。索引管理时机可以是管理时间,确定达到索引管理时机的第二索引,将第二索引对应的集群确定为目标集群。当目标集群的索引管理时机到达时,可以对目标集群中的索引进行管理。其中,管理可以包括修改、复制等。
在一个示例性实施例中,基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理包括以下至少之一:在所述管理要求中包括清除索引操作的情况下,清除所述目标集群中包括的所述目标索引以及所述目标索引对应的文档数据;在所述管理要求中包括修改索引操作的情况下,基于所述配置信息中包括的修改信息修改所述目标索引以及所述目标索引对应的文档数据;在所述管理要求中包括复制索引操作的情况下,基于所述配置信息中包括的复制信息复制所述目标索引以及所述目标索引对应的文档数据。在本实施例中,在管理要求为清除索引时,可以清除目标集群中包括的目标索引以及目标索引对应的文档数据。在管理要求为修改索引操作时,可以从配置信息中确定出修改信息,利用修改信息中的更新内容替换目标索引对应的文档数据中的待替换内容。在管理要求为复制索引操作时,可以确定配置信息中包括的复制信息。其中,复制信息中可以包括接收集群以及待复制的数据。可以根据复制信息对索引进行复制。
在一个示例性实施例中,基于所述配置信息中包括的复制信息复制所述目标索引以及所述目标索引对应的文档数据包括:基于所述复制信息从所述文档数据中确定复制数据;以及接收所述复制数据的接收集群;将所述复制数据以及所述目标索引复制到所述接收集群中。在本实施例中,复制信息中可以指示复制数据以及接收集群,将复制数据以及目标索引复制到接收集群中,以对目标索引进行备份。其中,复制数据可以是文档数据中的全部数据,也可以是文档数据中的部分数据。
在一个示例性实施例中,将所述复制数据以及所述目标索引复制到所述接收集群中包括:确定所述接收集群的负载信息;基于所述负载信息确定复制所述复制数据的复制速率;按照所述复制速率将所述复制数据以及所述目标索引复制到所述接收集群中。在本实施例中,复制过程中,还支持探测集群的压力,根据集群压力的大小动态调整复制速率,从而保证其他业务的稳定性。
在一个示例性实施例中,所述方法还包括:从所述数据库中获取索引创建信息,其中,所述索引创建信息中包括用于创建索引的创建集群;在所述创建集群中按照所述索引创建信息创建索引。在本实施例中,多集群索引的管理***的索引管理单元还可以在集群中创建索引。在创建索引时,可以将索引创建信息存储到数据中,调度器可以从数据库中获取索引创建信息。索引创建信息中可以包括用于创建索引的创建集群。调度器可以在创建信息中包括的创建时机达到的情况下,在创建集群中按照创建信息创建索引。其中,创建信息可以包括索引的配置信息。
在前述实施例中,多集群索引的管理方法适用于多ES集群的索引生命周期管理,能够统一管理和监控多个ES集群上的索引。通过定义灵活的策略和任务调度,实现自动化的索引管理。引入并发处理和性能优化机制,提高索引生命周期管理的效率和吞吐量。
在前述实施例中,本发明可以达到以下效果:
一、实现了对多ES集群的索引生命周期管理的统一和集中控制。
二、引入了自动化的索引管理策略和任务调度,减轻了操作人员的工作负担。
三、支持大规模数据集的处理,并通过并发处理提高了性能。
四、可扩展性强,易于配置和使用。
在本实施例中还提供了一种多集群索引的管理***,包括:多个集群,多个所述集群中包括的每个所述集群中存储有索引以及所述索引对应的文档数据;
数据库,所述数据库用于存储多个所述集群的索引的索引列表以及所述索引的配置信息;
调度器,所述调度器与多个所述集群连接,与所述数据库连接,用于从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息,基于所述配置信息确定多个所述集群中包括的待管理的目标集群,基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
在上述实施例中,集群可以是Elasticsearch集群,Elasticsearch是一个基于开源的分布式搜索和分析引擎,它是建立在Apache Lucene库之上的。它被广泛用于实时数据索引、搜索和分析,适用于处理大量、多变的数据。在Elasticsearch中,索引(Index)是指逻辑上相关联的文档的集合。它类似于传统数据库中的表,但在Elasticsearch中,索引更加灵活和自由,可以动态创建字段和进行全文搜索。
在上述实施例中,多集群索引的管理方法的执行主体可以是调度器。多集群索引的管理方法可以应用在多集群索引的管理***中,多集群索引的管理***可以包括多个集群、调度器以及数据库。调度器与数据库连接,可以从数据库中获取多个集群的索引列表以及索引列表中包括的每个索引的配置信息。其中,配置信息中可以包括索引创建的日期、索引的管理要求、管理索引的时机等,索引的管理要求可以包括索引跨级群复制信息、索引的修改信息等。管理索引的时机可以包括索引保留周期、索引管理时机等。可以根据配置信息中包括的管理要求在管理索引的时机达到时对目标集群的索引进行管理。
在上述实施例中,多集群索引的管理***结构示意图可参见附图3,如图3所示,多集群索引的管理***还可以包括索引管理单元。索引管理单元对应于图3中的索引定义/维护/删除。即索引管理单元支持集群管理员通过多集群索引的管理***来实现一站式的多ES集群索引的日常管理工作,包括索引创建、定义索引模版、定义索引保留周期、索引的修改、索引的删除、索引的跨集群复制。
对于分布在不同地域数据中心的多个ES集群,通过多集群索引的管理***能够方便的管理,同时,多集群索引的管理***中还能够支持不同版本的Elasticsearch集群,对管理员屏蔽了不同版本之间的差异,管理起来更加简便。也就是说,多个集群中包括的集群的版本可以相同,也可以不同。
调度器单元用于连接至ES集群,通过网络协议获取ES索引和文档数据。通过数据库中获取集群索引列表以及索引的保留周期,通过调度器设置的定时任务,定期轮询满足清理条件的索引,并对满足条件的索引进行清理。
调度器还支持索引的跨集群复制,对于设置了复制任务的索引,在满足条件时,自动从源集群启动数据复制到目标集群。复制过程中,还支持探测集群的压力,根据集群压力的大小动态调整复制速率,从而保证其他业务的稳定性。
数据库用于保存索引生命周期管理过程中产生的元数据、操作数据以及一些配置数据,包括数据中心、ES集群、索引等配置数据,调度作业历史记录及管理员登录和操作记录,Es集群版本差异等元数据。
跨ES集群的索引生命周期管理方法实现了对ES集群操作的封装和抽象,可以自动化地在多个不同的ES集群之间复制索引和数据,同时也可以定期地清理旧的索引数据。
通过本发明,从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;根据配置信息确定多个集群中包括的待管理的目标集群;根据配置信息中包括的管理要求对目标集群的目标索引进行管理。由于数据库中可以存储多个集群的索引列表以及索引列表中包括的每个索引的配置信息,实现了对多个集群的统一管理,由于配置信息中包括管理要求,可以根据配置信息中包括的管理要求对目标集群的索引进行管理,提高了管理效率。因此,可以解决相关技术中存在的管理集群的索引效率低的问题,达到提高管理集群索引的效率的效果。
在一个示例性实施例中,所述多集群索引的管理***还包括:索引管理单元,所述索引管理单元与所述数据库连接,用于将接收到的索引管理指令中包括的管理信息转换为配置信息,并将所述配置信息存储在所述数据库中包括的与所述索引管理指令对应的集群的集群信息中。在本实施例中,用户可以通过多集群索引的管理***的控制界面输入索引管理指令。其中,索引管理指令中包括管理信息。管理信息包括待管理的目标集群、目标集群的索引,管理要求、管理信息。其中,管理要求可以包括修改、创建、删除等。管理信息中还可以包括管理时机,管理时机包括索引保留周期、索引管理时机、索引创建时机等。在管理要求为清除索引时,可以清除目标集群中包括的目标索引以及目标索引对应的文档数据。在管理要求为修改索引操作时,管理信息中还可以修改信息,如更新内容以及待替换内容。可以从配置信息中确定出修改信息,利用修改信息中的更新内容替换目标索引对应的文档数据中的待替换内容。在管理要求为复制索引操作时,管理信息可以包括复制信息,其中,复制信息中可以包括接收集群以及待复制的数据。可以根据复制信息对索引进行复制。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种多集群索引的管理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的多集群索引的管理装置的结构框图,如图4所示,该装置包括:
获取模块42,用于从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;
确定模块44,用于基于所述配置信息确定多个所述集群中包括的待管理的目标集群;
管理模块46,用于基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
在一个示例性实施例中,确定模块44可以通过如下方式实现基于所述配置信息确定多个所述集群中包括的待管理的目标集群:确定每个所述配置信息中包括的索引保留周期;确定所述索引保留周期中包括的到期索引周期对应的第一索引;将所述第一索引对应的集群确定为所述目标集群。
在一个示例性实施例中,确定模块44可以通过如下方式实现基于所述配置信息确定多个所述集群中包括的待管理的目标集群:确定每个所述配置信息中包括的索引管理时机;确定所述索引管理时机中包括的达到索引管理时机的第二索引;将所述第二索引对应的集群确定为所述目标集群。
在一个示例性实施例中,管理模块46可以通过如下至少之一实现基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理:在所述管理要求中包括清除索引操作的情况下,清除所述目标集群中包括的所述目标索引以及所述目标索引对应的文档数据;在所述管理要求中包括修改索引操作的情况下,基于所述配置信息中包括的修改信息修改所述目标索引以及所述目标索引对应的文档数据;在所述管理要求中包括复制索引操作的情况下,基于所述配置信息中包括的复制信息复制所述目标索引以及所述目标索引对应的文档数据。
在一个示例性实施例中,管理模块46可以通过以下方式实现基于所述配置信息中包括的复制信息复制所述目标索引以及所述目标索引对应的文档数据:基于所述复制信息从所述文档数据中确定复制数据;以及接收所述复制数据的接收集群;将所述复制数据以及所述目标索引复制到所述接收集群中。
在一个示例性实施例中,管理模块46可以通过以下方式实现将所述复制数据以及所述目标索引复制到所述接收集群中:确定所述接收集群的负载信息;基于所述负载信息确定复制所述复制数据的复制速率;按照所述复制速率将所述复制数据以及所述目标索引复制到所述接收集群中。
在一个示例性实施例中,所述装置还可以用于从所述数据库中获取索引创建信息,其中,所述索引创建信息中包括用于创建索引的创建集群;在所述创建集群中按照所述索引创建信息创建索引。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种多集群索引的管理方法,其特征在于,包括:
从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;
基于所述配置信息确定多个所述集群中包括的待管理的目标集群;
基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
2.根据权利要求1所述的多集群索引的管理方法,其特征在于,基于所述配置信息确定多个所述集群中包括的待管理的目标集群包括:
确定每个所述配置信息中包括的索引保留周期;
确定所述索引保留周期中包括的到期索引周期对应的第一索引;
将所述第一索引对应的集群确定为所述目标集群。
3.根据权利要求1所述的多集群索引的管理方法,其特征在于,基于所述配置信息确定多个所述集群中包括的待管理的目标集群包括:
确定每个所述配置信息中包括的索引管理时机;
确定所述索引管理时机中包括的达到索引管理时机的第二索引;
将所述第二索引对应的集群确定为所述目标集群。
4.根据权利要求1所述的多集群索引的管理方法,其特征在于,基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理包括以下至少之一:
在所述管理要求中包括清除索引操作的情况下,清除所述目标集群中包括的所述目标索引以及所述目标索引对应的文档数据;
在所述管理要求中包括修改索引操作的情况下,基于所述配置信息中包括的修改信息修改所述目标索引以及所述目标索引对应的文档数据;
在所述管理要求中包括复制索引操作的情况下,基于所述配置信息中包括的复制信息复制所述目标索引以及所述目标索引对应的文档数据。
5.根据权利要求4所述的多集群索引的管理方法,其特征在于,基于所述配置信息中包括的复制信息复制所述目标索引以及所述目标索引对应的文档数据包括:
基于所述复制信息从所述文档数据中确定复制数据;以及接收所述复制数据的接收集群;
将所述复制数据以及所述目标索引复制到所述接收集群中。
6.根据权利要求5所述的多集群索引的管理方法,其特征在于,将所述复制数据以及所述目标索引复制到所述接收集群中包括:
确定所述接收集群的负载信息;
基于所述负载信息确定复制所述复制数据的复制速率;
按照所述复制速率将所述复制数据以及所述目标索引复制到所述接收集群中。
7.根据权利要求1所述的多集群索引的管理方法,其特征在于,所述方法还包括:
从所述数据库中获取索引创建信息,其中,所述索引创建信息中包括用于创建索引的创建集群;
在所述创建集群中按照所述索引创建信息创建索引。
8.一种多集群索引的管理***,其特征在于,包括:
多个集群,多个所述集群中包括的每个所述集群中存储有索引以及所述索引对应的文档数据;
数据库,所述数据库用于存储多个所述集群的索引的索引列表以及所述索引的配置信息;
调度器,所述调度器与多个所述集群连接,与所述数据库连接,用于从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息,基于所述配置信息确定多个所述集群中包括的待管理的目标集群,基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
9.根据权利要求8所述的多集群索引的管理***,其特征在于,所述多集群索引的管理***还包括:索引管理单元,所述索引管理单元与所述数据库连接,用于将接收到的索引管理指令中包括的管理信息转换为配置信息,并将所述配置信息存储在所述数据库中包括的与所述索引管理指令对应的集群的集群信息中。
10.一种多集群索引的管理装置,其特征在于,包括:
获取模块,用于从数据库中获取多个集群的索引列表以及所述索引列表中包括的每个索引的配置信息;
确定模块,用于基于所述配置信息确定多个所述集群中包括的待管理的目标集群;
管理模块,用于基于所述配置信息中包括的管理要求对所述目标集群的目标索引进行管理。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
12.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311483200.2A CN117472907A (zh) | 2023-11-08 | 2023-11-08 | 多集群索引的管理方法、***、装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311483200.2A CN117472907A (zh) | 2023-11-08 | 2023-11-08 | 多集群索引的管理方法、***、装置、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117472907A true CN117472907A (zh) | 2024-01-30 |
Family
ID=89625305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311483200.2A Pending CN117472907A (zh) | 2023-11-08 | 2023-11-08 | 多集群索引的管理方法、***、装置、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117472907A (zh) |
-
2023
- 2023-11-08 CN CN202311483200.2A patent/CN117472907A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10509785B2 (en) | Policy-driven data manipulation in time-series database systems | |
US10248671B2 (en) | Dynamic migration script management | |
CA2930101C (en) | Partition-based data stream processing framework | |
CA2929776C (en) | Client-configurable security options for data streams | |
CA2930026C (en) | Data stream ingestion and persistence techniques | |
US9794135B2 (en) | Managed service for acquisition, storage and consumption of large-scale data streams | |
US8271457B2 (en) | Database management system and method which monitors action results and adjusts user parameters in response | |
US20180189367A1 (en) | Data stream ingestion and persistence techniques | |
US20170357703A1 (en) | Dynamic partitioning techniques for data streams | |
US11042503B1 (en) | Continuous data protection and restoration | |
US20240160531A1 (en) | Continuous data protection | |
CN109271435A (zh) | 一种支持断点续传的数据抽取方法及*** | |
CN109885642B (zh) | 面向全文检索的分级存储方法及装置 | |
CN112597218A (zh) | 一种数据处理方法、装置以及数据湖架构 | |
CN117472907A (zh) | 多集群索引的管理方法、***、装置、存储介质 | |
CN112905386A (zh) | 一种基于生命周期的表数据备份清理方法及装置 | |
US20230161733A1 (en) | Change block tracking for transfer of data for backups | |
CN118377768A (zh) | 一种基于业务流的数据etl方法、装置、设备及介质 | |
CN118227572A (zh) | 元数据变化数据的上报方法及装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |