CN115550368B - 一种元数据上报方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种元数据上报方法、装置、设备及存储介质，涉及数据处理技术领域。该方法包括：根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。通过均衡每个MDS连接到不同的ES，MDS实现通过负载均衡根据ES个数等条件实现元数据上报的压力的均衡，即实现ES负载均衡，从而最大程序发挥上报性能。

Description

一种元数据上报方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种元数据上报方法、装置、设备及存储介质。

背景技术

目前，基于Elasticsearch（ES，开源的分布式、RESTful 风格的搜索和数据分析引擎）的分布式文件***元数据检索功能可以实现百亿级文件亚分钟级检索，支持用户配置简单和复杂的检索条件，高效辅助用户进行数据管理。例如图1所示，文件在进行元数据访问时经过MDS服务（元数据服务），分布式文件***的所有文件由不同的MDS分布负责一部分，每个MDS都会在其负责的文件元数据更新时将最新的元数据上报到不同的ES上，用户配置不同的检索条件从ES集群中检索出符合要求的文件列表。分布式文件***是由多个MDS服务负责，ES集群也是由多个ES服务组成，在元数据上报时MDS上报压力如果都压向同一个ES，会降低ES性能。

发明内容

有鉴于此，本发明的目的在于提供一种元数据上报方法、装置、设备及介质，能够实现元数据上报的压力的均衡，最大程序发挥上报性能。其具体方案如下：

第一方面，本申请公开了一种元数据上报方法，包括：

根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；

按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。

可选的，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，包括：

若所述ES服务的总数量小于所述MDS服务的总数量，则所述负载均衡分配方式为第一目标负载均衡分配方式。

可选的，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，包括：

通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；

根据所述ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个所述MDS服务至少对应一个所述ES服务。

可选的，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，包括：

若所述ES服务的总数量等于所述MDS服务的总数量，则所述负载均衡分配方式为第二目标负载均衡分配方式。

可选的，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，包括：

通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以便所述MDS服务与所述ES服务之间一一对应。

可选的，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，包括：

若所述ES服务的总数量大于所述MDS服务的总数量，则所述负载均衡分配方式为第三目标负载均衡分配方式。

可选的，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，包括：

通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；

将所述初次分配后未分配的ES服务按照所述MDS服务的排序进行再次分配，直至所有所述ES服务分配完成，以便每个所述ES服务至少对应一个所述MDS服务。

可选的，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务之前，还包括：

通过所述分布式文件***为所述ES集群内的每个ES服务配置通信地址，以便所述MDS服务根据所述ES服务的通信地址向相应的ES服务进行数据上报。

可选的，所述元数据上报方法，还包括：

若所述分布式文件***内目标MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障，将所述目标MDS切换到正常运行的ES服务，以便所述目标MDS向所述正常运行的ES服务上报元数据。

可选的，所述若所述分布式文件***内目标MDS服务对应的用于接收元数据上报的候选ES服务出现故障之前，还包括：

所述目标MDS根据所述配置信息向对应的一个候选ES服务进行数据上报，并根据所述候选ES服务反馈的数据上报结果判断该候选ES服务是否存在故障。

可选的，所述将所述目标MDS切换到正常运行的ES服务，包括：

根据所述配置信息判断所述目标MDS对应的所有所述候选ES服务中是否存在正常运行的第一目标ES服务；

根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务。

可选的，所述根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务，包括：

若所述配置信息中所述目标MDS对应的所有所述候选ES服务中不存在正常运行的第一目标ES服务，则轮询所述ES集群中的所有ES服务，直至查询到正常运行的ES服务，并将所述目标MDS切换到所述正常运行的ES服务。

可选的，所述根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务，包括：

若所述配置信息中所述目标MDS对应的所有所述候选ES服务中存在正常运行的第一目标ES服务，则将所述目标MDS切换到所述第一目标ES服务。

可选的，所述元数据上报方法，还包括：

根据所述配置信息判断所述正常运行的ES服务是否命中所述目标MDS对应的所述候选ES服务；

根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理。

可选的，所述根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理，包括：

若所述正常运行的ES服务没有命中所述目标MDS对应的所述候选ES服务，则定时监测所述目标MDS对应的所有所述候选ES服务的状态，并当所述目标MDS对应的所有所述候选ES服务中存在正常运行的第二目标ES服务后，将所述目标MDS切换回所述第二目标ES服务。

可选的，所述根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理，包括：

若所述正常运行的ES服务命中所述目标MDS对应的所述候选ES服务，则保留当前上报连接。

又一方面，本申请公开了一种元数据上报***，包括ES集群和分布式文件***；

其中，所述ES集群中的ES服务与所述分布式文件***中的MDS服务为经过负载均衡分配方式分配的服务；其中，所述负载均衡分配方式为根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系确定的；

所述MDS服务用于根据配置信息向对应的一个ES服务进行元数据上报；所述配置信息为基于分配结果生成的配置信息。

又一方面，本申请公开了一种元数据上报装置，包括：

负载均衡分配方式确定模块，用于根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；

分配模块，用于按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向对应的ES服务进行数据上报。

又一方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述的元数据上报方法。

又一方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的元数据上报方法。

本申请中，根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。可见，通过根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，利用当前适配的负载均衡分配方式进行ES服务的分配，由此，基于Elasticsearch的分布式文件***元数据检索功能，通过均衡每个MDS连接到不同的ES， MDS实现通过负载均衡根据ES个数等条件实现元数据上报的压力的均衡，即实现ES负载均衡，从而最大程序发挥上报性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为现有技术中元数据上报***结构示意图；

图2为本申请提供的一种元数据上报方法流程图；

图3为本申请提供的一种负载均衡分配方式示意图；

图4为本申请提供的又一种负载均衡分配方式示意图；

图5为本申请提供的又一种负载均衡分配方式示意图；

图6为本申请提供的一种具体的元数据上报方法流程图；

图7为本申请提供的一种具体的ES服务故障切换示意图；

图8为本申请提供的一种具体的元数据上报方法流程图；

图9为本申请提供的一种具体的ES服务切回示意图；

图10为本申请提供的一种元数据上报装置结构示意图；

图11为本申请提供的一种电子设备结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，分布式文件***是由多个MDS服务负责，ES集群也是由多个ES服务组成，在元数据上报时MDS上报压力如果都压向同一个ES，会降低ES性能。为克服上述技术问题，本申请提出一种元数据上报方法，能够实现元数据上报的压力的均衡，最大程序发挥上报性能。

本申请实施例公开了一种元数据上报方法，参见图2所示，该方法可以包括以下步骤：

步骤S11：根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式。

本实施例中，首先统计ES集群内ES服务的总数量，以及分布式文件***内MDS服务的总数量，然后根据ES服务的总数量与MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，但至少保证每个MDS至少对应一个ES。ES服务的总数量与MDS服务的总数量之间的大小关系可以分为三种情况，即ES服务的总数量小于MDS服务的总数量，ES服务的总数量等于MDS服务的总数量以及ES服务的总数量大于MDS服务的总数量；每种情况对应不同的负载均衡分配方式。

ES是一个开源的分布式、RESTful 风格的搜索和数据分析引擎，其对Lucene 做了一层封装，它提供了一套简单一致的RESTfulAPI 来帮助实现存储和检索，多个ES构造一套ES分布式搜索集群，在一个ES服务挂掉后ES集群仍能正常提供服务，ES是一种分布式搜索引擎，也是一种分布式数据库。

分布式文件***是指多个文件存储节点服务器构成的集群，文件切块存储，以对象为基本单位，支持一份数据存储在多个节点上，每个节点通过节点间通信都可以获取到完整的数据，当节点出现宕机时根据配置的策略可以进行完整数据的恢复，具有高可用、高性能、高扩展性等特点，其中每个节点都提供元数据服务即MDS，用于元数据的各种访问操作，均衡业务压力。MDS服务，即元数据服务，用于维护文件元数据，处理客户端的不同元数据请求，多个MDS构造元数据服务集群，每个MDS分别负责整***文件树的不同子树，以构成分布式元数据服务集群。

步骤S12：按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。

本实施例中，确定负载均衡分配方式后，按照该方式为每个MDS服务分配ES服务，并将分配的结果保存起来，生成配置信息，以便MDS服务根据配置信息向分配的一个候选ES服务进行元数据上报。即可能一个MDS服务被分配了多个ES服务，但相同时间内MDS服务仅向被分配的所有候选ES服务中的一个候选ES服务进行元数据上报。

本实施例中，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，可以包括：若所述ES服务的总数量小于所述MDS服务的总数量，则所述负载均衡分配方式为第一目标负载均衡分配方式。本实施例中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，可以包括：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；根据所述ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个所述MDS服务至少对应一个所述ES服务。

即由于分布式文件***和ES集群是两套***并且分别配置，相互之前无依赖关系，即ES个数和MDS个数不一样，可以通过MDS编号ES编号，其中，MDS编号可以由MDS集群统一分配从0开始依次递增，0/1/2等，例如图3所示，当ES个数小于MDS个数，分配ES时，根据ES服务的排序位置将ES服务分配给具有相同排序位置的MDS服务，以完成初次分配，然后，根据ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个MDS服务至少对应一个ES服务，此种情况下或存在一个MDS服务对应多个ES服务的情况。

本实施例中，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，可以包括：若所述ES服务的总数量等于所述MDS服务的总数量，则所述负载均衡分配方式为第二目标负载均衡分配方式。本实施例中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，可以包括：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以便所述MDS服务与所述ES服务之间一一对应。例如图4所示，当ES个数等于MDS个数时，一一对应即可。

本实施例中，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，可以包括：若所述ES服务的总数量大于所述MDS服务的总数量，则所述负载均衡分配方式为第三目标负载均衡分配方式。本实施例中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，可以包括：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；将所述初次分配后未分配的ES服务按照所述MDS服务的排序进行再次分配，直至所有所述ES服务分配完成，以便每个所述ES服务至少对应一个所述MDS服务。例如图5所示，即当ES个数大于MDS个数时，ES个数比MDS个数多出来的ES也会均衡分配到各MDS，ES0和ES 3是MDS0的候选ES，ES1和ES 4是MDS1的候选ES，但初始时MDS0只和ES0建立连接。可见，通过以上3种分配方式实现元数据上报的负载均衡。

本实施例中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务之前，还可以包括：通过所述分布式文件***为所述ES集群内的每个ES服务配置通信地址，以便所述MDS服务根据所述ES服务的通信地址向相应的ES服务进行数据上报。即分布式存储集群会配置ES集群每个ES的地址，MDS通过这些地址和ES进行连接通信进行元数据上报。且本实施例不依赖任何服务组件，不会对业务***产生影响，在分布式存储各高级功能中也具有参考价值。

由上可见，本实施例中根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。可见，通过根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，利用当前适配的负载均衡分配方式进行ES服务的分配，由此，基于Elasticsearch的分布式文件***元数据检索功能，通过均衡每个MDS连接到不同的ES， MDS实现通过负载均衡根据ES个数等条件实现元数据上报的压力的均衡，即实现ES负载均衡，从而最大程序发挥上报性能。

本申请实施例公开了一种具体的元数据上报方法，参见图6所示，该方法可以包括以下步骤：

步骤S21：根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式。

步骤S22：按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。

步骤S23：若所述分布式文件***内目标MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障，将所述目标MDS切换到正常运行的ES服务，以便所述目标MDS向所述正常运行的ES服务上报元数据。

任何一个***在运行过程中，故障、服务异常等是常态，实际上正常流程只占功能实现的20%，故障异常处理占功能实现的80%，即28法则，所以基于Elasticsearch实现的分布式文件***元数据检索功能元数据上报，即MDS将数据上传到ES的过程中，ES故障异常是常态，如果不处理则会影响到元数据上报业务，最终影响到用户检索结果，文件更新不及时，用户会检索到不符合用户要求的文件，如果用户执行的是删除操作，则后果是有可能误删数据，造成不可挽回的损失。因此，本实施例中，若分布式文件***内某个MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障时，将目标MDS切换到正常运行的ES服务，即当ES故障时，MDS主动切换至正常的ES服务，实现故障切换功能，以便目标MDS向正常运行的ES服务上报元数据。

本实施例中，所述若所述分布式文件***内目标MDS服务对应的用于接收元数据上报的候选ES服务出现故障之前，还可以包括：所述目标MDS根据所述配置信息向对应的一个候选ES服务进行数据上报，并根据所述候选ES服务反馈的数据上报结果判断该候选ES服务是否存在故障。具体的，判断ES是否正常可以通过向这个ES发送HTTP的GET消息，并根据响应判断。

本实施例中，所述将所述目标MDS切换到正常运行的ES服务，可以包括：根据所述配置信息判断所述目标MDS对应的所有所述候选ES服务中是否存在正常运行的第一目标ES服务；根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务。即本实施例中，在切换服务时，需要先判断目标MDS对应的所有候选ES服务中是否存在正常运行的ES服务，具此选择具体的服务切换对象。

本实施例中，所述根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务，可以包括：若所述配置信息中所述目标MDS对应的所有所述候选ES服务中不存在正常运行的第一目标ES服务，则轮询所述ES集群中的所有ES服务，直至查询到正常运行的ES服务，并将所述目标MDS切换到所述正常运行的ES服务。

本实施例中，所述根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务，可以包括：若所述配置信息中所述目标MDS对应的所有所述候选ES服务中存在正常运行的第一目标ES服务，则将所述目标MDS切换到所述第一目标ES服务。

即当ES故障时，其对应的MDS上报会异常报错，这时监测到ES故障，此时MDS会首先尝试从候选ES中选择正常的ES，如果候选ES全部选择完都不正常，则再从全部ES中依次选择，如果全部ES都不正常会再次从全部ES中选择，直到选择出一个正常的ES，在选择ES期间不进行元数据上报。如图7所示，根据负载均衡分配算法，每个MDS的候选ES分别是：MDS0：ES0、ES3；MDS1：ES1、ES4；MDS2：ES2。当ES0故障时，MDS0会首先选择候选ES，即ES3，如果ES3仍然不正常，则再次从ES0到ES4全部ES中进行逐个尝试选择，如果ES0到ES4也都不正常，则再次遍历ES0到ES4，直至选出一个正常的ES。

可见，MDS在上报元数据过程中，节点上的ES服务可能异常，节点也可能掉电，但ES符合自身的冗余规则，在挂掉一个ES服务或者宕机一个ES节点时仍然能正常提供服务，此时MDS就应该主动选择ES集群中的一个可用ES继续进行元数据上报，而不是死等分配给这个MDS的ES变为正常之后再继续上报，从而实现业务的连续和高可用。且本实施例不依赖任何服务组件，不会对业务***产生影响，在分布式存储各高级功能中也具有参考价值。

其中，关于上述步骤S21、步骤S22的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

由上可见，本实施例中，若所述分布式文件***内目标MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障，将所述目标MDS切换到正常运行的ES服务，以便所述目标MDS向所述正常运行的ES服务上报元数据。可见，当ES发生故障时会影响MDS上报元数据过程，为了保证元数据上报的连续和及时，防止用户检索出不符合用户要求的文件，MDS元数据上报实现自动故障切换，实现分布式***的全局负载均衡和高可用，无需人工干预，提升***的稳定性，更好的辅助用户数据管理，提升产品竞争力，提升用户满意度。

在上述实施例基础上，本申请实施例还公开了一种具体的元数据上报方法，参见图8所示，该方法可以包括以下步骤：

步骤S31：根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式。

步骤S32：按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。

步骤S33：若所述分布式文件***内目标MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障，将所述目标MDS切换到正常运行的ES服务，以便所述目标MDS向所述正常运行的ES服务上报元数据。

步骤S34：根据所述配置信息判断所述正常运行的ES服务是否命中所述目标MDS对应的所述候选ES服务。

步骤S35：根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理。

即上述服务切换可能切换到目标MDS对应的候选ES服务，也可能会切换到非候选的某个正常的ES服务，若切换的为候选ES服务，则当前切换后的状态也是符合负载均衡的，但是，若会切换到非候选的某个正常的ES服务，则当前分配并不符合最初的负载均衡分配，因此，需要进行服务切回处理，以便在正常运行的基础上，实现负载均衡。

本实施例中，所述根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理，可以包括：若所述正常运行的ES服务没有命中所述目标MDS对应的所述候选ES服务，则定时监测所述目标MDS对应的所有所述候选ES服务的状态，并当所述目标MDS对应的所有所述候选ES服务中存在正常运行的第二目标ES服务后，将所述目标MDS切换回所述第二目标ES服务。

本实施例中，所述根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理，可以包括：若所述正常运行的ES服务命中所述目标MDS对应的所述候选ES服务，则保留当前上报连接。即如果ES故障后MDS切换连接其他ES，并且正常提供上报元数据服务，在此期间会定时检查当前连接的ES是否是候选ES，如果不是则定时向候选ES发送消息检查候选ES是否恢复正常，如果恢复则切回候选ES。例如图9所示，ES0故障，MDS0切换连接至ES1，在通过ES1上报元数据的过程中，同时定时检查ES0是否正常，如果ES0正常，则切回ES0，从而实现故障切回和负载均衡。

可见，本实施例中公开的分布式文件***元数据检索功能负载均衡高可用实现方法，通过1.分布式文件***配置各ES的地址；2.MDS根据负载均衡算法均衡分配每个ES到各MDS；3.在MDS上报过程中，如果ES故障，MDS首先尝试从候选ES中选择一个ES，如果正常则使用候选ES；4.如果候选ES都不正常，则从全部ES中依次选择，如果选择一个正常ES则使用这个ES继续进行元数据上报，如果全部ES都不正常，则继续遍历所有ES，直到选择一个正常ES；5.如果MDS当前使用的ES不是候选ES，则定时检测候选ES是否变为正常，如果变为正常则切回候选ES。在ES故障时首选候选ES再选全部ES实现故障的自动切换，实现上报业务的连续可用，定时检测候选ES的状态实现故障后的自动切回，从而实现动态的负载均衡和高可用功能。由此，基于elasticsearch的分布式非结构化存储元数据检索功能，MDS单独实现一套负载均衡和高可用功能，不依赖任何组件，不和分布式***功能耦合，独立的负载均衡和高可用功能实现元数据上报业务的连续高效高可用，保证***的稳定运行，更好地辅助用户进行数据管理，高效开发数据价值。

其中，关于上述步骤S31、步骤S32、步骤S33的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

由上可见，本实施例中根据所述配置信息判断所述正常运行的ES服务是否命中所述目标MDS对应的所述候选ES服务；根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理。通过上报对象切回处理进行服务切回处理，以便在正常运行的基础上，尽量保证负载均衡。根据负载均衡最初分配的MDS和ES对应关系，如果ES故障后MDS选择了不是按照负载均衡算法分配的ES，则实时监测负载均衡分配的ES何时变为正常，如果正常则切回该ES，从而实现全局的动态负载均衡。

相应的，本申请实施例还公开了一种元数据上报***，包括ES集群和分布式文件***；其中，所述ES集群中的ES服务与所述分布式文件***中的MDS服务为经过负载均衡分配方式分配的服务；其中，所述负载均衡分配方式为根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系确定的；所述MDS服务用于根据配置信息向对应的一个ES服务进行元数据上报；所述配置信息为基于分配结果生成的配置信息。

相应的，本申请实施例还公开了一种元数据上报装置，参见图10所示，该装置包括：

负载均衡分配方式确定模块11，用于根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；

分配模块12，用于按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向对应的ES服务进行数据上报。

由上可见，本实施例中根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报。可见，通过根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，利用当前适配的负载均衡分配方式进行ES服务的分配，由此，基于Elasticsearch的分布式文件***元数据检索功能，通过均衡每个MDS连接到不同的ES， MDS实现通过负载均衡根据ES个数等条件实现元数据上报的压力的均衡，即实现ES负载均衡，从而最大程序发挥上报性能。

在一些具体实施例中，所述负载均衡分配方式确定模块11具体可以包括：

第一负载均衡分配方式确定单元，用于若所述ES服务的总数量小于所述MDS服务的总数量，则所述负载均衡分配方式为第一目标负载均衡分配方式。

在一些具体实施例中，所述分配模块12具体可以包括：

初次分配单元，用于通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；

再分配单元，用于根据所述ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个所述MDS服务至少对应一个所述ES服务。

在一些具体实施例中，所述负载均衡分配方式确定模块11具体可以包括：

第二负载均衡分配方式确定单元，用于若所述ES服务的总数量等于所述MDS服务的总数量，则所述负载均衡分配方式为第二目标负载均衡分配方式。

在一些具体实施例中，所述分配模块12具体可以包括：

分配单元，用于通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以便所述MDS服务与所述ES服务之间一一对应。

在一些具体实施例中，所述负载均衡分配方式确定模块11具体可以包括：

第三负载均衡分配方式确定单元，用于若所述ES服务的总数量大于所述MDS服务的总数量，则所述负载均衡分配方式为第三目标负载均衡分配方式。

在一些具体实施例中，所述分配模块12具体可以包括：

初次分配单元，用于通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；

再分配单元，用于将所述初次分配后未分配的ES服务按照所述MDS服务的排序进行再次分配，直至所有所述ES服务分配完成，以便每个所述ES服务至少对应一个所述MDS服务。

在一些具体实施例中，所述元数据上报装置具体可以包括：

地址发送单元，用于通过所述分布式文件***为所述ES集群内的每个ES服务配置通信地址，以便所述MDS服务根据所述ES服务的通信地址向相应的ES服务进行数据上报。

在一些具体实施例中，所述元数据上报装置具体可以包括：

服务切换单元，用于若所述分布式文件***内目标MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障，将所述目标MDS切换到正常运行的ES服务，以便所述目标MDS向所述正常运行的ES服务上报元数据。

在一些具体实施例中，所述元数据上报装置具体可以包括：

故障判断单元，用于所述目标MDS根据所述配置信息向对应的一个候选ES服务进行数据上报，并根据所述候选ES服务反馈的数据上报结果判断该候选ES服务是否存在故障。

在一些具体实施例中，所述服务切换单元具体可以包括：

候选服务判断单元，用于根据所述配置信息判断所述目标MDS对应的所有所述候选ES服务中是否存在正常运行的第一目标ES服务；

ES服务切换单元，用于根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务。

在一些具体实施例中，所述ES服务切换单元具体可以包括：

第一切换单元，用于若所述配置信息中所述目标MDS对应的所有所述候选ES服务中不存在正常运行的第一目标ES服务，则轮询所述ES集群中的所有ES服务，直至查询到正常运行的ES服务，并将所述目标MDS切换到所述正常运行的ES服务。

在一些具体实施例中，所述ES服务切换单元具体可以包括：

第二切换单元，用于若所述配置信息中所述目标MDS对应的所有所述候选ES服务中存在正常运行的第一目标ES服务，则将所述目标MDS切换到所述第一目标ES服务。

在一些具体实施例中，所述元数据上报装置具体可以包括：

命中判断单元，用于根据所述配置信息判断所述正常运行的ES服务是否命中所述目标MDS对应的所述候选ES服务；

切回判断单元，用于根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理。

在一些具体实施例中，所述切回判断单元具体可以包括：

服务切回单元，用于若所述正常运行的ES服务没有命中所述目标MDS对应的所述候选ES服务，则定时监测所述目标MDS对应的所有所述候选ES服务的状态，并当所述目标MDS对应的所有所述候选ES服务中存在正常运行的第二目标ES服务后，将所述目标MDS切换回所述第二目标ES服务。

在一些具体实施例中，所述切回判断单元具体可以包括：

服务保留单元，用于若所述正常运行的ES服务命中所述目标MDS对应的所述候选ES服务，则保留当前上报连接。

进一步的，本申请实施例还公开了一种电子设备，参见图11所示，图中的内容不能被认为是对本申请的使用范围的任何限制。

图11为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的元数据上报方法中的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***221、计算机程序222及包括配置信息在内的数据223等，存储方式可以是短暂存储或者永久存储。

其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的元数据上报方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的元数据上报方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种元数据上报方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种元数据上报方法，其特征在于，应用于基于ES的元数据检索架构，包括：

根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；

按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向分配的一个候选ES服务进行元数据上报；

其中，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，包括：若所述ES服务的总数量小于所述MDS服务的总数量，则所述负载均衡分配方式为第一目标负载均衡分配方式；其中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，包括：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；根据所述ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个所述MDS服务至少对应一个所述ES服务；

其中，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，包括：若所述ES服务的总数量等于所述MDS服务的总数量，则所述负载均衡分配方式为第二目标负载均衡分配方式；其中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，包括：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以便所述MDS服务与所述ES服务之间一一对应；

其中，所述根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式，包括：若所述ES服务的总数量大于所述MDS服务的总数量，则所述负载均衡分配方式为第三目标负载均衡分配方式；其中，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，包括：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；将所述初次分配后未分配的ES服务按照所述MDS服务的排序进行再次分配，直至所有所述ES服务分配完成，以便每个所述ES服务至少对应一个所述MDS服务。

2.根据权利要求1所述的元数据上报方法，其特征在于，所述按照所述负载均衡分配方式为每个所述MDS服务分配ES服务之前，还包括：

通过所述分布式文件***为所述ES集群内的每个ES服务配置通信地址，以便所述MDS服务根据所述ES服务的通信地址向相应的ES服务进行数据上报。

3.根据权利要求1所述的元数据上报方法，其特征在于，还包括：

若所述分布式文件***内目标MDS服务当前对应的用于接收元数据上报的候选ES服务出现故障，将所述目标MDS切换到正常运行的ES服务，以便所述目标MDS向所述正常运行的ES服务上报元数据。

4.根据权利要求3所述的元数据上报方法，其特征在于，所述若所述分布式文件***内目标MDS服务对应的用于接收元数据上报的候选ES服务出现故障之前，还包括：

所述目标MDS根据所述配置信息向对应的一个候选ES服务进行数据上报，并根据所述候选ES服务反馈的数据上报结果判断该候选ES服务是否存在故障。

5.根据权利要求3所述的元数据上报方法，其特征在于，所述将所述目标MDS切换到正常运行的ES服务，包括：

根据所述配置信息判断所述目标MDS对应的所有所述候选ES服务中是否存在正常运行的第一目标ES服务；

根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务。

6.根据权利要求5所述的元数据上报方法，其特征在于，所述根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务，包括：

若所述配置信息中所述目标MDS对应的所有所述候选ES服务中不存在正常运行的第一目标ES服务，则轮询所述ES集群中的所有ES服务，直至查询到正常运行的ES服务，并将所述目标MDS切换到所述正常运行的ES服务。

7.根据权利要求5所述的元数据上报方法，其特征在于，所述根据判断结果确定针对所述目标MDS的上报对象切换方式，并根据所述上报对象切换方式将所述目标MDS切换到正常运行的ES服务，包括：

若所述配置信息中所述目标MDS对应的所有所述候选ES服务中存在正常运行的第一目标ES服务，则将所述目标MDS切换到所述第一目标ES服务。

8.根据权利要求3所述的元数据上报方法，其特征在于，还包括：

根据所述配置信息判断所述正常运行的ES服务是否命中所述目标MDS对应的所述候选ES服务；

根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理。

9.根据权利要求8所述的元数据上报方法，其特征在于，所述根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理，包括：

若所述正常运行的ES服务没有命中所述目标MDS对应的所述候选ES服务，则定时监测所述目标MDS对应的所有所述候选ES服务的状态，并当所述目标MDS对应的所有所述候选ES服务中存在正常运行的第二目标ES服务后，将所述目标MDS切换回所述第二目标ES服务。

10.根据权利要求8所述的元数据上报方法，其特征在于，所述根据命中结果，判断是否对所述目标MDS当前对应的所述正常运行的ES服务进行上报对象切回处理，包括：

若所述正常运行的ES服务命中所述目标MDS对应的所述候选ES服务，则保留当前上报连接。

11.一种元数据上报***，其特征在于，包括ES集群和分布式文件***；

其中，所述ES集群中的ES服务与所述分布式文件***中的MDS服务为经过负载均衡分配方式分配的服务；其中，所述负载均衡分配方式为根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系确定的；

所述MDS服务用于根据配置信息向对应的一个ES服务进行元数据上报；所述配置信息为基于分配结果生成的配置信息；

其中，若所述ES服务的总数量小于所述MDS服务的总数量，则所述负载均衡分配方式为第一目标负载均衡分配方式；所述第一目标负载均衡分配方式为：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；根据所述ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个所述MDS服务至少对应一个所述ES服务；

其中，若所述ES服务的总数量等于所述MDS服务的总数量，则所述负载均衡分配方式为第二目标负载均衡分配方式；所述第二目标负载均衡分配方式为：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以便所述MDS服务与所述ES服务之间一一对应；

其中，若所述ES服务的总数量大于所述MDS服务的总数量，则所述负载均衡分配方式为第三目标负载均衡分配方式；所述第三目标负载均衡分配方式为：通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；将所述初次分配后未分配的ES服务按照所述MDS服务的排序进行再次分配，直至所有所述ES服务分配完成，以便每个所述ES服务至少对应一个所述MDS服务。

12.一种元数据上报装置，其特征在于，包括：

负载均衡分配方式确定模块，用于根据ES集群内ES服务的总数量与分布式文件***内MDS服务的总数量之间的大小关系，确定出对应的负载均衡分配方式；

分配模块，用于按照所述负载均衡分配方式为每个所述MDS服务分配ES服务，并基于分配结果生成配置信息，以便所述MDS服务根据所述配置信息向对应的ES服务进行数据上报；

其中，所述负载均衡分配方式确定模块，还用于若所述ES服务的总数量小于所述MDS服务的总数量，则所述负载均衡分配方式为第一目标负载均衡分配方式；对应的，所述分配模块，还用于通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；根据所述ES服务的排序，从头依次选取一个ES服务分配给所述初次分配后未被分配ES服务的MDS服务，以便每个所述MDS服务至少对应一个所述ES服务；

其中，所述负载均衡分配方式确定模块，还用于若所述ES服务的总数量等于所述MDS服务的总数量，则所述负载均衡分配方式为第二目标负载均衡分配方式；对应的，所述分配模块，还用于通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以便所述MDS服务与所述ES服务之间一一对应；

其中，所述负载均衡分配方式确定模块，还用于若所述ES服务的总数量大于所述MDS服务的总数量，则所述负载均衡分配方式为第三目标负载均衡分配方式；对应的，所述分配模块，还用于通过对所有所述MDS服务进行排序，以及对所有所述ES服务进行排序，根据所述ES服务的排序位置将所述ES服务分配给具有相同排序位置的所述MDS服务，以完成初次分配；将所述初次分配后未分配的ES服务按照所述MDS服务的排序进行再次分配，直至所有所述ES服务分配完成，以便每个所述ES服务至少对应一个所述MDS服务。

13.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至10任一项所述的元数据上报方法。

14.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至10任一项所述的元数据上报方法。

Images