CN116069753A - 存算分离方法、***、设备及介质 - Google Patents
存算分离方法、***、设备及介质 Download PDFInfo
- Publication number
- CN116069753A CN116069753A CN202310201755.7A CN202310201755A CN116069753A CN 116069753 A CN116069753 A CN 116069753A CN 202310201755 A CN202310201755 A CN 202310201755A CN 116069753 A CN116069753 A CN 116069753A
- Authority
- CN
- China
- Prior art keywords
- native
- hdfs
- big data
- file
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 title claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 111
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000026676 system process Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了存算分离方法、***、设备及介质，包括：获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。这样，兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。
Description
技术领域
本申请涉及存储技术领域，特别涉及存算分离方法、***、设备及介质。
背景技术
近年来，随着大数据存储业务的持续发展，出于弹性扩容，成本考虑，大数据存储分离成为主要发展方向。并且随着应用需求的不断演变，控制成本、按需索取成为大数据基础技术发展的主要方向。同时面对海量非结构化数据，大数据存储***，实现原生HDFS（即Hadoop Distributed File System，即海杜普分布式文件***）协议支持、非结构化多协议存储统一、突破原有元数据单命名空间缺陷、兼容大数据安全生态是大数据存储分离中的主要挑战。
现有技术中，主要采用以下两种方式实现存算分离：（1）HDFS分布式存储***与计算平台进行分离。这种方式部署复杂度高。（2）通过在计算节点安装插件实际计算平台与分布式存储***的对接，这种方式***可维护性差。
发明内容
有鉴于此，本申请的目的在于提供存算分离方法、***、设备及介质，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。其具体方案如下：
第一方面，本申请公开了一种存算分离方法，应用于存储节点中部署的大数据存储服务，包括：
获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；
基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；
将所述处理结果返回给所述原生HDFS客户端。
可选的，所述将解析后的文件请求发送至分布式文件***，包括：
调用DFS客户端将解析后的文件请求发送至分布式文件***。
可选的，所述将解析后的文件请求发送至分布式文件***，包括：
对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。
可选的，所述对所述解析后的文件请求中的位置块关键字段进行重定义，包括：
将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。
可选的，所述获取原生HDFS客户端发送的文件请求之前，还包括：
获取所述原生HDFS客户端发送的建链请求；
基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。
可选的，所述与所述原生HDFS客户端建立链接之后，还包括：
获取所述原生HDFS客户端发送的元数据请求；
向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。
可选的，还包括：
启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。
可选的，所述向所述原生HDFS客户端返回本节点的IP信息，包括：
向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。
可选的，所述基于HDFS原生协议处理所述建链请求，包括：
基于HDFS ClientProtocol协议处理所述建链请求。
可选的，所述基于HDFS原生协议解析所述文件请求，包括：
基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。
可选的，还包括：
利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。
可选的，所述获取所述原生HDFS客户端发送的建链请求，包括：
获取所述原生HDFS客户端基于可用IP信息发送的建链请求；
其中，所述可用IP信息为分布式大数据存储***基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出的节点IP信息。
第二方面，本申请公开了一种存算分离方法，应用于分布式大数据存储***，所述分布式大数据存储***包括多个存储节点，每个所述存储节点上均部署大数据存储服务，所述方法包括：
获取原生HDFS客户端发送的负载均衡查询请求；
基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出可用节点IP信息，并将所述可用节点IP信息返回所述原生HDFS客户端；
基于所述可用节点IP信息对应的大数据存储服务执行前述的存算分离方法的步骤。
可选的，还包括：
基于所述多个存储节点的IP信息配置域名，以便所述原生HDFS客户端基于该域名发送负载均衡查询请求。
可选的，还包括：
监控各所述存储节点上的大数据存储服务。
可选的，还包括：
若监控到任一所述大数据存储服务异常挂掉，则针对该大数据存储服务进行拉起操作。
可选的，还包括：
若监控到任一所述大数据存储服务异常挂掉，则进行虚拟IP漂移操作。
第三方面，本申请公开了一种存算分离***，应用于存储节点中部署的大数据存储服务，包括：
文件请求获取模块，用于获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；
文件请求处理模块，用于基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；
处理结果返回模块，用于将所述处理结果返回给所述原生HDFS客户端。
第四方面，本申请公开了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述的存算分离方法。
第五方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的存算分离方法。
可见，本申请中，通过存储节点中部署的大数据存储服务获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端，并基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果，之后将所述处理结果返回给所述原生HDFS客户端。也即，本申请兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中的计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种存算分离方法流程图；
图2为本申请实施例提供的一种具体的关键字段重定义示意图；
图3为本申请实施例提供的一种具体的鉴权流程图；
图4为本申请实施例提供的另一种存算分离方法流程图；
图5为本申请实施例提供的一种大数据存储服务启动流程图；
图6为本申请实施例提供的一种分布式大数据存储***示意图；
图7为本申请实施例提供的一种具体的大数据存储服务启动流程图；
图8为本申请实施例提供的一种大数据存储服务业务流程示意图；
图9为本申请实施例提供的一种存算分离***结构示意图；
图10为本申请实施例提供的一种电子设备原理结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，主要采用以下两种方式实现存算分离：（1）HDFS分布式存储***与计算平台进行分离。这种方式部署复杂度高。同时由于本身的元数据服务缺陷，稳定性能前提下单命名空间只能支持小于1.5亿左右的文件。同时无法很好的支持多协议（如NFS（即Network File System，网络文件***）等）互通。（2）通过在计算节点安装插件实际计算平台与分布式存储***的对接，这种方式***可维护性差。不能完整支持append（即追加）等HDFS原生语义，不能兼容对接生态组件，不具备更完善的业务适用性。为此，本申请提供了以下存算分离方案。
参见图1所示，本申请实施例公开了一种存算分离方法，应用于存储节点中部署的大数据存储服务，包括：
步骤S11：获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端。
在具体的实施方式中，所述获取原生HDFS客户端发送的文件请求之前，本申请实施例还获取所述原生HDFS客户端发送的建链请求；基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。
本申请实施例中，获取所述原生HDFS客户端基于可用IP信息发送的建链请求；其中，所述可用IP信息为分布式大数据存储***基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出的节点IP信息。可以理解的是，计算平台中的大数据组件向原生HDFS客户端发起请求，原生HDFS客户端向分布式大数据存储***发送负载查询请求，分布式大数据存储***获取原生HDFS客户端发送的负载均衡查询请求；基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出可用节点IP信息，并将所述可用节点IP信息返回所述原生HDFS客户端。
并且，在所述与所述原生HDFS客户端建立链接之后，本申请实施例还获取所述原生HDFS客户端发送的元数据请求；向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。具体的，可以向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。这样，若本节点故障，计算平台可以尝试和其他节点建立链接。
并且，可以启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。
在具体的实施方式中，可以基于HDFS ClientProtocol协议处理所述建链请求。并且，基于HDFS ClientProtocol协议处理元数据请求。ClientProtocol协议：客户端协议，为客户端与Namenode（即元数据协议服务）交互的接口。
需要指出的是，存储节点为分布式大数据存储***中的节点，分布式大数据存储***包括多个存储节点，每个存储节点均部署大数据存储服务，大数据存储服务实现NameNode和DataNode（即数据协议服务）合一，不同于现有的单点NameNode，本申请实施例实现全对称架构，作为协议处理模块，后端由分布式元数据服务实现元数据存储与业务处理，可支持千亿级文件存储。
步骤S12：基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果。
在具体的实施方式中，可以基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。ClientDatanodeProtocol：客户端和DataNode之间的协议接口。
在具体的实施方式中，可以调用DFS客户端将解析后的文件请求发送至分布式文件***。同时DFS客户端可作为其他协议访问存储的入口，实现多协议融合互通，避免数据拷贝。
并且，在具体的实施方式中，可以对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。具体的，可以将位置块关键字段中的块标识重定义为文件标识、numBytes（即数据量）重定义为块大小，块生成时间重定义为块在文件中的偏移量。
需要指出的是，原生HDFS协议中数据读写使用LocateBlock（位置块）结构，不会看到block（块）中的数据在整文件的位置，故转换到posix（即Portable Operating SystemInterface，可移植操作***接口）分布式文件***还要对LocateBlock关键字段进行重新定义，参见图2所示，图2为本申请实施例公开的一种具体的关键字段重定义示意图，blockid（块标识）作为文件ino（文件标识）、numBytes作为数据块大小；genStamp（块生成时间）作为block在文件中的偏移量，这样有文件的ino，文件的偏移量就能找到posix标准文件***的读写位置，以便实现数据读写。
步骤S13：将所述处理结果返回给所述原生HDFS客户端。
另外，在具体的实施方式中，可以利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。具体的，可以大数据组件发起请求前，通过LDAP（即LightweightDirectory Access Protocol，轻型目录访问协议）验证登陆，通过Kerberos获取ticket（即票据）来访问分布式大数据存储***，大数据组件从Ranger检查user（即用户）是否有访问分布式大数据存储***的权限，Ranger从数据库中检查。检查都通过，请求发送到分布式大数据存储***。分布式大数据存储***通过Kerberos验证合法性，从LDAP服务器验证并获取用户信息，从Ranger验证权限，通过则执行操作。分布式大数据存储***具体可以利用大数据存储服务进行前述鉴权操作。
例如，参见图3所示，图3为本申请实施例公开的一种具体的鉴权示意图。主要包括以下组件：Hadoop组件：大数据hadoop计算业务服务组件，包括计算组件Yarn（即YetAnother Resource Negotiator，一种资源协调者，是一种新 Hadoop资源管理器，它是一个通用资源管理***，可为上层应用提供统一的资源管理和调度）\MR（即MapReduce，映射，归约），分布式数据库Hive（基于Hadoop的一个数据仓库工具）、Hbase（即Hadoop database，基于Hadoop数据库，是一种NoSQL数据库）等。LDAP：主要用于提供LDAP用户认证，大数据存储服务中***的用户管理。Kerberos:大数据服务安全认证组件。Ranger：大数据服务统一鉴权模块，负责HDFS目录、文件级别的权限控制，Hbase数据据库权限控制等。分布式大数据存储***：包括原生协议NameNode（负责原生协议中元数据请求处理）、DataNode（负责原生协议中文件数据传输）、DFSClient（负责与分布式存储***交互）。
可见，本申请实施例中，通过存储节点中部署的大数据存储服务获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端，并基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果，之后将所述处理结果返回给所述原生HDFS客户端。也即，本申请实施例兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中的计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。
参见图4所示，本申请实施例公开了一种存算分离方法，应用于分布式大数据存储***，所述分布式大数据存储***包括多个存储节点，每个所述存储节点上均部署大数据存储服务，所述方法包括：
步骤S21：获取原生HDFS客户端发送的负载均衡查询请求。
其中，可以基于所述多个存储节点的IP信息配置域名，以便所述原生HDFS客户端基于该域名发送负载均衡查询请求。
步骤S22：基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出可用节点IP信息，并将所述可用节点IP信息返回所述原生HDFS客户端。
并且，本申请实施例可以监控各所述存储节点上的大数据存储服务。若监控到任一所述大数据存储服务异常挂掉，则针对该大数据存储服务进行拉起操作，或进行虚拟IP漂移操作。
步骤S23：基于所述可用节点IP信息对应的大数据存储服务执行如前述实施例公开的存算分离方法的步骤。
也即，大数据存储服务获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。其中，调用DFS客户端将解析后的文件请求发送至分布式文件***，并且，对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。具体的，将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。在具体的实施方式中，DFS客户端可作为其他协议访问存储的入口，实现多协议融合互通，避免数据拷贝。
并且，大数据存储服务在所述获取原生HDFS客户端发送的文件请求之前，获取所述原生HDFS客户端发送的建链请求；基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。在所述与所述原生HDFS客户端建立链接之后，获取所述原生HDFS客户端发送的元数据请求；向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。具体的，向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。这样，若本节点故障，计算平台可以尝试和其他节点建立链接。并且，在具体的实施方式中，可以基于HDFS ClientProtocol协议处理所述建链请求。基于HDFS ClientProtocol协议处理元数据请求。基于HDFSClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。
进一步的，参见图5所示，图5为本申请实施例公开的一种大数据存储服务启动流程图。具体包括（1）部署分布式大数据存储***。（2）配置HDFS协议大数据存储服务，主要包括服务节点即存储节点（哪些节点可以启动大数据存储服务）、CTDB（即Cluster TrivialDatabase，集群琐碎数据库）监控大数据存储服务。如果配置CTDB监控大数据服务，CTDB能拉起异常挂掉的大数据服务，或者进行业务虚拟IP漂移。（3）服务节点启动大数据存储服务，大数据存储服务实现NameNode和DataNode合一，实现全对称架构，作为协议处理模块，后端由分布式元数据服务实现元数据存储与业务处理，可支持千亿级文件存储。（4）配置业务接入的域名和负载均衡策略，域名包括IP为大数据服务节点的虚拟IP。（5）启动完成后，参见图6所示，图6为本申请实施例公开的一种分布式大数据存储***示意图。
其中，参见图7所示，图7为本申请实施例公开的一种具体的大数据存储服务启动流程图。具体包括（1）存储节点开始启动大数据存储服务程序，进入启动流程。（2）接入分布式文件***，如果分布式文件***是C\C++接口，可选择使用JNA（即Java Native Access，提供一组Java工具类用于在运行期间动态访问***本地库）\JNI（即Java NativeInterface，Java本地接口）接入。此时主要是mount（挂载）分布式文件***的根目录。（3）启动NameNodeRPC（元数据协议RPC，RPC即Remote Procedure Call，远程过程调用）服务，监听大数据存储服务业务端口，后续用于解析大数据ClientProtocol协议。（4）启动NameNodeHTTP（即元数据协议HTTP）服务，接收大数据计算平台HTTP（即Hyper TextTransfer Protocol，超文本传输协议）业务。（5）启动DataNodeRPC、socket数据接收服务。其中DataNodeRPC（即数据协议RPC）主要用于处理ClientDatanodeProtocol协议，socket数据接收服务用于处理与计算平台的数据传输。（6）进程守护，监听NameNode和DataNode业务。
进一步的，参见图8所示，图8为本申请实施例公开的一种大数据存储服务业务流程示意图。1、大数据组件启动，发初始化大数据文件***服务请求。
2、原生HDFS客户端针对域名发起负载均衡查询，负载均衡服务根据配置策略返回可用的服务节点IP。3、HDFS客户端向返回的大数据服务节点发起建链请求，元数据请求到达大数据存储服务节点，大数据服务处理HDFS ClientProtocol协议，实现建链。4、HDFS客户端向返回的大数据服务节点发起文件读写操作请求，具体流程如下：大数据存储服务处理ClientDatanodeProtocol、DataTransferProtocol协议，解析文件请求，然后将具体文件请求利用分布式文件***接口（DFS客户端）发向分布式文件***。同时DFS客户端可作为其他协议访问存储的入口，实现多协议融合互通，避免数据拷贝。原生HDFS协议数据读写使用LocateBlock结构，不会看到block中的数据在整文件的位置，故转换到posix分布式文件***还要对LocateBlock关键字段进行重新定义。blockid作为文件ino、numBytes作为数据块大小；genStamp作为block在文件中的偏移量，这样有文件的ino，文件的偏移量就能找到posix标准文件***的读写位置，以便实现数据读写。分布式文件***处理后返回大数据存储服务，大数据存储服务将结果返回给HDFS客户端。
进一步的，本申请实施例还可以利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。
Hadoop大数据组件发起请求前，通过LDAP验证登陆，大数据组件通过Kerberos获取ticket来访问分布式大数据存储***，大数据组件从Ranger检查用户是否有访问HDFS的权限，Ranger从数据库中检查。检查都通过，请求发送到分布式大数据存储***。分布式大数据存储***通过Kerberos验证合法性。分布式大数据存储***从LDAP服务器验证并获取用户信息。分布式大数据存储***从Ranger验证权限，通过则执行操作。分布式大数据存储***具体可以利用大数据存储服务进行前述鉴权操作。
可见，本申请提供的存算分离方案，兼容支持原生HDFS接口，在大数据存储服务中实现HDFS原生协议中的ClientProtocol、ClientDatanodeProtocol、DataTransferProtocol协议，解析文件请求与数据收发。替代Hadoop大数据生态中的本地HDFS，支持存算分离，满足存储、计算不同的资源需求，解耦大数据的持久化状态层到数据存储平台，实现业务计算、数据存储模块的按需资源配置、弹性扩展。替代使用插件方式对接Hadoop大数据生态的分布式存储***，不改变客户使用习惯同时兼容社区生态，无需在计算节点上安装私有插件，提升***可维护性。并且，存储统一：利用DFS客户端可作协议访问存储的入口，实现多协议融合互通，避免数据拷贝，具体的，可以支持NAS（即NetworkAttached Storage，网络附属存储）、HDFS互通，在自动驾驶等需要同时使用NAS、HDFS的场景，避免了数据拷贝。同一份数据实现文件协议、大数据HDFS协议互通，避免数据拷贝。实现全对称架构：大数据存储服务实现NameNode和DataNode合一，作为协议处理模块，后端由分布式元数据服务实现元数据存储与业务处理，可支持千亿级文件存储。所有存储节点可同时部署HDFS服务，支持元数据服务多活，相对社区NN（即NameNode）主备的模式，突破原有元数据单命名空间缺陷，提升了元数据性能，且可支持千亿级文件存储。并且，兼容原生大数据安全鉴权生态:大数据存储服务中实现LDAP、kerberos、ranger大数据标准安全组件的接入。
参见图9所示，本申请实施例公开了存算分离***，应用于存储节点中部署的大数据存储服务，包括：
文件请求获取模块11，用于获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；
文件请求处理模块12，用于基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；
处理结果返回模块13，用于将所述处理结果返回给所述原生HDFS客户端。
可见，本申请实施例中，通过存储节点中部署的大数据存储服务获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端，并基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果，之后将所述处理结果返回给所述原生HDFS客户端。也即，本申请实施例兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中的计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。
其中，文件请求处理模块12，具体用于调用DFS客户端将解析后的文件请求发送至分布式文件***。
并且，文件请求处理模块12，具体用于对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。具体的，将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。
进一步的，所述***还包括：
建链请求处理模块，用于在所述获取原生HDFS客户端发送的文件请求之前，获取所述原生HDFS客户端发送的建链请求；基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。
进一步的，所述***还包括：
元数据请求处理模块，用于在所述与所述原生HDFS客户端建立链接之后，获取所述原生HDFS客户端发送的元数据请求；向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。
进一步的，所述***还包括：
进程启动模块，用于启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。
在具体的实施方式中，元数据请求处理模块，具体用于向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。这样，若本节点故障，计算平台可以尝试和其他节点建立链接。
并且，建链请求处理模块，具体用于基于HDFS ClientProtocol协议处理所述建链请求。
进一步的，文件请求处理模块12，具体用于基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。
另外，所述***还包括：
鉴权模块，用于利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。
进一步的，建链请求处理模块，具体用于获取所述原生HDFS客户端基于可用IP信息发送的建链请求；其中，所述可用IP信息为分布式大数据存储***基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出的节点IP信息。可以理解的是，计算平台中的大数据组件向原生HDFS客户端发起请求，原生HDFS客户端向分布式大数据存储***发送负载查询请求，分布式大数据存储***获取原生HDFS客户端发送的负载均衡查询请求；基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出可用节点IP信息，并将所述可用节点IP信息返回所述原生HDFS客户端。
参见图10所示，本申请实施例公开了一种电子设备20，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现以下步骤：
获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。
可见，本申请实施例中，通过存储节点中部署的大数据存储服务获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端，并基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果，之后将所述处理结果返回给所述原生HDFS客户端。也即，本申请实施例兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中的计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：调用DFS客户端将解析后的文件请求发送至分布式文件***。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取所述原生HDFS客户端发送的建链请求；基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取所述原生HDFS客户端发送的元数据请求；向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：基于HDFS ClientProtocol协议处理所述建链请求。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取所述原生HDFS客户端基于可用IP信息发送的建链请求；其中，所述可用IP信息为分布式大数据存储***基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出的节点IP信息。
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。
另外，所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述电子设备20上的各硬件设备提供工作电压；所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：
获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。
可见，本申请实施例中，通过存储节点中部署的大数据存储服务获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端，并基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果，之后将所述处理结果返回给所述原生HDFS客户端。也即，本申请实施例兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中的计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升***可维护性。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：调用DFS客户端将解析后的文件请求发送至分布式文件***。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取所述原生HDFS客户端发送的建链请求；基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取所述原生HDFS客户端发送的元数据请求；向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：基于HDFS ClientProtocol协议处理所述建链请求。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取所述原生HDFS客户端基于可用IP信息发送的建链请求；其中，所述可用IP信息为分布式大数据存储***基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出的节点IP信息。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的存算分离方法、***、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (20)
1.一种存算分离方法，其特征在于，应用于存储节点中部署的大数据存储服务，包括：
获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；
基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；
将所述处理结果返回给所述原生HDFS客户端。
2.根据权利要求1所述的存算分离方法，其特征在于，所述将解析后的文件请求发送至分布式文件***，包括：
调用DFS客户端将解析后的文件请求发送至分布式文件***。
3.根据权利要求1所述的存算分离方法，其特征在于，所述将解析后的文件请求发送至分布式文件***，包括：
对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件***。
4.根据权利要求3所述的存算分离方法，其特征在于，所述对所述解析后的文件请求中的位置块关键字段进行重定义，包括：
将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。
5.根据权利要求1所述的存算分离方法，其特征在于，所述获取原生HDFS客户端发送的文件请求之前，还包括：
获取所述原生HDFS客户端发送的建链请求；
基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。
6.根据权利要求5所述的存算分离方法，其特征在于，所述与所述原生HDFS客户端建立链接之后，还包括：
获取所述原生HDFS客户端发送的元数据请求；
向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。
7.根据权利要求6所述存算分离方法，其特征在于，还包括：
启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。
8.根据权利要求6所述的存算分离方法，其特征在于，所述向所述原生HDFS客户端返回本节点的IP信息，包括：
向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。
9.根据权利要求5所述的存算分离方法，其特征在于，所述基于HDFS原生协议处理所述建链请求，包括：
基于HDFS ClientProtocol协议处理所述建链请求。
10.根据权利要求1所述的存算分离方法，其特征在于，所述基于HDFS原生协议解析所述文件请求，包括：
基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。
11.根据权利要求5所述的存算分离方法，其特征在于，还包括：
利用大数据标准安全组件对所述原生HDFS客户端进行鉴权操作。
12.根据权利要求5所述的存算分离方法，其特征在于，所述获取所述原生HDFS客户端发送的建链请求，包括：
获取所述原生HDFS客户端基于可用IP信息发送的建链请求；
其中，所述可用IP信息为分布式大数据存储***基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出的节点IP信息。
13.一种存算分离方法，其特征在于，应用于分布式大数据存储***，所述分布式大数据存储***包括多个存储节点，每个所述存储节点上均部署大数据存储服务，所述方法包括：
获取原生HDFS客户端发送的负载均衡查询请求；
基于负载均衡策略在所述分布式大数据存储***中的多个存储节点中确定出可用节点IP信息，并将所述可用节点IP信息返回所述原生HDFS客户端；
基于所述可用节点IP信息对应的大数据存储服务执行如权利要求1至12任一项所述的存算分离方法的步骤。
14.根据权利要求13所述的存算分离方法，其特征在于，还包括：
基于所述多个存储节点的IP信息配置域名，以便所述原生HDFS客户端基于该域名发送负载均衡查询请求。
15.根据权利要求13所述的存算分离方法，其特征在于，还包括：
监控各所述存储节点上的大数据存储服务。
16.根据权利要求15所述的存算分离方法，其特征在于，还包括：
若监控到任一所述大数据存储服务异常挂掉，则针对该大数据存储服务进行拉起操作。
17.根据权利要求15所述的存算分离方法，其特征在于，还包括：
若监控到任一所述大数据存储服务异常挂掉，则进行虚拟IP漂移操作。
18.一种存算分离***，其特征在于，应用于存储节点中部署的大数据存储服务，包括：
文件请求获取模块，用于获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；
文件请求处理模块，用于基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件***，以便所述分布式文件***处理所述文件请求，并返回相应的处理结果；
处理结果返回模块，用于将所述处理结果返回给所述原生HDFS客户端。
19.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至17任一项所述的存算分离方法。
20.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述的存算分离方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310201755.7A CN116069753A (zh) | 2023-03-06 | 2023-03-06 | 存算分离方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310201755.7A CN116069753A (zh) | 2023-03-06 | 2023-03-06 | 存算分离方法、***、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116069753A true CN116069753A (zh) | 2023-05-05 |
Family
ID=86175035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310201755.7A Pending CN116069753A (zh) | 2023-03-06 | 2023-03-06 | 存算分离方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116069753A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030200222A1 (en) * | 2000-09-19 | 2003-10-23 | George Feinberg | File Storage system having separation of components |
| CN1692356A (zh) * | 2002-11-14 | 2005-11-02 | 易斯龙***公司 | 对分布式文件***中的文件重新条带化的***和方法 |
| CN105912609A (zh) * | 2016-04-06 | 2016-08-31 | 中国农业银行股份有限公司 | 一种数据文件处理方法和装置 |
| CN107404524A (zh) * | 2017-07-24 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种分布式集群节点访问的方法及装置 |
| CN112995247A (zh) * | 2019-12-12 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 数据发送或处理的方法、装置和*** |
| CN113746641A (zh) * | 2021-11-05 | 2021-12-03 | 深圳市杉岩数据技术有限公司 | 一种基于分布式存储的odx协议处理方法 |
| CN114020503A (zh) * | 2021-10-19 | 2022-02-08 | 济南浪潮数据技术有限公司 | 分布式文件***透明故障切换的优化方法、***及装置 |
| CN114448988A (zh) * | 2022-03-25 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种节点负载均衡方法、装置、设备、存储介质 |
-
2023
- 2023-03-06 CN CN202310201755.7A patent/CN116069753A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030200222A1 (en) * | 2000-09-19 | 2003-10-23 | George Feinberg | File Storage system having separation of components |
| CN1692356A (zh) * | 2002-11-14 | 2005-11-02 | 易斯龙***公司 | 对分布式文件***中的文件重新条带化的***和方法 |
| CN105912609A (zh) * | 2016-04-06 | 2016-08-31 | 中国农业银行股份有限公司 | 一种数据文件处理方法和装置 |
| CN107404524A (zh) * | 2017-07-24 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种分布式集群节点访问的方法及装置 |
| CN112995247A (zh) * | 2019-12-12 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 数据发送或处理的方法、装置和*** |
| CN114020503A (zh) * | 2021-10-19 | 2022-02-08 | 济南浪潮数据技术有限公司 | 分布式文件***透明故障切换的优化方法、***及装置 |
| CN113746641A (zh) * | 2021-11-05 | 2021-12-03 | 深圳市杉岩数据技术有限公司 | 一种基于分布式存储的odx协议处理方法 |
| CN114448988A (zh) * | 2022-03-25 | 2022-05-06 | 苏州浪潮智能科技有限公司 | 一种节点负载均衡方法、装置、设备、存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| SANDSTONE杉岩数据: "Hadoop⼤数据存算分离⽅案：计算层⽆缝对接存储***", pages 1 - 4, Retrieved from the Internet <URL:https://baijiahao.***.com/s?id=1753256360906016129> * |
| 刘斌;: "Hadoop计算存储分离架构技术应用研究", 信息通信, no. 05, pages 220 - 222 * |
| 熊江 等: "NoSQL数据库原理与应用", 浙江科学技术出版社, pages: 21 - 23 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10528390B2 (en) | Idempotent task execution in on-demand network code execution systems | |
| CN110462589B (zh) | 本地装置协调器中的按需代码执行 | |
| CN111431740B (zh) | 数据的传输方法、装置、设备及计算机可读存储介质 | |
| CN112035317B (zh) | 一种微服务链路监控方法、装置、设备及介质 | |
| RU2671045C2 (ru) | Синхронизация хэшей мандатов между службами каталогов | |
| US7831734B2 (en) | Method and system for remote configuration of network devices | |
| CN110381167B (zh) | 基于云的区块链节点主动发现***及方法 | |
| CN110352401B (zh) | 具有按需代码执行能力的本地装置协调器 | |
| US11281476B2 (en) | Plugin framework to support zero touch management of heterogeneous infrastructure elements across distributed data centers | |
| US20050278384A1 (en) | External authentication against a third-party directory | |
| CN113572689A (zh) | 微服务网关管理方法、***、设备、可读存储介质及产品 | |
| CN111258627A (zh) | 一种接口文档生成方法和装置 | |
| JP2019525604A (ja) | ネットワーク機能ｎｆ管理方法及びｎｆ管理装置 | |
| CN105260377B (zh) | 一种基于分级存储的升级方法和*** | |
| EP1198102B1 (en) | Extendable provisioning mechanism for a service gateway | |
| CN116633775B (zh) | 一种多容器网络接口的容器通信方法及*** | |
| CN115604120B (zh) | 一种多云集群资源共享方法、装置、设备及存储介质 | |
| CN115086176B (zh) | 基于SpringCloud微服务技术实现服务治理策略动态下发的*** | |
| CN115379010B (zh) | 一种容器网络构建方法、装置、设备及存储介质 | |
| US11411812B2 (en) | Dynamic service creation for microservice-based integration service | |
| CN114422350B (zh) | 一种公共云容器实例创建方法 | |
| US20190268349A1 (en) | System and method for unified secure remote configuration and management of multiple applications on embedded device platform | |
| CN116069753A (zh) | 存算分离方法、***、设备及介质 | |
| Schmidt et al. | Osgi 4c: enabling osgi for the cloud | |
| CN116155978A (zh) | 多注册中心适配方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230505 |