CN214202379U - 一种分布式共享文件*** - Google Patents
一种分布式共享文件*** Download PDFInfo
- Publication number
- CN214202379U CN214202379U CN202022713586.XU CN202022713586U CN214202379U CN 214202379 U CN214202379 U CN 214202379U CN 202022713586 U CN202022713586 U CN 202022713586U CN 214202379 U CN214202379 U CN 214202379U
- Authority
- CN
- China
- Prior art keywords
- file system
- distributed
- load balancer
- storage
- shared file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本实用新型公开了一种分布式共享文件***，所述分布式共享文件***包括用于为客户端分配负载均衡器的DNS服务器、用于将客户端的访问请求调度至存储容器处的负载均衡器、用于在分布式存储集群中处理访问请求指向的数据的存储容器以及用于存储数据的分布式存储集群；其中，所述客户端与所述DNS服务器通过路由连接，所述客户端与对应的负载均衡器处于同一个子网中，各个所述存储容器与所述分布式存储集群处于同一个网络中。本实用新型提供的技术方案，能够提高分布式共享文件***的稳定性。
Description
技术领域
本实用新型涉及网络架构技术领域，特别涉及一种分布式共享文件***。
背景技术
随着云计算、云存储等领域的不断发展以及数据的***性增长，用户对于分布式存储的性能要求越来越高。然而现有的分布式共享文件***，应对较大的数据流量时稳定性不够好。因此目前需要一种更加稳定的分布式共享文件***。
实用新型内容
本申请的目的在于提供一种分布式共享文件***，能够提高分布式共享文件***的稳定性。
为实现上述目的，本申请提供一种分布式共享文件***，所述分布式共享文件***包括用于为客户端分配负载均衡器的DNS服务器、用于将客户端的访问请求调度至存储容器处的负载均衡器、用于在分布式存储集群中处理访问请求指向的数据的存储容器以及用于存储数据的分布式存储集群；
其中，所述客户端与所述DNS服务器通过路由连接，所述客户端与对应的负载均衡器处于同一个子网中，各个所述存储容器与所述分布式存储集群处于同一个网络中。
进一步地，所述存储容器为基于docker技术实现的容器，所述分布式存储集群中部署ceph分布式文件***。
进一步地，一个负载均衡器和至少一个存储容器构成所述分布式共享文件***中的一个服务单元。
进一步地，各个所述服务单元由所述分布式共享文件***中的一个守护进程进行管理。
进一步地，各个所述存储容器处于同一个管理网络中，并且所述管理网络由守护进程负责管理。
进一步地，同一个负载均衡器仅绑定至一个子网中。
进一步地，所述负载均衡器和所述存储容器可部署于同一服务设备或集群中，也可分别部署在不同的服务设备或集群中。
由上可见，本实用新型提供的分布式共享文件***，可以通过多级负载均衡的方式，将用户的数据流量分发到多个存储容器进行处理，在利用了闲置资源的同时，降低了某个节点负载过高的可能性，从而提高了***整体的稳定性。具体地，DNS服务器可以通过第一级的负载均衡，将客户端挂载至对应的负载均衡器上。负载均衡器通过第二级的负载均衡，将客户端的流量调度至存储容器处。存储容器对客户端的访问请求进行解析，最终能够在分布式存储集群中对数据进行存储或者读取的处理。可见，引入多级负载均衡的***架构，能够将用户的数据流量在负载均衡器和存储容器之间进行合理的分配，避免某个负载均衡器或者某个存储容器的负载过高而引发的数据异常，提高了分布式共享文件***整体的稳定性。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本实用新型实施方式中分布式共享文件***的***架构示意图；
图2是本实用新型实施方式中分布式共享文件***的网络配置示意图。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型实施方式作进一步地详细描述。
请参阅图1，本申请提供的分布式共享文件***，可以包括DNS服务器、负载均衡器、存储容器(如，基于docker技术实现的容器)以及分布式存储集群(如，ceph分布式文件***)，其中，负载均衡器和存储容器可部署在同一服务设备或集群中，也可分别部署在不同的服务设备或集群中，一个负载均衡器和至少一个存储容器可构成一个独立的服务单元，相互之间基于网络通信连接。存储容器与分布式存储集群基于网络通信连接。
本申请提供的分布式共享文件***提供用户可访问操作的应用服务，用户可以通过客户端浏览器或本地安装的应用程序，访问该应用服务，基于应用服务创建文件存储服务，并将文件存储服务器挂载到该分布式共享文件***，从而向分布式共享文件***发起各项数据访问请求，从而实现将数据存储至分布式存储集群，以及对存储数据的读写操作。
具体地，当用户通过客户端创建了文件存储服务时，分布式共享文件***可为该文件存储服务创建一个挂载点，并反馈挂载点信息至客户端，其中，一个挂载点对应至少一个服务单元，挂载点信息中包含分布式共享文件***为该文件存储服务设定的唯一识别的域名；同时，当***完成了服务单元的创建后，可将服务单元中的负载均衡器的IP地址、该挂载点域名及其映射关系配置在DNS服务器中。当客户端执行挂载操作时，需先向DNS服务器请求对挂载域名的解析。
当客户端发起针对接收到的挂载域名发起DNS解析请求时，DNS服务器可以基于挂载域名与各个负载均衡器的IP地址之间的映射关系，将对应的负载均衡器的IP地址反馈给客户端，从而使得客户端能够基于该IP地址与对应的负载均衡器建立通信连接，实现文件存储服务的挂载。
不同于普通的DNS服务器，本实施方式中的DNS服务器在进行域名解析时，可以执行第一级的负载均衡策略。具体地，DNS服务器可以监控各个负载均衡器当前的负载状态。该负载状态可以通过负载均衡器上的运行参数来表征。例如，该负载状态可以通过负载均衡器的连接数表征，连接数越多，负载越大。当然，在实际应用中，还可以根据需要或者参数获取难易程度，通过其它的参数来表征负载状态。当一个挂载域名对应有多个负载均衡器的IP地址时，DNS服务器在获取到各个负载均衡器当前的负载状态之后，便可以根据获取到的负载状态，从多个负载均衡器中选择负载较小的目标负载均衡器，并将该目标负载均衡器的IP地址反馈给客户端，从而将客户端挂载至目标负载均衡器上。
在一个实施方式中，当负载均衡器当前的负载状态通过负载均衡器的连接数表征时，DNS服务器中的负载均衡器确定单元可以识别各个负载均衡器中连接数最小的负载均衡器，并将所述连接数最小的负载均衡器作为分配的所述目标负载均衡器。当然，在实际应用中，还可以筛选出连接数小于或者等于某个固定数值的多个负载均衡器，然后从这些负载均衡器中随机选择一个作为目标负载均衡器。
在分布式共享文件***中，负载均衡器和存储容器可以构成服务单元。在分布式共享文件***中，针对同一个文件存储服务创建的服务单元的数量可以是一个或者多个。在一个服务单元中，可以包括一个负载均衡器与一个或者多个存储容器，当文件存储服务挂载到负载均衡器后，客户端的访问请求将会先发送至该负载均衡器，并由负载均衡器转发至同一服务单元中的存储容器。负载均衡器在可以执行第二级的负载均衡策略，选择其中的一个存储容器来处理客户端的访问请求。其中，第二级的负载均衡策略可包含结合权重系数以及各存储容器当前实际处理的数据流量来选择存储容器。
具体地，可以根据各存储容器的服务性能，预先为其设置对应的权重系数。该权重系数可以表征处理数据流量的能力，权重系数越高，处理数据流量的能力也通常越高。其中服务性能可基于最大带宽承载量、CPU及其他影响流量处理能力的因素确定出。进而根据各存储容器的权重系数得到权重系数比，例如，服务单元中包含3个存储容器，这三个存储容器的权重系数比例为5：4：2。
当负载均衡器基于第二级的负载均衡策略选择存储容器时，可获取服务单元中各存储容器的权重系数比例和各存储容器当前正在处理的数据流量，确定目标存储容器，确定的原则就是，在将访问请求调度至目标存储容器处之后，能够使得各个存储容器变化后的现有数据流量的流量比例更接近于上述的系数比例。例如，上述的例子中，可以将第三个存储容器作为目标存储容器。将新的访问请求调度至第三个存储容器之后，变化后的现有数据流量的流量比例则可以变为10：7：3，从而比原先的10：7：2更加接近于权重系数比例5：4：2，如此一来，可保证数据流量合理的分配至各存储容器，避免部分存储容器满负荷，而其他却空闲的状态。
在一个实施方式中，各个服务单元可以由***中的一个守护进程进行管理。该守护进程可以监控服务单元中各个存储容器的状态参数。在实际应用中，存储容器的状态参数可以包括存储容器的工作状态、带宽、连接数等信息。守护进程根据获取到的状态参数。
具体地，存储容器的工作状态可以通过active、error等状态码来表示。其中，active可以表征工作正常，error可以表征工作异常。当然，根据实际需要，状态码还可以表征未响应、复位中等状态。针对工作异常的存储容器，守护进程可以将出现异常的存储容器从对应的服务单元中剔除，并在对应的服务单元中新增对应数量的存储容器，从而使得服务单元中可用的存储容器的数量能够稳定在一个固定值。
在本实施方式中，存储容器运行NAS(Network Attached Storage，网络附属存储)服务，对分布式存储集群进行封装并暴露给用户提供网络存储服务，通过NAS服务，可以对接收到的客户端的访问请求进行解析，从而最终对分布式存储集群中的数据进行读、写、增、删等处理。分布式存储集群作为负载均衡的后端，以集群服务的方式提供高可用(即减少停工时间，保持其服务的高度可用性)与负载均衡(即分摊流量，增加吞吐，加强数据处理能力)的服务能力。
在一个实施方式中，当客户端的文件存储服务需要提升服务性能时，可在相应的挂载点下新增服务单元，同时可以将新增的服务单元中负载均衡器的IP地址上报至DNS服务器中。这样，当DNS服务器执行第一级的负载均衡策略时，可以有机会将客户端挂载至新增的负载均衡器上，通过这种方式，可以快速实现分布式共享文件***的拓展，满足扩大服务规模的需求，同时这种线性拓展的方式，可实现***服务性能的近似线性提升。同样的，若需要对挂载点的服务单元进行缩减，可先将待缩减的服务单元中负载均衡器的IP地址从DNS服务器中删除，使得不会有新的访问请求被挂载到该负载均衡器，当存储容器上的流量处理完成后，即可将该服务单元删除，释放处理资源。如此，可实现***的高拓展性。
在本申请的实施例中，分布式共享文件***中还包含管理服务器，用于管理和协调DNS服务器和各服务设备。所述管理服务器分别与DNS服务器以及用于部署负载均衡器和存储容器的服务设备基于网络通信连接，并根据应用服务接收到的用户创建文件存储服务的请求，生成对应的指令发送至所述服务设备，以指示服务设备对应创建负载均衡器和存储容器，同时为新创建的负载均衡器配置的IP地址；管理服务器可为文件存储服务配置的挂载域名等挂载信息，并反馈给用户客户端，同时将挂载域名、负载均衡器的IP地址及其对应关系发送至DNS服务器。当检测到文件存储服务需要扩容或缩容时，发送对应的控制指令至所述服务设备，以指示服务设备增加或减少该文件存储服务对应的服务单元，同时将新增或减少的服务单元中负载均衡器的IP地址上报至DNS服务器，以更新DNS服务器上挂载域名与IP地址的记录。
请参阅图2，在针对客户端的文件存储服务挂载点创建对应的服务单元时分布式共享文件***，可对服务单元中负载均衡器与存储容器的网络进行设置。
其中，负载均衡器与对应的客户端可以处于同一个子网中，如此，客户端在挂载至负载均衡器上后，可以直接访问负载均衡器。此外，同一个负载均衡器仅可以绑定至一个子网中。通过子网划分的方式，不同用户的客户端挂载的负载均衡器可以处于不同的子网内，从而实现用户之间的隔离。
各个存储容器与分布式存储集群可以位于同一个网络中，如位于同一个万兆存储，这样，存储容器与分布式存储集群之间可以进行快速的数据交互。此外，各个存储容器还可以处于同一个管理网络中，该管理网络可以由守护进程负责管理。
在分布式共享文件***中，DNS服务器可以处于单独的一个网络环境中，与用户的客户端所在的子网可以通过路由进行连接，从而为各个用户的客户端提供域名解析服务。
在实际应用中，负载均衡器还可以通过主备的方式保持高可用。每个主负载均衡器均可以具备自身的备负载均衡器，当主负载均衡器无法提供服务时，备负载均衡器可以升级为主负载均衡器并继续提供服务，以保证***的高可用性和稳定性。
由上可见，本实用新型提供的分布式共享文件***，可以通过多级负载均衡的方式，将用户的数据流量分发到多个存储容器进行处理，在利用了闲置资源的同时，降低了某个节点负载过高的可能性，从而提高了***整体的稳定性。具体地，DNS服务器可以通过第一级的负载均衡，将客户端挂载至对应的负载均衡器上。负载均衡器通过第二级的负载均衡，将客户端的流量调度至存储容器处。存储容器对客户端的访问请求进行解析，最终能够在分布式存储集群中对数据进行存储或者读取的处理。可见，引入多级负载均衡的***架构，能够将用户的数据流量在负载均衡器和存储容器之间进行合理的分配，避免某个负载均衡器或者某个存储容器的负载过高而引发的数据异常，提高了分布式共享文件***整体的稳定性。
以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。
Claims (7)
1.一种分布式共享文件***，其特征在于，所述分布式共享文件***包括用于为客户端分配负载均衡器的DNS服务器、用于将客户端的访问请求调度至存储容器处的负载均衡器、用于在分布式存储集群中处理访问请求指向的数据的存储容器以及用于存储数据的分布式存储集群；
其中，所述客户端与所述DNS服务器通过路由连接，所述客户端与对应的负载均衡器处于同一个子网中，各个所述存储容器与所述分布式存储集群处于同一个网络中。
2.根据权利要求1所述的分布式共享文件***，其特征在于，所述存储容器为基于docker技术实现的容器，所述分布式存储集群中部署ceph分布式文件***。
3.根据权利要求1所述的分布式共享文件***，其特征在于，一个负载均衡器和至少一个存储容器构成所述分布式共享文件***中的一个服务单元。
4.根据权利要求3所述的分布式共享文件***，其特征在于，各个所述服务单元由所述分布式共享文件***中的一个守护进程进行管理。
5.根据权利要求1或4所述的分布式共享文件***，其特征在于，各个所述存储容器处于同一个管理网络中，并且所述管理网络由守护进程负责管理。
6.根据权利要求1所述的分布式共享文件***，其特征在于，同一个负载均衡器仅绑定至一个子网中。
7.根据权利要求1所述的分布式共享文件***，其特征在于，所述负载均衡器和所述存储容器可部署于同一服务设备或集群中，也可分别部署在不同的服务设备或集群中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202022713586.XU CN214202379U (zh) | 2020-11-20 | 2020-11-20 | 一种分布式共享文件*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202022713586.XU CN214202379U (zh) | 2020-11-20 | 2020-11-20 | 一种分布式共享文件*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN214202379U true CN214202379U (zh) | 2021-09-14 |
Family
ID=77646748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202022713586.XU Active CN214202379U (zh) | 2020-11-20 | 2020-11-20 | 一种分布式共享文件*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN214202379U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114900485A (zh) * | 2022-05-06 | 2022-08-12 | 阿里巴巴（中国）有限公司 | 访问网络文件存储的方法、电子设备及*** |
-
2020
- 2020-11-20 CN CN202022713586.XU patent/CN214202379U/zh active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114900485A (zh) * | 2022-05-06 | 2022-08-12 | 阿里巴巴（中国）有限公司 | 访问网络文件存储的方法、电子设备及*** |
| CN114900485B (zh) * | 2022-05-06 | 2024-05-31 | 阿里巴巴（中国）有限公司 | 访问网络文件存储的方法、电子设备及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9971823B2 (en) | Dynamic replica failure detection and healing | |
| US7287179B2 (en) | Autonomic failover of grid-based services | |
| CN112532675B (zh) | 一种网络边缘计算***的创建方法、装置及介质 | |
| US7523454B2 (en) | Apparatus and method for routing a transaction to a partitioned server | |
| CN112445774A (zh) | 一种分布式共享文件***及其数据处理方法 | |
| US9454444B1 (en) | Using location tracking of cluster nodes to avoid single points of failure | |
| US7584292B2 (en) | Hierarchical system configuration method and integrated scheduling method to provide multimedia streaming service on two-level double cluster system | |
| US7685312B1 (en) | Resource location by address space allocation | |
| JP2023532947A (ja) | データ転送方法、プロキシサーバ、記憶媒体及び電子デバイス | |
| US8578053B2 (en) | NAS load balancing system | |
| US20030110263A1 (en) | Managing storage resources attached to a data network | |
| EP3547102B1 (en) | Object storage system with multi-level hashing function for storage address determination | |
| WO2012118878A1 (en) | Capabilities based routing of virtual data center service request | |
| CN107105013B (zh) | 文件的处理方法、服务器、终端和*** | |
| CN113014611B (zh) | 一种负载均衡方法及相关设备 | |
| JP6272190B2 (ja) | 計算機システム、計算機、負荷分散方法及びそのプログラム | |
| WO2003050707A1 (en) | Managing storage resources attached to a data network | |
| CN115086330A (zh) | 跨集群负载均衡*** | |
| KR20070032441A (ko) | 퍼지 그룹핑 기반의 로드 밸런싱 시스템 및 그 로드 밸런싱방법 | |
| CN214202379U (zh) | 一种分布式共享文件*** | |
| CN112532758A (zh) | 一种网络边缘计算***的创建方法、装置及介质 | |
| CN109005071B (zh) | 一种决策部署方法和调度设备 | |
| van Renesse et al. | Autonomic computing: A system-wide perspective | |
| Wei et al. | Towards a cloud storage data management model based on RNPT network | |
| WO2024091244A1 (en) | Dynamic worker reconfiguration across work queues |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |