CN111930706B - 基于远程调用的分布式网络文件存储***和方法 - Google Patents
基于远程调用的分布式网络文件存储***和方法 Download PDFInfo
- Publication number
- CN111930706B CN111930706B CN202010652938.7A CN202010652938A CN111930706B CN 111930706 B CN111930706 B CN 111930706B CN 202010652938 A CN202010652938 A CN 202010652938A CN 111930706 B CN111930706 B CN 111930706B
- Authority
- CN
- China
- Prior art keywords
- file
- file system
- service
- interface
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000012423 maintenance Methods 0.000 claims abstract description 27
- 238000007726 management method Methods 0.000 claims description 54
- 238000013500 data storage Methods 0.000 claims description 23
- 230000006399 behavior Effects 0.000 claims description 21
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000007792 addition Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于远程调用的分布式网络文件存储***和方法，通过文件统一访问接口发送文件操作请求至虚拟文件***，接收文件操作请求的操作结果，并将操作结果通过远程调用发送；监听客户端的文件操作请求，实现文件元数据和数据操作，完成文件***数据服务；实现文件操作的日志记录，监控文件***中的文件操作行为；通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载；提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控。采用高效Protobuf序列化消息方式，有效降低网络数据负载，在网络带宽有限的情况下提供稳定的文件***服务。
Description
技术领域
本发明涉及大数据分布式数据存储技术领域，具体地，涉及一种基于远程调用的分布式网络文件存储***和方法。
背景技术
大数据时代，随着存储与计算集群规模的不断扩大，大部分数据业务***已经构建在分布式环境中。在数据存储方面，目前，通过文件接口实现数据操作是业务***最通用的模式。
ceph***是一种分布式存储***，支持对象、文件和块的统一存储。然而ceph分布式存储的文件***和其对象存储耦合性高，对文件***功能改进存在很大的难度，同时在生产环境中其自身提供的文件服务稳定性不够，会出现文件查询不到的问题。例如专利文件CN110491478A，公开了一种基于ceph的影像文件分布式储存***及其实现方法，涉及医疗影像数据分布式存储技术领域，包括ceph分布式文件***、接收缓存模块、作业调度模块和元数据存储模块。方法流程为：1、部署ceph分布式存储集群，在服务器中配置用于临时存放接收到的影像文件的临时文件目录，并使作业调度模块能读取接收缓存模块中的数据；2、接收缓存模块接收并存储客户端发送的影像文件；3、启动文件读取处理任务和文件清除任务，文件读取处理任务用于周期性读取并处理临时文件目录中的影像文件，文件清除任务用于周期性删除已处理过的影像文件。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于远程调用的分布式网络文件存储***和方法。
根据本发明提供的一种基于远程调用的分布式网络文件存储***，包括：
文件客户端模块：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作***内核的虚拟文件***，待虚拟文件***响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端模块：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件***数据服务；
文件监控模块：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件***中的文件操作行为；
分布式存储模块：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载；
可视化运维模块：提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控。
优选地，所述文件客户端模块包括：
接口模块：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析模块：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发模块：对解析后的文件操作请求进行转发。
优选地，所述文件服务端模块包括：
文件操作接收模块：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务模块：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件***挂载模块：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件***进行请求服务。
优选地，所述分布式存储模块中，通过ceph构建文件***的底层数据存储，通过分布式数据存储，以文件***形态，通过块、文件、对象多种方式支持上层文件***的数据存储。
优选地，所述可视化运维模块包括：
用户管理模块：实现网络文件***的访问控制，只有合法授权的用户才能构建网络文件***服务；
服务管理模块：实现网络文件***的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控模块：实现网络文件***的日志可视化收集，方便用户查看***日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载模块：实现网络文件***服务端可视化文件***操作，方便用户切换服务端存储，提供灵活的、多样的文件***形态。
根据本发明提供的一种基于远程调用的分布式网络文件存储方法，包括：
文件客户端步骤：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作***内核的虚拟文件***，待虚拟文件***响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端步骤：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件***数据服务；
文件监控步骤：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件***中的文件操作行为；
分布式存储步骤：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载；
可视化运维步骤：提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控。
优选地，所述文件客户端步骤包括：
接口步骤：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析步骤：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发步骤：对解析后的文件操作请求进行转发。
优选地，所述文件服务端步骤包括：
文件操作接收步骤：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务步骤：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件***挂载步骤：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件***进行请求服务。
优选地，所述分布式存储步骤中，通过ceph构建文件***的底层数据存储，通过分布式数据存储，以文件***形态，通过块、文件、对象多种方式支持上层文件***的数据存储。
优选地，所述可视化运维步骤包括：
用户管理步骤：实现网络文件***的访问控制，只有合法授权的用户才能构建网络文件***服务；
服务管理步骤：实现网络文件***的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控步骤：实现网络文件***的日志可视化收集，方便用户查看***日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载步骤：实现网络文件***服务端可视化文件***操作，方便用户切换服务端存储，提供灵活的、多样的文件***形态。
与现有技术相比，本发明具有如下的有益效果：
1、提供了一种网络文件***实现方式，***通过gRPC框架构建，采用高效Protobuf序列化消息方式，有效降低网络数据负载，在网络带宽有限的情况下提供稳定的文件***服务。
2、完备的用户态下的文件操作接口，***构建在fuse框架之上，提供了文件创建、读写、更新和删除以及完备的元数据信息操作，fuse是用户态下文件***框架，操作接口标准、完备。
3、具备分布式存储特性，服务端采用ceph分布式数据存储默认实现提供文件服务，相对于集中存储，文件***具备了高可靠、高可扩展性能力，同时方便ceph存储***数据共享。
4、强大的文件***运维管理，***提供了一套可视化的管理运维平台，通过可视化交互操作降低文件***的维护难度，实现文件***用户、服务、监控等功能管理。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的***框架示意图；
图2为本发明的文件操作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明针对数据存储最通用的文件接口，采用基于远程调用的方法，在ceph对象存储之上提供一个基于远程调用的分布式网络文件***。可以像NFS一样提供网络文件服务，提供文件***功能实现，同时支持文件***的读写行为监控，以轻量级的方式提供更易操作、更高效、灵活的文件服务，具备灵活的文件操作扩展功能，可以方便地监控和改进文件读写行为。由于构建在分布式存储ceph之上，具备分布式***可靠、资源弹性可扩展等特点，很方便地和ceph原有存储服务进行数据共享，同时实现原生的文件服务，具有易操作性和内部数据共享性等优点。
实施例1
本发明采用以下技术方案，通过高效的远程调用框架实现高效网络数据传输，支持文件***中的文件读写功能；通过标准的文件访问接口模块实现文件的统一操作，包括文件的增加、删除、更新和读取等；通过数据分布式存储支持文件数据的高可靠存储.
如图1所示，整个网络文件***主要由文件***客户端、文件***服务端、文件***监控模块、文件***数据分布式存储模块和可视化文件***运维管控模块组成，向外部提供高效的网络文件统一访问接口。
1.文件***客户端
文件***客户端基于fuse构建文件***统一访问接口，fuse是一个在用户空间实现的文件***框架，通过fuse内核模块对接***虚拟文件***。基于fuse提供的接口，当用户在文件***中进行文件操作时如ls、cp、mv、rm等，用户的文件操作请求会发送到***内核中的虚拟文件***，然后所有的文件操作请求再从***虚拟文件***转发到/dev/fuse中，文件***客户端只需要从/dev/fuse中读取请求并通过远程调用发送给文件***服务端进行数据处理，文件操作流程参照后面附图。
文件***客户端支持用户的文件、文件夹的操作，主要包括以下主要几点：
·文件元数据操作，包括文件、文件夹的创建、删除和重命名等；
·文件操作，包括文件读取、写入和更新等；
·文件权限管理，包括更新文件访问权限和所有者等；
·文件属性操作，包括文件属性的获取、更新和删除等；
·链接管理，包括链接对象的创建、删除等；
2.文件***服务端
文件***服务端建立在***的gRPC上实现文件接口的远程调用。服务端会建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件***数据服务。
文件***服务端提供了文件***各类操作消息实现服务，文件操作经过客户端定义，通过Protocol Buffers数据序列化工具形成消息。通过服务器和客户端之间共享.proto文件定义，服务端实现HTTP/2监听到客户端的文件操作流并提供服务响应。
在文件***服务端，***通过挂载分布式存储并格式化用户类型的文件***，在收到具体客户端文件操作请求，实现本地文件***操作，完成文件操作的远程调用服务。
3.文件***监控模块
在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件***中的文件操作行为。
由于***通过fuse框架，重新实现了文件***的各类操作，因此在操作过程中，***记录了操作过程，形成具体的操作日志，为文件***操作行为监控提供服务。
文件***监控模型通过实时解析操作日志，对文件***中读、写状态进行统计，发生数据异常读写时，提供告警功能。
4.文件***数据分布式存储模块
在文件***服务端，承载网络文件***的具体实现是通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载。
***通过ceph构建文件***的底层数据存储，***通过分布式数据存储，以文件***形态，通过块、文件、对象等多种方式支持上层文件***的数据存储。同时，文件***构建在分布式数据存储中，具备高可靠性和高可扩展性。
5.可视化文件***运维管控模块
***提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控。
用户管理实现网络文件***的访问控制，只有合法授权的用户才能构建网络文件***服务。
服务管理实现网络文件***的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力。
文件行为监控实现了网络文件***的日志可视化收集，方便用户查看***日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能。
数据挂载实现了网络文件***服务端可视化文件***操作，方便用户切换服务端存储，提供灵活的、多样的文件***形态。
实施例2
实施例2可以视为是实施例1的优选例。实施例2说明的基于远程调用的分布式网络文件存储方法，利用了实施例1说明的基于远程调用的分布式网络文件存储***。
基于远程调用的分布式网络文件方法，包括：
文件客户端步骤：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作***内核的虚拟文件***，待虚拟文件***响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端步骤：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件***数据服务；
文件监控步骤：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件***中的文件操作行为；
分布式存储步骤：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载；
可视化运维步骤：提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控。
所述文件客户端步骤包括：
接口步骤提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；文件***支持的文件操作类型，如文件查询、拷贝和删除等操作。文件操作接口主要继承fuse虚拟文件接口，是通用的、标准的文件操作接口。
文件操作解析步骤根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；文件***根据接口类型进行文件信息的解析，包括文件元数据操作、文件内容操作、文件权限操作和文件属性操作等。
文件操作转发步骤：对解析后的文件操作请求进行转发。文件方法客户端发生的文件操作需要通过该步骤进行操作请求转发。
所述文件服务端步骤包括：
文件操作接收步骤：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；文件***服务端建立远程调用服务，监听和接收客户端的文件操作请求。
文件操作服务步骤：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；服务端根据请求实现文件操作服务，主要包括文件***中文件、文件夹的增删改查服务。
文件方法挂载步骤：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件***进行请求服务。根据配置文件实现Ceph分布式存储文件挂载，文件操作服务都针对挂载的文件方法进行请求服务。
所述分布式存储步骤中，通过ceph构建文件***的底层数据存储，通过分布式数据存储，以文件***形态，通过块、文件、对象多种方式支持上层文件***的数据存储。
所述可视化运维步骤包括：
用户管理步骤：实现网络文件***的访问控制，只有合法授权的用户才能构建网络文件***服务；
服务管理步骤：实现网络文件***的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控步骤：实现网络文件***的日志可视化收集，方便用户查看***日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载步骤：实现网络文件***服务端可视化文件***操作，方便用户切换服务端存储，提供灵活的、多样的文件***形态。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (6)
1.一种基于远程调用的分布式网络文件存储***，其特征在于，包括：
文件客户端模块：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作***内核的虚拟文件***，待虚拟文件***响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端模块：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件***数据服务；
文件监控模块：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件***中的文件操作行为；
分布式存储模块：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载；
可视化运维模块：提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控；
所述文件客户端模块包括：
接口模块：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析模块：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发模块：对解析后的文件操作请求进行转发；
所述文件服务端模块包括：
文件操作接收模块：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务模块：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件***挂载模块：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件***进行请求服务。
2.根据权利要求1所述的基于远程调用的分布式网络文件存储***，其特征在于，所述分布式存储模块中，通过ceph构建文件***的底层数据存储，通过分布式数据存储，以文件***形态，通过块、文件、对象多种方式支持上层文件***的数据存储。
3.根据权利要求1所述的基于远程调用的分布式网络文件存储***，其特征在于，所述可视化运维模块包括：
用户管理模块：实现网络文件***的访问控制，只有合法授权的用户才能构建网络文件***服务；
服务管理模块：实现网络文件***的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控模块：实现网络文件***的日志可视化收集，方便用户查看***日志；同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载模块：实现网络文件***服务端可视化文件***操作，方便用户切换服务端存储，提供灵活的、多样的文件***形态。
4.一种基于远程调用的分布式网络文件存储方法，其特征在于，包括：
文件客户端步骤：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作***内核的虚拟文件***，待虚拟文件***响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端步骤：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件***数据服务；
文件监控步骤：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件***中的文件操作行为；
分布式存储步骤：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件***挂载；
可视化运维步骤：提供网络文件***的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件***服务的可视化运维管控；
所述文件客户端步骤包括：
接口步骤：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析步骤：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发步骤：对解析后的文件操作请求进行转发；
所述文件服务端步骤包括：
文件操作接收步骤：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务步骤：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件***挂载步骤：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件***进行请求服务。
5.根据权利要求4所述的基于远程调用的分布式网络文件存储方法，其特征在于，所述分布式存储步骤中，通过ceph构建文件***的底层数据存储，通过分布式数据存储，以文件***形态，通过块、文件、对象多种方式支持上层文件***的数据存储。
6.根据权利要求4所述的基于远程调用的分布式网络文件存储方法，其特征在于，所述可视化运维步骤包括：
用户管理步骤：实现网络文件***的访问控制，只有合法授权的用户才能构建网络文件***服务；
服务管理步骤：实现网络文件***的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控步骤：实现网络文件***的日志可视化收集，方便用户查看***日志；同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载步骤：实现网络文件***服务端可视化文件***操作，方便用户切换服务端存储，提供灵活的、多样的文件***形态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010652938.7A CN111930706B (zh) | 2020-07-08 | 2020-07-08 | 基于远程调用的分布式网络文件存储***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010652938.7A CN111930706B (zh) | 2020-07-08 | 2020-07-08 | 基于远程调用的分布式网络文件存储***和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111930706A CN111930706A (zh) | 2020-11-13 |
| CN111930706B true CN111930706B (zh) | 2024-04-09 |
Family
ID=73313599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010652938.7A Active CN111930706B (zh) | 2020-07-08 | 2020-07-08 | 基于远程调用的分布式网络文件存储***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111930706B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328571A (zh) * | 2020-11-25 | 2021-02-05 | 创新奇智(重庆)科技有限公司 | 对象存储方法、装置及通信设备、存储介质 |
| CN112883025B (zh) * | 2021-01-25 | 2021-11-16 | 北京云思畅想科技有限公司 | 一种可视化ceph内部数据结构映射关系的***和方法 |
| CN113760829B (zh) * | 2021-08-23 | 2023-01-24 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于fuse文件接口的安全存储***及操作*** |
| CN114221767B (zh) * | 2021-11-02 | 2024-07-02 | 北京中合谷投资有限公司 | 一种分布式网络的文件监控方法 |
| CN115687168B (zh) * | 2023-01-05 | 2023-04-25 | 北京志翔科技股份有限公司 | 文件操作通知***及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | ***股份有限公司 | 一种分布式文件处理方法及装置 |
| CN107818027A (zh) * | 2017-10-17 | 2018-03-20 | 北京京东尚科信息技术有限公司 | 名字节点主备切换的方法、装置和分布式*** |
| CN108965468A (zh) * | 2018-08-16 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 区块链网络服务平台及其链码安装方法、存储介质 |
| CN109783438A (zh) * | 2018-12-05 | 2019-05-21 | 南京华讯方舟通信设备有限公司 | 基于librados的分布式NFS***及其构建方法 |
| CN110290180A (zh) * | 2019-05-31 | 2019-09-27 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
| EP3588292A1 (en) * | 2018-06-29 | 2020-01-01 | Juniper Networks, Inc. | Monitoring and policy control of distributed data and control planes for virtual nodes |
-
2020
- 2020-07-08 CN CN202010652938.7A patent/CN111930706B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | ***股份有限公司 | 一种分布式文件处理方法及装置 |
| CN107818027A (zh) * | 2017-10-17 | 2018-03-20 | 北京京东尚科信息技术有限公司 | 名字节点主备切换的方法、装置和分布式*** |
| EP3588292A1 (en) * | 2018-06-29 | 2020-01-01 | Juniper Networks, Inc. | Monitoring and policy control of distributed data and control planes for virtual nodes |
| CN108965468A (zh) * | 2018-08-16 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 区块链网络服务平台及其链码安装方法、存储介质 |
| CN109783438A (zh) * | 2018-12-05 | 2019-05-21 | 南京华讯方舟通信设备有限公司 | 基于librados的分布式NFS***及其构建方法 |
| CN110290180A (zh) * | 2019-05-31 | 2019-09-27 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| expressing and managing network policies for emerging HPC Systems;Sergio Rivera等;proceedings of the practice and experience in Advanced research computing on rise of the machines;20190731;1-7 * |
| 基于Docker和Kubernetes的深度学***台的设计与实现;罗晟皓;中国优秀硕士学位论文全文数据库;20200115(第1期);I139-136 * |
| 基于主动防御的高安全分布式存储***研究;李宁波等;信息技术与信息化;20180825(第8期);185-188 * |
| 微服务在大型设备监控管理***中的应用探究;熊肖磊;韩雄飞;赵炯;周奇才;;现代机械;20191228(第06期);88-93 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111930706A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111930706B (zh) | 基于远程调用的分布式网络文件存储***和方法 | |
| KR101224721B1 (ko) | 컨텍스트-인식 플랫폼을 위한 시스템 및 방법 | |
| CN102349062B (zh) | 浏览器缓存与远程仓库同步的方法和*** | |
| CN111475483B (zh) | 数据库迁移方法、装置及计算设备 | |
| US20150067167A1 (en) | Hot pluggable extensions for access management system | |
| CN112506870B (zh) | 数据仓库增量更新方法、装置及计算机设备 | |
| CN1755720A (zh) | 用于缓存或同步项目数据的方法和*** | |
| CN103645914A (zh) | 一种软件清理方法及装置 | |
| CN114416200A (zh) | 声明式云平台监控采集配置动态管理和加载的***及方法 | |
| JP2021121921A (ja) | 人工知能開発プラットフォームの管理方法及び装置、媒体 | |
| CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
| CN116980475B (zh) | 一种基于binlog与双环形缓冲区的数据推送*** | |
| CN111061689A (zh) | 用于对象存储***的文件过期处理方法、装置及电子设备 | |
| CN113570476A (zh) | 基于自定义告警规则的电网监控***容器服务监控方法 | |
| US20050234990A1 (en) | System and method for tracking documents | |
| CN117827854A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN103279575A (zh) | 文件信息处理方法及装置 | |
| JP2007034416A (ja) | ログデータを管理する情報処理システム、ログデータ管理方法およびプログラム | |
| CN115964061A (zh) | 插件更新方法、装置、电子设备和计算机可读存储介质 | |
| CN111813575A (zh) | 一种基于容器服务的定制化清理方法及*** | |
| CN112350921A (zh) | 消息处理方法、终端及存储介质 | |
| CN114915659B (zh) | 网络请求处理方法、装置、电子设备及存储介质 | |
| JP7189104B2 (ja) | 情報処理システム、及び情報処理システムの制御方法 | |
| US20240193141A1 (en) | Parameter-Based Versioning For Log-Based Block Devices | |
| JPH10240594A (ja) | データファイル監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |