CN110865989A - 一种大规模计算集群的业务处理方法 - Google Patents
一种大规模计算集群的业务处理方法 Download PDFInfo
- Publication number
- CN110865989A CN110865989A CN201911159312.6A CN201911159312A CN110865989A CN 110865989 A CN110865989 A CN 110865989A CN 201911159312 A CN201911159312 A CN 201911159312A CN 110865989 A CN110865989 A CN 110865989A
- Authority
- CN
- China
- Prior art keywords
- data
- read
- nfs server
- nfs
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 239000000872 buffer Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000011010 flushing procedure Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种大规模计算集群及其业务处理方法、装置、从属节点及可读存储介质，方案包括：根据计算业务请求，从NFS服务器获取待处理数据；调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对待处理数据进行相应的处理；将处理后的数据写入NFS服务器的读写缓冲区，以便于NFS服务器在达到预设触发条件时将读写缓冲区的数据下刷至物理磁盘。可见，该方案通过用户态网络文件***共享作业软件与动态链接库，提高部署作业软件和动态链接库的效率、维护性和管理性。此外，在业务处理过程中，只有在达到预设条件时，NFS服务器才将读写缓冲区的数据下刷至物理磁盘，从而减少了磁盘IO次数，提高了大规模计算集群的整体性能。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种大规模计算集群及其业务处理方法、装置、从属节点和可读存储介质。
背景技术
海量存储、可扩展性文件存储***在企业信息***中得到了广泛应用和深入发展，用户的核心文件存储应用数量越来越多，其中通过网络进行文件进行数据交互，是企业用户普遍采用的方式。随着企业数据越来越庞大，用户对数据的传输性能和稳定性要求越来越高，对网络文件***的应用逐渐广泛。
NFS(Network File System)即网络文件***，是FreeBSD支持的文件***中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。
内核态是指CPU可以访问内存所有数据，包括***设备，例如硬盘、网卡等，CPU也可以将自己从一个程序切换到另一个程序。用户态是指只能受限的访问内存，且不允许访问***设备，占用CPU的能力被剥夺，CPU资源可以被其他程序获取。NFS-Ganesha是用户态网络文件***，属于开源项目，在***服务故障场景下，相比于内核态NFS具有较好管理性和可维护性，并且用户态NFS-Ganesha易于实施和维护，因此，目前，大数据海量分布式对象存储NFS-Ganesha应用前景很大。
随着大数据时代的不断发展，单台计算机的IO性能有限，不足以高效的完成复杂计算任务，许多计算场景下的业务需要大规模计算节点来满足工作需求；在运行计算业务作业时，需要加载计算时所需要的作业软件和动态库文件，在大规模计算节点，势必需要在每个计算节点上安装部署作业软件和动态库文件，这种方法在大规模计算节点中实施消耗内存并且可维护性差，不具备较好的管理性。
可见，如何避免大规模计算集群中作业软件和动态链接库的部署工作的繁琐性，提升业务处理的效率，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种大规模计算集群及其业务处理方法、装置、从属节点和可读存储介质，用以解决传统的大规模计算集群需要在各个节点部署作业软件和动态链接库，部署效率和可维护性较低，且集群的业务处理效率较低的问题。其具体方案如下：
第一方面，本申请提供了一种大规模计算集群的业务处理方法，应用于从属节点，包括：
根据计算业务请求，从NFS服务器获取待处理数据；
根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；其中，大规模计算集群的控制节点基于用户态网络文件***预先将所述作业软件和所述动态链接库所在目录导出共享，生成所述共享目录；
将处理后的数据写入所述NFS服务器的读写缓冲区，以便于所述NFS服务器在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
优选的，所述根据计算业务请求，从NFS服务器获取待处理数据，包括：
根据计算业务请求，向NFS服务器发送数据获取请求，以便于所述NFS服务器根据所述数据获取请求，将目标数据从物理磁盘读取至所述读写缓冲区，其中所述目标数据包括待处理数据；从所述读写缓冲区获取所述待处理数据。
优选的，所述将处理后的数据写入所述NFS服务器的读写缓冲区，包括：
根据处理后的数据，生成RPC层的写请求报文，其中所述写请求报文包括以太网头、IP头、TCP头、RPC头和NFS数据段；
将所述写请求报文发送至所述NFS服务器，以将所述处理后的数据写入所述NFS服务器的读写缓冲区。
优选的，在所述将所述写请求报文发送至所述NFS服务器之后，还包括：
在所述读写缓冲区中，所述NFS服务器将为目标逻辑地址连续的NFS数据段分配连续的内存。
优选的，在所述调用预先挂载至共享目录的本地目录中的作业软件和动态链接库之前，还包括：
基于用户态网络文件***，将控制节点的作业软件与动态链接库所在目录导出共享，生成共享目录；
通过批处理命令脚本，将各个从属节点的本地目录挂载至所述共享目录。
优选的，所述预设触发条件包括以下任意一项或任意组合：所述读写缓冲区的缓存量超过预设大小、超过预设时长未接收到写请求、当前写请求的目标逻辑地址与所述读写缓冲区中已经写入的数据的目标逻辑地址不连续。
第二方面，本申请提供了一种大规模计算集群的业务处理装置，应用于从属节点，包括：
数据获取模块：用于根据计算业务请求，从NFS服务器获取待处理数据；
数据处理模块：用于根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；其中，大规模计算集群的控制节点基于用户态网络文件***预先将所述作业软件和所述动态链接库所在目录导出共享，生成所述共享目录；
数据写入模块：用于将处理后的数据写入所述NFS服务器的读写缓冲区，以便于所述NFS服务器在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
第三方面，本申请提供了一种大规模计算集群的从属节点，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的一种大规模计算集群的业务处理方法的步骤。
第四方面，本申请提供了一种大规模计算集群，包括：NFS服务器和NFS客户端，所述NFS客户端包括控制节点和从属节点；
所述控制节点用于基于用户态网络文件***预先将作业软件和动态链接库所在目录导出共享，生成共享目录，并将所述从属节点的本地目录挂载至所述共享目录；
所述从属节点用于根据计算业务请求，从NFS服务器获取待处理数据；根据所述计算业务请求，调用本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；将处理后的数据写入所述NFS服务器的读写缓冲区；
所述NFS服务器用于在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
第五方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种大规模计算集群的业务处理方法的步骤。
本申请所提供的一种大规模计算集群的业务处理方法，应用于从属节点，该方法包括：根据计算业务请求，从NFS服务器获取待处理数据；根据计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对待处理数据进行相应的处理；将处理后的数据写入NFS服务器的读写缓冲区，以便于NFS服务器在达到预设触发条件时将读写缓冲区的数据下刷至物理磁盘。其中，大规模计算集群的控制节点基于用户态网络文件***预先将作业软件和所述动态链接库所在目录导出共享，生成共享目录。
可见，该方法通过用户态网络文件***共享作业软件与动态链接库，提高大规模计算集群部署作业软件和动态链接库的效率、维护性和管理性。此外，在业务处理过程中，从属节点将处理后的数据发送至NFS服务器的读写缓冲区，只有在达到预设条件时，NFS服务器才将读写缓冲区的数据下刷至物理磁盘，从而减少了磁盘直接IO次数，使业务请求的响应时间短、吞吐量高、抗并发能力强，提高了大规模计算集群的整体性能。
此外，本申请还提供了一种大规模计算集群的业务处理装置、从属节点、大规模计算集群及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种大规模计算集群的业务处理方法实施例一的实现流程图；
图2为本申请所提供的一种大规模计算集群的业务处理方法实施例二的实现流程图；
图3为本申请所提供的一种大规模计算集群的业务处理方法实施例二中业务处理过程示意图；
图4为本申请所提供的一种大规模计算集群的业务处理方法实施例二中数据缓存过程示意图；
图5为本申请所提供的一种大规模计算集群的业务处理装置实施例的功能框图。
具体实施方式
本申请的核心是提供一种大规模计算集群及其业务处理方法、装置、从属节点及可读存储介质，通过用户态网络文件***共享作业软件与动态链接库，提高部署作业软件和动态链接库的效率、维护性和管理性。此外，NFS服务器只有在达到预设条件时才将读写缓冲区的数据下刷至物理磁盘，从而减少了磁盘IO次数，提高了大规模计算集群的整体性能。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请提供的一种大规模计算集群的业务处理方法实施例一进行介绍，参见图1，实施例一应用于从属节点，包括：
S101、根据计算业务请求，从NFS服务器获取待处理数据；
S102、根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；
其中，大规模计算集群的控制节点基于用户态网络文件***预先将所述作业软件和所述动态链接库所在目录导出共享，生成所述共享目录。
S103、将处理后的数据写入所述NFS服务器的读写缓冲区，以便于所述NFS服务器在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
本实施例的大规模计算集群包括NFS服务器和NFS客户端，其中NFS客户端具体包括控制节点和从属节点，本实施例的实施过程基于从属节点实现。如上所述，本实施例的控制节点基于用户态网络文件***(network file system user-space，NFS-Ganesha)预先将作业软件和动态链接库所在目录导出共享，并将各个从属节点的本地目录挂载至该共享目录，因此，各个从属节点能够像访问本地目录一样从共享目录中获取作业软件和动态链接库。基于此，本实施例避免在各个节点上部署作业软件和动态链接库的繁琐工作。
基于上述大规模计算集群的业务处理过程如下：从NFS客户端发起计算作业请求开始，首先，NFS客户端向NFS服务器发起存储IO，从NFS服务器读出待处理数据到NFS客户端，然后NFS客户端的从属节点向控制节点发起软件计算，此时控制节点既充当NFS服务器也充当NFS客户端，相当于两套用户态网络文件***服务，同时作为软件节点，进行计算后，NFS客户端把处理后的数据再存入NFS服务器。
为了提高文件***性能，内核可以从物理内存分配出缓冲区，用于缓存***操作和数据文件。当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。因此，本实施例中NFS服务器预先设置了读写缓冲区，一方面，该读写缓冲区可以用于缓存NFS客户端写入的处理后的数据，另一方面，该读写缓冲区可以用于缓存NFS客户端请求读取的待处理数据。
具体的，本实施例的NFS服务器通过读写缓冲区实现预读，也就是说，在NFS客户端读数据的时候，文件***为应用程序一次读出比预期更多的文件内容并缓存在读写缓冲区中，当NFS客户端再次发起读请求时，不用再进行重复的读请求，减少IO次数；在NFS客户端写入数据时，NFS客户端先把数据写到读写缓冲区，待满足一定触发条件时，NFS服务器再将数据下刷到物理磁盘，同样也是减少***调用次数，降低磁盘访问频率。
本实施例所提供一种大规模计算集群的业务处理方法，应用于从属节点，该方法通过用户态网络文件***共享作业软件与动态链接库，提高大规模计算集群部署作业软件和动态链接库的效率、维护性和管理性。此外，在业务处理过程中，从属节点将处理后的数据发送至NFS服务器的读写缓冲区，只有在达到预设条件时，NFS服务器才将读写缓冲区的数据下刷至物理磁盘，从而减少了磁盘直接IO次数，使业务请求的响应时间短、吞吐量高、抗并发能力强，提高了大规模计算集群的整体性能。
下面开始详细介绍本申请提供的一种大规模计算集群的业务处理方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
图2为实施例二的实现流程图，图3为实施例二的过程示意图。参见图2和图3，实施例二应用于从属节点，具体包括：
S201、基于用户态网络文件***，将控制节点的作业软件与动态链接库所在目录导出共享，生成共享目录；
S202、通过批处理命令脚本，将各个从属节点的本地目录挂载至所述共享目录；
将大规模计算节点中任意一个节点作为控制节点，例如256个中的第一个计算节点作为控制节点，部署服务，NFS共享导出作业软件与动态链接库。其中部署服务是指搭建用户态网络文件***服务，将作业软件与动态链接库所在目录导出共享。在大规模计算中的控制节点，通过批处理命令脚本，将其余的计算节点将共享导出目录挂载到本地目录。因此，当大规模计算节点开始运行业务时，从属节点只需要调用本地目录的作业软件与动态链接库即可。
S203、根据计算业务请求，向NFS服务器发送数据获取请求，以便于所述NFS服务器根据所述数据获取请求，将目标数据从物理磁盘读取至所述读写缓冲区，其中所述目标数据包括但不限于待处理数据；从所述读写缓冲区获取所述待处理数据；
S204、根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；
S205、根据处理后的数据，生成RPC层的写请求报文；
其中，RPC(Remote Procedure Call，远程过程调用)，如图4所示，所述写请求报文包括以太网头、IP头、TCP头、RPC头和NFS数据段。
S206、将所述写请求报文发送至所述NFS服务器，以将所述处理后的数据写入所述NFS服务器的读写缓冲区；
具体的，NFS服务器设置用户态网络文件***的读写缓冲区buffer，分配一段连续的内存空间NFS cache[BUFFER_SIZE]。
S207、在所述读写缓冲区中，所述NFS服务器将为目标逻辑地址连续的NFS数据段分配连续的内存，在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
通过解码解析出每个数据包中的NFS写请求，从NFS数据包的offset为0时接收的数据段，从读写缓冲区buffer中分配所需要的内存，并将NFS的数据段接收到的这个缓冲区buffer中；从NFS的IO缓冲区buffer中分配内存时，目标地址连续的NFS数据分配连续的内存，多个连续的NFS数据组合到一个连续的物理内存里面；当满足一定的触发条件时，将连续的物理内存数据段下刷到物理磁盘中。
作为一种具体的实施方式，上述预设触发条件包括以下任意一项或任意组合：所述读写缓冲区的缓存量超过预设大小、超过预设时长未接收到写请求、当前写请求的目标逻辑地址与所述读写缓冲区中已经写入的数据的目标逻辑地址不连续。
综上，本实施例的实施过程如图3所示，上层应用通过虚拟文件***层对NFS客户端进行***调用，NFS客户端将上述数据获取请求通过RPC层传输至NFS服务器。NFS服务器接收到RPC层的数据获取请求之后，通过具体的文件***存储从磁盘阵列读取数据，并缓存至预先设置的读写缓冲区。NFS接收到数据写入请求之后，将写入的数据缓存至读写缓冲区，并在达到预设的触发条件时，将数据下刷至磁盘阵列。
其中，数据缓存过程如图4所示，NFS服务器接收到RPC层的写请求报文之后，从中获取NFS操作字和NFS数据段，根据逻辑地址将NFS数据段缓存至读写缓冲区，并根据是否达到触发条件决定是否将数据下刷至磁盘阵列。可以理解的是，在数据下刷后，NFS服务器会释放读写缓冲区。
可见，本实施例提供的一种大规模计算集群的业务处理方法，涉及网络文件***数据存储、顺序IO缓存领域，特别涉及用户态网络文件***在大规模计算节点中的缓存加速***。具体的，本实施例基于用户态网络文件***实现了大规模计算节点缓存加速***，通过用户态网络文件***共享作业软件与动态链接库的方法，提高大规模计算节点部署软件和动态链接库的效率、维护性和管理性；此外，将计算场景业务中的数据预读缓存到读写缓冲区中，通过预读缓存减少了磁盘直接IO次数，使计算响应时间短、吞吐量高、抗并发的能力强，提高了大规模计算整体性能。
下面对本申请实施例提供的一种大规模计算集群的业务处理装置进行介绍，下文描述的一种大规模计算集群的业务处理装置与上文描述的一种大规模计算集群的业务处理方法可相互对应参照。
本实施例的业务处理装置应用于从属节点，如图5所示，包括：
数据获取模块501：用于根据计算业务请求，从NFS服务器获取待处理数据；
数据处理模块502：用于根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；其中，大规模计算集群的控制节点基于用户态网络文件***预先将所述作业软件和所述动态链接库所在目录导出共享，生成所述共享目录；
数据写入模块503：用于将处理后的数据写入所述NFS服务器的读写缓冲区，以便于所述NFS服务器在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
本实施例的大规模计算集群的业务处理装置用于实现前述的大规模计算集群的业务处理方法，因此该装置中的具体实施方式可见前文中的大规模计算集群的业务处理方法的实施例部分，例如，数据获取模块501、数据处理模块502、数据写入模块503，分别用于实现上述大规模计算集群的业务处理方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的大规模计算集群的业务处理装置用于实现前述的大规模计算集群的业务处理方法，因此其作用与上述方法的作用相对应，这里不再赘述。
本申请还提供了一种大规模计算集群的从属节点，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上文所述的一种大规模计算集群的业务处理方法的步骤。
此外，本申请能够还提供了一种大规模计算集群，包括：NFS服务器和NFS客户端，所述NFS客户端包括控制节点和从属节点；
所述控制节点用于基于用户态网络文件***预先将作业软件和动态链接库所在目录导出共享，生成共享目录，并将所述从属节点的本地目录挂载至所述共享目录；
所述从属节点用于根据计算业务请求，从NFS服务器获取待处理数据；根据所述计算业务请求，调用本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；将处理后的数据写入所述NFS服务器的读写缓冲区；
所述NFS服务器用于在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
最后，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种大规模计算集群的业务处理方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种大规模计算集群的业务处理方法，其特征在于，应用于从属节点，包括：
根据计算业务请求，从NFS服务器获取待处理数据；
根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；其中，大规模计算集群的控制节点基于用户态网络文件***预先将所述作业软件和所述动态链接库所在目录导出共享，生成所述共享目录；
将处理后的数据写入所述NFS服务器的读写缓冲区，以便于所述NFS服务器在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
2.如权利要求1所述的方法，其特征在于，所述根据计算业务请求，从NFS服务器获取待处理数据，包括：
根据计算业务请求，向NFS服务器发送数据获取请求，以便于所述NFS服务器根据所述数据获取请求，将目标数据从物理磁盘读取至所述读写缓冲区，其中所述目标数据包括待处理数据；从所述读写缓冲区获取所述待处理数据。
3.如权利要求1所述的方法，其特征在于，所述将处理后的数据写入所述NFS服务器的读写缓冲区，包括：
根据处理后的数据，生成RPC层的写请求报文，其中所述写请求报文包括以太网头、IP头、TCP头、RPC头和NFS数据段；
将所述写请求报文发送至所述NFS服务器，以将所述处理后的数据写入所述NFS服务器的读写缓冲区。
4.如权利要求3所述的方法，其特征在于，在所述将所述写请求报文发送至所述NFS服务器之后，还包括：
在所述读写缓冲区中，所述NFS服务器将为目标逻辑地址连续的NFS数据段分配连续的内存。
5.如权利要求1所述的方法，其特征在于，在所述调用预先挂载至共享目录的本地目录中的作业软件和动态链接库之前，还包括：
基于用户态网络文件***，将控制节点的作业软件与动态链接库所在目录导出共享，生成共享目录；
通过批处理命令脚本，将各个从属节点的本地目录挂载至所述共享目录。
6.如权利要求1-5任意一项所述的方法，其特征在于，所述预设触发条件包括以下任意一项或任意组合：所述读写缓冲区的缓存量超过预设大小、超过预设时长未接收到写请求、当前写请求的目标逻辑地址与所述读写缓冲区中已经写入的数据的目标逻辑地址不连续。
7.一种大规模计算集群的业务处理装置，其特征在于，应用于从属节点，包括：
数据获取模块：用于根据计算业务请求，从NFS服务器获取待处理数据；
数据处理模块：用于根据所述计算业务请求，调用预先挂载至共享目录的本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；其中，大规模计算集群的控制节点基于用户态网络文件***预先将所述作业软件和所述动态链接库所在目录导出共享，生成所述共享目录；
数据写入模块：用于将处理后的数据写入所述NFS服务器的读写缓冲区，以便于所述NFS服务器在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
8.一种大规模计算集群的从属节点，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-6任意一项所述的一种大规模计算集群的业务处理方法的步骤。
9.一种大规模计算集群，其特征在于，包括：NFS服务器和NFS客户端，所述NFS客户端包括控制节点和从属节点；
所述控制节点用于基于用户态网络文件***预先将作业软件和动态链接库所在目录导出共享，生成共享目录，并将所述从属节点的本地目录挂载至所述共享目录；
所述从属节点用于根据计算业务请求，从NFS服务器获取待处理数据；根据所述计算业务请求，调用本地目录中的作业软件和动态链接库，对所述待处理数据进行相应的处理；将处理后的数据写入所述NFS服务器的读写缓冲区；
所述NFS服务器用于在达到预设触发条件时将所述读写缓冲区的数据下刷至物理磁盘。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-6任意一项所述的一种大规模计算集群的业务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911159312.6A CN110865989A (zh) | 2019-11-22 | 2019-11-22 | 一种大规模计算集群的业务处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911159312.6A CN110865989A (zh) | 2019-11-22 | 2019-11-22 | 一种大规模计算集群的业务处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110865989A true CN110865989A (zh) | 2020-03-06 |
Family
ID=69655736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911159312.6A Withdrawn CN110865989A (zh) | 2019-11-22 | 2019-11-22 | 一种大规模计算集群的业务处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110865989A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111698239A (zh) * | 2020-06-08 | 2020-09-22 | 星辰天合（北京）数据科技有限公司 | 基于网络文件***的应用控制方法及装置、*** |
| CN111880737A (zh) * | 2020-07-28 | 2020-11-03 | 苏州浪潮智能科技有限公司 | 一种数据读写方法、装置、设备及计算机可读存储介质 |
| CN112000287A (zh) * | 2020-08-14 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种io请求处理装置、方法、设备及可读存储介质 |
| CN112733189A (zh) * | 2021-01-14 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种实现文件存储服务端加密的***与方法 |
| WO2021185109A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | Kubernetes用户态应用中基于虚拟文件***的小文件存储优化*** |
| CN113965587A (zh) * | 2021-09-18 | 2022-01-21 | 苏州浪潮智能科技有限公司 | 一种人工智能平台的数据获取方法、装置、设备、介质 |
| CN114489513A (zh) * | 2022-02-11 | 2022-05-13 | 上海驻云信息科技有限公司 | 一种基于本地磁盘中转的数据返回方法及*** |
| CN116910016A (zh) * | 2023-09-14 | 2023-10-20 | 交通运输部北海航海保障中心天津通信中心 | 一种ais数据处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609485A (zh) * | 2012-01-20 | 2012-07-25 | 无锡众志和达存储技术有限公司 | 基于文件***的nfs数据i/o加速方法 |
| CN103631623A (zh) * | 2013-11-29 | 2014-03-12 | 浪潮(北京)电子信息产业有限公司 | 一种集群***中部署应用软件的方法及装置 |
| CN105224256A (zh) * | 2015-10-13 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 一种存储*** |
| CN106550037A (zh) * | 2016-11-07 | 2017-03-29 | 天脉聚源(北京)传媒科技有限公司 | 一种服务器间共享数据的方法及装置 |
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | ***股份有限公司 | 一种分布式文件处理方法及装置 |
| CN108900606A (zh) * | 2018-06-28 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种跨***实现数据共享的方法、装置及设备 |
-
2019
- 2019-11-22 CN CN201911159312.6A patent/CN110865989A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609485A (zh) * | 2012-01-20 | 2012-07-25 | 无锡众志和达存储技术有限公司 | 基于文件***的nfs数据i/o加速方法 |
| CN103631623A (zh) * | 2013-11-29 | 2014-03-12 | 浪潮(北京)电子信息产业有限公司 | 一种集群***中部署应用软件的方法及装置 |
| CN105224256A (zh) * | 2015-10-13 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 一种存储*** |
| CN106550037A (zh) * | 2016-11-07 | 2017-03-29 | 天脉聚源(北京)传媒科技有限公司 | 一种服务器间共享数据的方法及装置 |
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | ***股份有限公司 | 一种分布式文件处理方法及装置 |
| CN108900606A (zh) * | 2018-06-28 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种跨***实现数据共享的方法、装置及设备 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021185109A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | Kubernetes用户态应用中基于虚拟文件***的小文件存储优化*** |
| CN111698239A (zh) * | 2020-06-08 | 2020-09-22 | 星辰天合（北京）数据科技有限公司 | 基于网络文件***的应用控制方法及装置、*** |
| CN111880737A (zh) * | 2020-07-28 | 2020-11-03 | 苏州浪潮智能科技有限公司 | 一种数据读写方法、装置、设备及计算机可读存储介质 |
| CN112000287A (zh) * | 2020-08-14 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种io请求处理装置、方法、设备及可读存储介质 |
| CN112000287B (zh) * | 2020-08-14 | 2022-06-17 | 北京浪潮数据技术有限公司 | 一种io请求处理装置、方法、设备及可读存储介质 |
| CN112733189A (zh) * | 2021-01-14 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种实现文件存储服务端加密的***与方法 |
| CN113965587A (zh) * | 2021-09-18 | 2022-01-21 | 苏州浪潮智能科技有限公司 | 一种人工智能平台的数据获取方法、装置、设备、介质 |
| CN114489513A (zh) * | 2022-02-11 | 2022-05-13 | 上海驻云信息科技有限公司 | 一种基于本地磁盘中转的数据返回方法及*** |
| CN116910016A (zh) * | 2023-09-14 | 2023-10-20 | 交通运输部北海航海保障中心天津通信中心 | 一种ais数据处理方法 |
| CN116910016B (zh) * | 2023-09-14 | 2024-06-11 | 交通运输部北海航海保障中心天津通信中心 | 一种ais数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110865989A (zh) | 一种大规模计算集群的业务处理方法 | |
| CN113674133B (zh) | Gpu集群共享显存***、方法、装置及设备 | |
| US8713186B2 (en) | Server-side connection resource pooling | |
| CN112000287B (zh) | 一种io请求处理装置、方法、设备及可读存储介质 | |
| US6516342B1 (en) | Method and apparatus for extending memory using a memory server | |
| CN110196681B (zh) | 业务写操作的磁盘数据写入控制方法及装置、电子设备 | |
| CN102693230B (zh) | 用于存储区域网络的文件*** | |
| CN112000277B (zh) | 精简置备文件拷贝方法、装置、设备及可读存储介质 | |
| US20210117333A1 (en) | Providing direct data access between accelerators and storage in a computing environment, wherein the direct data access is independent of host cpu and the host cpu transfers object map identifying object of the data | |
| CN115576654B (zh) | 一种请求处理方法、装置、设备及存储介质 | |
| CN109582649B (zh) | 一种元数据存储方法、装置、设备及可读存储介质 | |
| WO2017095820A1 (en) | Methods and devices for acquiring data using virtual machine and host machine | |
| CN112698789B (zh) | 数据缓存方法、装置、设备及存储介质 | |
| JP2004127295A (ja) | 仮想記憶システムおよびその動作方法 | |
| US20230281141A1 (en) | Method for order-preserving execution of write request and network device | |
| KR20210040864A (ko) | 파일 디렉터리 순회 방법, 장치, 기기, 매체 및 컴퓨터 프로그램 | |
| CN114564339A (zh) | 一种磁盘镜像文件跨平台迁移方法及*** | |
| CN113031857A (zh) | 数据写入方法、装置、服务器及存储介质 | |
| CN116627587A (zh) | 一种动态扩展虚拟机内存的方法 | |
| CN116107509A (zh) | 一种数据处理方法、装置和电子设备 | |
| CN115562871A (zh) | 内存分配管理的方法和装置 | |
| CN114900485B (zh) | 访问网络文件存储的方法、电子设备及*** | |
| WO2016070641A1 (zh) | 数据的保存方法、装置及读取方法、装置 | |
| CN111435299A (zh) | 一种应用程序的处理方法及装置 | |
| US11755496B1 (en) | Memory de-duplication using physical memory aliases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200306 |
|
| WW01 | Invention patent application withdrawn after publication |