CN105224255A - 一种存储文件管理方法及装置 - Google Patents

Abstract

本发明公开了一种存储文件管理方法及装置，包括：接收访问请求，确定发送访问请求的客户端为目标客户端，其中，访问请求包括读操作请求和写操作请求；确定访问请求在存储文件中对应的数据段为目标数据段，判断目标数据段是否为具有分段锁的数据段，具有分段锁的数据段为正在被其他客户端进行写操作的数据段；如果是，则阻塞目标客户端的访问请求，如果否，则判断访问请求的类型，如果访问请求为写操作请求，则确定目标数据段为具有分段锁的数据段，并允许目标客户端对目标数据段进行写操作，如果访问请求为读操作请求，则允许目标客户端对目标数据段进行读操作。由此，使得其他客户端无法对正在被执行写操作的数据段进行访问，提高了读数据性能。

Description

一种存储文件管理方法及装置

技术领域

本发明涉及存储***技术领域，更具体地说，涉及一种存储文件管理方法及装置。

背景技术

随着云存储***的日渐成熟，高性能计算、云计算等领域逐渐采用文件(即存储文件)作为***数据共享的媒介，例如，高性能计算基于FVCOM模型时，采用对应存储文件作为高性能计算的输入及输出。

现有技术在存储文件的应用中，允许多个客户端同时对存储文件中的相同数据段进行访问，此时，如果多个客户端中的一个对数据段进行写操作，那么其他对该数据段进行读操作并缓存的结果将会失效，从而需要重新读取存储文件进而缓存被进行写操作后的数据段。如：A客户端在f数据段进行写操作，导致B客户端同时读取并缓存的f数据段失效。由此，大大降低了读数据性能。

综上所述，现有技术对于存储文件的应用中，存在读数据性能较低的问题。

发明内容

本发明的目的是提供一种存储文件管理方法及装置，以解决现有技术中存在的读数据性能较低的问题。

为了实现上述目的，本发明提供如下技术方案：

一种存储文件管理方法，包括：

接收访问请求，确定发送所述访问请求的客户端为目标客户端，其中，所述访问请求包括读操作请求和写操作请求；

确定所述访问请求在存储文件中对应的数据段为目标数据段，判断所述目标数据段是否为具有分段锁的数据段，所述具有分段锁的数据段为正在被其他客户端进行写操作的数据段；

如果是，则阻塞所述目标客户端的访问请求，如果否，则判断所述访问请求的类型，如果所述访问请求为写操作请求，则确定所述目标数据段为具有分段锁的数据段，并允许所述目标客户端对所述目标数据段进行写操作，如果所述访问请求为读操作请求，则允许所述目标客户端对所述目标数据段进行读操作。

优选的，所述接收目标客户端发送的访问请求之后，还包括：

将与所述访问请求对应的数据信息发送至所述目标客户端，所述数据信息携带有所述存储文件中在当前时刻具有分段锁的数据段对应的标记，及在当前时刻不具有分段锁的数据段对应的标记。

优选的，所述方法还包括：

实时发送数据信息至每个所述客户端，所述数据信息携带有所述存储文件在当前时刻具有分段锁的数据段的标记，及在当前时刻不具有分段锁的数据段的标记；以指示所述客户端确定自身已缓存的且正在被其他客户端执行写操作的数据段，并在写操作完成后重新读取并缓存对应数据段。

优选的，所述方法还包括：

当所述目标客户端对所述目标数据段完成写操作后，将所述目标数据段缓存至本地缓存区。

优选的，所述方法还包括：

当所述目标客户端对所述目标数据段完成写操作后，将所述目标数据段同步给每个与所述存储文件对应的客户端，以指示所述客户端利用完成写操作的目标数据段替换自身已缓存的对应的数据段。

优选的，所述方法还包括：

当所述目标客户端对所述目标数据段完成写操作后，将所述目标数据段的分段锁进行释放，确定所述目标数据段为不具有分段锁的数据段。

优选的，所述方法还包括：

如果同时接收到多个客户端的写操作请求，且所述多个客户端的写操作请求在所述存储文件中对应的目标数据段相同，则按照预先设定的优先级由所述多个客户端中选取一个客户端作为目标客户端，对该目标客户端的写操作请求进行处理。

优选的，所述方法还包括：

如果同时接收到多个客户端的读操作请求，且所述多个客户端的读操作请求在所述存储文件中对应的目标数据段相同，则确定发送多个读操作请求的客户端均为目标客户端，并允许目标客户端对目标数据段的读操作。

一种存储文件管理装置，包括：

接收模块，用于接收访问请求，确定发送所述访问请求的客户端为目标客户端，其中，所述访问请求包括读操作请求和写操作请求；

判断模块，用于确定所述访问请求在存储文件中对应的数据段为目标数据段，判断所述目标数据段是否为具有分段锁的数据段，所述具有分段锁的数据段为正在被其他客户端进行写操作的数据段；

执行模块，用于如果所述访问请求在存储文件中对应的目标数据段为具有分段锁的数据段，则阻塞所述目标客户端的访问请求；如果所述访问请求在存储文件中对应的目标数据段不为具有分段锁的数据段，则判断所述访问请求的类型，如果所述访问请求为写操作请求，则确定所述目标数据段为具有分段锁的数据段，并允许所述目标客户端对所述目标数据段进行写操作，如果所述访问请求为读操作请求，则允许所述目标客户端对所述目标数据段进行读操作。

优选的，所述装置还包括：

信息反馈模块，用于将与所述访问请求对应的数据信息发送至所述目标客户端，所述数据信息携带有所述存储文件中在当前时刻具有分段锁的数据段对应的标记，及在当前时刻不具有分段锁的数据段对应的标记。

本发明提供的一种存储文件管理方法及装置，该方法包括：接收访问请求，确定发送所述访问请求的客户端为目标客户端，其中，所述访问请求包括读操作请求和写操作请求；确定所述访问请求在存储文件中对应的数据段为目标数据段，判断所述目标数据段是否为具有分段锁的数据段，所述具有分段锁的数据段为正在被其他客户端进行写操作的数据段；如果是，则阻塞所述目标客户端的访问请求，如果否，则判断所述访问请求的类型，如果所述访问请求为写操作请求，则确定所述目标数据段为具有分段锁的数据段，并允许所述目标客户端对所述目标数据段进行写操作，如果所述访问请求为读操作请求，则允许所述目标客户端对所述目标数据段进行读操作。由此，当存储文件中的某段数据段正在被某客户端进行写操作时，为该数据段分配分段锁，使得其他客户端无法对该段数据段进行访问，访问包括读操作及写操作。从而避免了背景技术中所提到的客户端读取并缓存正在被其他客户端执行写操作的数据段后失效，并需要重新进行读取及缓存的情况，提高了读数据性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种存储文件管理方法的流程图；

图2为本发明实施例提供的一种存储文件管理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种存储文件管理方法的流程图，可以包括以下步骤：

S11：接收访问请求，确定发送访问请求的客户端为目标客户端，其中，访问请求包括读操作请求和写操作请求。

需要说明的是，任何一个发送访问请求的客户端均可作为目标客户端。

S12：确定访问请求在存储文件中对应的数据段为目标数据段，判断目标数据段是否为具有分段锁的数据段，具有分段锁的数据段为正在被其他客户端进行写操作的数据段，如果是，则执行步骤S13，如果否，则执行步骤S14。

其中，访问请求包括读操作请求和写操作请求，具有分段锁的数据段为正在被其他客户端进行写操作的数据段。

需要说明的是，对数据段分配分段锁即为对数据段进行锁定，以防止其他数据段对具有分段锁的数据段进行读操作或者写操作。实际上就是把数据段按照细粒度的(起始位置，长度)进行加锁，保护数据段(起始位置，长度)范围内只有一个写操作。

S13：阻塞目标客户端的访问请求。

其中，阻塞即为暂时不对访问请求进行处理，等待直至允许该访问请求对应的客户端进行访问时，再响应该访问请求，允许客户端进行访问。

S14：判断访问请求的类型，如果访问请求为写操作请求，则确定目标数据段为具有分段锁的数据段，并允许目标客户端对目标数据段进行写操作，如果访问请求为读操作请求，则允许目标客户端对目标数据段进行读操作。

其中，上述步骤的主语均可以为存储文件管理装置，而该装置可以是服务端。

如果访问请求为写操作请求，则为目标数据段分配分段锁后再对其进行写操作，以防止在对目标数据段进行写操作的同时其他客户端访问该目标数据段。而如果访问请求为读操作请求，则无需为目标数据段分配分段锁，因为对目标数据段进行读操作，不会改变数据段的数据，因此，可直接允许目标客户端对目标数据段进行读操作。

由此，当存储文件中的某段数据段正在被某客户端进行写操作时，为该数据段分配分段锁，使得其他客户端无法对该段数据段进行访问，访问包括读操作及写操作。从而避免了背景技术中所提到的客户端读取并缓存正在被其他客户端执行写操作的数据段后失效，并需要重新进行读取及缓存的情况，提高了读数据性能。同时，将对存储文件的保护变为分段保护，并且使用分段锁对数据段进行锁定，缩小了用于锁定存储文件的锁的粒度，进一步提高了文件读写的并发性能。另外，能够使得多个客户同时对存储文件的不同数据段进行写操作，解决了由于多个客户端同时对同一数据段进行写操作造成客户端需要缓存整个存储文件的问题。

通过对数据段分配数据锁实际上解决的是访问请求的冲突、竞争问题，另外，为了避免多客户端同时对某一数据段进行读操作而造成的不良影响，也可以为正在被某一客户端进行读操作的数据段分配分段锁，以防止其他客户端对于该具有分段锁的数据段的访问，保证读操作的顺利实现。其中，可将与读操作对应的分段锁称为分段读锁，与写操作对应的分段锁称为分段写锁。

另外，上述实施例提供的一种存储文件管理方法，还可以包括：当目标客户端对目标数据段完成写操作后，将目标数据段缓存至本地缓存区。

需要说明的是，可以将数据段称为小文件，其大小一般为4k～64k，或者小于4k。而本地缓存区对于读操作的数据段，读取的范围(起始位置，长度)内并无其他客户端对其进行写操作，则无需将该数据段进行重新缓存，因为其并未发生变化。而在客户端对数据段进行写操作完成后，将该数据段缓存至本地缓存区，能够使得本地缓存区与服务端的存储文件的数据保持一致性，以供查询或者其他客户端访问，由此，实现了对存储文件本地缓存的实时更新，提升了缓存性能，保证了存储文件本地缓存的可用性，减少了数据段在***内的交互次数，进一步提高读写性能。

上述实施例提供的一种存储文件管理方法，还可以包括：

将与访问请求对应的数据信息发送至目标客户端，数据信息携带有存储文件中在当前时刻具有分段锁的数据段对应的标记，及在当前时刻不具有分段锁的数据段对应的标记。

接收到访问请求后，服务端将存储文件中具有分段锁的数据段的标记及不具有分段锁的数据段的标记均返回至客户端，由此，客户端能够通过上述标记准确获知哪些数据段具有分段锁，暂时无法进行访问，而哪些数据段不具有分段锁，可以访问，进而确定自身要访问的数据段，避免多次发送与无法访问的数据段对应的访问请求，消耗性能，浪费时间。

另外，还可以实时发送数据信息至每个客户端，数据信息携带有存储文件在当前时刻具有分段锁的数据段的标记，及在当前时刻不具有分段锁的数据段的标记；以指示客户端确定自身已缓存的且正在被其他客户端执行写操作的数据段，并在写操作完成后重新读取并缓存对应数据段。

由此，客户端可获知自身已读取并缓存的数据中是否存在在自身读取并缓存完成后被其他客户端进行写操作的数据，如果有，则主动发送访问请求以对对应的数据段进行读操作及缓存。从而保证了每个客户端读取并缓存的数据的有效性，提升了其缓存性能。

上述实施例提供的一种存储文件管理方法，还可以包括：

当目标客户端对目标数据段完成写操作后，将目标数据段同步给每个与存储文件对应的客户端，以指示客户端利用完成写操作的目标数据段替换自身已缓存的对应的数据段。

对于已经缓存有该数据段的客户端，其可能由于并未获知该段数据段已发生变化而继续采用自身存储的数据段，导致数据更新不及时，采用的数据不符合实际情况的情况发生。将完成写操作的数据段同步给每个与存储文件对应的客户端，能够避免上述情况的发生，保证了每个客户端所缓存的数据的实时性及有效性。并且，由于发送访问请求的客户端均可作为目标客户端，因此，将目标客户端进行写操作后的数据段同步给每个客户端，实则为将被执行写操作的数据段均同步给每个客户端。

上述实施例提供的一种存储文件管理方法，还可以包括：

当目标客户端对目标数据段完成写操作后，将目标数据段的分段锁进行释放，确定目标数据段为不具有分段锁的数据段。

将分段锁进行释放，与分段锁对应的数据段成为不具有分段锁的数据，其他客户端均可以对其进行访问。

并且，如果同时接收到多个客户端的写操作请求，且多个客户端的写操作请求在存储文件中对应的目标数据段相同，则按照预先设定的优先级由多个客户端中选取一个客户端作为目标客户端，对该目标客户端的写操作请求进行处理。

其中，多个客户端的写操作请求在存储文件中对应的目标数据段相同，也可以是多个客户端的写操作请求对应的目标数据段中的一部分相同，只要目标数据段中的一部分相同或者是完全相同，则说明多个客户端的写操作请求具有对应的相同的数据段，该目标数据段就只能被一个客户端进行写操作，以避免多个客户端同时对相同的数据段进行写操作造成数据段的失效。

由此，预先对不同的客户端设定对应的优先级，当多个客户端同时对相同的数据段发出写操作请求时，则按照优先级由高至低的顺序对不同客户端的写操作请求进行响应，从而，保证了优先级高的客户端能够优先写操作存储文件中的数据段，有利于对于存储文件的管理。

而如果同时接收到多个客户端的读操作请求，且多个客户端的读操作请求在存储文件中对应的目标数据段相同，则确定发送多个读操作请求的客户端均为目标客户端，并允许目标客户端对目标数据段的读操作。

需要说明的是，对于相同的数据段，当多个客户端需要对其进行写操作时，只能允许其中的一个客户端进行写操作；而当多个客户端需要对其进行读操作时，能够同时允许全部客户端进行读操作，这是因为写操作会造成数据段的改变，而读操作则通常不会。即，对于相同的数据段，只能允许一个客户端对其进行写操作，却可以允许多个客户端同时对其进行读操作；而当读操作和写操作同时被不同的客户端请求时，通常优先允许客户端进行写操作，当写操作完成后，再允许其他客户端进行读操作。以避免背景技术中所提到的客户端读取并缓存正在被其他客户端执行写操作的数据段后失效，并需要重新进行读取及缓存的情况，提高了读数据性能。

与上述方法实施例相对应，本发明实施例还提供了一种存储文件管理装置，如图2所示，包括：

接收模块21，用于接收访问请求，确定发送访问请求的客户端为目标客户端，其中，访问请求包括读操作请求和写操作请求；

判断模块22，用于确定访问请求在存储文件中对应的数据段为目标数据段，判断目标数据段是否为具有分段锁的数据段，具有分段锁的数据段为正在被其他客户端进行写操作的数据段；

执行模块23，用于如果访问请求在存储文件中对应的目标数据段为具有分段锁的数据段，则阻塞目标客户端的访问请求；如果访问请求在存储文件中对应的目标数据段不为具有分段锁的数据段，则判断访问请求的类型，如果访问请求为写操作请求，则确定目标数据段为具有分段锁的数据段，并允许目标客户端对目标数据段进行写操作，如果访问请求为读操作请求，则允许目标客户端对目标数据段进行读操作。

由此，当存储文件中的某段数据段正在被某客户端进行写操作时，为该数据段分配分段锁，使得其他客户端无法对该段数据段进行访问，访问包括读操作及写操作。从而避免了背景技术中所提到的客户端读取并缓存正在被其他客户端执行写操作的数据段后失效，并需要重新进行读取及缓存的情况，提高了读数据性能。同时，将对存储文件的保护变为分段保护，并且使用分段锁对数据段进行锁定，缩小了用于锁定存储文件的锁的粒度，进一步提高了文件读写的并发性能。另外，能够使得多个客户同时对存储文件的不同数据段进行写操作，解决了由于多个客户端同时对同一数据段进行写操作造成客户端需要缓存整个存储文件的问题。

上述实施例提供的一种存储文件管理装置，还可以包括：

信息反馈模块，用于将与访问请求对应的数据信息发送至目标客户端，数据信息携带有存储文件中在当前时刻具有分段锁的数据段对应的标记，及在当前时刻不具有分段锁的数据段对应的标记。

上述实施例提供的一种存储文件管理装置，还可以包括：

实时传送模块，用于实时发送数据信息至每个客户端，数据信息携带有存储文件在当前时刻具有分段锁的数据段的标记，及在当前时刻不具有分段锁的数据段的标记；以指示客户端确定自身已缓存的且正在被其他客户端执行写操作的数据段，并在写操作完成后重新读取并缓存对应数据段。

上述实施例提供的一种存储文件管理装置，还可以包括：

缓存模块，用于当目标客户端对目标数据段完成写操作后，将目标数据段缓存至本地缓存区。

上述实施例提供的一种存储文件管理装置，还可以包括：

同步模块，用于当目标客户端对目标数据段完成写操作后，将目标数据段同步给每个与存储文件对应的客户端，以指示客户端利用完成写操作的目标数据段替换自身已缓存的对应的数据段。

上述实施例提供的一种存储文件管理装置，还可以包括：

释放模块。用于当目标客户端对目标数据段完成写操作后，将目标数据段的分段锁进行释放，确定目标数据段为不具有分段锁的数据段。

上述实施例提供的一种存储文件管理装置，还可以包括：

第一选取模块，用于如果同时接收到多个客户端的写操作请求，且多个客户端的写操作请求在存储文件中对应的目标数据段相同，则按照预先设定的优先级由多个客户端中选取一个客户端作为目标客户端，对该目标客户端的写操作请求进行处理。

上述实施例提供的一种存储文件管理装置，还可以包括：

第二选取模块，用于如果同时接收到多个客户端的读操作请求，且多个客户端的读操作请求在存储文件中对应的目标数据段相同，则确定发送多个读操作请求的客户端均为目标客户端，并允许目标客户端对目标数据段的读操作。

对于存储文件管理装置中相关模块所实现的功能均可参见上述方法实施例中的内容，在此不再赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种存储文件管理方法，其特征在于，包括：

接收访问请求，确定发送所述访问请求的客户端为目标客户端，其中，所述访问请求包括读操作请求和写操作请求；

确定所述访问请求在存储文件中对应的数据段为目标数据段，判断所述目标数据段是否为具有分段锁的数据段，所述具有分段锁的数据段为正在被其他客户端进行写操作的数据段；

如果是，则阻塞所述目标客户端的访问请求，如果否，则判断所述访问请求的类型，如果所述访问请求为写操作请求，则确定所述目标数据段为具有分段锁的数据段，并允许所述目标客户端对所述目标数据段进行写操作，如果所述访问请求为读操作请求，则允许所述目标客户端对所述目标数据段进行读操作。

2.根据权利要求1所述的方法，其特征在于，所述接收目标客户端发送的访问请求之后，还包括：

将与所述访问请求对应的数据信息发送至所述目标客户端，所述数据信息携带有所述存储文件中在当前时刻具有分段锁的数据段对应的标记，及在当前时刻不具有分段锁的数据段对应的标记。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时发送数据信息至每个所述客户端，所述数据信息携带有所述存储文件在当前时刻具有分段锁的数据段的标记，及在当前时刻不具有分段锁的数据段的标记；以指示所述客户端确定自身已缓存的且正在被其他客户端执行写操作的数据段，并在写操作完成后重新读取并缓存对应数据段。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述目标客户端对所述目标数据段完成写操作后，将所述目标数据段缓存至本地缓存区。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述目标客户端对所述目标数据段完成写操作后，将所述目标数据段同步给每个与所述存储文件对应的客户端，以指示所述客户端利用完成写操作的目标数据段替换自身已缓存的对应的数据段。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述目标客户端对所述目标数据段完成写操作后，将所述目标数据段的分段锁进行释放，确定所述目标数据段为不具有分段锁的数据段。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

如果同时接收到多个客户端的写操作请求，且所述多个客户端的写操作请求在所述存储文件中对应的目标数据段相同，则按照预先设定的优先级由所述多个客户端中选取一个客户端作为目标客户端，对该目标客户端的写操作请求进行处理。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

如果同时接收到多个客户端的读操作请求，且所述多个客户端的读操作请求在所述存储文件中对应的目标数据段相同，则确定发送多个读操作请求的客户端均为目标客户端，并允许目标客户端对目标数据段的读操作。

9.一种存储文件管理装置，其特征在于，包括：

接收模块，用于接收访问请求，确定发送所述访问请求的客户端为目标客户端，其中，所述访问请求包括读操作请求和写操作请求；

判断模块，用于确定所述访问请求在存储文件中对应的数据段为目标数据段，判断所述目标数据段是否为具有分段锁的数据段，所述具有分段锁的数据段为正在被其他客户端进行写操作的数据段；

执行模块，用于如果所述访问请求在存储文件中对应的目标数据段为具有分段锁的数据段，则阻塞所述目标客户端的访问请求；如果所述访问请求在存储文件中对应的目标数据段不为具有分段锁的数据段，则判断所述访问请求的类型，如果所述访问请求为写操作请求，则确定所述目标数据段为具有分段锁的数据段，并允许所述目标客户端对所述目标数据段进行写操作，如果所述访问请求为读操作请求，则允许所述目标客户端对所述目标数据段进行读操作。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

信息反馈模块，用于将与所述访问请求对应的数据信息发送至所述目标客户端，所述数据信息携带有所述存储文件中在当前时刻具有分段锁的数据段对应的标记，及在当前时刻不具有分段锁的数据段对应的标记。