CN116107843A - 确定操作***性能的方法、任务调度方法、设备 - Google Patents

Abstract

本说明书实施例提供了一种确定操作***性能的方法、任务调度方法、设备及存储介质。所述方法包括：在操作***运行过程中，获取操作***上与数据存取操作有关的处理资源的资源参数，所述资源参数中的至少部分通过内核动态追踪技术获取得到；基于所述资源参数确定所述操作***当前的存取性能参数，所述存取性能参数用于表征所述操作***往存储设备存取数据的能力。通过这种方式，可以更加准确地评估操作***当前的存取数据的性能，并基于其当前的性能确定最优的数据存取策略，提高操作***的数据存取效率，同时，也可以保证操作***稳定运行。

Description

确定操作***性能的方法、任务调度方法、设备

技术领域

本说明书实施例涉及计算机技术领域，尤其涉及一种确定操作***性能的方法、任务调度方法、设备及存储介质。

背景技术

在数据存取的场景，一般情况下，操作***在运行过程中可用于实现数据存取操作的资源会实时发生变化。而准确的评估操作***当前存取数据的能力，可以更好优化存取策略。比如，在操作***存取数据的任务负载较小时充分存取数据，而在操作***存储数据的负载较大时减少数据的存取。再比如，在利用分布式***存储数据的场景，可以基于各个设备节点的操作***当前的存取数据的性能进行数据存取任务的分配。无论是上述哪种场景，准确的确定操作***当前存取数据的能力都非常关键，因此，有必要提供一种可以确定操作***实时存取数据的性能的方案。

发明内容

为克服相关技术中存在的问题，本说明书实施例提供了一种确定操作***性能的方法、任务调度方法、设备及存储介质。

根据本说明书实施例的第一方面，提供一种确定操作***性能的方法，所述方法包括：

在操作***运行过程中，获取操作***上与数据存取操作有关的处理资源的资源参数，所述资源参数中的至少部分通过内核动态追踪技术获取得到；

基于所述资源参数确定所述操作***当前的存取性能参数，所述存取性能参数用于表征所述操作***往存储设备存取数据的能力。

在一些实施例中，所述存取性能参数包括存储负载和/或可用存储带宽；其中，所述存储负载用于表征所述操作***当前的数据存储任务的任务量的多少，所述可用存储带宽用于表征所述操作***在单位时间内可往存储设备写入数据的多少。

在一些实施例中，所述操作***为Linux***，在所述操作***往存储设备存取数据的模式为直接存取模式的情况下，所述操作***的存取性能参数基于所述操作***的文件***的存取性能参数，以及所述操作***的通用块层的存取性能参数确定；

在所述操作***往存储设备存取数据的模式为缓存存取模式的情况下，所述操作***的存取性能参数由所述操作***的文件***的存取性能参数，以及所述操作***的内存管理模块的存取性能参数确定；

其中，所述通用块层的存取性能参数基于所述通用块层的资源参数确定，所述文件***的存取性能参数基于所述文件***的资源参数确定，所述内存管理模块的存取性能参数基于所述内存管理模块的资源参数确定。

在一些实施例中，在所述操作***往存储设备存取数据的模式为直接存取模式的情况下，所述可用存储带宽为所述通用块层的可用存储带宽，以及所述文件***的可用存储带宽中较小的一个；

在所述操作***往存储设备存取数据的模式为缓存存取模式的情况下，所述可用存储带宽为所述内存管理模块的可用存储带宽，以及所述文件***的可用存储带宽中较小的一个。

在一些实施例中，在所述操作***往存储设备存取数据的模式为直接存取模式的情况下，所述存储负载基于所述通用块层的可用存储带宽与所述文件***的可用存储带宽的比值确定；

在所述操作***往存储设备存取数据的模式为缓存存取模式的情况下，所述存储负载基于所述内存管理模块的可用存储带宽与所述文件***的可用存储带宽的比值确定。

在一些实施例中，所述通用块层的资源参数包括以下一项或多项：所述通用块层的数据读写请求资源池中剩余的处理资源的数量、每个所述处理资源可处理的数据量、以及所述通用块层的处理延时。

在一些实施例中，所述通用块层的可用存储带宽与所述处理资源的数量、每个所述处理资源可处理的数据量正相关，与所述通用块层的处理延时负相关。

在一些实施例中，所述内存管理模块的资源参数包括以下一项或多项：内存脏页阈值、可用内存的大小、已用内存的大小，其中，所述可用内存的大小基于未占用的内存页的数量、活跃文件内存页的数量、非活跃文件内存页的数量确定。

在一些实施例中，所述文件***的资源参数包括以下一项或多项：待存取数据的大小，以及所述文件***的处理延时。

在一些实施例中，所述文件***的可用存储带宽与所述待存取数据的大小正相关、与所述文件***的处理延时负相关。

在一些实施例中，所述内核动态追踪技术包括eBPF技术。

根据本说明书实施例的第二方面，提供一种任务调度方法，适用于分布式***，所述分布式***中包括多个设备节点，所述方法包括：

获取所述多个设备节点中的各设备节点的操作***当前的处理性能参数，其中，所述处理性能参数基于上述第一方面提及的方法确定；

基于各设备节点的处理性能参数为各设备节点分配任务。

根据本说明书实施例的第三方面，提供一种设备，所述设备包括处理器、存储器、存储于所述存储器且可供所述处理器执行的计算机程序，所述计算机程序被执行时实现上述第一方面和/或上述第二方面提及的方法。

根据本说明书实施例的第四方面，提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面和/或上述第二方面提及的方法。

本说明书实施例的有益效果：在操作***运行的过程中，可以获取操作***中与数据存取操作有关的处理资源的资源参数，基于这些资源参数确定表征操作***往存储设备存取数据的能力的存取性能参数。考虑到操作***在运行过程中，其可用于数据存取操作的处理资源主要受底层硬件资源的影响，即大部分资源参数往往位于操作***的内核态，并且在运行过程中实时发生变化，因而，为了可以准确获取其实时的资源参数，以评估其实时的存取数据的能力，可以利用内核动态追踪技术获取操作***中当前和数据存取操作有关的部分资源参数，并结合这些资源参数确定操作***的存取性能参数。通过这种方式，可以更加准确地评估操作***当前的存取数据的性能，并基于其当前的性能确定最优的数据存取策略，提高操作***的数据存取效率，同时，也可以保证操作***稳定运行。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

附图说明

此处的附图被并入说明书中并构成本说明书实施例的一部分，示出了符合本说明书实施例的实施例，并与说明书一起用于解释本说明书实施例的原理。

图1为本说明书一示例性实施例示出的确定操作***性能的方法的示意图；

图2为本说明书一示例性实施例示出的Linux***的架构图；

图3为本说明书一示例性实施例示出的Linux***通用块层存储数据的示意图；

图4为本说明书一示例性实施例示出的Linux***直接存取数据模式的示意图；

图5为本说明书一示例性实施例示出的Linux***缓存存取数据的示意图；

图6为本说明书一示例性实施例示出设备的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书实施例的一些方面相一致的装置和方法的例子。

在本说明书实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书实施例。在本说明书实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在数据存取的场景，一般情况下，操作***运行过程中其可用于实现数据存取操作的资源会实时发生变化，比如，当前可用内存余量的变化、内核I/O子***有无I/O请求(即数据读写请求)堆积、存储介质是否处于空闲状态等等，这些可用资源的变化会影响当前操作***的存取数据的能力。而准确的评估操作***当前存取数据的能力，可以更好优化存取策略。比如，在操作***存取数据的任务负载较小时充分存取数据，而在操作***存取数据的负载较大时减少数据的存取。再比如，在利用分布式***存取数据的场景，可以基于各个设备节点的操作***当前的存取数据的性能进行数据存取任务的分配。无论是上述哪种场景，准确的确定操作***当前存取数据的能力都非常关键。

目前，还没有一种可以有效地确定操作***实时存取数据能力的方案。比如，以Linux***为例，目前Linux***中以单位时间内处理I/O请求的时间占比来表征磁盘的饱和度，进而反映当前的数据存取性能。但是，该占比越高只能表示单位时间内有较长时间在处理I/O请求，这可能是因为I/O请求太多，所以一直在处理，占比越低，也可能是I/O请求下发的慢，所以处理I/O请求的时间少，实际上，该指标无法有效地表征体现磁盘的饱和度，进而，也无法有效的表征操作***当前存取数据的能力。因此，有必要提供一种可以准确确定操作***实时存取数据的性能的方案。

基于此，本说明书实施例提供了一种实时确定操作***存取数据的性能的方法，在操作***运行的过程中，可以获取操作***中与数据存取操作有关的处理资源的资源参数，基于这些资源参数确定表征操作***往存储设备存取数据的能力的存取性能参数。考虑到操作***在运行过程中，其可用于数据存取操作的处理资源主要受底层硬件资源的影响，即大部分资源参数往往位于操作***的内核态，并且在运行过程中实时发生变化，因而，为了可以准确获取其实时的资源参数，以评估其实时的存取数据的能力，可以利用内核动态追踪技术获取操作***中当前和数据存取操作有关的部分资源参数，并结合这些资源参数确定操作***的存取性能参数。通过这种方式，可以更加准确地评估操作***当前的存取数据的性能，并基于其当前的性能确定最优的数据存取策略，提高操作***的数据存取效率，同时，也可以保证操作***稳定运行。

本说明书实施例提供的确定操作***性能的方法可以由专门开发的软件程序实现，比如，可以是某个APP，在设备中安装该APP后，即可以对设备的操作***的存取数据的性能进行监控，或者，也可以是在设备出厂时，即集成在设备上的某个服务，该服务负责对设备的操作***的存取数据的性能进行监控，本说明书实施例不做限制。

本说明书实施例中的操作***可以用于各种类型的操作***，比如，可以是Linux***、安卓***等，本说明书实施例不做限制。

本说明书实施例中的数据存取操作是指操作***往存储设备（比如，磁盘）中写入数据的操作或者是操作***从存储设备中读取数据的操作。

如图1所示，为本公开实施例的确定操作***性能的方法，该方法可以包括以下步骤：

S102、在操作***运行过程中，获取操作***上与数据存取操作有关的处理资源的资源参数，所述资源参数中的至少部分通过内核动态追踪技术获取得到；

在步骤S102中，可以在操作***运行过程中，获取操作***上与数据存取操作有关的处理资源的资源参数。其中，资源参数可以是数据存取操作所需用到的各类处理资源的参数，这些参数可用于表征当前处理资源的多少。比如，资源参数可以是当前可用内存的多少、操作***中用于执行数据存取操作的各个软件模块的处理延时等等。考虑到资源参数的类型较多，不同类型的资源参数可以通过不同的方式获取，比如，有些资源参数可以直接通过操作***的某个接口获得，有些资源参数可以是某些硬件的固定的性能参数，因而可以预先存储，然后从存储的数据中获取。

此外，考虑到影响操作***存取数据性能的大多数资源参数都与底层硬件相关，这些资源参数往往位于操作***的内核态，并且这些资源参数实时变化，通过一般的方式无法获取得到。而且，这类资源参数往往对操作***当前的存取数据的性能具有较大影响。比如，以Linux***为例，Linux***中所有数据都需要通过Linux***中的通用块层来写入存储设备，或从存储设备读取，因而，通用块层的数据读写请求资源池中的处理资源的数量、通用块层的处理延时等资源参数往往对操作***的数据存取性能有较大影响，而这些资源参数都是内核态中较为底层的参数，一般的方式无法获取，需要通过动态内核追踪技术得到。因而，为了可以获取到这类资源参数，以便更准确的评估操作***当前的存取数据的性能，可以通过一些内核动态追踪技术来获取这部分资源参数。

比如，在一些实施例中，动态内核追踪技术可以是eBPF (Extended BerkeleyPacket Filter)技术，当然，也可以是具有类似功能的其他技术，本说明书实施例不做限制。

S104、基于所述资源参数确定所述操作***当前的存取性能参数，所述存取性能参数用于表征所述操作***往存储设备存取数据的能力。

在步骤S104中，在获取到上述资源参数以后，即可以利用这些资源参数确定操作***当前的存取性能参数，其中，存取性能参数可以是各种用于表征操作***往存储设备存取数据的能力的参数。比如，存取性能参数可以是操作***当前存取数据任务的负载的大小，或者操作***当前可用于存取数据的资源带宽等等。

在一些实施例中，为了可以更加直观的表示操作***存储数据的性能，该存取性能参数可以包括存储负载、可用存储带宽中的一个或多个，其中，存储负载用于表征操作***当前的数据存储任务的任务量的多少。比如，当前操作***接收到的数据写入请求越多，每个数据写入请求要求往存储设备中写入的数据量越大，则其存储负载越重。可用存储带宽用于表征操作***在单位时间内可往存储设备写入数据的多少，比如，当前操作***在单位时间内可往存储设备写入的数据量越大，则其可用存储带宽越大。

在一些实施例中，考虑到通常操作***中包括多个和数据存取操作有关的软件模块，在不同的数据存取模式下，所用到的软件模块也不同。而用到的各个软件模块当前的数据存取性能，共同决定操作***整体的数据存取性能。因此，针对不同的数据存取模式，可以确定该模式下所用到的软件模块当前的存取性能参数，其中，各软件模块当前的存取性能参数可由各软件模块的资源参数确定。然后可以基于各软件模块的存取性能参数得到该数据存取模式下操作***整体的存取性能参数。

比如，以Linux***为例，如图2所示，为Linux***的架构图，Linux***包括用户态和内核态，用户态中主要包括上层应用，而内核态通常包括文件***、内存管理模块、通用块层等多个软件模块。其中，通用块层用于将对不同存储设备的操作转换成对逻辑数据块的操作，相当于将不同的存储设备抽象成了一个数据块组，而文件***用于对这些数据块进行管理，通过对存储设备进行抽象后，不管是对于机械硬盘，还是磁盘等各种类型的存储设备，文件***都可以使用相同的接口对数据块进行读写操作，所有的数据读写操作均需经过文件***，内存管理模块则负责完成往内存中读取和写入数据的操作。

Linux***中的数据存取模式包括两种，直接存取模式和缓存存取模式。在缓存存取模式下，数据的存取需借助内存，而在直接存取模式中，则无需借助内存。

以下分别介绍两种模式下操作***往存储设备存取数据流程：

（1）直接存取模式：在直接存取模式中，当上层应用接收到数据写入请求(I/O请求)时，会先将待写入数据传输至文件***，文件***对待写入数据进行一定的处理后，再将待写入数据传输给通用块层，再由通用块层将待写入数据写入至存储设备（比如，磁盘）中。在读取数据时，也是类似，先由通用块层从存储设备中读取数据，再返回给文件***，由文件***返回给上层应用。

可见，在直接存取模式中，在将数据写入至存储设备的过程中，由于需要将待写入数据写入到存储设备中，才算完成了数据的写入操作，因此，整个过程的处理效率会受到文件传输***和通用块层两个软件模块当前的数据存取性能的影响。

（2）缓存存取模式：在缓存存取模式中，当上层应用接收到数据写入请求时，会先将待写入数据传输至文件***，文件***对待写入数据进行一定处理后，将待写入数据缓传输给内存管理模块，由内存管理模块将待写入数据缓存至内存（page cache）中，此时，则会给上层应用返回写入成功的响应。后续再由内存管理模块将内存中的待写入数据传输至通用块层，由通用块层将待写入数据写入至存储设备中。对于从存储设备读取数据，也是类似，先由通用块层从存储设备读取数据，由内存管理模块缓存至内存中，后续再传输给文件***。

由于在该种模式下，在将数据写入至存储设备的过程中，只要将待写入数据缓存至内存中，则认为数据写入操作已经完成，因此，整个过程的处理效率会受到文件传输***和内存管理模块两个软件模块当前的数据存取性能的影响。

因此，在一些实施例中，如果操作***为Linux***，在操作***往存储设备存取数据的模式为直接存取模式的情况下，则可以结合操作***的文件***的存取性能参数，以及操作***的通用块层的存取性能参数综合确定操作***整体的存取性能参数。

在一些实施例中，如果操作***为Linux***，在操作***往存储设备存取数据的模式为缓存存取模式的情况下，则可以结合操作***的文件***的存取性能参数，以及操作***的内存管理模块的存取性能参数综合确定操作***整体的存取性能参数。

其中，通用块层的存取性能参数基于通用块层的资源参数确定，通用块层的资源参数为通用块层在进行数据存取时所用到的处理资源的资源参数，用于表征通用块层当前可用资源的多少。

文件***的存取性能参数基于文件***的资源参数确定，文件***的资源参数为文件***在进行数据存取时所用到的处理资源的资源参数，用于表征文件***当前可用资源的多少。

内存管理模块的存取性能参数基于内存管理模块的资源参数确定，内存管理模块的资源参数为内存管理模块在进行数据存取时所用到的处理资源的资源参数，用于表征内存管理模块当前可用资源的多少。

在一些实施例中，如果操作***为Linux***，在操作***往存储设备存取数据的模式为直接存取模式的情况下，操作***的可用存储带宽为通用块层的可用存储带宽，以及文件***的可用存储带宽中较小的一个。在操作***往存储设备存取数据的模式为缓存存取模式的情况下，操作***的可用存储带宽为内存管理模块的可用存储带宽，以及文件***的可用存储带宽中较小的一个。

在直接存取模式下，由于此时数据存取操作由文件***和通用块层联合实现，因而，此时操作***整体的可用存储带宽受到这两个软件模块的可用存储带宽的影响。因此，可以利用文件***的资源参数确定文件***的可用存储带宽，并利用通用块层当前的资源参数确定通用块层的可用存储带宽。考虑到文件***和通用块层是串行完成数据的写入操作，因此，操作***整体的可用存储带宽由两者的可用存储带宽中较小的一个决定。所以，可以将文件***的可用存储带宽以及通用块层的可用存储带宽中较小的一个作为操作***最终的可用存储带宽。

同样的，在缓存存取模式下，由于此时数据存取操作由文件***和内存管理模块联合实现，因而，此时操作***整体的可用存储带宽受到这两个软件模块的可用存储带宽的影响。因此，可以利用文件***的资源参数确定文件***的可用存储带宽，并利用内存管理模块当前的资源参数确定内存管理模块的可用存储带宽。由于两者也是串行完成数据的存取操作，因此，操作***整体的可用存储带宽由两者的可用存储带宽中较小的一个决定。所以，在确定文件***的可用存储带宽以及内存管理模块的可用存储带宽之后，可以将两者中较小的一个作为操作***最终的可用存储带宽。

如图3所示，通常在通用块层中会包括一个或多个数据读写请求资源池（即I/O请求资源池），每个数据读写请求资源池与存储设备（比如，磁盘）的硬件队列对应，该硬件队列用于将通用块层中的数据写入到存储设备中。数据读写请求资源池中包括多个数据读写请求处理资源，每个处理资源可用于处理一个数据读写请求。数据读写请求资源池中处理资源的总数量一般根据对应的硬件队列的深度适当放大，比如，放大2倍，即硬件队列深度为128，则通用块层的数据读取请求资源池中处理资源总数量为256，通过适当放大，可以充分的利用硬件，让硬件处于不停歇的工作中。当通用块层接收到一个数据读写请求后，则可以从数据读写请求资源池中获取一个处理资源（此时数据读写请求资源池中剩余的处理资源数量减1），用于处理该数据读写请求，当该数据读写请求处理完后，即可以回收该处理资源（此时数据读写请求资源池中剩余的处理资源数量加1）。当数据读写请求资源池中的处理资源被取完后，需要等当前被占用的处理资源释放后，通用块层才能处理新的数据读写请求。

很明显，当前数据读写请求资源池中剩余的处理资源的数量、以及每个处理资源可处理的数据量会影响通用块层当前可用的存储带宽。其中，每个处理资源可处理的数据量与存储设备的类型相关，比如，如果存储设备为磁盘，则每个处理资源可处理的数据量由每个处理资源可覆盖的磁盘扇区数量，以及磁盘每个扇区的大小决定。

此外，通用块层在将数据存取到存储设备（比如，磁盘）时还存在一定的处理延时，该处理延时是指通用块层利用数据读写请求资源池中的处理资源将待写入数据封装并下发到存储设备的耗时，这个处理延时也在一定程度上影响着通用块层当前可用的存储带宽。

所以，在一些实施例中，通用块层的资源参数包括以下一项或多项：所述通用块层的数据读写请求资源池中剩余的处理资源的数量、每个所述处理资源可处理的数据量、以及所述通用块层的处理延时。其中，通用块层的数据读写请求资源池中剩余的处理资源的数量、通用块层的处理延时可以通过动态内核追踪技术获取得到，而每个所述处理资源可处理的数据量与存储设备（比如，磁盘）的性能相关，该参数可以预先确定。

在一些实施例中，通用块层的可用存储带宽正相关于数据读写请求资源池中剩余的处理资源的数量、每个处理资源可处理的数据量，负相关于通用块层的处理延时。其中，数据读写请求资源池中剩余的处理资源的数量越多、每个处理资源可处理的数据量越大，则通用块层的可用存储带宽越大。而通用块层利用处理资源将待写入数据封装并下发到存储设备的耗时越长，即处理延时越长，则其可用存储带宽会越小。

比如，在一些实施例中，以存储设备为磁盘为例，通用块层的可用存储带宽B1可以通过以下公式（1）计算得到：

公式（1）

其中，B1为通用块层的可用存储带宽，N为通用块层中数据读写请求资源池中剩余的处理资源的数量、n为每个处理资源可覆盖的磁盘扇区数量、K为磁盘每个扇区的大小，t1为通用块层的处理延时。

对于内存管理模块来说，其可用存储带宽主要由当前内存中剩余的未被占用的内存空间大小决定，即只要确定内存中当前总的可用内存大小，再除去当前已用的内存大小，即可得到剩余的空闲内存的大小。通常，内存中的存储空间被划分成多个内存页，每个内存页的存储空间大小一般为4K，其中，被写入数据的内存页通常称为脏页。考虑到内存中的存储空间有限，无法无限写入数据，因而会在内存中设置一些限制，当触发了这些限制后，上层应用就会进入阻塞状态，无法再提交数据，必须等到内存中累积的脏页同步到磁盘中，总脏页量降下来后，才能继续往内存写入数据，而这些限制中有一个主要的限制为脏页阈值。即当内存中的脏页数量大于该脏页阈值后，上层应用无法再提交数据。因而，可以基于脏页阈值和总的内存的大小，确定当前可用内存的大小，再除去已用内存大小，即可以得到内存管理模块的可用存储带宽。

因此，在一些实施例中，内存管理模块的资源参数可以包括以下一项或多项：内存脏页阈值、可用内存的大小、已用内存的大小。

其中，可用内存大小可以基于当前未被占用的内存页数量、活跃文件内存页数量、非活跃文件内存页数量的总和，以及每个内存页的大小确定。而当前的已用内存的大小可以基于当前的脏页数量、以及正在回写的脏页数量的总和，以及每个内存页的大小确定。

其中，脏页阈值可以从而linux***下的/proc/sys/vm下接口获取，当前未被占用的内存页数量、活跃文件内存页数量、非活跃文件内存页数量、当前的脏页数量、以及正在回写的脏页数量可通过linux***下的/proc/meminfo接口获取。

比如，在一些实施例中，内存管理模块的可用存储带宽B2可以通过以下公式（2）确定：

公式（2）

其中，B2为内管管理模块的可用存储带宽，为脏页阈值、为可用内存、脏页、正在回写的脏页。

一般而言，针对每个上层应用，文件***的可用存储带宽是一个固定数值，但是由于文件***存在一定的处理延时，该处理延时会使得文件***的可用存储带宽低于理论值。一般的文件***处理数据是以块为单位，目前操作***基本将块单位设置为内存页大小，如4KB，因此最终等同于按照一页一页来处理；因此相同的处理逻辑，在内存管理模块的可用带宽、通用块层的可用带宽不成为瓶颈的情况 ，即文件***层的处理逻辑不会因为内存资源、通用块层资源而陷入阻塞等待状态的情况下，文件***处理延时的大小与上层应用传入的数据大小体现为线性关系。

所以，在一些实施例中，文件***的资源参数包括以下一项或多项：待存取数据的大小，以及文件***的处理延时。

其中，可通过内核动态追踪技术（比如在关键API上（文件***实现的read_iter、write_iter接口）植入的eBPF程序）获取处理延时、以及待存取数据的大小，并基于两者拟合出文件***处理延迟以及数据大小的线性关系，便可以通过待存取数据大小得到文件***的处理延时。

在一些实施例中，文件***的可用存储带宽与所述待存取数据的大小正相关、与文件***的处理延时负相关。

比如，在一些实施例中，可通过以下公式（3）确定文件***的可用存储带宽B3：

公式（3）

其中，B3为文件***的可用存储带宽，t2为文件***的处理延时。

在一些实施例中，如果操作***为Linux***，在操作***往存储设备存取数据的模式为直接存取模式的情况下，操作***的存储负载可以基于通用块层的可用存储带宽与文件***的可用存储带宽的比值确定。如图4所示，一般而言，每个上层应用通过文件***存储数据时，文件***针对各上层应用存在一个可用存储带宽阈值，该可用存储带宽阈值与文件***自身的性能相关。由于同一时间可能存在多个上层应用（如图中的上层应用1、上层应用2）通过文件***存储数据，而这多个上层应用的待存储数据到达通用块层后，均需通过通用块层存储到存储设备中，所以，多个上层应用对应的数据存储带宽的总和不能超出通用块层的可用带宽。也就是说，如果通用块层的可用存储带宽与文件***的可用存储带宽的比值越大，说明此时通用块层还有较多的空闲资源，因而，操作***的整体负载较小。反之，操作***的整体负载较大。

比如，在一些实施例中，操作***的存储负载L1可以通过公式（4）确定：

公式（4）

其中，L1表示操作***的存储负载，B1为通用块层的可用存储带宽，B2为文件***的可用存储带宽。

同样的，在操作***往存储设备存取数据的模式为缓存存取模式的情况下，存储负载基于内存管理模块的可用存储带宽与文件***的资源的可用存储带宽的比值确定。如图5所示，一般而言，每个上层应用通过文件***存储数据时，文件***针对各上层应用存在一个可用存储带宽阈值。由于同一时间可能存在多个上层应用（如图中的上层应用1、上层应用2）通过文件***存储数据，而这多个上层应用的待存储数据到达内存管理模块后，均需缓存在内存中，由于内存的资源有限，所以，多个上层应用对应的数据存储带宽的总和不能超出内存管理模块的可用带宽。所以，如果内存管理模块的可用存储带宽与文件***的可用存储带宽的比值越大，说明此时内存还有较多的空闲资源，因而，操作***的整体负载较小。反之，操作***的整体负载较大。

比如，在一些实施例中，操作***的存储负载L2可以通过公式（5）确定：

公式（5）

其中，L2表示操作***的存储负载，B3为内存管理模块的可用存储带宽，B2为文件***的可用存储带宽。

不难理解，上述实施例的方案在不存在冲突的前体下，可以自由组合得到新的方案，鉴于篇幅原因，在此不再一一例举。

进一步的，本说明书实施例还提供了一种任务调度方法，该任务调度方法适用于分布式***，该分布式***中包括多个设备节点，每个设备节点可用于执行数据存取任务。该任务调度方法可以由为分布式***中的多个设备节点分配任务的设备执行，该设备可以多个设备节点中的一个，也可以是其他设备。为了可以更加合理的分配数据存取任务，以提高处理效率，可以先获取多个设备节点中的各设备节点的操作***当前的存取性能参数，其中，存取性能参数可以通过上述任一实施例中的数据存取方法确定。在确定各个设备节点的存取性能参数以后，可以基于各设备节点的存取性能参数为各设备节点分配任务。比如，如果基于存取性能参数，确定该设备节点的存取性能较差，比如，当前存储数据的任务较重，则少分配一些任务，反之，则多分配一些任务。

通过先利用上述实施例中的方法准确的确定操作***当前的存取数据的性能，再基于该性能进行任务的分配，可以提高整个分布式***的处理效率。

与本说明书实施例提供的内存分配方法实施例相对应，本说明还提供了一种确定操作***性能的装置，该装置包括：

获取模块，用于在操作***运行过程中，获取操作***上与数据存取操作有关的处理资源的资源参数，所述资源参数中的至少部分通过内核动态追踪技术获取得到；

确定模块，用于基于所述资源参数确定所述操作***当前的存取性能参数，所述存取性能参数用于表征所述操作***往存储设备存取数据的能力。

上述装置中各个单元的功能和作用的实现过程具体详见上述内存分配方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

从硬件层面而言，如图6所示，为本说明书实施例的兼容性测试装置所在设备的一种硬件结构图，除了图6所示的处理器62、存储器64之外，该设备通常还可以包括其他硬件，如负责处理报文的转发芯片等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。所述存储器64存储有计算机指令，处理器62执行所述计算机指令时实现上述任一实施例提及的方法。

本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

由于本说明书实施例对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备执行本说明书实施例各个实施例方法的全部或部分步骤。而前述的存储介质包括： U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、 随机存取存储器(Random Access Memory， RAM)、 磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本说明书实施例的较佳实施例而已，并不用以限制本说明书实施例，凡在本说明书实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书实施例保护的范围之内。

Claims (14)

1.一种确定操作***性能的方法，所述方法包括：

在操作***运行过程中，获取操作***上与数据存取操作有关的处理资源的资源参数，所述资源参数中的至少部分通过内核动态追踪技术获取得到；

基于所述资源参数确定所述操作***当前的存取性能参数，所述存取性能参数用于表征所述操作***往存储设备存取数据的能力。

2.根据权利要求1所述的方法，所述存取性能参数包括存储负载和/或可用存储带宽；其中，所述存储负载用于表征所述操作***当前的数据存储任务的任务量的多少，所述可用存储带宽用于表征所述操作***在单位时间内可往存储设备写入数据的多少。

3.根据权利要求2所述的方法，所述操作***为Linux***，在所述操作***往存储设备存取数据的模式为直接存取模式的情况下，所述操作***的存取性能参数基于所述操作***的文件***的存取性能参数，以及所述操作***的通用块层的存取性能参数确定；

在所述操作***往存储设备存取数据的模式为缓存存取模式的情况下，所述操作***的存取性能参数由所述操作***的文件***的存取性能参数，以及所述操作***的内存管理模块的存取性能参数确定；

其中，所述通用块层的存取性能参数基于所述通用块层的资源参数确定，所述文件***的存取性能参数基于所述文件***的资源参数确定，所述内存管理模块的存取性能参数基于所述内存管理模块的资源参数确定。

4.根据权利要求3所述的方法，在所述操作***往存储设备存取数据的模式为直接存取模式的情况下，所述可用存储带宽为所述通用块层的可用存储带宽，以及所述文件***的可用存储带宽中较小的一个；

在所述操作***往存储设备存取数据的模式为缓存存取模式的情况下，所述可用存储带宽为所述内存管理模块的可用存储带宽，以及所述文件***的可用存储带宽中较小的一个。

5.根据权利要求3所述的方法，在所述操作***往存储设备存取数据的模式为直接存取模式的情况下，所述存储负载基于所述通用块层的可用存储带宽与所述文件***的可用存储带宽的比值确定；

在所述操作***往存储设备存取数据的模式为缓存存取模式的情况下，所述存储负载基于所述内存管理模块的可用存储带宽与所述文件***的可用存储带宽的比值确定。

6.根据权利要求4或5所述的方法，所述通用块层的资源参数包括以下一项或多项：所述通用块层的数据读写请求资源池中剩余的处理资源的数量、每个所述处理资源可处理的数据量、以及所述通用块层的处理延时。

7.根据权利要求6所述的方法，所述通用块层的可用存储带宽与所述处理资源的数量、每个所述处理资源可处理的数据量正相关，与所述通用块层的处理延时负相关。

8.根据权利要求4或5所述的方法，所述内存管理模块的资源参数包括以下一项或多项：内存脏页阈值、可用内存的大小、已用内存的大小，其中，所述可用内存的大小基于未占用的内存页的数量、活跃文件内存页的数量、非活跃文件内存页的数量确定。

9.根据权利要求4或5所述的方法，所述文件***的资源参数包括以下一项或多项：待存取数据的大小，以及所述文件***的处理延时。

10.根据权利要求9所述的方法，所述文件***的可用存储带宽与所述待存取数据的大小正相关、与所述文件***的处理延时负相关。

11.根据权利要求1所述的方法，所述内核动态追踪技术包括eBPF技术。

12.一种任务调度方法，适用于分布式***，所述分布式***中包括多个设备节点，所述方法包括：

获取所述多个设备节点中的各设备节点的操作***当前的存取性能参数，其中，所述存取性能参数基于权利要求1-11任一项所述的方法确定；

基于各设备节点的处理性能参数为各设备节点分配任务。

13.一种确定操作***性能的设备，所述设备包括处理器、存储器，存储在所述存储器可供所述处理器执行的计算机程序，所述处理器用于执行上述权利要求1-11或12任一项所述的方法。

14.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-11或12任一项所述的方法。

Images