CN105446896A - 映射化简应用的缓存管理方法和装置 - Google Patents

Abstract

本发明涉及分布式文件***，其公开了MapReduce应用的缓存管理方法和装置，该方法包括：接收需要迭代计算的MapReduce作业的Map任务的处理请求；获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的；将待处理的数据按照所述缓存分片大小从所述分布式文件***的存储介质读到缓存中用于Map任务处理；将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据，提高内存缓存的利用率，减小处理延时。

Description

映射化简应用的缓存管理方法和装置

本发明涉及分布式文件***，更具体地，涉及基于分布式文件***的MapReduce应用的缓存管理方法和装置。

背景技术

分布式文件***(DistributedFileSystem)是指文件***管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件***的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。MapReduce是Google公司提出的一种用于大规模并行编程的软件架构。由于MapReduce架构可以实现大规模数据集(大于1TB)的并行运算，并通过把对数据集的大规模操作分发给网络上的多个节点进行并行运算来实现伸缩性，因此被分布式文件***广泛应用。概念“Map(映射)”和“Reduce(化简)”及其主要思想，都是从函数式编程语言借来的。当前的MapReduce中间件实现要求应用开发者指定一个Map(映射)函数，用来把一组键值对映射成一些新的键值对(key-valuepair)，称作中间键值对；此外还要求应用开发者指定一个Reduce(化简)函数，用来对Map函数输出的中间键值对进行进一步处理。

分布式文件***需要将划分的文件块存储在多个计算节点上，并且需要将每个文件块复制为多个副本保存在不同的计算节点上，对于需要反复迭代的计算，MapReduce执行每一次迭代的计算结果都需要写入分布式文件***的存储介质，再从存储介质中读取出来作为下一次迭代的输入数据，由此对多个计算节点的文件块进行读写操作时就不可避免地产生了文件传输的网络开销以及计算延时。

现有的基于MapReduce架构的分布式文件***，例如M3R***和Spark***修改现有的MapReduce机制，使处理作业所有的Map任务线程和Reduce任务线程共享一个进程的内存空间，在Hadoop的基础上实现了将数据一次性读入内存中，后续的处理直接在内存中操作，避免频繁访问分布式文件***的存储介质，使用内容操作代替存储介质访问，然而一旦作业的某个Map任务或Reduce任务失败需要重新计算，该作业其余所有的Map任务和Reduce任务都需要重新计算，耗费大量的计算资源。再例如Tachyon和Redis***提供了内存缓存管理(CacheMemoryManagement)，MapReduce作业中Mapper处理的结果可以缓存在Tachyon和Redis管理的内存缓存中，后续的迭代计算可以直接从内存缓存中读取计算所需的数据。然而，在Tachyon***和Redis***中，按照预先设定的缓存分片大小把分布式文件***的存储介质中读到内存缓存中，以及按照预先设定的缓存分片大小将每次迭代的中间计算结果写入到内存缓存，预先设定的缓存分片大小不同，读取的性能有比较大的差异，在设定的缓存分片大小比较大的情况，数据读取的速度有可能比从存储介质中读取还慢，同时分配给Mapper的内存缓存就会变少，使得同时能运行的Mapper数目受到限制，影响性能；而在设定的缓存分片大小比较小的情况，需要读取数据的次数增多，由于需要多次的在分布式文件***中打开/关闭文件，从而产生了较大的处理延时，而且随着剩余内存缓存大小的增加，在同时运行的Mapper数目给定的情况下，会造成部分内存缓存处于闲置状态，造成了浪费。

因此，需要一种基于分布式文件***的MapReduce应用的缓存大小的配置方法，能够高效地缓存需要迭代计算的MapReduce作业的数据，提高内存缓存的利用率，减小处理延时。

发明内容

根据本发明的一个方面，提供了一种基于分布式文件***的MapReduce应用的缓存管理方法，包括：接收需要迭代计算的MapReduce作业的Map任务处理请求；获取处理所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的；将待处理的数据按照所述缓存分片大小从所述分布式文件***的存储介质读到缓存中用于Map任务处理；将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

根据本发明的另一个方面，提供了一种基于分布式文件***的MapReduce应用的缓存管理装置，包括：接收模块，被配置为接收需要迭代计算的MapReduce作业的Map任务处理请求；第一获取模块，被配置为获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；第二获取模块，被配置为获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小训练模型计算得到的；第一读取模块，被配置为将待处理的数据按照所述缓存分片大小从分布式文件***的存储介质读到缓存中用于Map任务处理；第一写入模块，被配置为将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

根据本发明实施例的基于分布式文件***的MapReduce应用的缓存管理方法和装置，能够高效地缓存需要迭代计算的MapReduce作业的数据，提高内存缓存的利用率，减小处理延时。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。

图2示出根据本发明实施例的基于分布式文件***的MapReduce应用的缓存管理方法。

图3示出MapReduce架构的数据传输的示意图

图4示出根据本发明的实施例的基于分布式文件***的MapReduce应用的缓存管理装置400。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

图1示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。图1显示的计算机***/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图1所示，计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图1未显示，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信，和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

图2示出根据本发明实施例的一种基于分布式文件***的MapReduce应用的缓存管理方法，包括：在步骤S201，接收需要迭代计算的MapReduce作业的Map任务处理请求；在步骤S202，获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；在步骤S203，获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的；在步骤S204，将待处理的数据按照所述缓存分片大小从所述分布式文件***的存储介质读到缓存中用于Map任务处理；在步骤S205，将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。步骤S201-S204由分布式文件***的至少一个计算节点上的Mapper执行，上述步骤中的缓存是指计算节点上的缓存(Cachememory)，Map任务的参数也是针对每个计算节点而言的。

在步骤S201，接收需要迭代计算的MapReduce作业的Map任务处理请求，由作业服务器(JobTracker)接收用户提交的需要迭代计算的MapReduce作业请求，并将将用户提交的作业拆分成多个任务，包括Map任务和Reduce任务等，负责将Map任务和Reduce任务分配给多个计算节点的任务服务器。图3示出MapReduce架构的数据传输的示意图，作业服务器(JobTracker)和多个任务服务器(TaskTracker)是MapReduce框架最基本的两个服务，作业服务器部署在主节点上，接收用户提交的作业，统一调度所有的作业(job)，管理所有计算节点的任务服务器(TaskTracker)，将用户提交的每一个作业拆分成多个任务，包括Map任务和Reduce任务等，负责将任务分配给多个计算节点的任务服务器，任务是具体执行的基本单元，它们都需要分配到合适的计算节点的任务服务器上去执行，分配执行Map任务的任务服务器是Map任务服务器，分配执行Reduce任务的任务服务器是Reduce任务服务器，任务服务器一边执行一边向作业服务器汇报各个任务的状态，以此来帮助作业服务器了解作业执行的整体情况。Mapper和Reducer是两种数据处理原语，其中Mapper负责执行Map任务，把输入的key/value(键值)映射为中间key/value(键值)，Reducer执行Reduce任务，负责对Map任务的中间结果进行运算并输出最终结果。

在步骤S202，获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目，所述Map任务的参数可以由各个计算节点的Mapper从分配Map任务的作业服务器(JobTracker)获得。

在步骤S203，获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的。

其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数训练的Map任务处理时间与缓存分片大小之间关系的多元线性回归模型，其中所述Map任务的历史参数包括：Map任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper的数目，其中每条数据记录的大小是缓存分片大小的最小单位，该多元线性回归模型为：

Y＝β₀+β₁M+β₂X/S+β₃T/X+ε，(1)

其中M表示某个计算节点同时工作的Mapper的数目，S表示每条数据记录的大小，T表示处理的数据大小，β₀是常数项系数，β₁，β₂，β₃为偏回归系数(PartialRegressionCoefficient)，β₁，β₂，β₃的含义为在其它自变量保持不变的条件下，自变量改变一个单位时因变量Y的平均改变量。ε为随机误差，又称残差(Residual)，它表示Y的变化中不能由自变量解释的部分，Y表示该计算节点处理Map任务的时间，X表示该计算节点处理所述Map任务的缓存分片大小。该多元线性回归模型是基于Map任务的历史参数建立的：

1)将n次观测的Map任务的结果数据(Y_i，M_i，(X/S)_i，(T/X)_i)，其中i＝1...n输入模型中，可得方程组：

Y₁＝β₀+β₁*M₁₁+β₂*(X/S)₂₁+β₃*(T/X)₃₁+ε₁；

Y₂＝β₀+β₁*M₁₂+β₂*(X/S)₂₂+β₃*(T/X)₃₂+ε₂；

…

Y_n＝β₀+β₁*M_1n+β₂*(X/S)_2n+β₃*(T/X)_3n+ε_n；

2)将方程组表示为矩阵形式，如下：

$\left[\begin{array}{c}{Y}_1\\ Y_2\\ ....\\ Y_n\end{array}\right]=\left[\begin{array}{cccc}1& M_{11}& {(X/S)}_{21}& {(T/X)}_{31}\\ 1& M_{12}& {(X/S)}_{22}& {(T/X)}_{32}\\ ....& & & \\ 1& M_{1n}& {(X/S)}_{2n}& {(T/X)}_{3n}\end{array}\right]*\left[\begin{array}{c}{\mathrm{\β}}_0\\ {\mathrm{\β}}_1\\ {\mathrm{\β}}_2\\ {\mathrm{\β}}_3\end{array}\right]\text{+}\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ ....\\ {\mathrm{\ϵ}}_n\end{array}\right]$

记

$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ....\\ Y_n\end{array}\right]X=\left[\begin{array}{cccc}1& M_{11}& {(X/S)}_{21}& {(T/X)}_{31}\\ 1& M_{12}& {(X/S)}_{22}& {(T/X)}_{32}\\ ....& & & \\ 1& M_{1n}& {(X/S)}_{2n}& {(T/X)}_{3n}\end{array}\right]\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\β}}_0\\ {\mathrm{\β}}_1\\ {\mathrm{\β}}_2\\ {\mathrm{\β}}_3\end{array}\right]\text{\ϵ=}\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ ....\\ {\mathrm{\ϵ}}_n\end{array}\right]$

矩阵可以简化为Y＝X*β+ε，

3)用最小二乘法求解系数β和ε，最小二乘(OLS)法的原理是通过求残差e(误差项的估计值)平方和最小确定回归参数估计值，计算过程如下：

寻找一组系数估计值使得残差平方和最小，即

对求偏导，得：

将代入Y＝X*β+ε式中的，求得

ε＝Y-X((X′X)^-1(X′Y))

这里的就是符合模型要求的β和ε，将和ε代入公式(1)，得到公式(1)的Map缓存分片大小训练模型。模型的系数β和ε不是一成不变的，而是由Map任务的结果数据(Y_i，M_i，(X/S)_i，(T/X)_i)(其中i＝1...n)不断地修正，从而使训练模型更加精准。

将新MapReduce作业的Map任务的处理的数据大小T、每条数据记录的大小S和所述计算节点同时工作的Mapper数目M输入上述公式(1)中的多元线性回归模型中，可以计算出满足特定Map任务的处理时间条件的Map缓存分片大小，例如通过对模型获得Map任务的处理时间最短时对应的Map任务的缓存分片大小，或者获得某个特定数值的处理时间对应的Map任务的缓存分片大小。缓存分片大小的计算既可以在分配Map任务的作业服务器(JobTracker)上实现，也可以由各个计算节点来实现，在此不做限定。

在步骤S204，将待处理的数据按照所述缓存分片大小从所述分布式文件***的存储介质读到缓存中用于Map任务处理，所述计算节点的Mapper直接从缓存中读取数据进行Map计算。

在步骤S205，将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算，多次迭代计算的多个中间结果数据按照所述缓存分片大小写入缓存，Mapper直接从缓存中读取中间结果数据进行后续的迭代计算。根据本发明的实施例，还包括迭代计算结束将Map任务的最终计算结果写入到分布式文件***的存储介质中用于后续的Reduce任务的处理。根据本发明的又一个实施例，还包括迭代计算结束将Map任务的最终计算结果按照所述缓存分片大小写入缓存中用于后续的Reduce任务的处理。

本发明实施例的缓存管理方法，通过Map缓存分片大小训练模型能够针对每个计算节点获得满足特定Map任务处理时间条件的Map任务的缓存分片大小，对于迭代运算的MapReduce作业，能够有效地降低文件传输的网络开销，减小处理时延。

根据本发明的实施例，还包括获取所述Map任务的处理时间，根据获取的所述Map任务的参数和处理时间修正所述第一多元线性回归模型的系数。根据所述计算节点的Map任务的处理时间、待处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper数目修正第一多元线性回归模型的系数(β₀，β₁，β₂，β₃，ε)，从而使Map缓存分片大小训练模型更加精准。

如果在Map任务完成后处理Reduce任务，根据本发明的实施例，该方法还包括：接收用户提交的需要迭代计算的MapReduce作业的Reduce任务的处理请求；获取所述Reduce任务的参数，所述参数包括待处理的数据大小、每条数据记录的大小和同时工作的Reducer数；获取所述Reduce任务的缓存分片大小，其中所述Reduce任务的缓存分片大小是根据所述参数和Reduce缓存分片大小的训练模型计算得到的，缓存分片大小的计算既可以在分配Reduce任务的作业服务器(JobTracker)上实现，也可以由各个计算节点来实现，在此不做限定；按照所述Reduce任务的缓存分片大小将Map任务的最终输出结果从所述缓存读取出来用于Reduce任务处理。上述步骤由分布式文件***的至少一个计算节点的Reducer来实现，由于利用Reduce缓存分片大小训练模型获得了满足特定Reduce任务处理时间的Reduce任务的缓存分片大小，减少了由IO操作和网络传输引起的性能损耗，提高内存缓存的利用率，减小处理时延。

其中所述Reduce缓存分片大小训练模型是基于至少一个计算节点处理的Reduce任务的历史参数训练的Reduce任务处理时间与缓存分片大小之间关系的多元线性回归模型，其中所述Reduce任务的历史参数包括：Reduce任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Reducer数目，该多元线性回归模型为：

Y＝α₀+α₁K+α₂X/L+α₃N/X+e，(2)

其中K表示某个计算节点同时工作的Reducer数目，L表示每条数据记录的大小，N表示处理的数据大小，α₀是常数项系数，α₁，α₂，α₃为偏回归系数(PartialRegressionCoefficient)，α₁，α₂，α₃的含义为在其它自变量保持不变的条件下，自变量改变一个单位时因变量Y的平均改变量。ε为随机误差，又称残差(Residual)，它表示Y的变化中不能由自变量解释的部分，Y表示该计算节点处理Reduce任务的时间，X表示该计算节点处理所述Reduce任务的缓存分片大小。该多元线性回归模型的建立与前面的Map缓存分片大小训练模型的建立过程类似，是基于Reduce任务的历史参数建立的：

1)将n次观测的Reduce任务的结果数据(Y_i，K_i，(X/L)_i，(N/X)_i)，其中i＝1...n输入到模型中，可得程组：

Y₁＝α₀+α₁*K₁1+α2*(X/L)₂₁+α₃*(N/X)₃₁+ε₁；

Y₂＝α₀+α₁*K₁₂+α₂*(X/L)₂₂+α₃*(N/X)₃₂+ε₂；

…

Y_n＝α₀+α₁*K_1n+α₂*(X/L)_2n+α₃*(N/X)_3n+ε_n；

2)将方程组表示为矩阵形式，如下：

$\left[\begin{array}{c}{Y}_1\\ Y_2\\ ....\\ Y_n\end{array}\right]=\left[\begin{array}{cccc}1& K_{11}& {(X/L)}_{21}& {(N/X)}_{31}\\ 1& K_{12}& {(X/L)}_{22}& {(N/X)}_{32}\\ ....& & & \\ 1& K_{1n}& {(X/L)}_{2n}& {(N/X)}_{3n}\end{array}\right]*\left[\begin{array}{c}{\mathrm{\α}}_0\\ {\mathrm{\α}}_1\\ {\mathrm{\α}}_2\\ {\mathrm{\α}}_3\end{array}\right]+\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ ....\\ {\mathrm{\ϵ}}_n\end{array}\right]$

记

$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ....\\ Y_n\end{array}\right]X=\left[\begin{array}{cccc}1& K_{11}& {(X/L)}_{21}& {(N/X)}_{31}\\ 1& K_{12}& {(X/L)}_{22}& {(N/X)}_{32}\\ ....& & & \\ 1& K_{1n}& {(X/L)}_{2n}& {(N/X)}_{3n}\end{array}\right]\mathrm{\β}=\left[\begin{array}{c}{\mathrm{\α}}_0\\ {\mathrm{\α}}_1\\ {\mathrm{\α}}_2\\ {\mathrm{\α}}_3\end{array}\right]\mathrm{\ϵ}=\left[\begin{array}{c}{\mathrm{\ϵ}}_1\\ {\mathrm{\ϵ}}_2\\ ....\\ {\mathrm{\ϵ}}_n\end{array}\right]$

矩阵可以简化为Y＝X*α+ε，

3)用最小二乘法求解系数α和ε，最小二乘(OLS)法的原理是通过求残差e(误差项的估计值)平方和最小确定回归参数估计值，计算过程如下：

寻找一组系数估计值使得残差平方和最小，即

对求偏导，得：

将代入Y＝X*α+ε式中的，求得

ε＝Y-X((X′X)^-1(X′Y))

这里的就是符合模型要求的α和ε，将和ε代入公式(2)，得到公式(2)的Reduce缓存分片大小训练模型。模型的系数α和ε不是一成不变的，而是由Reduce任务的结果数据(Y_i，K_i，(X/L)_i，(N/X)_i)(其中i＝1...n)不断地修正，从而使训练模型更加精准。

将获取的所述Reduce任务的参数，即，待处理的数据大小N、每条数据记录的大小L和同时工作的Reducer数K，输入到公式(2)的Reduce缓存分片大小训练模型，可以计算出满足特定Reduce任务的处理时间条件的Reduce缓存分片大小，例如Reduce任务的处理时间最短时对应的Reduce缓存分片大小，或者某个特定数值的处理时间对应的Reduce缓存分片大小。

本领域技术人员理解，尽管在上文中以多元线性回归模型为例对Map和Reduce缓存分片大小训练模型进行了详细描述，但是根据本发明实施方式的Map和Reduce缓存分片大小训练模型并不局限于此，还可以使用多项式函数模型、双对数模型建立Map和Reduce缓存分片大小训练模型，以上所描述的训练模型的创建过程仅是示例性的，本发明的方法的实施仅仅依赖于预先存在的训练模型，而并不局限于任何特定的训练模型的创建过程。

根据本发明的实施例，还包括获取所述Reduce任务的处理时间，根据获取的所述Reduce任务的参数和处理时间修正Reduce缓存分片大小训练模型的系数。根据所述Reduce任务的处理时间、待处理的数据大小、每条数据记录的大小和同时工作的Reducer数目修正多元线性回归模型的系数(α₀，α₁，α₂，α₃，ε)，从而使Reduce缓存分片大小训练模型更加精准。

前面已经参考附图描述了实现本发明的方法的各个实施例。本领域技术人员可以理解的是，上述方法可以以软件方式实现，也可以以硬件方式实现，或者通过软件与硬件相结合的方式实现。并且，本领域技术人员可以理解，通过以软件、硬件或者软硬件相结合的方式实现上述方法中的各个步骤，可以提供一种基于分布式文件***的MapReduce应用的缓存管理装置。即使该装置在硬件结构上与通用处理设备相同，由于其中所包含的软件的作用，使得该装置表现出区别于通用处理设备的特性，从而形成本发明的各个实施例的装置。

基于同一发明构思，根据本发明的实施例还提出一种基于分布式文件***的MapReduce应用的缓存管理装置，图4示出根据本发明的实施例的基于分布式文件***的MapReduce应用的缓存管理装置400，包括：接收模块401，被配置为接收需要迭代计算的MapReduce作业的Map任务的处理请求；第一获取模块402，被配置为获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper数；第二获取模块403，被配置为获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小训练模型计算得到的；第一读取模块404，被配置为将待处理的数据按照所述缓存分片大小从分布式文件***的存储介质读到缓存中用于Map任务处理；第一写入模块405，被配置为将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

根据本发明的实施例，所述第一写入模块405进一步被配置为迭代计算结束将Map任务的最终计算结果按照所述缓存分片大小写入所述缓存中用于后续的Reduce任务的处理。

根据本发明的实施例，其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数建立的Map任务处理时间与缓存分片大小之间关系的第一多元线性回归模型，其中所述Map任务的历史参数包括：Map任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper的数目。

根据本发明的实施例，其中所述第一获取模块402进一步被配置为获取所述Map任务的处理时间，根据获取的所述Map任务的参数和处理时间修正所述第一多元线性回归模型的系数。

根据本发明的实施例，该装置还包括：第二接收模块406，被配置为接收用户提交的需要迭代计算的MapReduce作业的Reduce任务的处理请求；第三获取模块407，被配置为获取Reduce任务的参数，所述参数包括待处理的数据大小、每条数据记录的大小和同时工作的Reducer数；第四获取模块408，被配置为获取所述Reduce任务的缓存分片大小，其中所述Reduce任务的缓存分片大小是根据所述参数和Reduce缓存分片大小的训练模型计算得到的；以及第二读取模块409，被配置为按照所述Reduce任务的缓存分片大小将Map任务的最终输出结果从所述缓存读取出来用于Reduce任务处理。

根据本发明的实施例，其中所述Reduce缓存分片大小训练模型是基于至少一个计算节点处理的Reduce任务的历史参数建立的Reduce任务处理时间与缓存分片大小之间关系的第二多元线性回归模型，其中所述Reduce任务的历史参数包括：Reduce任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Reducer数目。

根据本发明的实施例，所述第二获取模块进一步被配置为获取所述Reduce任务的处理时间，根据获取的所述Reduce任务的参数和处理时间修正所述第二多元线性回归模型的系数。

本领域技术人员应该理解，如果需要迭代计算的MapReduce作业只进行Map任务的处理，不需要Reduce任务的处理，那么第二接收模块406、第三获取模块407、第四获取模块408、第二读取模块409是不需要的，因此这四个模块是可选的。

上述每个模块的具体实现方法参照根据本发明实施例的基于分布式文件***的MapReduce应用的缓存管理方法的详细描述，在此不一一赘述。

本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种基于分布式文件***的MapReduce应用的缓存管理方法，包括：

接收需要迭代计算的MapReduce作业的Map任务的处理请求；

获取处理所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；

获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的；

将待处理的数据按照所述缓存分片大小从所述分布式文件***的存储介质读到缓存中用于Map任务处理；

将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

2.根据权利要求1所述的方法，还包括迭代计算结束将Map任务的最终计算结果按照所述缓存分片大小写入所述缓存中用于后续的Reduce任务的处理。

3.根据权利要求1所述的方法，其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数建立的Map任务处理时间与缓存分片大小之间关系的第一多元线性回归模型，其中所述Map任务的历史参数包括：Map任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper的数目。

4.根据权利要求3所述的方法，还包括获取所述Map任务的处理时间，根据获取的所述Map任务的参数和处理时间修正所述第一多元线性回归模型的系数。

5.根据权利要求2所述的方法，该方法进一步包括：

接收用户提交的需要迭代计算的MapReduce作业的Reduce任务的处理请求；

获取处理Reduce任务的参数，所述参数包括待处理的数据大小、每条数据记录的大小和同时工作的Reducer的数目；

获取所述Reduce任务的缓存分片大小，其中所述Reduce任务的缓存分片大小是根据所述参数和Reduce缓存分片大小的训练模型计算得到的；

按照所述Reduce任务的缓存分片大小将Map任务的最终输出结果从所述缓存读取出来用于Reduce任务处理。

6.根据权利要求5所述的方法，其中所述Reduce缓存分片大小训练模型是基于至少一个计算节点处理的Reduce任务的历史参数建立的Reduce任务处理时间与缓存分片大小之间关系的第二多元线性回归模型，其中所述Reduce任务的历史参数包括：Reduce任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Reducer的数目。

7.根据权利要求6所述的方法，还包括获取所述Reduce任务的处理时间，根据获取的所述Reduce任务的参数和处理时间修正所述第二多元线性回归模型的系数。

8.一种基于分布式文件***的MapReduce应用的缓存管理装置，包括：

第一接收模块，被配置为接收需要迭代计算的MapReduce作业的Map任务的处理请求；

第一获取模块，被配置为获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；

第二获取模块，被配置为获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小训练模型计算得到的；

第一读取模块，被配置为将待处理的数据按照所述缓存分片大小从分布式文件***的存储介质读到缓存中用于Map任务处理；

第一写入模块，被配置为将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

9.根据权利要求8所述的装置，所述第一写入模块进一步被配置为迭代计算结束将Map任务的最终计算结果按照所述缓存分片大小写入所述缓存中用于后续的Reduce任务的处理。

10.根据权利要求8所述的装置，其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数建立的Map任务处理时间与缓存分片大小之间关系的第一多元线性回归模型，其中所述Map任务的历史参数包括：Map任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper的数目。

11.根据权利要求10所述的装置，其中所述第一获取模块进一步被配置为获取所述Map任务的处理时间，根据获取的所述Map任务的参数和处理时间修正所述第一多元线性回归模型的系数。

12.根据权利要求10所述的装置，该装置进一步包括：

第二接收模块，被配置为接收用户提交的需要迭代计算的MapReduce作业的Reduce任务的处理请求；

第三获取模块，被配置为获取Reduce任务的参数，所述参数包括待处理的数据大小、每条数据记录的大小和同时工作的Reducer的数目；

第四获取模块，被配置为获取Reduce任务的缓存分片大小，其中所述Reduce任务的缓存分片大小是根据所述参数和Reduce缓存分片大小的训练模型计算得到的；以及

第二读取模块，被配置为按照所述Reduce任务的缓存分片大小将Map任务的最终输出结果从所述缓存读取出来用于Reduce任务处理。

13.根据权利要求12所述的装置，其中所述Reduce缓存分片大小训练模型是基于至少一个计算节点处理的Reduce任务的历史参数建立的Reduce任务处理时间与缓存分片大小之间关系的第二多元线性回归模型，其中所述Reduce任务的历史参数包括：Reduce任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Reducer的数目。

14.根据权利要求13所述的装置，所述第二获取模块进一步被配置为获取所述Reduce任务的处理时间，根据获取的所述Reduce任务的参数和处理时间修正所述第二多元线性回归模型的系数。