CN107135268A - 基于信息中心网络的分布式任务计算方法 - Google Patents

Abstract

本发明公开了一种基于信息中心网络的分布式任务计算方法，包括以下步骤：用户将计算任务分解为子任务，并向网络发送特定格式的请求包来请求计算子任务；网络中间节点根据任务需求和自身负载情况判断是否执行计算任务；对网络中间节点未予处理的请求任务，最终由服务器来完成。本发明的方法以信息中心网络中间节点可以缓存数据为基础，修改包的格式和网络节点对包的处理流程，由路由协议协助管理计算任务的分配，充分利用中间节点的计算和存储资源，减少分布式任务计算中网络传输所需的时间和节点之间的交互，克服现有方法中对路由器负载影响过大的缺点，提供了一种更加高效的分布式任务计算服务，适用于大型分布式任务计算场景。

Description

基于信息中心网络的分布式任务计算方法

技术领域

本发明涉及分布式任务计算，具体涉及一种基于信息中心网络的分布式任务计算方法。

背景技术

随着网络的迅速发展，互联网上的资源和信息量剧增，特别是移动互联网的兴起，网络的大部分流量都源自内容获取类应用。互联网用户的需求从主机之间的通信演进为主机到网络的海量信息访问。为了适应这一转变，研究界提出了多种以信息/内容为中心的新型网络架构，期望能够设计和实现一种更能满足社会与人类需求的新型网络。为方便起见，以下将这类网络架构统称为信息中心网络(Information Centric Networking)。

信息中心网络的设计思想深深地影响了应用程序和网络设备的设计与实现，同时也赋予了网络更加丰富的功能。在传统的网络中，我们获取数据时需要指定目的主机的地址和具体的数据。其实，我们关心的并不是从哪里获得数据，而是数据本身，因此，在信息中心网络中，内容都有一个名字，当我们需要从网络中获得数据时，只需要向网络中发送一个请求包即可，请求包中有所需内容的名字。由于网络中间节点均具备数据缓存的能力，我们所请求数据的存储位置不再局限在网络的边缘节点，此时的网络成为囊括所有内容的云。

传统的分布式任务计算主要是由网络边缘的主机完成，这是因为最初的网络被设计为信息的载体，只负责数据的转发。如果用户的终端设备有一个复杂的超过其计算能力的任务，用户终端可以通过网络将任务交给远程的大型计算机或者云计算平台完成。在这个过程中，任务数据会经过很多网络设备，因此传输过程将消耗很多时间。而随着硬件技术的飞速发展，我们相信在未来的网络中，网络的中间节点(即路由器)不仅具备大容量的快速存储设备，还具备高性能的计算能力。如果在完成数据转发任务的同时，例如让路由器缓存途经该节点的数据并且完成额外的计算任务，则可以充分的利用这些资源。并且由于这些网络中间节点距离用户更近，传输过程的时间消耗会大大较少，用户可以更快的获取到计算结果。

有学者借鉴信息中心网络提出了命名函数网络(Named Function Networking)，即将计算任务命名，然后由路由器完成这些计算任务。但是NFN仅用来完成λ演算，同时需要路由器对复杂的任务名字进行解析，并且未考虑路由器自身的负载情况，这不仅限制了计算任务，也可能会影响到节点对网络数据的正常转发。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于信息中心网络的分布式任务计算方法，不仅考虑计算任务的命名，还考虑了网络中间节点的负载，通过计算任务的分割，以及将存储空间和CPU等作为中间节点的负载度量标准，网络中间节点可以动态地判断是否执行计算任务，使得计算任务可以由多个网络节点分布式地完成，同时保证了网络正常的数据转发。

技术方案：一种基于信息中心网络的分布式任务计算方法，包括以下步骤：

1)用户将计算任务分解为可独立执行的子任务，并建立子任务之间的依赖关系，其中，每个子任务都用五元组表示，保存依赖关系的数据结构为有向无环图；

2)用户按照子任务依赖关系向信息中心网络发送特定格式的请求包，请求执行子任务；

3)网络中间节点接收到计算任务请求包之后，根据自身当前负载判断是否可以执行该任务，如果可以执行，则创建新的进程来处理该计算任务，并将计算结果返回给用户；否则根据转发策略将请求包转发给下一跳；

4)对网络中间节点未能处理的计算任务，最终由服务器来完成，并且服务器将计算结果返回给用户。

其中，所述步骤1)中的五元组为<子任务名称,数据名称,标识码,需求,等待时间>，子任务名称为子任务的名字；数据名称为执行子任务所需的数据名称；标识码为子任务的唯一标识；需求记录的是完成该任务所需的存储空间开销和CPU个数；等待时间为用户等待该任务完成的最长时间，超过该时间仍未得到任务结果，用户将重新请求该任务。子任务之间的依赖关系式为<X,Y>，表示子任务X和子任务Y之间的任务执行依赖关系为，先执行完子任务X才能执行子任务Y。

为了使信息中心网络更好地支持计算任务，本发明在原有请求包格式的基础上添加类型字段和任务信息字段，其中，类型字段取值可以为0或1，取值为0时表示数据任务包，取值为1时表示计算任务包；任务信息字段包括标识码和需求，标识码唯一标识一个任务，需求部分按序记录完成该任务所需的存储空间开销和CPU个数。

并且，所述步骤2)中请求子任务的顺序按照步骤1)中的依赖关系进行，当存在多个无依赖关系的子任务时，同时请求这些子任务；在请求子任务时，根据子任务的五元组，设置请求包名称为“子任务名称+数据名称”，请求包类型设置为计算任务，同时设置任务信息和等待时间。

所述步骤3)中创建新的进程来处理该计算任务的具体步骤如下：

31)查询本节点是否缓存有执行该计算任务所需的程序和数据，如果没有，则向网络发送用于请求程序的请求包以及用于请求数据的请求包，从网络获得所述程序和数据；

32)利用所得到的程序和数据，执行该任务。

进一步地，为了确保中间节点能够从网络中得到执行该计算任务的程序和数据，用户在其使用的终端设备上注册任务内容，所注册任务内容包括计算任务所需的程序和数据。并在服务器注册计算服务，以告知用户该服务器可以提供计算功能，确保当所有中间节点都没有可用资源处理计算任务时，服务器能够完成该计算任务。

有益效果：本发明提出的基于信息中心网络的分布式任务计算方法，利用了网络中间节点的存储和计算资源，在保证正常数据转发的同时，提供分布式任务计算功能。与现有技术相比，该方法提高了分布式任务计算的效率和网络中间节点的利用率，同时降低中间节点的负载，减少对网络转发功能的影响。

附图说明

图1是信息中心网络的拓扑图；

图2是本发明使用的请求包和数据包的格式；

图3是本发明的分布式任务计算方法总体流程图；

图4是本发明的网络中间节点对计算任务的处理流程图；

图5是用户与网络之间的交互实例1的流程图；

图6是用户与网络之间的交互实例2的示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图1，一个信息中心网络包括多种用户终端设备(智能手机、个人计算机、便携式计算机等)、网络中间节点(路由器)以及服务器。服务器提供多种多样的网络服务，如HTTP服务、邮件服务、文件服务、计算服务等；终端设备接入到信息中心网络之后，便可以使用信息中心网络提供的服务；而路由器负责各设备的连接、数据转发以及数据包缓存等功能。在信息中心网络中，服务器通过注册内容名字提供数据，并告知相邻的路由器，路由器通过路由协议可以找到相应内容。当用户想要通过终端设备获取所需数据时，只需向网络发送请求包(Interest packet)，便可以得到相应的数据包(Data packet)。如果服务器提供计算任务，也同样需要注册计算任务，以便能够处理收到的计算任务。在本发明方法中，路由器节点除了负责缓存和转发包之外，还会提供一定的计算功能。另外，用于执行任务的可执行程序不限于某一种编程语言或文件类型，只要路由器和服务器支持该执行文件，均可以用来完成计算任务，也就是说，一个计算任务可以对应多种可执行文件，但它们的功能完全一样。

图2示出了本发明所使用的包的格式。我们知道，信息中心网络中使用请求包和数据包这两种类型的包，并规定了包的格式。为了更好地使信息中心网络支持计算任务，本发明在两种包中添加了新的字段：类型字段(Type)和任务信息字段(Job Info)，其中，类型字段用于区分数据任务和计算任务，取值为0表示数据任务，取值为1表示计算任务。当类型取值为1，即是计算任务包时，任务信息字段记录该计算任务的相关信息，包括任务标识码(Job ID)和需求(Requirement)。任务标识码是一个64位无符号整数，用于唯一表示用户请求的计算任务，该字段采用自增长的方式管理，即每发送一个计算任务请求，该整数都会加1，并作为新的任务标识码使用。需求表示执行该任务所需的资源，包括存储空间开销和使用的CPU个数等。

图3示出了本发明的分布式任务计算方法总体流程图。首先，用户将计算任务分解为子任务，并在本节点(即用户使用的终端设备)注册子任务程序和数据，根据子任务依赖关系向网络发送请求包。随后，网络中间节点接收到请求包并进行解析，根据类型字段判断是计算任务还是数据任务，如果是数据任务，则依照转发策略进行转发或者丢弃处理；如果是计算任务，则根据任务信息字段进一步判断本节点(即网络中间节点)是否满足任务需求，如果满足，则新建一个进程来完成计算任务，并返回计算结果给用户，如果不满足，则继续按照转发策略将请求包转发到下一跳。下一跳具体是谁根据转发策略而定，可能是另一中间节点，也可能是服务器。如果请求包被转发经过转发路径上的所有网络中间节点后仍未得到处理，则最终被服务器接收，由服务器完成计算任务并返回计算结果。当然，我们假定服务器已事先注册了可提供计算的服务。在这个过程中，由于请求包中包括类型字段，可以正确地区分数据请求和计算请求，因此，本发明的方法不会影响网络中间节点原有的处理流程，同时根据任务的资源需求来判断是否执行任务，可以有效减少对中间节点负载的影响。

图4示出了本发明的网络中间节点对计算任务的处理流程图。网络中间节点创建一个新的进程后，首先查询本节点是否缓存有任务的执行程序，如果没有则向网络发送请求包来请求任务的执行程序；然后查询本节点是否缓存有任务的输入数据，如果没有也要向网络发送请求包来请求任务的输入数据。如果中间节点之前曾处理过相同任务，则其缓存中会存有该任务的执行程序和数据。当中间节点具备了可执行程序和输入数据之后，就可以执行计算任务，并将计算结果返回给用户。

图5和图6示出了用户与网络之间的交互实例1和实例2。在图5所示实施例中，服务器提供的计算服务为统计文件的词频，用户的计算任务为统计一个文件的词频，具体的交互过程如下：

(51)服务器Server首先注册计算，表示其可以提供哪些计算任务，名字是“/word-count”；

(52)用户希望统计一个文件名为“/nju/dislab/file.txt”的词频，由于该任务简单，不需要子任务，即无子任务之间的相互依赖，任务的元组为<“/word-count/file-word-count”，“/nju/dislab/file.txt”，0，“5MB，1CPU”，“1s”>，用户期望在1秒内完成该计算任务，通过估算计算任务的复杂度，其需求为最多占用5MB存储空间，使用1个CPU；

(53)用户注册任务内容，名字分别为“/word-count/file-word-count”和“/nju/dislab/file.txt”，表示自己能够提供计算任务所需的程序和数据；

(54)用户向网络发送计算请求Interest-1，请求名为“pn＝/word-count/file-word-count&dn＝/nju/dislab/file.txt”；

(55)网络中间节点Node 1在收到Interest-1之后，判断自身无法计算该任务，根据路由算法，转发给下一跳Node 2；

(56)Node 2可以计算该任务，但是任务的程序和代码均未在该节点缓存，所以分别请求程序和数据，发送Interest-2和Interest-3，名字分别为“word-count/file-word-count”和“/nju/dislab/file.txt”；

(57)Node 1在收到Interest-2和Interest-3后，由于任务数据Data-3缓存在该节点，因此缓存命中，Node 1发送Data-3给Node 2，而任务的程序Data-2没有缓存在Node 1节点，因此转发Interest-2；

(58)用户收到Interest-2后，发送Data-2给Node 1，Node 1将Data-2缓存并转发给Node 2；

(59)当Node 2准备好可执行程序和所需的数据后，执行该任务，然后将执行结果Data-1返回给用户，当Data-1经过Node 1时，Node 1会缓存该数据并转发给用户。

以上详细介绍了本发明方法中的绝大部分步骤，由于该例子较为简单，并未体现出多节点同时计算的能力，因此，参照图6进行进一步的说明。如图6所示，服务器Server 1和Server 2提供统计词频的计算任务，用户的计算需求是统计一个文件夹下所有文本文件的词频。文件夹“/nju/dislab/dir/”中有三个文件，名字分别为“/nju/dislab/dir/f1.txt”、“/nju/dislab/dir/f2.txt”、“/nju/dislab/dir/f3.txt”。需要说明的是，信息中心网络对计算任务的分配由网络中间节点的负载和路由策略决定，不需要用户和服务器的参与，而网络中间节点是否提供计算计算任务，则由网络服务商控制。

(61)用户对计算任务进行分解，得到子任务与子任务之间的依赖关系，子任务为统计一个文件的词频，因此得到4个子任务：J1、J2、J3、J4，J1到J3分别计算三个文件的词频，为了保存这些中间结果，创建一个新的临时文件，“/nju/dislab/dir/t1.txt”，J4用于统计该临时文件的词频，最后的结果就是该文件夹中所有文件的词频，依赖关系为<J1，J4>、<J2，J4>、<J3，J4>，可以同时执行的任务为J1、J2和J3，等三者全部完成才能执行J4；

(62)用户将J1、J2、J3发送到信息中心网络中，因为三个任务之间没有依赖关系，三个子任务可以同时进行，不需要相互等待，请求包的名字分别为：

“pn＝/word-count/file-word-count&dn＝/nju/dislab/dir/f1.txt”、

“pn＝/word-count/file-word-count&dn＝/nju/dislab/dir/f2.txt”、

“pn＝/word-count/file-word-count&dn＝/nju/dislab/dir/f3.txt”；

(63)根据信息中心网络中的节点负载和路由算法，三个任务分别交给了三个节点完成，分别为Node 3、Node 4和Server 1，各节点计算完成之后，将结果返回给用户；

(64)用户等待J1、J2、J3三个任务完成之后，才能开始子任务J4；

(65)当子任务J4由Node 1完成之后，再发送给用户，任务计算结束。

本发明方法通过修改信息中心网络包的格式和包处理流程，使得该网络模型具备分布式任务计算的能力。借助信息中心网络中间节点具备缓存数据的能力，由路由协议协助管理计算任务的分配，充分利用中间节点的计算和存储资源，分布式任务计算过程更加的高效。因为计算所需的程序、数据，计算结果也同样可以被网络中间节点缓存下来，将数据缓存推广到计算缓存的方式极大地减少网络传输时间。此外，本发明的方法不针对某一种程序开发语言，任务名字设计简洁，用户只需要将计算任务分解为多个子任务，建立子任务之间的依赖关系，然后根据依赖关系将这些子任务发送给网络即可。此外，本发明还考虑任务对资源的占用，只有中间节点所剩资源满足任务的资源消耗，才会执行该任务，因此，该方法不仅减少对节点负载的影响，提高计算任务的效率，还有利于方法的使用和推广。

以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (10)

1.一种基于信息中心网络的分布式任务计算方法，其特征在于，包括以下步骤：

1)用户将计算任务分解为可独立执行的子任务，并建立子任务之间的依赖关系，其中，每个子任务都用五元组表示，保存依赖关系的数据结构为有向无环图；

2)用户按照子任务依赖关系向信息中心网络发送特定格式的请求包，请求执行子任务；

3)网络中间节点接收到计算任务请求包之后，根据自身当前负载判断是否可以执行该任务，如果可以执行，则创建新的进程来处理该计算任务，并将计算结果返回给用户；否则根据转发策略将请求包转发给下一跳；

4)对网络中间节点未能处理的计算任务，最终由服务器来完成，并且服务器将计算结果返回给用户。

2.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤1)中的五元组为<子任务名称,数据名称,标识码,需求,等待时间>，其中，

子任务名称为子任务的名字；

数据名称为执行子任务所需的数据名称；

标识码为子任务的唯一标识；

需求记录的是完成该任务所需的存储空间开销和CPU个数；

等待时间为用户等待该任务完成的最长时间。

3.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤1)中的依赖关系式为<X,Y>，表示子任务X和子任务Y之间的任务执行依赖关系为，先执行完子任务X才能执行子任务Y。

4.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤2)中的特定格式的请求包包括类型字段和任务信息字段，其中，

类型字段取值可以为0或1，取值为0时表示数据任务包，取值为1时表示计算任务包；

任务信息字段包括标识码和需求，标识码唯一标识一个任务；需求部分按序记录完成该任务所需的存储空间开销和CPU个数。

5.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤2)中请求子任务的顺序按照步骤1)中的依赖关系进行，当存在多个无依赖关系的子任务时，同时请求这些子任务；在请求子任务时，请求包名称为子任务名称+数据名称，请求包类型设置为计算任务，同时设置任务信息和等待时间。

6.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤3)中网络中间节点的自身当前负载包括其当前可用的存储空间和CPU个数。

7.根据权利要求1所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述步骤3)中创建新的进程来处理该计算任务的具体步骤如下：

31)查询本节点是否缓存有执行该计算任务所需的程序和数据，如果没有，则向网络发送用于请求程序的请求包以及用于请求数据的请求包，从网络获得所述程序和数据；

32)利用所得到的程序和数据，执行该任务。

8.根据权利要求1-7中的任一项所述的基于信息中心网络的分布式任务计算方法，其特征在于还包括以下步骤：用户在其使用的终端设备上注册任务内容，所注册任务内容包括计算任务所需的程序和数据。

9.根据权利要求1-7中的任一项所述的基于信息中心网络的分布式任务计算方法，其特征在于还包括以下步骤：在服务器注册计算服务。

10.根据权利要求1-7中的任一项所述的基于信息中心网络的分布式任务计算方法，其特征在于，所述网络中间节点为具备存储和计算能力的路由器。