CN110554923A - 一种用于云计算的分布链式计算资源的优化方法及*** - Google Patents
一种用于云计算的分布链式计算资源的优化方法及*** Download PDFInfo
- Publication number
- CN110554923A CN110554923A CN201910847232.3A CN201910847232A CN110554923A CN 110554923 A CN110554923 A CN 110554923A CN 201910847232 A CN201910847232 A CN 201910847232A CN 110554923 A CN110554923 A CN 110554923A
- Authority
- CN
- China
- Prior art keywords
- node
- computing
- edge
- nodes
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005457 optimization Methods 0.000 title claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 58
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims description 27
- 230000017525 heat dissipation Effects 0.000 claims description 21
- 238000010521 absorption reaction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000001816 cooling Methods 0.000 claims description 7
- 239000000110 cooling liquid Substances 0.000 claims description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000000712 assembly Effects 0.000 claims 1
- 238000000429 assembly Methods 0.000 claims 1
- 238000003860 storage Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种用于云计算的分布链式计算资源的优化方法及***。首先构建第一点集合和第一边集合,以生成静态子模型,第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;然后,构建第二点集合和第二边集合,以生成动态子模型,第一点集合包括任务包集合,所述第二边集合包括两种边类型;再将静态子模型与动态子模型合并为计算资源优化模型;最后在计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。可根据具体需求,获取计算速度最快的路径或者占用计算节点最少的路径,从而可以提高计算资源的优化效率,利于发挥计算节点的算力。
Description
【技术领域】
本发明涉及大大数据技术领域,尤其涉及一种用于云计算的分布链式计算资源的优化方法及***。
【背景技术】
近些年来,随着互联网的发展,数据处理量也发生了***性的增长。目前,一般通过装载有大量服务器的数据中心进行数据处理与计算,这就涉及到计算资源的优化的技术问题,现有的优化方法对于计算路径的优化效率较低,造成任务处理效率低下,还可能造成服务器的算力的浪费。
【发明内容】
有鉴于此,本发明实施例提供了一种用于云计算的分布链式计算资源的优化方法及***,用以解决现有技术计算路径优化较差的技术问题。
一方面,本发明实施例提供了一种用于云计算的分布链式计算资源的优化方法,包括:
S1、构建第一点集合和第一边集合,以生成静态子模型,所述第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;
S2、构建第二点集合和第二边集合,以生成动态子模型,所述第一点集合包括任务包集合,所述第二边集合包括两种边类型;
S3、将静态子模型与动态子模型合并为计算资源优化模型;
S4、在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,S1包括:
S11、构建第一点集合P=CUMUA;其中,C为节点链集合,节点链cq表示从计算机com(0)出发,依次访问计算机com(1)、计算机com(2)、…、计算机com(k)的节点链;M表示任务包集合,M=Uu∈CMu,u∈C,Mu表示需要通过计算机com(u)进行计算的任务包集合;A为区块集合,Ax表示x区块中所有计算机节点,x∈A;
S12、构建第一边集合E=BUDUFUGUH,所述第一边集合包括五种边类型;其中,边类型B=Uu∈CBu,边类型D=Uu∈CDu,边类型F=Ux∈AFx,边类型G=Ux∈AGx,边类型 表示第i类任务包在计算机com(u)的类节点,表示第j类任务包在计算机com(v)的类节点;表示第i个计算机在x区块的计算节点;和是两个相邻的类节点;
S13、根据第一点集合和第一边集合构建数据图,以生成静态子模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,S2包括:
S21、构建第二点集合P=M;其中,C为节点链集合;M表示任务包集合,M=Uu∈CMu,u∈C,Mu表示需要通过计算机com(u)进行计算的任务包集合;
S22、构建第二边集合所述第二边集合包括两种边类型;其中, 表示第i类任务包在计算机com(u)的类节点;表示的第k个计算机在x区域的计算节点,表示的第l个计算机在x区域的计算节点;和是两个相邻的类节点;表示第i类任务包在计算节点的类节点,表示第i类任务包在计算节点的类节点。
S23、根据第二点集合和第二边集合构建数据图,以生成动态子模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述静态子模型和动态子模型需要同时满足:
条件a、随机计算过程中,保证同类任务包在相邻计算机之间不出现节点超越的情形;
条件b、随机计算过程中,保证同一计算机中先到达的任务包在计算完成优先输出。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,步骤S4包括:
在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出占用计算节点最少的路径;以及,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算速度最快的路径。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出占用计算节点最少的路径,具体包括:
S41a、在计算资源调度模型时间扩展图中,运行改进迪杰斯特拉算法;
S41b、创建OPEN表和CLOSE表,其中OPEN表保存所有已考察而未删除的NODE,CLOSE表中记录已访问过的POINT;
S41c、把START NODE放入OPEN表中等待检查;
S41d、从OPEN表中找出占用计算节点最少的NODE,找出该NODE的所有CHILD NODE,把该NODE放到CLOSE表中;
S41e、遍历考察该NODE的CHILD NODE,若该CHILD NODE在CLOSE表中,则丢弃;否则记录该NODE的占用计算节点个数,若该CHILD NODE已在OPEN表中,占用计算节点个数更少则更新权值,占用计算节点个数相同但计算速度较快则到达速度权值,占用计算节点个数更多则丢弃,若该CHILD NODE不在OPEN表中,则将该CHILD NODE放入OPEN表中;
S41f、重复第S41d和第S41e步,直到OPEN表为空或找到GOAL NODE,以获得占用计算节点最少的路径。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算速度最快的路径,具体包括:
S42a、在计算资源调度模型时间扩展图中,运行改进迪杰斯特拉算法;
S42b、创建OPEN表和CLOSE表,其中OPEN表保存所有已考察而未删除的NODE,CLOSE表中记录已访问过的POINT;
S42c、把START NODE放入OPEN表中等待检查;
S42d、从OPEN表中找出计算速度最快的NODE,找出从该NODE出发的所有CHILDNODE,把该NODE放到CLOSE表中;
S42e、遍历考察该NODE的CHILD NODE,若该CHILD NODE在CLOSE表中,则丢弃;否则记录该NODE的可行的最快计算速度,若该CHILD NODE已在OPEN表中,计算速度较快较早则更新权值,否则丢弃,若该CHILD NODE不在OPEN表中,则将该CHILD NODE放入OPEN表中;
S42f、重复第S42d和第S42e步,直到OPEN表为空或找到GOAL NODE,即获得计算速度最快的路径。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述改进迪杰斯特拉算法的数据结构选择斐波那契堆结构、简单桶结构或二元堆结构。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述区块包括一个或多个等价的计算节点,所述计算节点安装在机柜里,所述机柜包括多个相互连接的子机柜,所述子机柜包括底座,该底座上设有水冷装置,该水冷装置包括水冷液输送泵、循环管道、散热组件和吸热组件,所述散热组件为中空长方体结构,散热组件的内壁为空心结构,循环管道绕置在散热组件的内壁上,水冷液输送泵安装在散热组件的底部,并与循环管道连通;散热组件的顶部承载吸热组件,吸热组件居中设有与散热组件的开口连相互通的开孔,吸热组件的边缘设置有固定计算节点的锁扣,所述吸热组件为槽型结构,槽型的开口边缘设置有若干过线孔;底座的相对两侧设有公连接件和母连接件,所述公连接件和母连接件榫卯配合,可以实现子机柜水平方向的相互连接,底座的底部还设有固定槽,吸热组件的顶部设有固定条,固定槽和固定条的配合,可以实现子机柜垂直方向的相互连接。
另一方面,本发明实施例提供了一种用于云计算的分布链式计算资源的优化***,该***包括:
第一构建单元,用于构建第一点集合和第一边集合,以生成静态子模型,所述第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;
第二构建单元,用于构建第二点集合和第二边集合,以生成动态子模型,所述第一点集合包括任务包集合,所述第二边集合包括两种边类型;
合并单元,用于将静态子模型与动态子模型合并为计算资源优化模型;
处理单元,用于在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。
上述技术方案中的一个技术方案具有如下有益效果:
本发明实施例提供的方法中,首先构建第一点集合和第一边集合,以生成静态子模型,第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;然后,构建第二点集合和第二边集合,以生成动态子模型,第一点集合包括任务包集合,所述第二边集合包括两种边类型;再将静态子模型与动态子模型合并为计算资源优化模型;最后在计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。可根据具体需求,获取计算速度最快的路径或者占用计算节点最少的路径,从而可以提高计算资源的优化效率,利于发挥计算节点的算力。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种用于云计算的分布链式计算资源的优化方法的流程示意图;
图2是本发明实施例提供的获得占用计算节点最少的路径的流程示意图;
图3是本发明实施例提供的获得计算速度最快的路径的流程示意图;
图4是本发明实施例提供的区块集合、区块和计算节点的结构示意图;
图5是本发明实施例提供的区块布局示意图;
图6是本发明实施例提供的计算节点安装机柜的结构示意图;
图7是本发明实施例提供的一种用于云计算的分布链式计算资源的优化***的功能方块图;
图8是本发明实施例提供的一种电子设备的硬件结构图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二来描述点集合,但这些点集合不应限于这些术语。这些术语仅用来将点集合彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一点集合也可以被称为第二点集合,类似地,第二点集合也可以被称为第一点集合。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明实施例给出一种用于云计算的分布链式计算资源的优化方法的方法,请参考图1,其为本发明实施例所提供的方法的流程示意图,如图所示,该方法包括以下步骤:
S1、构建第一点集合和第一边集合,以生成静态子模型,所述第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;
S2、构建第二点集合和第二边集合,以生成动态子模型,所述第一点集合包括任务包集合,所述第二边集合包括两种边类型;
S3、将静态子模型与动态子模型合并为计算资源优化模型;
S4、在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。
需要说明的是,S1包括:
S11、构建第一点集合P=CUMUA;其中,C为节点链集合,节点链cq表示从计算机com(0)出发,依次访问计算机com(1)、计算机com(2)、…、计算机com(k)的节点链;M表示任务包集合,M=Uu∈CMu,u∈C,Mu表示需要通过计算机com(u)进行计算的任务包集合;A为区块集合,Ax表示x区块中所有计算机节点,x∈A;
S12、构建第一边集合E=BUDUFUGUH,所述第一边集合包括五种边类型;其中,边类型B=Uu∈CBu,边类型D=Uu∈CDu,边类型F=Ux∈AFx,边类型G=Ux∈AGx,边类型 表示第i类任务包在计算机com(u)的类节点,表示第j类任务包在计算机com(v)的类节点;表示第i个计算机在x区块的计算节点;和是两个相邻的类节点;
S13、根据第一点集合和第一边集合构建数据图,以生成静态子模型。
需要说明的是,S2包括:
S21、构建第二点集合P=M;其中,C为节点链集合;M表示任务包集合,M=Uu∈CMu,u∈C,Mu表示需要通过计算机com(u)进行计算的任务包集合;
S22、构建第二边集合所述第二边集合包括两种边类型;其中, 表示第i类任务包在计算机com(u)的类节点;表示的第k个计算机在x区域的计算节点,表示的第l个计算机在x区域的计算节点;和是两个相邻的类节点;表示第i类任务包在计算节点的类节点,表示第i类任务包在计算节点的类节点。
S23、根据第二点集合和第二边集合构建数据图,以生成动态子模型。
本发明实施例中,静态子模型和动态子模型需要同时满足:
条件a、随机计算过程中,保证同类任务包在相邻计算机之间不出现节点超越的情形;
条件b、随机计算过程中,保证同一计算机中先到达的任务包在计算完成优先输出。
图2是本发明实施例提供的获得占用计算节点最少的路径的流程示意图,请参考图2,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出占用计算节点最少的路径,具体包括:
S41a、在计算资源调度模型时间扩展图中,运行改进迪杰斯特拉算法;
S41b、创建OPEN表和CLOSE表,其中OPEN表保存所有已考察而未删除的NODE,CLOSE表中记录已访问过的POINT;
S41c、把START NODE放入OPEN表中等待检查;
S41d、从OPEN表中找出权值最小的NODE,找出该NODE的所有CHILD NODE,把该NODE放到CLOSE表中;
S41e、遍历考察该NODE的CHILD NODE,若该CHILD NODE在CLOSE表中,则丢弃;否则记录该NODE的占用计算节点个数,若该CHILD NODE已在OPEN表中,占用计算节点个数更少则更新权值,占用计算节点个数相同但计算速度较快则到达速度权值,占用计算节点个数更多则丢弃,若该CHILD NODE不在OPEN表中,则将该CHILD NODE放入OPEN表中;
S41f、重复第S41d和第S41e步,直到OPEN表为空或找到GOAL NODE,以获得占用计算节点最少的路径。
图3是本发明实施例提供的获得计算速度最快的路径的流程示意图,请参考图3,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算速度最快的路径,具体包括:
S42a、在计算资源调度模型时间扩展图中,运行改进迪杰斯特拉算法;
S42b、创建OPEN表和CLOSE表,其中OPEN表保存所有已考察而未删除的NODE,CLOSE表中记录已访问过的POINT;
S42c、把START NODE放入OPEN表中等待检查;
S42d、从OPEN表中找出权值最小的NODE,找出从该NODE出发的所有CHILD NODE,把该NODE放到CLOSE表中;
S42e、遍历考察该NODE的CHILD NODE,若该CHILD NODE在CLOSE表中,则丢弃;否则记录该NODE的可行的最快计算速度,若该CHILD NODE已在OPEN表中,计算速度较快较早则更新权值,否则丢弃,若该CHILD NODE不在OPEN表中,则将该CHILD NODE放入OPEN表中;
S42f、重复第S42d和第S42e步,直到OPEN表为空或找到GOAL NODE,即获得计算速度最快的路径。
需要说明的是,改进迪杰斯特拉算法的数据结构选择斐波那契堆结构、简单桶结构或二元堆结构,其中以简单桶结构效果最好。
图4是本发明实施例提供的区块集合、区块和计算节点的结构示意图,请参见图4,区块集合是有若干个区块形成,区块之间是可以进行数据传输的,每个区块包括若干个计算节点,计算节点之间也是可以进行数据传输的,同区块内的计算节点是等价的,同区块内的计算节点可以进行通信,不同区块内的节点也可进行通信。
图5是本发明实施例提供的区块布局示意图,从图5中可以看出,区块中的计算节点可以以水平方向展开或者以垂直方向展开,形成区块内的计算阵列。具体计算节点是如何安装以及如何展开的可以参考图6,图6是本发明实施例提供的计算节点安装机柜的结构示意图。
如图6所示,区块包括一个或多个等价的计算节点,计算节点安装在机柜里,所述机柜包括多个相互连接的子机柜,子机柜包括底座1,该底座上设有水冷装置,该水冷装置包括水冷液输送泵、循环管道、散热组件和吸热组件,水冷装置部分组件位于子机柜的内部,故图6中没有显示出,散热组件2为中空长方体结构,散热组件的内壁为空心结构,循环管道绕置在散热组件的内壁上,水冷液输送泵安装在散热组件的底部,并与循环管道连通;散热组件2的顶部承载吸热组件3,吸热组件3居中设有与散热组件的开口连相互通的开孔,吸热组件3的边缘设置有固定计算节点的锁扣31,吸热组件3为槽型结构,槽型的开口边缘设置有若干过线孔32;底座1的相对两侧设有公连接件11和母连接件12,公连接件11和母连接12件榫卯配合,可以实现子机柜水平方向的相互连接,底座1的底部还设有固定槽(图中没有展示),吸热组件3的顶部设有固定条33,固定槽和固定条33的配合,可以实现子机柜垂直方向的相互连接。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图7是本发明实施例提供的一种用于云计算的分布链式计算资源的优化***的功能方块图,请参考图7,该***包括:
第一构建单元710,用于构建第一点集合和第一边集合,以生成静态子模型,所述第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;
第二构建单元720,用于构建第二点集合和第二边集合,以生成动态子模型,所述第一点集合包括任务包集合,所述第二边集合包括两种边类型;
合并单元730,用于将静态子模型与动态子模型合并为计算资源优化模型;
处理单元740,用于在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。
由于本实施例中的各单元模块能够执行图1所示的方法,本实施例未详细描述的部分,可参考对图1的相关说明。
本发明实施例的技术效果如下:
在本发明实施例提供的方法和***中,首先构建第一点集合和第一边集合,以生成静态子模型,第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;然后,构建第二点集合和第二边集合,以生成动态子模型,第一点集合包括任务包集合,所述第二边集合包括两种边类型;再将静态子模型与动态子模型合并为计算资源优化模型;最后在计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。可根据具体需求,获取计算速度最快的路径或者占用计算节点最少的路径,从而可以提高计算资源的优化效率,利于发挥计算节点的算力。
图8是本发明的一个实施例电子设备的硬件结构图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
在一种可能实现的方式中,处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,也可从其它设备上获取相应的计算机程序,以在逻辑层面上形成优化***。处理器,执行存储器所存放的程序,以通过执行的程序实现本发明任一实施例中提供的优化方法。
本发明实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行本发明任一实施例中提供的优化方法。
上述如本发明图7所示实施例提供的计算资源优化***执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元或模块分别描述。当然,在实施本发明时可以把各单元或模块的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、***或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种用于云计算的分布链式计算资源的优化方法,其特征在于,所述方法包括:
S1、构建第一点集合和第一边集合,以生成静态子模型,所述第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;
S2、构建第二点集合和第二边集合,以生成动态子模型,所述第一点集合包括任务包集合,所述第二边集合包括两种边类型;
S3、将静态子模型与动态子模型合并为计算资源优化模型;
S4、在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。
2.根据权利要求1所述的方法,其特征在于,S1包括:
S11、构建第一点集合P=CUMUA;其中,C为节点链集合,节点链cq表示从计算机com(0)出发,依次访问计算机com(1)、计算机com(2)、…、计算机com(k)的节点链;M表示任务包集合,M=Uu∈CMu,u∈C,Mu表示需要通过计算机com(u)进行计算的任务包集合;A为区块集合,Ax表示x区块中所有计算机节点,x∈A;
S12、构建第一边集合E=BUDUFUGUH,所述第一边集合包括五种边类型;其中,边类型B=Uu∈CBu,边类型D=Uu∈CDu,边类型F=Ux∈AFx,边类型G=Ux∈AGx,边类型 表示第i类任务包在计算机com(u)的类节点,表示第j类任务包在计算机com(v)的类节点;表示第i个计算机在x区块的计算节点;和是两个相邻的类节点;
S13、根据第一点集合和第一边集合构建数据图,以生成静态子模型。
3.根据权利要求2所述的方法,其特征在于,S2包括:
S21、构建第二点集合P=M;其中,C为节点链集合;M表示任务包集合,M=Uu∈CMu,u∈C,Mu表示需要通过计算机com(u)进行计算的任务包集合;
S22、构建第二边集合所述第二边集合包括两种边类型;其中, 表示第i类任务包在计算机com(u)的类节点;表示的第k个计算机在x区域的计算节点,表示的第l个计算机在x区域的计算节点;和是两个相邻的类节点;表示第i类任务包在计算节点的类节点,表示第i类任务包在计算节点的类节点。
S23、根据第二点集合和第二边集合构建数据图,以生成动态子模型。
4.根据权利要求3所述的方法,其特征在于,所述静态子模型和动态子模型需要同时满足:
条件a、随机计算过程中,保证同类任务包在相邻计算机之间不出现节点超越的情形;
条件b、随机计算过程中,保证同一计算机中先到达的任务包在计算完成优先输出。
5.根据权利要求4所述的方法,其特征在于,步骤S4包括:
在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出占用计算节点最少的路径;以及,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算速度最快的路径。
6.根据权利要求5所述的方法,其特征在于,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出占用计算节点最少的路径,具体包括:
S41a、在计算资源调度模型时间扩展图中,运行改进迪杰斯特拉算法;
S41b、创建OPEN表和CLOSE表,其中OPEN表保存所有已考察而未删除的NODE,CLOSE表中记录已访问过的POINT;
S41c、把START NODE放入OPEN表中等待检查;
S41d、从OPEN表中找出权值最小的NODE,找出该NODE的所有CHILD NODE,把该NODE放到CLOSE表中;
S41e、遍历考察该NODE的CHILD NODE,若该CHILD NODE在CLOSE表中,则丢弃;否则记录该NODE的占用计算节点个数,若该CHILD NODE已在OPEN表中,占用计算节点个数更少则更新权值,占用计算节点个数相同但计算速度较快则到达速度权值,占用计算节点个数更多则丢弃,若该CHILD NODE不在OPEN表中,则将该CHILD NODE放入OPEN表中;
S41f、重复第S41d和第S41e步,直到OPEN表为空或找到GOAL NODE,以获得占用计算节点最少的路径。
7.根据权利要求5所述的方法,其特征在于,在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算速度最快的路径,具体包括:
S42a、在计算资源调度模型时间扩展图中,运行改进迪杰斯特拉算法;
S42b、创建OPEN表和CLOSE表,其中OPEN表保存所有已考察而未删除的NODE,CLOSE表中记录已访问过的POINT;
S42c、把START NODE放入OPEN表中等待检查;
S42d、从OPEN表中找出权值最小的NODE,找出从该NODE出发的所有CHILD NODE,把该NODE放到CLOSE表中;
S42e、遍历考察该NODE的CHILD NODE,若该CHILD NODE在CLOSE表中,则丢弃;否则记录该NODE的可行的最快计算速度,若该CHILD NODE已在OPEN表中,计算速度较快较早则更新权值,否则丢弃,若该CHILD NODE不在OPEN表中,则将该CHILD NODE放入OPEN表中;
S42f、重复第S42d和第S42e步,直到OPEN表为空或找到GOAL NODE,即获得计算速度最快的路径。
8.根据权利要求1所述的方法,其特征在于,所述改进迪杰斯特拉算法的数据结构选择斐波那契堆结构、简单桶结构或二元堆结构。
9.根据权利要求2所述的方法,其特征在于,其特征在于,所述区块包括一个或多个等价的计算节点,所述计算节点安装在机柜里,所述机柜包括多个相互连接的子机柜,所述子机柜包括底座,该底座上设有水冷装置,该水冷装置包括水冷液输送泵、循环管道、散热组件和吸热组件,所述散热组件为中空长方体结构,散热组件的内壁为空心结构,循环管道绕置在散热组件的内壁上,水冷液输送泵安装在散热组件的底部,并与循环管道连通;散热组件的顶部承载吸热组件,吸热组件居中设有与散热组件的开口连相互通的开孔,吸热组件的边缘设置有固定计算节点的锁扣,所述吸热组件为槽型结构,槽型的开口边缘设置有若干过线孔;底座的相对两侧设有公连接件和母连接件,所述公连接件和母连接件榫卯配合,可以实现子机柜水平方向的相互连接,底座的底部还设有固定槽,吸热组件的顶部设有固定条,固定槽和固定条的配合,可以实现子机柜垂直方向的相互连接。
10.一种用于云计算的分布链式计算资源的优化***,其特征在于,该***包括:
第一构建单元,用于构建第一点集合和第一边集合,以生成静态子模型,所述第一点集合包括节点链集合、任务包集合和区域集合,所述第一边集合包括五种边类型;
第二构建单元,用于构建第二点集合和第二边集合,以生成动态子模型,所述第一点集合包括任务包集合,所述第二边集合包括两种边类型;
合并单元,用于将静态子模型与动态子模型合并为计算资源优化模型;
处理单元,用于在所述计算资源调度模型时间扩展图中,通过改进迪杰斯特拉算法进行搜索以得出计算节点的路径。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910847232.3A CN110554923B (zh) | 2019-09-09 | 2019-09-09 | 一种用于云计算的分布链式计算资源的优化方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910847232.3A CN110554923B (zh) | 2019-09-09 | 2019-09-09 | 一种用于云计算的分布链式计算资源的优化方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110554923A true CN110554923A (zh) | 2019-12-10 |
CN110554923B CN110554923B (zh) | 2020-05-22 |
Family
ID=68739668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910847232.3A Active CN110554923B (zh) | 2019-09-09 | 2019-09-09 | 一种用于云计算的分布链式计算资源的优化方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110554923B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115333948A (zh) * | 2022-08-23 | 2022-11-11 | 四川通信科研规划设计有限责任公司 | 一种基于云计算与传输网络提升网络利用率的方法 |
CN115630578A (zh) * | 2022-10-30 | 2023-01-20 | 四川通信科研规划设计有限责任公司 | 一种算力体系预测布局优化方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090282413A1 (en) * | 2008-05-09 | 2009-11-12 | International Business Machines Corporation | Scalable Scheduling of Tasks in Heterogeneous Systems |
CN102681889A (zh) * | 2012-04-27 | 2012-09-19 | 电子科技大学 | 一种云计算开放平台的调度方法 |
US20130263100A1 (en) * | 2008-07-10 | 2013-10-03 | Rocketick Technologies Ltd. | Efficient parallel computation of dependency problems |
CN103677996A (zh) * | 2012-08-28 | 2014-03-26 | 国际商业机器公司 | 用于平衡工作负荷分布的协作方法和*** |
CN103793534A (zh) * | 2014-02-28 | 2014-05-14 | 苏州博纳讯动软件有限公司 | 分布式文件***及均衡元数据存储和访问负载的实现方法 |
CN104317650A (zh) * | 2014-10-10 | 2015-01-28 | 北京工业大学 | 一种面向Map/Reduce型海量数据处理平台的作业调度方法 |
US9342355B2 (en) * | 2013-06-20 | 2016-05-17 | International Business Machines Corporation | Joint optimization of multiple phases in large data processing |
CN106095572A (zh) * | 2016-06-08 | 2016-11-09 | 东方网力科技股份有限公司 | 一种大数据处理的分布式调度***及方法 |
CN106095591A (zh) * | 2016-07-24 | 2016-11-09 | 成都育芽科技有限公司 | 一种基于云计算的虚拟机两级优化调度管理平台 |
CN106844022A (zh) * | 2016-12-23 | 2017-06-13 | 中国石油天然气集团公司 | 一种数据处理的方法及*** |
US10338964B1 (en) * | 2019-01-16 | 2019-07-02 | Capital One Services, Llc | Computing node job assignment for distribution of scheduling operations |
CN110058936A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于确定专用处理资源的资源量的方法、设备和计算机程序产品 |
CN110109973A (zh) * | 2019-04-30 | 2019-08-09 | 温州职业技术学院 | 一种云计算***数据处理方法 |
-
2019
- 2019-09-09 CN CN201910847232.3A patent/CN110554923B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090282413A1 (en) * | 2008-05-09 | 2009-11-12 | International Business Machines Corporation | Scalable Scheduling of Tasks in Heterogeneous Systems |
US20130263100A1 (en) * | 2008-07-10 | 2013-10-03 | Rocketick Technologies Ltd. | Efficient parallel computation of dependency problems |
CN102681889A (zh) * | 2012-04-27 | 2012-09-19 | 电子科技大学 | 一种云计算开放平台的调度方法 |
CN103677996A (zh) * | 2012-08-28 | 2014-03-26 | 国际商业机器公司 | 用于平衡工作负荷分布的协作方法和*** |
US9342355B2 (en) * | 2013-06-20 | 2016-05-17 | International Business Machines Corporation | Joint optimization of multiple phases in large data processing |
CN103793534A (zh) * | 2014-02-28 | 2014-05-14 | 苏州博纳讯动软件有限公司 | 分布式文件***及均衡元数据存储和访问负载的实现方法 |
CN104317650A (zh) * | 2014-10-10 | 2015-01-28 | 北京工业大学 | 一种面向Map/Reduce型海量数据处理平台的作业调度方法 |
CN106095572A (zh) * | 2016-06-08 | 2016-11-09 | 东方网力科技股份有限公司 | 一种大数据处理的分布式调度***及方法 |
CN106095591A (zh) * | 2016-07-24 | 2016-11-09 | 成都育芽科技有限公司 | 一种基于云计算的虚拟机两级优化调度管理平台 |
CN106844022A (zh) * | 2016-12-23 | 2017-06-13 | 中国石油天然气集团公司 | 一种数据处理的方法及*** |
CN110058936A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于确定专用处理资源的资源量的方法、设备和计算机程序产品 |
US10338964B1 (en) * | 2019-01-16 | 2019-07-02 | Capital One Services, Llc | Computing node job assignment for distribution of scheduling operations |
CN110109973A (zh) * | 2019-04-30 | 2019-08-09 | 温州职业技术学院 | 一种云计算***数据处理方法 |
Non-Patent Citations (4)
Title |
---|
吴静等: "基于遗传算法的无向网络路径优化", 《天津师范大学学报(自然科学版)》 * |
宋金华: "Dijkstra算法程序的优化", 《海南广播电视大学学报》 * |
杨海龙: "云计算中分布式JobTracker节点模型的建立与优化", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
骆金维: "私有云计算平台上资源搜索路径匹配算法优化", 《科技通报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115333948A (zh) * | 2022-08-23 | 2022-11-11 | 四川通信科研规划设计有限责任公司 | 一种基于云计算与传输网络提升网络利用率的方法 |
CN115630578A (zh) * | 2022-10-30 | 2023-01-20 | 四川通信科研规划设计有限责任公司 | 一种算力体系预测布局优化方法 |
CN115630578B (zh) * | 2022-10-30 | 2023-04-25 | 四川通信科研规划设计有限责任公司 | 一种算力体系预测布局优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110554923B (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10999060B2 (en) | Data processing method and apparatus | |
CN109347787B (zh) | 一种身份信息的识别方法及装置 | |
CN110554923B (zh) | 一种用于云计算的分布链式计算资源的优化方法及*** | |
CN109191287B (zh) | 一种区块链智能合约的分片方法、装置及电子设备 | |
CN109857984B (zh) | 一种锅炉负荷率-效能曲线的回归方法和装置 | |
CN110648136A (zh) | 共识与交易同步的并行处理方法、装置和电子设备 | |
CN111651467A (zh) | 一种区块链节点接口发布调用方法和装置 | |
CN109255073B (zh) | 一种个性化推荐方法、装置及电子设备 | |
CN110648125B (zh) | 一种打包交易方法、装置、电子设备及存储介质 | |
CN111488289A (zh) | 一种故障定位方法、装置和设备 | |
CN111882322A (zh) | 一种按顺序打包交易的方法、装置及电子设备 | |
CN109901991B (zh) | 一种分析异常调用的方法、装置和电子设备 | |
CN116151363A (zh) | 分布式强化学习*** | |
Voudouris et al. | Bounding the execution time of parallel applications on unrelated multiprocessors | |
CN111709748B (zh) | 一种具有业务属性的交易执行方法、装置及电子设备 | |
CN111949297B (zh) | 一种区块链智能合约升级方法、装置及电子设备 | |
CN108470043A (zh) | 一种业务结果的获取方法及装置 | |
CN109063967B (zh) | 一种风控场景特征张量的处理方法、装置及电子设备 | |
CN110046194A (zh) | 一种扩展节点关系图的方法、装置和电子设备 | |
CN115658732A (zh) | 一种sql语句的优化查询方法、装置、电子设备及介质 | |
CN115774577A (zh) | 一种Spark GraphX参数调优方法、装置、电子设备及存储介质 | |
CN112351085A (zh) | 一种网络资源安全共享方法 | |
CN113407156A (zh) | 基于去中心化可验证延迟函数生成随机数的方法及*** | |
CN111832714A (zh) | 运算方法及装置 | |
CN112463158B (zh) | 编译方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200423 Address after: No. 324, building 10, No. 2, Jintai West Road, Chaoyang District, Beijing 100000 Applicant after: BEIJING PEOPLE ONLINE NETWORK Co.,Ltd. Address before: No. 13, Yinxi team, Qiaoxi village, Banqiao Town, Fengyang County, Chuzhou City, Anhui Province Applicant before: Lv Chunyan |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |