CN106845642B - 一种带约束云工作流调度的自适应多目标进化方法 - Google Patents
一种带约束云工作流调度的自适应多目标进化方法 Download PDFInfo
- Publication number
- CN106845642B CN106845642B CN201710046208.0A CN201710046208A CN106845642B CN 106845642 B CN106845642 B CN 106845642B CN 201710046208 A CN201710046208 A CN 201710046208A CN 106845642 B CN106845642 B CN 106845642B
- Authority
- CN
- China
- Prior art keywords
- population
- evolution
- pareto
- state
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 18
- 230000000452 restraining effect Effects 0.000 title abstract 3
- 238000005457 optimization Methods 0.000 claims abstract description 38
- 238000003672 processing method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 69
- 238000013209 evaluation strategy Methods 0.000 claims description 23
- 230000002068 genetic effect Effects 0.000 claims description 21
- 238000012163 sequencing technique Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 238000000596 photon cross correlation spectroscopy Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000010353 genetic engineering Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 21
- 230000003068 static effect Effects 0.000 description 7
- 238000005065 mining Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000002028 premature Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NUFBIAUZAMHTSP-UHFFFAOYSA-N 3-(n-morpholino)-2-hydroxypropanesulfonic acid Chemical compound OS(=O)(=O)CC(O)CN1CCOCC1 NUFBIAUZAMHTSP-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010429 evolutionary process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Genetics & Genomics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种带约束云工作流调度的自适应多目标进化方法，能够提高多目标进化方法的全局探测和局部开采能力。所述方法包括：S1、根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序，其中，在个体评估策略中，采用约束违反处理方法来处理约束条件；S2、根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群，其中，在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数。本发明适用于解决带约束的多目标优化问题，并可应用于云计算环境中工作流调度技术领域。
Description
技术领域
本发明涉及解决带约束的多目标优化的问题，并应用于云工作流调度技术领域，特别是指一种带约束云工作流调度的自适应多目标进化方法。
背景技术
云环境下的工作流调度(简称：云工作流调度)是寻找合适的云资源来执行工作流任务，并满足用户的服务质量需求。云工作流调度问题是一个带约束的多目标优化问题，多目标进化算法能有效处理此类问题。但现有技术中，大多是简单地利用静态的惩罚函数来处理约束条件，这样容易导致早熟收敛，甚至进入不可行的搜索空间，例如：
现有技术一，通过利用帕累托(Pareto)熵信息和Pareto差熵信息来评估多目标粒子群算法中种群的多样性以及进化状态，并且以此为反馈信息来设计进化策略，使得算法具有更好的收敛性和多样性。
现有技术二，在NSGA-II算法的基础上进行了改进，通过离散化整个Pareto最优前沿，找到一些良好分布的参考点，在算法的进化过程中以这些点为搜索方向，找到与提供的参考点集相关联的Pareto最优解或Pareto最优解附近的解，使得到的解集具有更优的收敛性和多样性。
现有技术一和现有技术二，虽然可以使算法得到的非支配解集具有更好的收敛性和多样性，但其针对的是无约束的多目标优化问题。对于云环境下的工作流调度问题是一个带约束的多目标优化问题，在处理此类问题时，常用的方法是基于多目标进化算法，使用静态的惩罚函数将带约束优化问题转化为无约束优化问题，惩罚函数如果太小，一些非可行解的适应度值将高于大部分可行解，种群很有可能会朝一个非可行的搜索空间进化；但惩罚函数如果太大，许多更优的个体将会被排除，从而导致早熟收敛，综上，现有的多目标进化算法在使用静态惩罚函数处理约束条件时容易陷入局部最优。
发明内容
本发明要解决的技术问题是提供一种带约束云工作流调度的自适应多目标进化方法，以解决现有技术所存在的多目标进化算法在使用静态惩罚函数处理约束条件时容易陷入局部最优的问题。
为解决上述技术问题，本发明实施例提供一种带约束云工作流调度的自适应多目标进化方法，包括：
S1、根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序，其中，在个体评估策略中，采用约束违反处理方法来处理约束条件；
S2、根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群，其中，在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数。
进一步地，所述根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态包括：
若种群中没有Pareto解，则种群在进化过程中所处的进化状态为初始状态。
进一步地，所述根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态包括：
若种群中Pareto解的个数小于种群大小，则种群在进化过程中所处的进化状态为收敛状态；或，
若种群中Pareto解的个数等于种群大小，且种群在t+1次迭代中，Pareto解的个数发生了变化，则种群在进化过程中所处的进化状态为收敛状态；或，
若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，且则种群在进化过程中所处的进化状态为收敛状态；
其中，△Entropy(t+1)表示第t+1次迭代和第t次迭代的差熵，M表示优化目标的个数，△Entropymax-diver表示最大差熵值。
进一步地，所述根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态包括：
若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，且则种群在进化过程中所处的进化状态为多样化状态；或，
若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，Pareto熵也没变化，则种群在进化过程中所处的进化状态为成熟状态；
其中，△Entropy(t+1)表示第t+1次迭代和第t次迭代的差熵，M表示优化目标的个数，△Entropymax-diver表示最大差熵值。
进一步地，所述△Entropymax-diver表示为：
其中，Entropymax表示Pareto解为最佳分布时的Pareto熵，Entropymin表示Pareto解为最差分布时的Pareto熵，M表示优化目标的个数，K表示每一维优化目标下的网格分区，Cellk,m(t)表示第t次迭代中的个体数量，是被映射到PCCS中的整数标号，表示第k个Pareto解的第m个格坐标分量，表示第k个Pareto解对应的第m个优化目标的值，l表示Entropymin情况下只有一个个体的那个格子的坐标。
进一步地，所述根据检测到的种群在进化过程中所处的进化状态，自适应地选择相应的个体评估策略处理约束条件，并对种群中的个人进行排序，包括：
若检测到种群在进化过程中所处的进化状态为初始状态，则根据第一适应度函数评估种群的个体适应度值，其中，所述第一适应度函数表示为：
按照个体适应度值的大小对种群中的个体进行排序；
其中，Fa(xi)表示个体i的适应度值，xi代表个体i，a表示Fa(xi)是加了惩罚函数后的适应度值，是归一化的约束违反。
进一步地，所述根据检测到的种群在进化过程中所处的进化状态，自适应地选择相应的个体评估策略处理约束条件，并对种群中的个人进行排序，包括：
若检测到种群在进化过程中所处的进化状态为收敛状态，则根据第二适应度函数评估种群的个体适应度值，其中，所述第二适应度函数表示为：
按照个体适应度值的大小对种群中的个体进行排序；
其中，表示个体i的第k个目标的适应度值，xi代表个体i，a表示是加了惩罚函数后的适应度值，表示个体i的第k个目标的归一化后的适应度值，表示归一化的约束违反，rf表示可行比率。
进一步地，所述根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略，对种群中的个体进行排序包括：
若检测到种群在进化过程中所处的进化状态为多样化状态或成熟状态，则基于约束的支配排序原则对种群中的个体进行排序。
进一步地，所述进化参数包括：交叉概率和变异概率；
所述在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数包括：
在进行遗传操作时，对遗传操作中的交叉概率和变异概率进行自适应的调整，其中，第t次迭代的交叉概率pc(t)的调整规则表示为：
第t次迭代的变异概率pm(t)的调整规则表示为：
其中，<·>表示一个保持pc(t)和pm(t)处于给定的边界之中的函数，当pc(t)和pm(t)低于下边界，将下边界值赋予给它们，当pc(t)和pm(t)高于上边界，将上边界值赋予给它们，pc(t-1)表示第t-1次迭代的交叉概率，pm(t-1)表示第t-1次迭代的变异概率，△np(t)表示在第t次迭代中Pareto个体数的变化数，△Entropy(t-1)表示第t-1次迭代和第t-2次迭代的差熵，ci和mj表示调整步长，i，j＝1,2,3,4。
本发明的上述技术方案的有益效果如下：
上述方案中，根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序，其中，在个体评估策略中，采用约束违反处理方法来处理约束条件，能有效的处理约束条件；根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群，其中，在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数，使多目标进化方法具有很好的收敛性和多样性，在解决云工作流调度的优化问题时具有较优的性能，使得在约束条件下也能具有较优的全局探测和局部开采能力。
附图说明
图1为本发明实施例提供的带约束云工作流调度的自适应多目标进化方法的流程示意图；
图2为本发明实施例提供的带约束云工作流调度的自适应多目标进化方法的详细流程示意图；
图3表示Epigenomics工作流在时限1约束条件下总执行成本TEC和不平衡度DI的均衡解；
图4表示Epigenomics工作流在时限2约束条件下总执行成本TEC和不平衡度DI的均衡解；
图5表示Epigenomics工作流在时限3约束条件下总执行成本TEC和不平衡度DI的均衡解；
图6表示Epigenomics工作流在时限4约束条件下总执行成本TEC和不平衡度DI的均衡解；
图7表示Inspiral工作流在时限1约束条件下总执行成本TEC和不平衡度DI的均衡解；
图8表示Inspiral工作流在时限2约束条件下总执行成本TEC和不平衡度DI的均衡解；
图9表示Inspiral工作流在时限3约束条件下总执行成本TEC和不平衡度DI的均衡解；
图10表示Inspiral工作流在时限4约束条件下总执行成本TEC和不平衡度DI的均衡解。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的多目标进化算法在使用静态惩罚函数处理约束条件时容易陷入局部最优的问题，提供一种带约束云工作流调度的自适应多目标进化方法。
如图1所示，本发明实施例提供的带约束云工作流调度的自适应多目标进化方法，包括：
S1、根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序，其中，在个体评估策略中，采用约束违反处理方法来处理约束条件；
S2、根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群，其中，在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数。
本发明实施例所述的带约束云工作流调度的自适应多目标进化方法，根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序，其中，在个体评估策略中，采用约束违反处理方法来处理约束条件，能有效的处理约束条件；根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群，其中，在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数，使多目标进化方法具有很好的收敛性和多样性，在解决云工作流调度的优化问题时具有较优的性能，使得在约束条件下也能具有较优的全局探测和局部开采能力。
本发明实施例提供的带约束云工作流调度的自适应多目标进化方法可以称为基于Pareto熵的带有自适应个体评估策略的NSGA-II算法(Pareto Entropy based on NSGA-II with adaptive individual-assessment scheme，ai-NSGA-II-PE)，ai-NSGA-II-PE以非支配排序的多目标优化算法(Non-dominated Sorting Genetic Algorithm-II，NSGA-II)为基础，如图2所示，本发明实施例提供的带约束云工作流调度的自适应多目标进化方法具体可以包括：
S201，初始化种群，包括迭代次数，种群规模等；
S202，根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序；其中，所述根据Pareto解的个数和Pareto熵检测种群在NSGA-II进化过程中所处的进化状态包括：
(1)若种群中没有Pareto解，则定义种群在进化过程中所处的进化状态为初始状态；
(2)如下3种情况，定义种群在进化过程中所处的进化状态为收敛状态：
a、种群中Pareto解的个数小于种群大小；
b、种群中Pareto解的个数等于种群大小，但种群在t+1次迭代中，Pareto解的个数发生了变化；
c、种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，且其中，△Entropy(t+1)表示第t+1次迭代和第t次迭代的差熵，M表示优化目标的个数，△Entropymax-diver表示最大差熵值。
本实施例中，为了更好地理解Pareto熵、差熵、最大差熵值△Entropymax-diver，对Pareto熵、差熵、最大差熵值△Entropymax-diver进行详细说明：
本实施例中，可以借助平行格坐标***(Parallel Cell Coordinate System，PCCS)来描述Pareto熵及其差熵。M为优化目标的个数，每一维优化目标下的网格分区为K，表示第k个Pareto解对应的第m个优化目标的值，按照式(1)映射到一个具有K×M个格子的二维平面网格，是被映射到PCCS中的整数标号，表示第k个Pareto解的第m个格坐标分量。每一个笛卡尔坐标系中的解的坐标分量都可以被映射到二维平面网格中的某一个格子中。
令其中为向上取整函数，即返回一个不小于x的最小整数，和分别是对于当前Pareto解集合中的第m个目标的最大值和最小值，如果将设置为1。
本实施例中，第t次迭代的Pareto熵Entropy(t)可以表示为：
其中，Cellk,m(t)表示中的个体数量，第t次和t-1次迭代的差熵△Entropy(t)可以表示为：
△Entropy(t)＝Entropy(t)-Entropy(t-1)
最大差熵值△Entropymax-diver指的是一种极端情况下熵的差值，即在多样化状态时，新解与旧解处于同一支配等级，但具有更好的拥挤度时，旧解会被替换，使和显著变化，导致解从最佳分布(即PCCS中每个目标的坐标向量都占据一个格子)变为最差分布(即PCCS中每个目标的坐标向量有K-1个挤在一个格子里，剩下的占据在另一个)，此时的Pareto熵的变化值(△Entropymax-diver)可以表示为：
其中，Entropymax表示Pareto解为最佳分布时的Pareto熵，Entropymin表示Pareto解为最差分布时的Pareto熵，M表示优化目标的个数，K表示每一维优化目标下的网格分区，Cellk,m(t)表示第t次迭代中的个体数量，是被映射到PCCS中的整数标号，表示第k个Pareto解的第m个格坐标分量，表示第k个Pareto解对应的第m个优化目标的值，l表示Entropymin情况下只有一个个体的那个格子的坐标。
(3)若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，且则定义种群在进化过程中所处的进化状态为多样化状态；
(4)若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，Pareto熵也没变化，则定义种群在进化过程中所处的进化状态为成熟状态。
本实施例中，接着，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序。在自适应个体评估环节，主要通过两个方面来判断一个个体的好坏，一个是它在目标函数得到的目标值，另一个是在约束条件下得到的约束目标值是否超过所定约束。
本实施例中，在不同的进化状态采用不同的个体评估策略来评估个体，对个体进行排序，在个体评估策略中，采用约束违反处理方法来处理约束条件根据种群在进化过程中所处的不同的进化状态，可以采用不同的约束违反处理方法来有效的处理约束条件，使更优的可行个体保留下来；具体的：
(1)若检测到种群在进化过程中所处的进化状态为初始状态，则根据第一适应度函数评估种群的个体适应度值，其中，所述第一适应度函数表示为：
按照个体适应度值的大小对种群中的个体进行排序；
其中，Fa(xi)表示个体i的适应度值，xi代表个体i，a表示Fa(xi)是加了惩罚函数后的适应度值，是归一化的约束违反，即将约束目标值(约束目标值是在约束条件下得到的)超过所定约束的那部分进行归一化，然后根据归一化的约束违反来给个体排序，使得保留下来拥有小的约束违反的个体。
(2)若检测到种群在进化过程中所处的进化状态为收敛状态，即种群中至少有一个可行解(可行解也可以称为可行个体)之后，则根据第二适应度函数评估种群的个体适应度值，其中，所述第二适应度函数表示为：
按照个体适应度值的大小对种群中的个体进行排序；
其中，表示个体i的第k个目标的适应度值，xi代表个体i，a表示是加了惩罚函数后的适应度值，表示个体i的第k个目标的归一化后的适应度值，表示归一化的约束违反，rf表示可行比率，rf为可行个体数量与种群规模的比值。
(3)若检测到种群在进化过程中所处的进化状态为多样化状态或成熟状态，本实施例采用另一种个体评估策略来排序个体，按照定义1，基于约束的支配排序原则如下，使得种群搜索拥有更好拥挤度的可行个体，并防止非可行解进入种群：
定义1：如果以下任何一个条件为真，则说明个体S1比个体S2优秀：
(1)如果S1是可行解而S2是非可行解；
(2)S1、S2都是非可行解，S1有更小的约束违反；
(3)S1、S2都是可行解，S1比S2有更高的非支配等级；或，当S1和S2都有相同的支配等级，S1比S2有更优秀的拥挤度，通过非支配等级对个体进行排序，其中，非支配等级排序和拥挤度计算与NSGA-II算法中所采用的类似；
非支配等级排序是指：如果某个个体i的一个或者多个优化目标值均优于另外一个个体j，而其他优化目标值相等，那么个体i支配个体j。根据支配关系给个体分配非支配等级，等级高的个体支配等级低的个体，如果个体m不能被任何个体所支配，即所得到的解最优，则称个体m为Pareto最优解或非支配解。
拥挤度，用于对处于相同非支配等级的个体进行排序，其基本思想是根据所有个体的优化目标值来计算与个体相邻的两个个体的欧式空间距离。
S203，根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群。拥有排序更高的个体具有更大的概率被选入子群体中。
本实施例中，是在不同的进化状态采用不同的个体评估策略来选择个体进行遗传操作。
根据种群在进化过程中所处的进化状态进行相应的遗传操作时，种群根据其所处的进化状态自适应地进行进化参数的调整，即对遗传操作中的交叉概率和变异概率进行自适应的调整，从而提高全局探测和局部开采能力。
本实施例中，遗传操作中的交叉概率和变异概率，可以根据种群在进化过程中所处的进化状态、Pareto解的个数以及Pareto熵来自适应调整，其中，第t次迭代的交叉概率pc(t)的调整规则表示为：
第t次迭代的变异概率pm(t)的调整规则表示为：
其中，<·>表示一个保持pc(t)和pm(t)处于给定的边界之中的函数，当pc(t)和pm(t)低于下边界，将下边界值赋予给它们，当pc(t)和pm(t)高于上边界，将上边界值赋予给它们，pc(t-1)表示第t-1次迭代的交叉概率，pm(t-1)表示第t-1次迭代的变异概率，△np(t)表示在第t次迭代中Pareto个体数的变化数，△Entropy(t-1)表示第t-1次迭代和第t-2次迭代的差熵，ci和mj表示调整步长，i，j＝1,2,3,4；其中，ci和mj表示为：
其中，gmax表示为最大迭代次数。
S204，根据父种群和子种群在进化过程中所处的进化状态，自适应计算父种群和子种群的个体适应度值，具体步骤同S202。
S205，根据父种群和子种群的个体适应度值，确定父种群和子种群的个体排序。
本实施例中，按照个体适应度值从小到大对父种群和子种群的个体进行排序，其中，排序时，父种群和子种群是放在一起操作的。
S206，从排序后的父种群和子种群中，选择前N个个体作为新种群，计算新种群的Pareto熵和检测种群状态，返回执行S202，新种群参与下一次迭代，直至迭代次数等于预设的最大迭代次数，其中，N的取值根据实际情况确定。
本实施例中，从排序后的父种群和子种群中，选择前N个个体作为新种群。排序时，父种群和子种群是放在一起操作的，选个体也是选两个种群(父种群和子种群)的前N个个体。
在计算敏感的云计算环境下，为解决其工作流调度问题，建立如下模型：
优化目标(Minimize)为最小化总执行成本(Total Execution Cost，TEC)和不平衡度(Degree of Imbalance，DI)，约束条件(Subject to)为总执行时间(Total ExecutionTime，TET)小于时限dw，表示为
Minimize:TEC
DI
Subject to:TET≤dw
其中，|VM|表示虚拟机的个数，表示执行任务i的虚拟机，是虚拟机单位时间成本，是执行任务i的实际运行时间，ti表示任务i，τ是虚拟机单位处理能力，表示任务i和任务j之间的传输时间，下标ei,j表示任务i和任务j是相连的，是的数据转换成本，i∈T,j∈T中的T指所有的任务下标，Tmax和Tmin分别表示所有虚拟机的最大运行时间和最小运行时间，Tavg是虚拟机的平均运行时间，，V是任务集合，表示任务i的结束时间。
本实施例中，执行任务i的实际运行时间表示为：
其中，为任务i的大小，是的处理能力。
本实施例中，任务i和任务j之间的传输时间表示为：
其中，和分别表示虚拟机VMi和VMj之间数据传输的带宽，下标ei,j表示任务i和任务j是相连的，是由任务i产生的输出数据大小，如果任务i和任务j在同一虚拟机执行，则传输时间为0；
本实施例中，任务i的开始时间表示为：
其中，是租用终止时间，指执行任务i的虚拟机，ta表示任务a，parent(ti)表示任务i的所有母任务，表示任务a的结束时间，表示任务a和任务i之间的传输时间，下标ea,i表示任务a和任务i是相连的。
本实施例中，任务i的结束时间表示为：
其中，表示任务i的开始时间，表示执行任务i的实际运行时间。
本实施例中，在进行测试时定义了4个时限值，这些时限值处于最快和最慢运行时间之间，最快运行时间由异构计算环境最早时间完成算法(Heterogeneous EarliestFinish Time，HEFT)调度工作流所获得，最慢运行时间由一个虚拟机执行所有的任务所获得，时限随着编号的增加逐渐变得严格。
本实施例采用了Epigenomics和Inspiral两种工作流进行了测试，其中，Epigenomics工作流是一种高度流水线的应用程序，其中多个线并行地对独立的数据块进行操作；Inspiral由几个子工作流组成。测试结果如图3、图4、图5、图6、图7、图8、图9、图10所示。
实施方式一
本实施例中，分别设置时限值为时限1，时限2，时限3，时限4，选取科学工作流模型Epigenomics，将ai-NSGA-II-PE与基于Pareto熵的NSGA-II算法(ParetoEntropy based onNSGA-II，NSGA-II-PE)(NSGA-II-PE采用本发明所提出的自适应调整进化参数，但使用传统静态惩罚函数处理约束条件)、NSGA-II、基于分解的多目标进化算法(Multi-ObjectiveEvolutionary Algorithm based on Decomposition，MOEA/D)、强度Pareto进化算法(Strength Pareto Evolutionary Algorithm 2，SPEA2)、多目标粒子群优化算法(Multi-Objective Particle Swarm Optimization，MOPSO)分别进行比较；仿真结果如图3、图4、图5、图6，由图3、图4、图5、图6可见，相比于其他算法，ai-NSGA-II-PE在严格的约束条件下能找到全局探测和局部开采效果更优的Pareto前沿。
实施方式二
本实施例中，分别设置时限值为时限1，时限2，时限3，时限4，选取科学工作流模型Inspiral，将ai-NSGA-II-PE与NSGA-II-PE(采用本发明所提出的自适应调整进化参数，但使用传统静态惩罚函数处理约束条件)、NSGA-II、MOEA/D、SPEA2、MOPSO进化算法分别进行比较；仿真结果如图7、图8、图9、图10，由图7、图8、图9、图10可见，相比于其他算法，ai-NSGA-II-PE在严格的约束条件下能找到全局探测和局部开采效果更优的Pareto前沿。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种带约束云工作流调度的自适应多目标进化方法，其特征在于，包括：
S1、建立带约束云工作流调度模型：
Minimize:TEC
DI
Subject to:TET≤dw
其中，Minimize表示优化目标，TEC表示总执行成本，DI表示不平衡度，TEC和DI是2个优化目标，Subject to表示约束条件，TET表示总执行时间，dw表示时限，|VM|表示虚拟机的个数，表示执行任务i的虚拟机，是虚拟机单位时间成本，是执行任务i的实际运行时间，ti表示任务i，τ是虚拟机单位处理能力，表示任务i和任务j之间的传输时间，下标ei,j表示任务i和任务j是相连的，是的数据转换成本，i∈T,j∈T中的T指所有的任务下标，Tmax和Tmin分别表示所有虚拟机的最大运行时间和最小运行时间，Tavg是虚拟机的平均运行时间，V是任务集合，表示任务i的结束时间；
利用Pareto解与优化目标的值之间的对应关系，根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态，根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略处理约束条件，并对种群中的个体进行排序，其中，在个体评估策略中，采用约束违反处理方法来处理约束条件；
S2、根据个体排序结果，从种群中选择个体进行遗传操作，得到子种群，其中，在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数，直至迭代次数等于预设的最大迭代次数。
2.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态包括：
若种群中没有Pareto解，则种群在进化过程中所处的进化状态为初始状态。
3.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态包括：
若种群中Pareto解的个数小于种群大小，则种群在进化过程中所处的进化状态为收敛状态；或，
若种群中Pareto解的个数等于种群大小，且种群在t+1次迭代中，Pareto解的个数发生了变化，则种群在进化过程中所处的进化状态为收敛状态；或，
若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，且则种群在进化过程中所处的进化状态为收敛状态；
其中，ΔEntropy(t+1)表示第t+1次迭代和第t次迭代的差熵，M表示优化目标的个数，ΔEntropymax-diver表示最大差熵值。
4.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述根据Pareto解的个数和Pareto熵检测种群在进化过程中所处的进化状态包括：
若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，且则种群在进化过程中所处的进化状态为多样化状态；或，
若种群中Pareto解的个数等于种群大小，种群在t+1次迭代中，Pareto解的个数没有发生变化，Pareto熵也没变化，则种群在进化过程中所处的进化状态为成熟状态；
其中，ΔEntropy(t+1)表示第t+1次迭代和第t次迭代的差熵，M表示优化目标的个数，ΔEntropymax-diver表示最大差熵值。
5.根据权利要求3或4所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述ΔEntropymax-diver表示为：
其中，Entropymax表示Pareto解为最佳分布时的Pareto熵，Entropymin表示Pareto解为最差分布时的Pareto熵，M表示优化目标的个数，K表示每一维优化目标下的网格分区，Cellk,m(t)表示第t次迭代中的个体数量，是被映射到PCCS中的整数标号，表示第k个Pareto解的第m个格坐标分量，表示第k个Pareto解对应的第m个优化目标的值，l表示Entropymin情况下只有一个个体的那个格子的坐标。
6.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述根据检测到的种群在进化过程中所处的进化状态，自适应地选择相应的个体评估策略处理约束条件，并对种群中的个体进行排序，包括：
若检测到种群在进化过程中所处的进化状态为初始状态，则根据第一适应度函数评估种群的个体适应度值，其中，所述第一适应度函数表示为：
按照个体适应度值的大小对种群中的个体进行排序；
其中，Fa(xi)表示个体i的适应度值，xi代表个体i，a表示Fa(xi)是加了惩罚函数后的适应度值，是归一化的约束违反。
7.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述根据检测到的种群在进化过程中所处的进化状态，自适应地选择相应的个体评估策略处理约束条件，并对种群中的个体进行排序，包括：
若检测到种群在进化过程中所处的进化状态为收敛状态，则根据第二适应度函数评估种群的个体适应度值，其中，所述第二适应度函数表示为：
按照个体适应度值的大小对种群中的个体进行排序；
其中，表示个体i的第k个优化目标的适应度值，xi代表个体i，a表示是加了惩罚函数后的适应度值，表示个体i的第k个优化目标的归一化后的适应度值，表示归一化的约束违反，rf表示可行比率。
8.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述根据检测到的种群在进化过程中所处的进化状态，自适应地利用相应的个体评估策略，对种群中的个体进行排序包括：
若检测到种群在进化过程中所处的进化状态为多样化状态或成熟状态，则基于约束的支配排序原则对种群中的个体进行排序。
9.根据权利要求1所述的带约束云工作流调度的自适应多目标进化方法，其特征在于，所述进化参数包括：交叉概率和变异概率；
所述在进行遗传操作时，根据种群在进化过程中所处的进化状态自适应地调节进化参数包括：
在进行遗传操作时，对遗传操作中的交叉概率和变异概率进行自适应的调整，其中，第t次迭代的交叉概率pc(t)的调整规则表示为：
第t次迭代的变异概率pm(t)的调整规则表示为：
其中，<·>表示一个保持pc(t)和pm(t)处于给定的边界之中的函数，当pc(t)和pm(t)低于下边界，将下边界值赋予给它们，当pc(t)和pm(t)高于上边界，将上边界值赋予给它们，pc(t-1)表示第t-1次迭代的交叉概率，pm(t-1)表示第t-1次迭代的变异概率，Δnp(t)表示在第t次迭代中Pareto个体数的变化数，ΔEntropy(t-1)表示第t-1次迭代和第t-2次迭代的差熵，ci和mj表示调整步长，i，j＝1,2,3,4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710046208.0A CN106845642B (zh) | 2017-01-22 | 2017-01-22 | 一种带约束云工作流调度的自适应多目标进化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710046208.0A CN106845642B (zh) | 2017-01-22 | 2017-01-22 | 一种带约束云工作流调度的自适应多目标进化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106845642A CN106845642A (zh) | 2017-06-13 |
| CN106845642B true CN106845642B (zh) | 2019-03-29 |
Family
ID=59120017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710046208.0A Active CN106845642B (zh) | 2017-01-22 | 2017-01-22 | 一种带约束云工作流调度的自适应多目标进化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106845642B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108650030B (zh) * | 2018-05-07 | 2021-05-11 | 上海电力学院 | 水下无线传感器网络的水面多个汇聚结点部署方法 |
| CN109361725B (zh) * | 2018-08-14 | 2020-12-08 | 西安电子科技大学 | 基于多目标遗传算法的车联网云***资源分配方法 |
| US11379728B2 (en) | 2019-01-09 | 2022-07-05 | Red Hat, Inc. | Modified genetic recombination operator for cloud optimization |
| CN109992355B (zh) * | 2019-01-30 | 2021-04-13 | 北京理工大学 | 一种基于改进非支配遗传算法的多目标云工作流调度方法 |
| CN110111146B (zh) * | 2019-04-30 | 2023-07-11 | 东华大学 | 一种面向云实例选择的多目标优化求解方法 |
| CN110119558B (zh) * | 2019-04-30 | 2023-11-14 | 广州大学 | 一种基于差分优化算法的电路参数优化方法 |
| CN112907057B (zh) * | 2021-02-06 | 2022-11-11 | 北京理工大学 | 基于改进mopso算法的生产调度优化方法及*** |
| CN113419854B (zh) * | 2021-06-23 | 2023-09-22 | 东北大学 | 一种面向不平衡多目标优化的云资源调度方法 |
| CN113947705B (zh) * | 2021-10-25 | 2022-08-12 | 四川大学 | 一种基于约束条件下的演化神经网络的目标检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019822A (zh) * | 2012-12-07 | 2013-04-03 | 北京邮电大学 | 一种云环境下收益驱动的大规模处理任务调度方法 |
| CN105046408A (zh) * | 2015-06-25 | 2015-11-11 | 国网山东省电力公司 | 一种可配置工作流的实现方法及*** |
| CN105354085A (zh) * | 2015-10-30 | 2016-02-24 | 广东石油化工学院 | 一种云工作流作业调度方法 |
| CN105790266A (zh) * | 2016-04-27 | 2016-07-20 | 华东交通大学 | 一种微电网并行多目标鲁棒优化调度集成控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8762522B2 (en) * | 2011-04-19 | 2014-06-24 | Cisco Technology | Coordinating data center compute and thermal load based on environmental data forecasts |
-
2017
- 2017-01-22 CN CN201710046208.0A patent/CN106845642B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103019822A (zh) * | 2012-12-07 | 2013-04-03 | 北京邮电大学 | 一种云环境下收益驱动的大规模处理任务调度方法 |
| CN105046408A (zh) * | 2015-06-25 | 2015-11-11 | 国网山东省电力公司 | 一种可配置工作流的实现方法及*** |
| CN105354085A (zh) * | 2015-10-30 | 2016-02-24 | 广东石油化工学院 | 一种云工作流作业调度方法 |
| CN105790266A (zh) * | 2016-04-27 | 2016-07-20 | 华东交通大学 | 一种微电网并行多目标鲁棒优化调度集成控制方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Survey on Virtual Machine Scheduling in Cloud Computing;Li Liu等;《IEEE》;20161231;全文 |
| Small is better:avoiding latency trap in virtualized data centers;Yunjing Xu;《ACM》;20131031;全文 |
| 云环境中基于分解的多目标工作流调度算法;李克武等;《计算机工程与科学》;20160831;第38卷(第8期);全文 |
| 求多目标优化问题Pareto最优解集的方法;王海军等;《大学数学》;20081031;第24卷(第5期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106845642A (zh) | 2017-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106845642B (zh) | 一种带约束云工作流调度的自适应多目标进化方法 | |
| He et al. | A discrete multi-objective fireworks algorithm for flowshop scheduling with sequence-dependent setup times | |
| US20080281986A1 (en) | Parameter adjusting device | |
| CN105929690B (zh) | 一种基于分解多目标进化算法的柔性车间鲁棒调度方法 | |
| CN104035816B (zh) | 一种基于改进nsga‑ii的云计算任务调度方法 | |
| CN106527381B (zh) | 一种面向并行批处理机动态调度的快速评估方法 | |
| CN110737529A (zh) | 一种面向短时多变大数据作业集群调度自适应性配置方法 | |
| CN106503333B (zh) | 一种三维片上网络测试规划方法 | |
| CN111612528A (zh) | 用户分类模型的确定方法、装置、设备及存储介质 | |
| Talbi | Hybrid metaheuristics for multi-objective optimization | |
| Kalra et al. | Multi‐criteria workflow scheduling on clouds under deadline and budget constraints | |
| CN113044458A (zh) | 一种物流机器人动态任务分配方法及*** | |
| CN113032367A (zh) | 面向动态负载场景的大数据***跨层配置参数协同调优方法和*** | |
| Jaszkiewicz et al. | Multiobjective memetic algorithms | |
| KR102129389B1 (ko) | 클라우드 컴퓨팅 환경에서의 다목적 가상머신 배치 방법 및 장치 | |
| KR101580202B1 (ko) | 대규모 데이터를 위한 서포트 벡터 머신 이진 트리 구조 갱신 장치 및 방법 | |
| CN112035234B (zh) | 分布式批量作业分配方法及装置 | |
| CN116737394B (zh) | 一种动态调整的安检集中判图任务分配方法 | |
| KR101462349B1 (ko) | 생산이력 히스토리 매칭의 최적화 방법 | |
| Kan et al. | Multi-agent control system with intelligent optimization for building energy management | |
| CN113139639A (zh) | 一种基于mombi面向智慧城市应用多目标计算迁移方法和装置 | |
| CN114650321A (zh) | 用于边缘计算的任务调度方法及边缘计算终端 | |
| Eswari et al. | Modified multi-objective firefly algorithm for task scheduling problem on heterogeneous systems | |
| CN116089083A (zh) | 一种多目标数据中心资源调度方法 | |
| CN106526450B (zh) | 一种多目标NoC测试规划优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211105 Address after: 1109, Beichen times building, No. 8, Beichen East Road, Chaoyang District, Beijing 100020 Patentee after: Beijing mingyida Technology Co.,Ltd. Address before: 100083 No. 30, Haidian District, Beijing, Xueyuan Road Patentee before: University OF SCIENCE AND TECHNOLOGY BEIJING Patentee before: BEIJING INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |