CN109960575B - 一种计算能力共享方法、***及相关设备 - Google Patents
一种计算能力共享方法、***及相关设备 Download PDFInfo
- Publication number
- CN109960575B CN109960575B CN201910233203.8A CN201910233203A CN109960575B CN 109960575 B CN109960575 B CN 109960575B CN 201910233203 A CN201910233203 A CN 201910233203A CN 109960575 B CN109960575 B CN 109960575B
- Authority
- CN
- China
- Prior art keywords
- node
- check
- node equipment
- calculation
- node device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种计算能力共享方法、***及相关设备,用于提高共享计算的效率及准确率。该方法包括:确定计算任务的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备;确定每个节点设备组中最优节点设备并调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;将每个节点设备组中最优节点设备之外的至少(M‑1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对所述子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;根据所有校验通过的N个子任务结果生成完整的计算任务结果。
Description
技术领域
本发明涉及云计算技术领域,尤其涉及一种计算能力共享方法、***及相关设备。
背景技术
由于单个设备的计算能力是根据其自身的硬件资源决定的,而当前单一设备所具有的硬件资源相对有限,对于当前大数据场景下庞大的计算任务而言,单一设备所能提供的计算能力较为有限,难以正常执行计算任务。
为了确保计算任务的正常执行,当前所采用的方式是通过多个设备共享计算能力,将完整的计算任务拆分为多个子任务,并将多个子任务各自分配一个节点设备中分别处理,最终将各个节点设备处理得到的子任务结果组合为完整的计算任务结果。
现有方案中,将多个子任务分配至单个独立节点设备中分别处理,计算任务的完成需要多个节点都完成后才能给出,服务器很难保证多个节点的算力值是完全一样的,每个计算任务的耗时完全由最差的节点设备决定,若出现状态较差的节点设备会导致计算效率低下,其次单个独立节点设备处理子任务很难保证计算的准确性。有鉴于此,有必要进一步提高计算效率及准确率。
发明内容
本发明的主要目的在于提供一种计算能力共享方法、***及相关设备,用于提高共享计算的效率及准确率。
为实现上述目的,本发明第一方面提供了一种计算能力共享方法,可包括:
确定计算任务的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
确定每个节点设备组中最优节点设备,并调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
将每个节点设备组中最优节点设备之外的至少M-1个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对所述子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
根据所有校验通过的N个子任务结果生成完整的计算任务结果。
可选的作为一种可能的实施方式,本发明实施例中,所述方法还可以包括:
若数量占比达预设比例以上的校验节点设备校验未通过时,判定对应的子任务结果异常,调用对应的节点设备组中的节点设备重新计算对应的子任务。
可选的作为一种可能的实施方式,本发明实施例中,所述确定计算任务对应的N个子任务分别对应的节点设备组包括:
接收主服务器发送的计算任务,并将所述计算任务划分为N个子任务,并计算每个子任务的算力需求;
向所述主服务器发送的算力需求信息,所述算力需求信息包含各个所述子任务的算力需求,以使得所述主服务器为每个所述子任务分配对应的节点设备组;
接收主服务器发送的N个子任务对应的N个节点设备组中所属的至少M个节点设备的节点信息。
可选的作为一种可能的实施方式,本发明实施例中,所述确定每个节点设备组中最优节点设备,包括:
获取每个节点设备节点信息,所述节点信息包括节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项;
根据所述节点信息,每个节点设备组中的至少M个节点设备采用预设的共识机制选出最优节点设备;
或,根据所述节点信息中的各个参数的预设权重计算出至少M个节点设备的综合权值,确定综合权值最大的节点设备作为最优节点设备。
可选的作为一种可能的实施方式,本发明实施例中,所述方法还可以还包括:
从各节点设备中挑选出符合预设条件的节点设备作为备用服务器,当前服务器故障时,采用所述备用服务器替换当前服务器。
可选的作为一种可能的实施方式,本发明实施例中,所述节点设备包括移动节点设备。
本发明实施例第二方面提供了一种计算能力共享装置,其特征在于,所述装置包括存储器、处理器和总线,所述存储器上存储有可通过所述总线传输至所述处理器并在所述处理器上运行的计算能力共享程序,所述计算能力共享程序被所述处理器执行时实现如第一方面所述的计算能力共享方法。
可选的作为一种可能的实施方式,本发明实施例中,所述计算能力共享装置为组成CDN网络或者区块链网络的节点。
本发明实施例第三方面提供了一种计算能力共享***,其特征在于,所述***包括:
第一确定单元,用于确定计算任务对应的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
第二确定单元,用于确定每个节点设备组中最优节点设备;
第一调用单元,用于调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
第二调用单元,将每个节点设备组中最优节点设备之外的至少M-1个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对所述子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
生成单元,用于根据所有校验通过的N个子任务结果生成完整的计算任务结果。
本发明实施例第四方面提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算能力共享程序,所述计算能力共享程序可被一个或者多个处理器执行,以实现如第一方面及第一方面任一种可能的计算能力共享方法实施例中的步骤。
本发明实施例中,可以为每个计算任务对应的N个子任务分配N个节点设备组,由每个节点设备组中最优节点设备完成对应的子任务计算,可以避免子任务的计算效率低的情况,其次将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备对子任务计算结果进行校验,只有数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过,提高了计算的准确率。
附图说明
图1为本发明实施例中一种计算能力共享方法的一个实施例示意图;
图2为本发明实施例中一种计算能力共享方法的另一个实施例示意图;
图3为本发明实施例中一种计算能力共享***的一个实施例示意图;
图4为本发明实施例中一种计算能力共享装置的一个实施例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
现有的计算能力共享方案中,主要通过主服务器将获取的计算任务拆分为N个子任务,之后主服务器将每个子任务分发给多个节点进行计算,最后由服务器对每个节点的输出结果进行判断和汇总合并。申请人注意到,在现有的方案中,子任务的拆分、输出结果的判断和汇总合并都由主服务器完成,这对主服务器的性能要求比较高,当存在较多的计算任务时,主服务器的性能很有可能成为制约其算力的瓶颈,会出现计算任务分配延误,导致有计算能力的节点设备空闲等待,浪费计算资源。即使采用主服务器之外的单独的节点设备进行子任务运算,申请人发现每个计算任务的耗时完全由最差的节点设备决定,若出现状态较差的节点设备会导致计算效率低下,其次单个独立节点设备处理子任务很难保证计算的准确性。
在发明实施例中,可以为计算任务对应的N个子任务分配N个节点设备组,由每个节点设备组中最优节点设备完成对应的子任务计算,可以避免子任务的计算效率低的情况,其次将每个节点设备组中最优节点设备之外的(M-1)个节点设备作为校验节点设备对子任务计算结果进行校验,提高了计算的准确率。
为了便于理解,请参阅图1,本发明提供一种计算能力共享方法的一个实施例可包括:
101、确定计算任务的N个子任务分别对应的节点设备组;
在计算能力共享过程中,所有的节点设备需要直接或间接的与主服务器进行通信连接,并主动或被动的向主服务器自身的节点信息。该节点信息可以包含节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项。
可选的,主服务器在获取到各个节点设备的状态信息之后,可以挑选出符合预设条件的节点设备充当临时服务器。例如,可以选择内存大于4G,可用存储空间大于10G,在线时长超过阈值的节点设备充当临时服务器,具体的选择标准可以根据实际需求进行合理的设置或修改,此处不做限定。
本发明实施例中,主服务器在获取到计算任务之后可以直接将计算任务划分为N个子任务,也可以将获取到的计算任务发送给临时服务器,使得临时服务器将计算任务划分为N个子任务,具体计算任务划分的过程此处不做限定。此处可以根据实际需求进行合理的调整,具体此处不做限定。
在计算任务划分为N个子任务之后,主服务器或临时服务器可以根据计算任务对应的N个子任务的算力需求为每个子任务分配对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数,具体的M与N的取值可以根据实际需求进行合理的调整。临时服务器也可以将算力需求发送给主服务器,由主服务器分配N个子任务对应的N个节点设备组之后再传递给临时服务器,具体确定计算任务的N个子任务分别对应的节点设备组的方式此处不做限定。
102、确定每个节点设备组中最优节点设备,调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
为节约计算资源,提高计算效率,在为子任务分配对应的节点设备组之后,主服务器或临时服务器需要确定每个节点设备组中最优节点设备,该最优节点设备的综合计算效率高于对应的节点设备中的平均计算效率,主服务器或临时服务器可以调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果。具体可以根据每个节点设备组中节点设备的节点信息进行比较确定最优节点设备,具体的确定方式可以根据所选择的节点信息的内容进行合理的设置,具体此处不做限定。
103、将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
为了保障计算的准确率,本发明实施例中的主服务器或临时服务器可以将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过,例如可以设置预设比例为50%、60%等。
可选的,若数量占比达预设比例以上的校验节点设备校验未通过时,判定对应的子任务结果异常,调用对应的节点设备组中的节点设备重新计算对应的子任务。主服务器或临时服务器可以调用已经确定的最优节点设备重新进行子任务的计算,也可以重新确定新的最优节点设备再次重新进行子任务的计算,具体此处不做限定。
104、根据所有校验通过的N个子任务结果生成完整的计算任务结果。
在每个子任务的子任务结果校验通过之后,主服务器或临时服务器可以根据所有校验通过的N个子任务结果进行组合,生成完整的计算任务结果。
本发明实施例中,可以为每个计算任务对应的N个子任务分配N个节点设备组,由每个节点设备组中最优节点设备完成对应的子任务计算,可以避免子任务的计算效率低的情况,其次将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备对子任务计算结果进行校验,只有数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过,提高了计算的准确率。
在上述图1所示的实施例的基础上,将对本发明实施例中的计算能力共享方法进行进一步的说明,参照图2,当采用临时服务器进行计算任务的划分时,本发明实施例中一种计算能力共享方法的另一个实施例可包括:
201、接收主服务器发送的计算任务,并将计算任务划分为N个子任务,并计算每个子任务的算力需求;
在计算能力共享过程中,所有的节点设备需要直接或间接的与主服务器进行通信连接,并主动或被动的向主服务器自身的节点信息。该节点信息可以包含节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项。
主服务器在获取到各个节点设备的状态信息之后,可以挑选出符合预设条件的节点设备充当临时服务器。例如,可以选择内存大于4G,可用存储空间大于10G,在线时长超过阈值的节点设备充当临时服务器,具体的选择标准可以根据实际需求进行合理的设置或修改,此处不做限定。
本发明实施例中,主服务器在获取到计算任务之后可以将获取到的计算任务发送给临时服务器,使得临时服务器将计算任务划分为N个子任务,并确定每一个子任务的算力需求。
202、向主服务器发送的算力需求信息,算力需求信息包含各个子任务的算力需求;
在计算任务划分为N个子任务之后,临时服务器可以确定计算任务对应的N个子任务的算力需求,并向主服务器发送的算力需求信息,算力需求信息包含各个子任务的算力需求,以使得主服务器为每个子任务分配对应的节点设备组为每个子任务分配对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数,具体的M与N的取值可以根据实际需求进行合理的调整,具体此处不做限定。
203、接收主服务器发送的N个子任务对应的N个节点设备组中所属的至少M个节点设备的节点信息;
实际运用中,由于节点设备可能出现故障宕机的情况,为了保障计算过程的稳定性,主服务器接收到算力需求信息之后,可以根据算力需求信息为每个子任务分配对应的节点设备组,该节点设备组种可以M个节点设备,并将每个节点设备组所属的节点设备的节点信息发送给对应的临时服务器。其中,M为大于1的正整数,具体的取值可以根据实际需求进行合理的调整,具体此处不做限定。
204、确定每个节点设备组中最优节点设备,调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
为节约计算资源,提高计算效率,在为子任务分配对应的节点设备组之后,临时服务器需要确定每个节点设备组中最优节点设备,该最优节点设备的综合计算效率高于对应的节点设备中的平均计算效率,主服务器或临时服务器可以调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果。具体可以根据每个节点设备组中节点设备的节点信息进行比较确定最优节点设备,具体的确定方式可以根据所选择的节点信息的内容进行合理的设置,具体此处不做限定。
可选的,作为一种可能的实施方式,本发明实施例中确定每个节点设备组中最优节点设备的过程可以包括:
获取每个节点设备节点信息,节点信息包括节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项;根据节点信息,每个节点设备组中的M个节点设备采用预设的共识机制选出最优节点设备。
具体的,在获取到预置的节点设备节点信息之后,可以基于预设的共识机制,例如每个子任务对应的M个节点设备间相互对比,共同推荐出一个最优节点进行任务的计算,考量的标准可以是手机的硬件性能最好(内存大小,存储空间,CPU运行效率等)、稳定在线时间最长、网络带宽最高最稳定、历史计算结果的准确性,具体的共识过程可以参照现有实施方式,此处不做限定。
可选的,作为一种可能的实施方式,本发明实施例中确定每个节点设备组中最优节点设备的过程可以包括:
获取每个节点设备节点信息,节点信息包括节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项;根据节点信息中的各个参数的预设权重计算出M个节点设备的综合权值,确定综合权值最大的节点设备作为最优节点设备。
具体的,在获取到预置的节点设备节点信息之后,临时服务器可以根据节点信息中国的各个参数的预设权重进行综合权值计算,确定综合权值最大的节点设备作为最优节点设备。
205、将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
为了保障计算的准确率,本发明实施例中的主服务器或临时服务器可以将每个节点设备组中最优节点设备之外的(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过。
实际运用中,本发明中虽然对子任务的计算结果进行校验,但是同一个计算任务的计算结果的校验过程所需的计算量一般小于该任务正常计算所需的计算量,总体的计算效率仍然被提高。
可选的,若数量占比达预设比例以上的校验节点设备校验未通过时,判定对应的子任务结果异常,调用对应的节点设备组中的节点设备重新计算对应的子任务。主服务器或临时服务器可以调用已经确定的最优节点设备重新进行子任务的计算,也可以重新确定新的最优节点设备再次重新进行子任务的计算,具体此处不做限定。
206、根据所有校验通过的N个子任务结果生成完整的计算任务结果。
本发明实施例中,可以为每个计算任务对应的N个子任务分配N个节点设备组,由每个节点设备组中最优节点设备完成对应的子任务计算,可以避免子任务的计算效率低的情况,其次将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备对子任务计算结果进行校验,只有数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过,提高了计算的准确率。其次,无需主服务器进行计算任务的划分及子任务结果的处理,大大减少了主服务器的资源占用,进一步提高了共享计算效率。
此外,作为一种优选的实施方式,作为临时服务器的节点设备包括移动节点设备。
本实施方式中的移动节点设备可以具体为手机、笔记本电脑、平板电脑等具有计算能力且具有便携移动性的设备。考虑到当前移动设备的广泛普及,具有较大的保有量,并且移动设备往往具有一定的计算能力,因此整体的移动设备所能提供的计算能力相对较高,但是由于在实际使用中,用户对于移动设备的更换频率较高,导致移动设备的闲置率普遍较高,往往会造成可用资源的浪费,因此移动设备的使用成本相对较低,本实施方式将移动设备作为执行子任务的节点设备,能够相对提高对闲置可用资源的利用率,并且也能够降低计算能力共享整体的执行成本。
此外,在上述一系列实施方式的基础上,作为一种优选的实施方式,节点设备组的总量大于N。
需要说明的是,由于考虑到在实际应用中,节点设备组中的节点设备可能出现故障宕机的情况,在此情况下该节点设备组的可用性可能出现较大的降低,为了保证用于处理子任务的节点设备组均能够具有较高的可用性,本实施方式中的节点设备组的总量多于子任务的整体总量,因此即使某一节点设备组因节点设备宕机而不可用,也能够由其它节点设备组替代该不可用的节点设备组执行子任务,进而相对确保执行子任务的整体可靠性。
在上述图1及图2所示的实施例的基础上,主服务器或临时服务器还可以从各节点设备中挑选出符合预设条件的节点设备作为备用服务器,当临时服务器故障时,采用备用服务器替换临时服务器,保障计算任务完成的稳定性。
可以理解的是,在本发明的各种实施例中,上述各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述实施例对本发明实施例中的计算能力共享方法进行了描述,请参阅图3,本发明实施例中一种计算能力共享***的一个实施例可包括:
第一确定单元301,用于确定计算任务对应的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
第二确定单元302,用于确定每个节点设备组中最优节点设备;
第一调用单元303,用于调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
第二调用单元304,将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
生成单元305,用于根据所有校验通过的N个子任务结果生成完整的计算任务结果。
本发明实施例中,可以为每个计算任务对应的N个子任务分配N个节点设备组,由每个节点设备组中最优节点设备完成对应的子任务计算,可以避免子任务的计算效率低的情况,其次将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备对子任务计算结果进行校验,只有数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过,提高了计算的准确率。
上文中对于计算能力共享方法的实施例进行了详细的描述,本发明还提供一种与该方法对应的计算能力共享装置,该装置部分的实施例与方法部分的实施例相互对应。
请参考图4,图4为本发明实施例提供的一种计算能力共享装置的结构图。
本发明实施例提供的计算能力共享装置1,包括存储器11、处理器12和总线13,存储器11上存储有可通过总线13传输至处理器12并在处理器12上运行的计算能力共享程序,计算能力共享程序被处理器12执行时实现如上述计算能力共享方法的操作内容。
具体的,本发明中的处理器可以用于实现如下步骤:
确定计算任务的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
确定每个节点设备组中最优节点设备;
调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
根据所有校验通过的N个子任务结果生成完整的计算任务结果。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
若数量占比达预设比例以上的校验节点设备校验未通过时,判定对应的子任务结果异常,调用对应的节点设备组中的节点设备重新计算对应的子任务。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
接收主服务器发送的计算任务,并将计算任务划分为N个子任务,并计算每个子任务的算力需求;
向主服务器发送的算力需求信息,算力需求信息包含各个子任务的算力需求,以使得主服务器为每个子任务分配对应的节点设备组;
接收主服务器发送的N个子任务对应的N个节点设备组中所属的M个节点设备的节点信息。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
获取每个节点设备节点信息,节点信息包括节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项;
根据节点信息,每个节点设备组中的M个节点设备采用预设的共识机制选出最优节点设备;
或,根据节点信息中的各个参数的预设权重计算出M个节点设备的综合权值,确定综合权值最大的节点设备作为最优节点设备。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
从各节点设备中挑选出符合预设条件的节点设备作为备用服务器,当前服务器故障时,采用备用服务器替换当前服务器。
可选的,本发明的一些实施例中,节点设备组的总量大于N。
该计算能力共享装置1可以是组成CDN网络或者区块链网络的节点。
其中,存储器11至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是客户端的内部存储单元,例如该客户端的硬盘。存储器11在另一些实施例中也可以是客户端的外部存储设备,例如客户端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括客户端的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于客户端的应用软件及各类数据,例如基于网络库的数据访问程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行基于网络库的数据访问程序等。
该总线13可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
进一步地,计算能力共享装置还可以包括网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该装置1与其他电子设备之间建立通信连接。
可选地,该计算能力共享装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在计算能力共享装置1中处理的信息以及用于显示可视化的用户界面。
本领域技术人员可以理解的是,图4示出的结构并不构成对计算能力共享装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,可以实现如下步骤:
确定计算任务的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
确定每个节点设备组中最优节点设备;
调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
将每个节点设备组中最优节点设备之外的至少(M-1)个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
根据所有校验通过的N个子任务结果生成完整的计算任务结果。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
若数量占比达预设比例以上的校验节点设备校验未通过时,判定对应的子任务结果异常,调用对应的节点设备组中的节点设备重新计算对应的子任务。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
接收主服务器发送的计算任务,并将计算任务划分为N个子任务,并计算每个子任务的算力需求;
向主服务器发送的算力需求信息,算力需求信息包含各个子任务的算力需求,以使得主服务器为每个子任务分配对应的节点设备组;
接收主服务器发送的N个子任务对应的N个节点设备组中所属的至少M个节点设备的节点信息。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
获取每个节点设备节点信息,节点信息包括节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项;
根据节点信息,每个节点设备组中的至少M个节点设备采用预设的共识机制选出最优节点设备;
或,根据节点信息中的各个参数的预设权重计算出至少M个节点设备的综合权值,确定综合权值最大的节点设备作为最优节点设备。
可选的,本发明的一些实施例中,处理器还可以用于实现如下步骤:
从各节点设备中挑选出符合预设条件的节点设备作为备用服务器,当前服务器故障时,采用备用服务器替换当前服务器。
可选的,本发明的一些实施例中,节点设备组的总量大于N。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种计算能力共享方法,其特征在于,包括:
确定计算任务的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
确定每个节点设备组中最优节点设备,并调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;最优节点设备的综合计算效率高于对应的节点设备组中节点设备的平均计算效率;
将每个节点设备组中最优节点设备之外的至少M-1个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对所述子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
根据所有校验通过的N个子任务结果生成完整的计算任务结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若数量占比达预设比例以上的校验节点设备校验未通过时,判定对应的子任务结果异常,调用对应的节点设备组中的节点设备重新计算对应的子任务。
3.根据权利要求2所述的方法,其特征在于,所述确定计算任务的N个子任务分别对应的节点设备组包括:
接收主服务器发送的计算任务,并将所述计算任务划分为N个子任务,并计算每个子任务的算力需求;
向所述主服务器发送的算力需求信息,所述算力需求信息包含各个所述子任务的算力需求,以使得所述主服务器为每个所述子任务分配对应的节点设备组;
接收主服务器发送的N个子任务对应的N个节点设备组中所属的至少M个节点设备的节点信息。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述确定每个节点设备组中最优节点设备,包括:
获取每个节点设备节点信息,所述节点信息包括节点设备硬件性能参数、稳定在线时长参数、网络带宽性能参数及历史计算结果的准确性参数中的一项或多项;
根据所述节点信息,每个节点设备组中的至少M个节点设备采用预设的共识机制选出最优节点设备;
或,根据所述节点信息中的各个参数的预设权重计算出至少M个节点设备的综合权值,确定综合权值最大的节点设备作为最优节点设备。
5.根据权利要求4所述的方法,其特征在于,还包括:
从各节点设备中挑选出符合预设条件的节点设备作为备用服务器,当前服务器故障时,采用所述备用服务器替换当前服务器。
6.根据权利要求5所述的方法,其特征在于,所述节点设备包括移动节点设备。
7.一种计算能力共享装置,其特征在于,所述装置包括存储器、处理器和总线,所述存储器上存储有可通过所述总线传输至所述处理器并在所述处理器上运行的计算能力共享程序,所述计算能力共享程序被所述处理器执行时实现如权利要求1至5任一项所述的计算能力共享方法。
8.根据权利要求7所述的装置,其特征在于,所述装置为组成CDN网络或者区块链网络的节点。
9.一种计算能力共享***,其特征在于,所述***包括:
第一确定单元,用于确定计算任务对应的N个子任务分别对应的节点设备组,每个节点设备组中包含符合预设条件的至少M个节点设备,其中N为大于0的正整数,M为大于1的正整数;
第二确定单元,用于确定每个节点设备组中最优节点设备;最优节点设备的综合计算效率高于对应的节点设备组中节点设备的平均计算效率;
第一调用单元,用于调用每个节点设备组中最优节点设备完成对应的子任务,生成子任务结果;
第二调用单元,将每个节点设备组中最优节点设备之外的至少M-1个节点设备作为校验节点设备,调用每个节点设备组中的校验节点设备对所述子任务结果进行校验,若数量占比达预设比例以上的校验节点设备校验通过时,判定对应的子任务结果校验通过;
生成单元,用于根据所有校验通过的N个子任务结果生成完整的计算任务结果。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算能力共享程序,所述计算能力共享程序可被一个或者多个处理器执行,以实现如权利要求1至6中任一项所述的计算能力共享方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910233203.8A CN109960575B (zh) | 2019-03-26 | 2019-03-26 | 一种计算能力共享方法、***及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910233203.8A CN109960575B (zh) | 2019-03-26 | 2019-03-26 | 一种计算能力共享方法、***及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109960575A CN109960575A (zh) | 2019-07-02 |
CN109960575B true CN109960575B (zh) | 2023-09-15 |
Family
ID=67024960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910233203.8A Active CN109960575B (zh) | 2019-03-26 | 2019-03-26 | 一种计算能力共享方法、***及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109960575B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110995614B (zh) * | 2019-11-05 | 2022-04-05 | 华为技术有限公司 | 一种算力资源分配的方法及装置 |
CN111444010B (zh) * | 2020-01-19 | 2022-10-14 | 南京邮电大学 | 一种基于计算资源算力证明的共识方法 |
CN111432159B (zh) * | 2020-03-19 | 2022-05-17 | 深圳市鹏创软件有限公司 | 计算任务处理方法、装置、***与计算机可读存储介质 |
CN113542316B (zh) * | 2020-04-13 | 2022-11-25 | 展讯半导体(南京)有限公司 | 算力共享方法及相关设备 |
CN113535343B (zh) * | 2020-04-15 | 2022-10-21 | 展讯半导体(南京)有限公司 | 基于网络调度的算力共享方法及相关产品 |
CN112261141A (zh) * | 2020-10-23 | 2021-01-22 | 移康智能科技(上海)股份有限公司 | 一种基于区块链技术的本地物联网算力检测*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013077787A1 (en) * | 2011-11-23 | 2013-05-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for distributed processing tasks |
CN103701894A (zh) * | 2013-12-25 | 2014-04-02 | 浙江省公众信息产业有限公司 | 动态资源调度方法与*** |
CN103970611A (zh) * | 2014-05-05 | 2014-08-06 | 神华集团有限责任公司 | 基于计算机集群的任务处理方法 |
EP2819011A2 (en) * | 2013-06-27 | 2014-12-31 | Tata Consultancy Services Limited | Task execution by idle resources in grid computing system |
CN108268318A (zh) * | 2016-12-30 | 2018-07-10 | 华为技术有限公司 | 一种分布式***任务分配的方法和装置 |
CN108491263A (zh) * | 2018-03-02 | 2018-09-04 | 珠海市魅族科技有限公司 | 数据处理方法、数据处理装置、终端及可读存储介质 |
CN108540568A (zh) * | 2018-04-23 | 2018-09-14 | 移康智能科技(上海)股份有限公司 | 计算能力共享方法及智能设备 |
CN108958935A (zh) * | 2018-06-28 | 2018-12-07 | 阿瑞思科技(成都)有限责任公司 | 基于移动端实现分布式计算的方法及其*** |
CN109298946A (zh) * | 2018-10-19 | 2019-02-01 | 上海达家迎信息科技有限公司 | 基于区块链的挖矿方法、云平台、装置、设备和介质 |
-
2019
- 2019-03-26 CN CN201910233203.8A patent/CN109960575B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013077787A1 (en) * | 2011-11-23 | 2013-05-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for distributed processing tasks |
EP2819011A2 (en) * | 2013-06-27 | 2014-12-31 | Tata Consultancy Services Limited | Task execution by idle resources in grid computing system |
CN103701894A (zh) * | 2013-12-25 | 2014-04-02 | 浙江省公众信息产业有限公司 | 动态资源调度方法与*** |
CN103970611A (zh) * | 2014-05-05 | 2014-08-06 | 神华集团有限责任公司 | 基于计算机集群的任务处理方法 |
CN108268318A (zh) * | 2016-12-30 | 2018-07-10 | 华为技术有限公司 | 一种分布式***任务分配的方法和装置 |
CN108491263A (zh) * | 2018-03-02 | 2018-09-04 | 珠海市魅族科技有限公司 | 数据处理方法、数据处理装置、终端及可读存储介质 |
CN108540568A (zh) * | 2018-04-23 | 2018-09-14 | 移康智能科技(上海)股份有限公司 | 计算能力共享方法及智能设备 |
CN108958935A (zh) * | 2018-06-28 | 2018-12-07 | 阿瑞思科技(成都)有限责任公司 | 基于移动端实现分布式计算的方法及其*** |
CN109298946A (zh) * | 2018-10-19 | 2019-02-01 | 上海达家迎信息科技有限公司 | 基于区块链的挖矿方法、云平台、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109960575A (zh) | 2019-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109960575B (zh) | 一种计算能力共享方法、***及相关设备 | |
US10810045B2 (en) | Method and apparatus for allocating central processing unit (CPU) resources in a default resource pool | |
CN108462760B (zh) | 电子装置、集群访问域名自动生成方法及存储介质 | |
US8751657B2 (en) | Multi-client storage system and storage system management method | |
CN109873868A (zh) | 一种计算能力共享方法、***及相关设备 | |
US8185905B2 (en) | Resource allocation in computing systems according to permissible flexibilities in the recommended resource requirements | |
US8024737B2 (en) | Method and a system that enables the calculation of resource requirements for a composite application | |
WO2015101091A1 (zh) | 一种分布式资源调度方法及装置 | |
CN109766172B (zh) | 一种异步任务调度方法以及装置 | |
US9535749B2 (en) | Methods for managing work load bursts and devices thereof | |
CN113849312B (zh) | 数据处理任务的分配方法、装置、电子设备及存储介质 | |
CN115277566B (zh) | 数据访问的负载均衡方法、装置、计算机设备及介质 | |
CN112600761A (zh) | 一种资源分配的方法、装置及存储介质 | |
CN108028806B (zh) | 网络功能虚拟化nfv网络中分配虚拟资源的方法和装置 | |
CN110336888B (zh) | 一种服务器分配方法、装置、***及介质 | |
CN112559173A (zh) | 资源调节方法、装置、电子设备和可读存储介质 | |
CN111625339A (zh) | 集群资源调度方法、装置、介质和计算设备 | |
CN115167992A (zh) | 任务处理方法、***、装置、服务器、介质及程序产品 | |
CN114116173A (zh) | 动态调整任务分配的方法、装置和*** | |
CN110912967A (zh) | 一种服务节点调度方法、装置、设备及存储介质 | |
CN107766154B (zh) | 服务器的转换方法及装置 | |
CN109614242B (zh) | 一种计算能力共享方法、装置、设备及介质 | |
CN107045452B (zh) | 虚拟机调度方法和装置 | |
CN111382141A (zh) | 主从架构配置方法、装置、设备以及计算机可读存储介质 | |
CN115658295A (zh) | 资源调度方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |