CN112637294A - 一种分布式边缘计算*** - Google Patents

一种分布式边缘计算*** Download PDF

Info

Publication number
CN112637294A
CN112637294A CN202011473270.6A CN202011473270A CN112637294A CN 112637294 A CN112637294 A CN 112637294A CN 202011473270 A CN202011473270 A CN 202011473270A CN 112637294 A CN112637294 A CN 112637294A
Authority
CN
China
Prior art keywords
task
module
nodes
segmentation
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011473270.6A
Other languages
English (en)
Inventor
廉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Changtai Information Security Service Co ltd
Original Assignee
Anhui Changtai Information Security Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Changtai Information Security Service Co ltd filed Critical Anhui Changtai Information Security Service Co ltd
Priority to CN202011473270.6A priority Critical patent/CN112637294A/zh
Publication of CN112637294A publication Critical patent/CN112637294A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及边缘计算，具体涉及一种分布式边缘计算***，包括进行边缘计算的计算节点，以及用于对计算节点进行控制的云管节点，云管节点与用于建立任务的任务建立模块相连，云管节点与用于存储任务分配策略的分配策略存储模块相连，云管节点与用于根据任务分配策略对任务进行切分的任务预处理模块相连，计算节点与用于采集当前状态信息并发送给云管节点的状态管理模块相连，云管节点与用于根据各计算节点当前状态信息将切分任务分配给对应计算节点的任务分配模块相连；本发明提供的技术方案能够有效克服现有技术所存在的不能结合计算节点的运行情况对任务进行有效分配的缺陷。

Description

一种分布式边缘计算***
技术领域
本发明涉及边缘计算，具体涉及一种分布式边缘计算***。
背景技术
随着物联网的快速发展和4G无线网络的普及，万物互联的时代正在到来。在现阶段中，云服务器依旧是对物联网设备提供数据存储及运算能力支持的重要设备，由于线性增长的集中式云计算能力无法匹配急剧增长的海量边缘数据以及边缘设备与云中心数据传输带来的网络严重延迟，使得以云计算模型为核心的集中式数据处理模型已经不能适用处理边缘设备所产生的数据。
因此，以边缘计算模型为核心的面向网络边缘设备所产生海量数据计算的边缘式大数据处理应运而生。边缘计算中的“边缘”是个相对的概念，指从数据源到云计算中心数据路径之间的任意计算资源和网络资源。边缘计算的基本理念是将计算任务在接近数据源的计算资源上运行，边缘计算模型将原本属于云中心的计算工作分给了边缘设备进行执行，这样不仅提高了数据传输的性能，还降低了云中心的计算负载。
然而，现有的分布式边缘计算***不能结合计算节点的运行情况对任务进行有效分配，并且任务分配策略单一，进而导致计算节点完成任务的效率较低，无法充分发挥边缘设备的计算能力。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种分布式边缘计算***，能够有效克服现有技术所存在的不能结合计算节点的运行情况对任务进行有效分配的缺陷。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种分布式边缘计算***，包括进行边缘计算的计算节点，以及用于对计算节点进行控制的云管节点，所述云管节点与用于建立任务的任务建立模块相连，所述云管节点与用于存储任务分配策略的分配策略存储模块相连，所述云管节点与用于根据任务分配策略对任务进行切分的任务预处理模块相连；
所述计算节点与用于采集当前状态信息并发送给云管节点的状态管理模块相连，所述云管节点与用于根据各计算节点当前状态信息将切分任务分配给对应计算节点的任务分配模块相连，所述云管节点与用于对切分任务与处理该切分任务计算节点之间的执行关系进行记录的任务统计模块相连；
所述计算节点与用于存储运行算法的算法存储模块相连，所述计算节点与用于对切分任务进行属性分析的任务分析模块相连，所述计算节点与用于根据切分任务属性调用对应运行算法并执行切分任务的任务执行模块相连，所述云管节点与用于接收各计算节点发送切分任务执行结果的数据接收模块相连，所述数据接收模块与用于根据任务统计模块记录的执行关系对切分任务执行结果进行拼接生成最终执行结果的数据拼接模块相连。
优选地，所述云管节点与用于生成标记随机数、***随机数的随机数生成模块相连，所述云管节点与用于根据标记随机数、***随机数对最终执行结果进行加密的数据加密模块相连，所述标记随机数大于***随机数。
优选地，所述数据加密模块以最终执行结果中切分任务执行结果拼接处为基准，将向后标记随机数个字节处的数据向后移动***随机数个字节，并对每隔标记随机数个字节处的数据执行一次该加密操作。
优选地，所述分配策略存储模块中存储的任务分配策略，包括：按照任务属性对任务进行切分；按照完成时间对任务进行切分；
所述状态管理模块采集计算节点当前内存状态、CPU状态、GPU状态和当前任务完成进度，并发送给云管节点。
优选地，所述分配策略存储模块选择按照任务属性对任务进行切分时，所述任务预处理模块按照任务中各段的执行目的对任务进行切分。
优选地，所述任务分配模块对当前任务完成进度大于70﹪的计算节点分配切分任务，所述任务分析模块对该切分任务的执行目的进行分析，所述任务执行模块根据该切分任务的执行目的调用对应运行算法并执行切分任务。
优选地，所述分配策略存储模块选择按照完成时间对任务进行切分时，所述任务预处理模块对任务进行平均切分。
优选地，所述任务分配模块根据计算节点当前内存状态、CPU状态、GPU状态和当前任务完成进度对切分任务进行合理分配，所述任务分析模块根据该切分任务中各段的执行目的进行二次切分，所述任务执行模块根据各二次切分任务的执行目的调用对应运行算法并执行。
优选地，所述计算节点的任务运行时间高于平均任务运行时间时，所述任务分配模块将该计算节点未运行的任务分配给当前已经完成任务的计算节点，并将该变更分配上报给任务统计模块。
(三)有益效果
与现有技术相比，本发明所提供的一种分布式边缘计算***，提供了多样化的任务分配策略，并且能够结合计算节点的运行情况对任务进行有效分配，使得各计算节点能够发挥最大化作用，有效提高计算节点完成任务的效率，充分发挥其计算能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的***示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种分布式边缘计算***，如图1所示，包括进行边缘计算的计算节点，以及用于对计算节点进行控制的云管节点，云管节点与用于建立任务的任务建立模块相连，云管节点与用于存储任务分配策略的分配策略存储模块相连，云管节点与用于根据任务分配策略对任务进行切分的任务预处理模块相连。
计算节点与用于采集当前状态信息并发送给云管节点的状态管理模块相连，云管节点与用于根据各计算节点当前状态信息将切分任务分配给对应计算节点的任务分配模块相连，云管节点与用于对切分任务与处理该切分任务计算节点之间的执行关系进行记录的任务统计模块相连。
计算节点与用于存储运行算法的算法存储模块相连，计算节点与用于对切分任务进行属性分析的任务分析模块相连，计算节点与用于根据切分任务属性调用对应运行算法并执行切分任务的任务执行模块相连，云管节点与用于接收各计算节点发送切分任务执行结果的数据接收模块相连，数据接收模块与用于根据任务统计模块记录的执行关系对切分任务执行结果进行拼接生成最终执行结果的数据拼接模块相连。
分配策略存储模块中存储的任务分配策略，包括：按照任务属性对任务进行切分；按照完成时间对任务进行切分。
状态管理模块采集计算节点当前内存状态、CPU状态、GPU状态和当前任务完成进度，并发送给云管节点。
按照上述分配策略存储模块中存储的任务分配策略，本***有如下两种运行情况：
(1)分配策略存储模块选择按照任务属性对任务进行切分时，任务预处理模块按照任务中各段的执行目的对任务进行切分；
任务分配模块对当前任务完成进度大于70﹪的计算节点分配切分任务，任务分析模块对该切分任务的执行目的进行分析，任务执行模块根据该切分任务的执行目的调用对应运行算法并执行切分任务。
(2)分配策略存储模块选择按照完成时间对任务进行切分时，任务预处理模块对任务进行平均切分；
任务分配模块根据计算节点当前内存状态、CPU状态、GPU状态和当前任务完成进度对切分任务进行合理分配，任务分析模块根据该切分任务中各段的执行目的进行二次切分，任务执行模块根据各二次切分任务的执行目的调用对应运行算法并执行。
本申请技术方案中，不论***响应哪种任务分配策略，均可以通过以下方式来提升任务运行的整体效率：
计算节点的任务运行时间高于平均任务运行时间时，任务分配模块将该计算节点未运行的任务分配给当前已经完成任务的计算节点，并将该变更分配上报给任务统计模块。
云管节点与用于生成标记随机数、***随机数的随机数生成模块相连，云管节点与用于根据标记随机数、***随机数对最终执行结果进行加密的数据加密模块相连，标记随机数大于***随机数。
数据加密模块以最终执行结果中切分任务执行结果拼接处为基准，将向后标记随机数个字节处的数据向后移动***随机数个字节，并对每隔标记随机数个字节处的数据执行一次该加密操作。
数据拼接模块根据任务统计模块记录的执行关系对各计算节点的切分任务执行结果进行拼接生成最终执行结果，数据加密模块通过上述加密规则对最终执行结果进行加密，并将加密后的最终执行结果发布至各参与的计算节点上。
这样用户可以在计算节点上收到任务运行结果，不再受到边缘设备与下发任务的云管节点之间距离的限制，方便用户及时获取任务运行结果。用户接收到加密的最终执行结果后，可以根据加密规则，以及随机数生成模块生成的标记随机数、***随机数进行解密。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种分布式边缘计算***，其特征在于：包括进行边缘计算的计算节点，以及用于对计算节点进行控制的云管节点，所述云管节点与用于建立任务的任务建立模块相连，所述云管节点与用于存储任务分配策略的分配策略存储模块相连，所述云管节点与用于根据任务分配策略对任务进行切分的任务预处理模块相连；
所述计算节点与用于采集当前状态信息并发送给云管节点的状态管理模块相连，所述云管节点与用于根据各计算节点当前状态信息将切分任务分配给对应计算节点的任务分配模块相连，所述云管节点与用于对切分任务与处理该切分任务计算节点之间的执行关系进行记录的任务统计模块相连；
所述计算节点与用于存储运行算法的算法存储模块相连，所述计算节点与用于对切分任务进行属性分析的任务分析模块相连，所述计算节点与用于根据切分任务属性调用对应运行算法并执行切分任务的任务执行模块相连，所述云管节点与用于接收各计算节点发送切分任务执行结果的数据接收模块相连，所述数据接收模块与用于根据任务统计模块记录的执行关系对切分任务执行结果进行拼接生成最终执行结果的数据拼接模块相连。
2.根据权利要求1所述的分布式边缘计算***，其特征在于：所述云管节点与用于生成标记随机数、***随机数的随机数生成模块相连，所述云管节点与用于根据标记随机数、***随机数对最终执行结果进行加密的数据加密模块相连，所述标记随机数大于***随机数。
3.根据权利要求2所述的分布式边缘计算***，其特征在于：所述数据加密模块以最终执行结果中切分任务执行结果拼接处为基准，将向后标记随机数个字节处的数据向后移动***随机数个字节，并对每隔标记随机数个字节处的数据执行一次该加密操作。
4.根据权利要求1所述的分布式边缘计算***，其特征在于：所述分配策略存储模块中存储的任务分配策略，包括：按照任务属性对任务进行切分；按照完成时间对任务进行切分；
所述状态管理模块采集计算节点当前内存状态、CPU状态、GPU状态和当前任务完成进度，并发送给云管节点。
5.根据权利要求4所述的分布式边缘计算***，其特征在于：所述分配策略存储模块选择按照任务属性对任务进行切分时，所述任务预处理模块按照任务中各段的执行目的对任务进行切分。
6.根据权利要求5所述的分布式边缘计算***，其特征在于：所述任务分配模块对当前任务完成进度大于70﹪的计算节点分配切分任务，所述任务分析模块对该切分任务的执行目的进行分析，所述任务执行模块根据该切分任务的执行目的调用对应运行算法并执行切分任务。
7.根据权利要求4所述的分布式边缘计算***，其特征在于：所述分配策略存储模块选择按照完成时间对任务进行切分时，所述任务预处理模块对任务进行平均切分。
8.根据权利要求7所述的分布式边缘计算***，其特征在于：所述任务分配模块根据计算节点当前内存状态、CPU状态、GPU状态和当前任务完成进度对切分任务进行合理分配，所述任务分析模块根据该切分任务中各段的执行目的进行二次切分，所述任务执行模块根据各二次切分任务的执行目的调用对应运行算法并执行。
9.根据权利要求6或7所述的分布式边缘计算***，其特征在于：所述计算节点的任务运行时间高于平均任务运行时间时，所述任务分配模块将该计算节点未运行的任务分配给当前已经完成任务的计算节点，并将该变更分配上报给任务统计模块。
CN202011473270.6A 2020-12-15 2020-12-15 一种分布式边缘计算*** Pending CN112637294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011473270.6A CN112637294A (zh) 2020-12-15 2020-12-15 一种分布式边缘计算***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011473270.6A CN112637294A (zh) 2020-12-15 2020-12-15 一种分布式边缘计算***

Publications (1)

Publication Number Publication Date
CN112637294A true CN112637294A (zh) 2021-04-09

Family

ID=75313111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011473270.6A Pending CN112637294A (zh) 2020-12-15 2020-12-15 一种分布式边缘计算***

Country Status (1)

Country Link
CN (1) CN112637294A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120679A (zh) * 2018-07-27 2019-01-01 平安科技（深圳）有限公司 任务分配方法及装置
EP3637730A1 (en) * 2018-10-10 2020-04-15 Korea Electronics Technology Institute Method and system for distributed operation between cloud and edge in iot computing environment
CN111459665A (zh) * 2020-03-27 2020-07-28 重庆电政信息科技有限公司 一种分布式边缘计算***及分布式边缘计算方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120679A (zh) * 2018-07-27 2019-01-01 平安科技（深圳）有限公司 任务分配方法及装置
EP3637730A1 (en) * 2018-10-10 2020-04-15 Korea Electronics Technology Institute Method and system for distributed operation between cloud and edge in iot computing environment
CN111459665A (zh) * 2020-03-27 2020-07-28 重庆电政信息科技有限公司 一种分布式边缘计算***及分布式边缘计算方法

Similar Documents

Publication Publication Date Title
Mebrek et al. Efficient green solution for a balanced energy consumption and delay in the IoT-Fog-Cloud computing
CN107196870B (zh) 一种基于dpdk的流量动态负载均衡方法
CN111949395B (zh) 基于区块链的共享算力数据处理方法、***及存储介质
JP6436594B2 (ja) ストリーム計算システムにおけるデータ処理方法、制御ノードおよびストリーム計算システム
CN111949394A (zh) 一种共享算力资源的方法、***及存储介质
CN108170530B (zh) 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN105827678B (zh) 一种基于高可用架构下的通信方法和节点
CN115562824A (zh) 一种算力资源协同调度***、方法、装置及存储介质
CN114911612B (zh) 一种面向cpu-gpu异构资源的任务调度方法
CN102510403A (zh) 用于车辆数据接收和实时分析的集群分布式***及方法
Tan et al. Energy-aware and deadline-constrained task scheduling in fog computing systems
CN112637294A (zh) 一种分布式边缘计算***
CN115543582A (zh) 超算算力网络统一调度方法、***及设备
da Silva et al. Energy-aware migration of groups of virtual machines in distributed data centers
CN109343940A (zh) 一种云平台中多媒体任务调度优化方法
Wang et al. Coupling GPU and MPTCP to improve Hadoop/MapReduce performance
Tg et al. MatchVNE: a stable virtual network embedding strategy based on matching theory
Yang et al. Replica placement in content delivery networks with stochastic demands and M/M/1 servers
CN112910671B (zh) 通信网络的规划方法、***、电子设备及存储介质
Pusti et al. Security and Energy-Aware Resource Allocation in Mobile Edge Computing (MEC)
CN116866438B (zh) 一种跨集群任务调度方法、装置、计算机设备及存储介质
CN111680996B (zh) 基于区块链的生活缴费数据处理方法、装置及***
Liu et al. SCADS: Simultaneous computing and distribution strategy for task offloading in mobile-edge computing system
US20230409967A1 (en) Training large dl models via serverless architecture using cloud storage services-based communication channel
WO2024092994A1 (zh) 边缘云计算的弹性光网络最大容忍延迟再分配方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210409