CN113371173B - 一种基于边缘智能的高低空协同疫情防控***及方法 - Google Patents

一种基于边缘智能的高低空协同疫情防控***及方法 Download PDF

Info

Publication number
CN113371173B
CN113371173B CN202110731968.1A CN202110731968A CN113371173B CN 113371173 B CN113371173 B CN 113371173B CN 202110731968 A CN202110731968 A CN 202110731968A CN 113371173 B CN113371173 B CN 113371173B
Authority
CN
China
Prior art keywords
task
unmanned aerial
aerial vehicle
network
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110731968.1A
Other languages
English (en)
Other versions
CN113371173A (zh
Inventor
董莉
江沸菠
王敏捷
李小龙
周涵
王可之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202110731968.1A priority Critical patent/CN113371173B/zh
Publication of CN113371173A publication Critical patent/CN113371173A/zh
Application granted granted Critical
Publication of CN113371173B publication Critical patent/CN113371173B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64B—LIGHTER-THAN AIR AIRCRAFT
    • B64B1/00—Lighter-than-air aircraft
    • B64B1/40—Balloons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/10—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles characterised by the energy transfer between the charging station and the vehicle
    • B60L53/12—Inductive energy transfer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00—Type of vehicles
    • B60L2200/10—Air crafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/14—Plug-in electric vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles
    • Y02T90/167—Systems integrating technologies related to power network operation and communication or information technologies for supporting the interoperability of electric or hybrid vehicles, i.e. smartgrids as interface for battery charging of electric vehicles [EV] or hybrid vehicles [HEV]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S30/00—Systems supporting specific end-user applications in the sector of transportation
    • Y04S30/10—Systems supporting the interoperability of electric or hybrid vehicles
    • Y04S30/12—Remote or cooperative charging

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于边缘智能的高低空协同疫情防控***，该***由无人热气球和无人机构成，利用无人热气球在高空进行移动边缘计算服务和提供充电服务，利用无人机在低空中进行快速的大范围人群密集度监控、交通疏导和口罩佩戴检测等相关工作。本发明还提供一种基于边缘智能的任务卸载和资源分配方法，能够将部分的人工智能计算任务从能量受限的无人机卸载到无人热气球上装载的边缘服务器上执行，从而提高无人机的决策响应速度并节省能耗，该方法通过在无人热气球上集中学习策略函数来加快学习速度，然后将策略函数下载至无人机上来进行分布式决策，从而实现快速的卸载决策和资源分配优化，进而提高整个***的能量使用效率。

Description

一种基于边缘智能的高低空协同疫情防控***及方法
技术领域
本发明属于人工智能应用领域，涉及一种基于边缘智能的高低空协同疫情防控***及方法。
背景技术
疫情的快速传播，对人们的衣食住行造成了巨大的影响。为了有效的遏制疫情的蔓延，需要动用大量的防疫人员来参与疫情的防控工作。高频率、高强度的疫情防控措施给防疫人员带来了十分沉重的工作负担，同时也可能对一线防疫人员造成二次疫情传播，极大的影响了疫情的防控效果，危及防疫人员的生命安全。
因此，如何提高疫情防控效率，实现各部门协同工作，科学地防控疫情，成为了社会亟需解决的现实问题。
发明内容
本发明的第一个目的在于提供一种基于边缘智能的高低空协同疫情防控***，该***由无人热气球和无人机构成，利用无人热气球在高空进行移动边缘计算服务和提供充电服务，利用无人机在低空中进行快速的大范围人群密集度监控、交通疏导和口罩佩戴检测等相关工作。
本发明的第二个目的在于提供一种基于边缘智能的任务卸载和资源分配方法，能够将部分的人工智能计算任务(基于该***中的人工智能任务)从能量受限的无人机卸载到无人热气球上装载的边缘服务器上执行，从而提高无人机的决策响应速度并节省能耗。
为了达到上述目的，本发明提供以下技术方案：
本发明提供一种基于边缘智能的高低空协同疫情防控***，该***包括高空热气球***、低空无人机***和地面指挥中心；
所述高空热气球***包括无人热气球、边缘服务器(MEC服务器)、太阳能充电模块和无线充电模块，所述太阳能充电模块用于对整个高空热气球***进行供电，所述无线充电模块用于对低空无人机充电；
所述低空无人机***包括了多架无人机，无人机用于低空监控，包括人群密度监控、口罩佩戴监控、目标识别与追踪、政策宣传和交通疏导，当低空无人机***发现异常的情况时，将信息传输至地面指挥中心；
所述地面指挥中心包含防疫数据库、调度模块和通信模块，防疫数据库用于存储防疫数据，包括健康码信息、人脸信息，所述调度模块用于对无人热气球和无人机进行调度，所述通信模块用于将相关的数据接入远端防疫云平台。
由于无人机上需要运行大量的人工智能任务(例如人群密度识别，口罩佩戴识别等)，为了进一步提高任务的执行效率，本发明还提供了一种基于边缘智能的任务卸载和资源分配方法，包括以下步骤：
步骤一、无人机将防疫过程中的人工智能任务进行分割，确定任务的卸载形式；
每一个任务定义为一个三元组：
Figure BDA0003140149190000021
式(1)中，Fi是完成任务Ui所需的CPU周期总数，Di是任务Ui的卸载数据量，T是时间约束或用户的QoS要求，
Figure BDA0003140149190000022
为无人机的集合；
步骤二、定义移动边缘计算的通信和计算模型；
定义无人机上任务的通信速率为：
Figure BDA0003140149190000031
式(2)中，B为通信带宽，
Figure BDA0003140149190000032
是无人机到边缘服务器(MEC服务器)的发射功率，σ是噪声功率，
Figure BDA0003140149190000033
是无人机到MEC服务器之间的信道增益；
其中，
Figure BDA0003140149190000034
Hi是第i个无人机的高度，Ri是第i个无人机到MEC服务器的水平距离，α是小尺度衰落分量；
定义任务的本地计算时间Tlocal为：
Figure BDA0003140149190000035
式(3)中，fiL本地能够分配的计算资源，本地执行所需要的功率
Figure BDA0003140149190000036
为：
Figure BDA0003140149190000037
式(4)中，ki＝10-27是有效开关电容，vi＝3是正常数；
步骤三、定义移动边缘计算最小能耗的目标函数：
Figure BDA0003140149190000038
式(5)中，ai为卸载决策，
Figure BDA0003140149190000039
为发射功率，fi为MEC服务器分配给第i个无人机的计算资源；C1表示任务只能在本地或者MEC服务器上执行，C2表示任务的执行时间需要满足时延约束T，C3表示MEC服务器分配给所有无人机的计算资源要满足服务器上的最大资源Fmax限制；
步骤四、采用集中训练、分布式决策的强化学习算法：在无人热气球上对智能体进行集中式训练，然后将训练好的智能体下载到各个无人机，并根据智能体在无人机上快速求解ai和fi。
优选的方案，所述步骤四中，具体为：
4.1)在无人热气球上设计每个无人机上的强化学习智能体，其中第i个无人机上的智能体策略网络为
Figure BDA0003140149190000041
目标策略网络为
Figure BDA0003140149190000042
评价网络为
Figure BDA0003140149190000043
目标评价网络为
Figure BDA0003140149190000044
s为强化学习的状态，具体表现为每个人工智能任务的Ui和每个无人机的信道增益
Figure BDA0003140149190000045
和
Figure BDA0003140149190000046
a为强化学习的动作，具体表现为每个无人机的任务卸载决策ai，
Figure BDA0003140149190000047
为策略网络的网络参数，
Figure BDA0003140149190000048
为目标策略网络的网络参数，
Figure BDA0003140149190000049
为评价网络的网络参数，
Figure BDA00031401491900000410
为目标评价网络的网络参数；
4.2)随机初始化第i个无人机的
Figure BDA00031401491900000411
和
Figure BDA00031401491900000412
初始化相关联的目标网络
Figure BDA00031401491900000413
Figure BDA00031401491900000414
并初始化经验重放数据库
Figure BDA00031401491900000415
4.3)在集中训练阶段，每个时隙t，低空无人机***收集自己的人工智能识别任务的Ui,t和每个无人机的信道增益
Figure BDA00031401491900000416
和
Figure BDA00031401491900000417
组成强化学习的状态
Figure BDA00031401491900000418
Figure BDA00031401491900000419
其中第t时隙第i个无人机的任务Ui,t＝(Fi,t,Di,t,T),
Figure BDA00031401491900000420
Figure BDA00031401491900000421
其中Fi,t是完成任务Ui,t所需的CPU周期总数，Di,t是任务Ui,t的卸载数据量，T是时间约束或用户的QoS要求；
4.4)通过使用当前的策略网络
Figure BDA00031401491900000422
和生成的探索噪声Δμ来选择一个动作ai,t：
Figure BDA00031401491900000423
其中ai,t为第t时隙、第i个无人机的卸载决策，
Figure BDA00031401491900000424
为第t时隙、第i个无人机上智能体策略网络；
如果ai,t＝1，表示第t时隙第i个无人机的任务需要卸载到MEC服务器上执行，则根据公式
Figure BDA00031401491900000425
计算MEC服务器分配给第i个无人机的计算资源；
如果ai,t＝0，表示第t时隙第i个无人机的任务在本机执行，fi，t＝fiL；
4.5)根据所有无人机的ai,t和fi,t计算t时刻的移动边缘计算的总目标函数，并将其倒数定义为强化学习的奖励rt；
4.6)继续收集下一个状态的信息
Figure BDA0003140149190000051
并将元组(st,at,rt,st+1)存入经验重放数据库
Figure BDA0003140149190000052
其中st＝{si,t}，at＝{ai,t}，st+1＝{si,t+1}，
Figure BDA0003140149190000053
4.7)从经验重放数据库
Figure BDA00031401491900000517
中随机抽取一组样本集合I＝{(sk,ak,rk,s'k)}k＝1，s'k为sk+1，并利用抽取的样本集合I最小化损失函数L来更新评价网络
Figure BDA0003140149190000054
Figure BDA0003140149190000055
其中，
Figure BDA0003140149190000056
为目标评价网络，并利用抽取的样本集合I对累积奖励J的策略梯度来更新策略网络
Figure BDA0003140149190000057
Figure BDA0003140149190000058
其中
Figure BDA0003140149190000059
表示梯度；
4.8)每隔一段时间，通过公式
Figure BDA00031401491900000510
和
Figure BDA00031401491900000511
Figure BDA00031401491900000512
更新目标网络的参数，其中τ为混合系数；
4.9)以上步骤反复执行直到算法收敛，在无人热气球上的集中训练完成；
4.10)每个无人机分别下载自己的策略网络参数
Figure BDA00031401491900000513
并计算通过公式
Figure BDA00031401491900000514
Figure BDA00031401491900000515
分别计算各自的卸载策略ai；
如果ai＝1，表示第i个无人机的任务需要卸载到MEC服务器上执行，则根据公式
Figure BDA00031401491900000516
计算MEC服务器分配给第i个无人机的计算资源；
如果ai＝0，表示第i个无人机的任务在本机执行，fi＝fiL；
最终完成任务的移动边缘计算优化。
本发明利用无人热气球和无人机等无人***来辅助疫情防控，在政策宣传，人员监控，交通疏导，远程识别等工作中发挥作用，实现高低空协同工作，科学防控疫情，具有非常重要的研究意义和应用前景。
与现有技术相比，本发明具有以下优点：
(1)本发明提供了一种基于边缘智能的高低空协同疫情防控***，该***能够协同高空无人热气球和低空无人机进行联合疫情防控，其中无人热气球能够为无人机提供充电服务，并能够通过边缘服务器为无人机提供移动边缘计算服务；无人机能够在空中进行快速的大范围人群密集度监控和交通疏导、口罩佩戴检测等相关工作。同时，为了进一步提高***的能效，边缘服务器可以协助无人机执行人工智能任务。该方法能够极大的减少疫情防控人员的工作任务，降低工作强度，同时全程无人操作能够避免一线疫情防控人员在疫情防控期间的交叉感染，增强了疫情防控的安全性。
(2)本发明针对无人机设备的能量受限问题，提出了最小化无人机能耗的目标函数，该函数包括整数变量ai和连续变量fi，是一个典型的非线性混合规划问题，传统的优化方法难以有效求解。因此，提供了一种无人热气球上集中式训练，无人机上分布式决策的深度强化学习卸载决策和资源分配方法，该方法通过在无人热气球上集中学习策略函数来加快学习速度，然后将策略函数下载至无人机上来进行分布式决策，从而实现快速的卸载决策和资源分配优化，进而提高整个***的能量使用效率，同时减轻无人机上的计算负担。
附图说明
图1是本发明基于边缘智能的高低空协同疫情防控***的功能模块图。
图2是本发明基于边缘智能的任务卸载和资源分配方法的流程图。
具体实施方式
下面结合具体实施例和附图对本发明进行进一步说明：
实施例1
如图1～2所示，一种基于边缘智能的高低空协同疫情防控***，该***由高空热气球***，低空无人机***和地面指挥中心三个部分组成；
其中高空热气球***包括了一个无人热气球、边缘服务器(MEC服务器)、太阳能充电模块和无线充电模块。该无人热气球利用太阳能充电模块在高空中完成太阳能充电，并为边缘服务器和低空无人机提供电能，无人热气球利用无线充电模型向低空无人机供电；
低空无人机***包括了多架无人机，利用无人机速度快，视野宽，覆盖广的优势，高效地完成大面积的低空监控，具体可包括人群密度监控，口罩佩戴监控，政策宣传和交通疏导等，当低空无人机***发现异常的情况时，将信息返回至地面指挥中心；
地面指挥中心含有防疫数据库，调度模块和通信模块，其中防疫数据库用来存储防疫数据，例如健康码信息、人脸信息等，调度模块用来对无人热气球和无人机进行调度，同时相关的数据可以通过通信模块接入远端防疫云平台。
由于无人机上需要运行大量的人工智能任务(例如人群密度识别，口罩佩戴识别等)，所以本发明还提供了一种基于边缘智能的任务卸载和资源分配方法，用于进一步提高任务的执行效率，包括以下步骤：
步骤一、无人机将防疫过程中的人工智能任务进行分割，确定任务的卸载形式；
每一个任务定义为一个三元组：
Figure BDA0003140149190000081
式(1)中，Fi是完成任务Ui所需的CPU周期总数，Di是任务Ui的卸载数据量，T是时间约束或用户的QoS要求，
Figure BDA00031401491900000810
为无人机的集合；
步骤二、定义移动边缘计算的通信和计算模型；
定义无人机上任务的通信速率为：
Figure BDA0003140149190000082
式(2)中，B为通信带宽，
Figure BDA0003140149190000083
是无人机到边缘服务器(MEC服务器)的发射功率，σ是噪声功率，
Figure BDA0003140149190000084
是无人机到MEC服务器之间的信道增益；
其中，
Figure BDA0003140149190000085
Hi是第i个无人机的高度，Ri是第i个无人机到MEC服务器的水平距离，α是小尺度衰落分量；
定义任务的本地计算时间Tlocal为：
Figure BDA0003140149190000086
式(3)中，fiL本地能够分配的计算资源，本地执行所需要的功率
Figure BDA0003140149190000087
为：
Figure BDA0003140149190000088
式(4)中，ki＝10-27是有效开关电容，vi＝3是正常数；
步骤三、定义移动边缘计算最小能耗的目标函数：
Figure BDA0003140149190000089
Figure BDA0003140149190000091
式(5)中，ai为卸载决策，
Figure BDA0003140149190000092
为发射功率，fi为MEC服务器分配给第i个无人机的计算资源；C1表示任务只能在本地或者MEC服务器上执行，C2表示任务的执行时间需要满足时延约束T，C3表示MEC服务器分配给所有无人机的计算资源要满足服务器上的最大资源Fmax限制；
步骤四、采用集中训练、分布式决策的强化学习算法：在无人热气球上对智能体进行集中式训练，然后将训练好的智能体下载到各个无人机，并根据智能体在无人机上快速求解ai和fi，具体为：
4.1)在无人热气球上设计每个无人机上的强化学习智能体，其中第i个无人机上的智能体策略网络为
Figure BDA0003140149190000093
目标策略网络为
Figure BDA0003140149190000094
评价网络为
Figure BDA0003140149190000095
目标评价网络为
Figure BDA0003140149190000096
s为强化学习的状态，具体表现为每个人工智能任务的Ui和每个无人机的信道增益
Figure BDA0003140149190000097
和
Figure BDA0003140149190000098
a为强化学习的动作，具体表现为每个无人机的任务卸载决策ai，
Figure BDA0003140149190000099
为策略网络的网络参数，
Figure BDA00031401491900000910
为目标策略网络的网络参数，
Figure BDA00031401491900000911
为评价网络的网络参数，
Figure BDA00031401491900000912
为目标评价网络的网络参数；
4.2)随机初始化第i个无人机的
Figure BDA00031401491900000913
和
Figure BDA00031401491900000914
初始化相关联的目标网络
Figure BDA00031401491900000915
Figure BDA00031401491900000916
并初始化经验重放数据库
Figure BDA00031401491900000917
4.3)在集中训练阶段，每个时隙t，低空无人机***收集自己的人工智能识别任务的Ui,t和每个无人机的信道增益
Figure BDA00031401491900000918
和
Figure BDA00031401491900000919
组成强化学习的状态
Figure BDA00031401491900000920
Figure BDA00031401491900000921
其中第t时隙第i个无人机的任务Ui,t＝(Fi,t,Di,t,T),
Figure BDA00031401491900000922
Figure BDA00031401491900000923
其中Fi,t是完成任务Ui,t所需的CPU周期总数，Di，t是任务Ui,t的卸载数据量，T是时间约束或用户的QoS要求；
4.4)通过使用当前的策略网络
Figure BDA0003140149190000101
和生成的探索噪声Δμ来选择一个动作ai,t：
Figure BDA0003140149190000102
其中ai,t为第t时隙、第i个无人机的卸载决策，
Figure BDA0003140149190000103
为第t时隙、第i个无人机上智能体策略网络；
如果ai,t＝1，表示第t时隙第i个无人机的任务需要卸载到MEC服务器上执行，则根据公式
Figure BDA0003140149190000104
计算MEC服务器分配给第i个无人机的计算资源；
如果ai,t＝0，表示第t时隙第i个无人机的任务在本机执行，fi,t＝fiL；
4.5)根据所有无人机的ai,t和fi,t计算t时刻的移动边缘计算的总目标函数，并将其倒数定义为强化学习的奖励rt；
4.6)继续收集下一个状态的信息
Figure BDA0003140149190000105
并将元组(st,at,rt,st+1)存入经验重放数据库
Figure BDA0003140149190000106
其中st＝{si,t}，at＝{ai,t}，st+1＝{si,t+1}，
Figure BDA0003140149190000107
4.7)从经验重放数据库
Figure BDA00031401491900001017
中随机抽取一组样本集合I＝{(sk,ak,rk,s'k)}k＝1，s'k为sk+1，并利用抽取的样本集合I最小化损失函数L来更新评价网络
Figure BDA0003140149190000108
Figure BDA0003140149190000109
其中，
Figure BDA00031401491900001010
为目标评价网络，并利用抽取的样本集合I对累积奖励J的策略梯度来更新策略网络
Figure BDA00031401491900001011
Figure BDA00031401491900001012
其中
Figure BDA00031401491900001013
表示梯度；
4.8)每隔一段时间，通过公式
Figure BDA00031401491900001014
和
Figure BDA00031401491900001015
Figure BDA00031401491900001016
更新目标网络的参数，其中τ为混合系数；
4.9)以上步骤反复执行直到算法收敛，在无人热气球上的集中训练完成；
4.10)每个无人机分别下载自己的策略网络参数
Figure BDA0003140149190000111
并计算通过公式
Figure BDA0003140149190000112
Figure BDA0003140149190000113
分别计算各自的卸载策略ai；
如果ai＝1，表示第i个无人机的任务需要卸载到MEC服务器上执行，则根据公式
Figure BDA0003140149190000114
计算MEC服务器分配给第i个无人机的计算资源；
如果ai＝0，表示第i个无人机的任务在本机执行，fi＝fiL；
最终完成任务的移动边缘计算优化。
实施例2
本实施例针对一种基于边缘智能的任务卸载和资源分配方法进行了实验，采用集中训练+分布式决策的强化学习算法，在无人热气球上进行集中式训练，在无人机上进行分布式决策。
本实施例将该方法和经典的强化学习方法：Actor-Critic(AC)，DeepDeterministic Policy Gradient(DDPG)以及Deep Q learning(DQN)进行了比较，实验的结果如下：
算法 奖励
本发明算法 0.0373
AC 0.0328
DDPG 0.0359
DQN 0.0280
实验表中奖励为目标函数的倒数，值越大，表示***所消耗的能耗越小。由实验结果可知，本发明算法能够在高低空协同的疫情防控***中较好的运行，获得了最大的任务奖励和最小的能量消耗。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (1)

1.一种基于边缘智能的任务卸载和资源分配方法，其特征在于，包括以下步骤：
步骤一、无人机将防疫过程中的人工智能任务进行分割，确定任务的卸载形式；
每一个任务定义为一个三元组：
Figure FDA0003795052100000011
式(1)中，Fi是完成任务Ui所需的CPU周期总数，Di是任务Ui的卸载数据量，T是时间约束或用户的QoS要求，
Figure FDA0003795052100000012
为无人机的集合；
基于边缘智能的高低空协同疫情防控***，包括高空热气球***、低空无人机***和地面指挥中心；
所述高空热气球***包括无人热气球、边缘服务器(MEC服务器)、太阳能充电模块和无线充电模块，所述太阳能充电模块用于对整个高空热气球***进行供电，所述无线充电模块用于对低空无人机充电；
所述低空无人机***包括了多架无人机，无人机用于低空监控，包括人群密度监控、口罩佩戴监控、目标识别与追踪、政策宣传和交通疏导，当低空无人机***发现异常的情况时，将信息传输至地面指挥中心；
所述地面指挥中心包含防疫数据库、调度模块和通信模块，防疫数据库用于存储防疫数据，包括健康码信息、人脸信息，所述调度模块用于对无人热气球和无人机进行调度，所述通信模块用于将相关的数据接入远端防疫云平台；
步骤二、定义移动边缘计算的通信和计算模型；
定义无人机上任务的通信速率为：
Figure FDA0003795052100000013
式(2)中，B为通信带宽，
Figure FDA0003795052100000014
是无人机到边缘服务器(MEC服务器)的发射功率，σ是噪声功率，
Figure FDA0003795052100000021
是无人机到MEC服务器之间的信道增益；
其中，
Figure FDA0003795052100000022
Hi是第i个无人机的高度，Ri是第i个无人机到MEC服务器的水平距离，α是小尺度衰落分量；
定义任务的本地计算时间Tlocal为：
Figure FDA0003795052100000023
式(3)中，fiL本地能够分配的计算资源，本地执行所需要的功率
Figure FDA0003795052100000024
为：
Figure FDA0003795052100000025
式(4)中，ki＝10-27是有效开关电容，vi＝3是正常数；
步骤三、定义移动边缘计算最小能耗的目标函数：
Figure FDA0003795052100000028
式(5)中，ai为卸载决策，
Figure FDA00037950521000000210
为发射功率，fi为MEC服务器分配给第i个无人机的计算资源；C1表示任务只能在本地或者MEC服务器上执行，C2表示任务的执行时间需要满足时延约束T，C3表示MEC服务器分配给所有无人机的计算资源要满足服务器上的最大资源Fmax限制；
步骤四、采用集中训练、分布式决策的强化学习算法：在无人热气球上对智能体进行集中式训练，然后将训练好的智能体下载到各个无人机，并根据智能体在无人机上快速求解ai和fi；
所述步骤四中，具体为：
4.1)在无人热气球上设计每个无人机上的强化学习智能体，其中第i个无人机上的智能体策略网络为
Figure FDA00037950521000000211
目标策略网络为
Figure FDA00037950521000000212
评价网络为
Figure FDA00037950521000000213
目标评价网络为
Figure FDA0003795052100000031
s为强化学习的状态，具体表现为每个人工智能任务的Ui和每个无人机的信道增益
Figure FDA0003795052100000032
和
Figure FDA0003795052100000033
a为强化学习的动作，具体表现为每个无人机的任务卸载决策ai，
Figure FDA0003795052100000034
为策略网络的网络参数，
Figure FDA0003795052100000035
为目标策略网络的网络参数，
Figure FDA0003795052100000036
为评价网络的网络参数，
Figure FDA0003795052100000037
为目标评价网络的网络参数；
4.2)随机初始化第i个无人机的
Figure FDA0003795052100000038
和
Figure FDA0003795052100000039
初始化相关联的目标网络
Figure FDA00037950521000000310
Figure FDA00037950521000000311
并初始化经验重放数据库
Figure FDA00037950521000000312
4.3)在集中训练阶段，每个时隙t，低空无人机***收集自己的人工智能识别任务的Ui，t和每个无人机的信道增益
Figure FDA00037950521000000313
和
Figure FDA00037950521000000314
组成强化学习的状态
Figure FDA00037950521000000315
Figure FDA00037950521000000316
其中第t时隙第i个无人机的任务
Figure FDA00037950521000000317
其中Fi，t是完成任务Ui，t所需的CPU周期总数，Di，t是任务Ui，t的卸载数据量，T是时间约束或用户的QoS要求；
4.4)通过使用当前的策略网络
Figure FDA00037950521000000318
和生成的探索噪声Δμ来选择一个动作ai，t：
Figure FDA00037950521000000319
其中ai，t为第t时隙、第i个无人机的卸载决策，
Figure FDA00037950521000000320
为第t时隙、第i个无人机上智能体策略网络；
如果ai，t＝1，表示第t时隙第i个无人机的任务需要卸载到MEC服务器上执行，则根据公式
Figure FDA00037950521000000321
计算MEC服务器分配给第i个无人机的计算资源；
如果ai，t＝0，表示第t时隙第i个无人机的任务在本机执行，fi，t＝fiL；
4.5)根据所有无人机的ai，t和fi，t计算t时刻的移动边缘计算的总目标函数，并将其倒数定义为强化学习的奖励rt；
4.6)继续收集下一个状态的信息
Figure FDA00037950521000000322
并将元组(st，at，rt，st+1)存入经验重放数据库
Figure FDA00037950521000000323
其中st＝{si，t}，at＝{ai，t}，st+1＝{si，t+1}，
Figure FDA00037950521000000324
4.7)从经验重放数据库
Figure FDA00037950521000000325
中随机抽取一组样本集合I＝{(sk，ak，rk，s′k)}k＝1，s′k为sk+1，并利用抽取的样本集合I最小化损失函数L来更新评价网络
Figure FDA00037950521000000326
Figure FDA0003795052100000041
其中，
Figure FDA0003795052100000042
为目标评价网络，并利用抽取的样本集合I对累积奖励J的策略梯度来更新策略网络
Figure FDA0003795052100000043
Figure FDA0003795052100000044
其中
Figure FDA0003795052100000045
表示梯度；
4.8)每隔一段时间，通过公式
Figure FDA0003795052100000046
和
Figure FDA0003795052100000047
更新目标网络的参数，其中τ为混合系数；
4.9)以上步骤反复执行直到算法收敛，在无人热气球上的集中训练完成；
4.10)每个无人机分别下载自己的策略网络参数
Figure FDA0003795052100000048
并计算通过公式
Figure FDA0003795052100000049
Figure FDA00037950521000000410
分别计算各自的卸载策略ai；
如果ai＝1，表示第i个无人机的任务需要卸载到MEC服务器上执行，则根据公式
Figure FDA00037950521000000411
计算MEC服务器分配给第i个无人机的计算资源；
如果ai＝0，表示第i个无人机的任务在本机执行，fi＝fiL；
最终完成任务的移动边缘计算优化。
CN202110731968.1A 2021-06-30 2021-06-30 一种基于边缘智能的高低空协同疫情防控***及方法 Expired - Fee Related CN113371173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110731968.1A CN113371173B (zh) 2021-06-30 2021-06-30 一种基于边缘智能的高低空协同疫情防控***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110731968.1A CN113371173B (zh) 2021-06-30 2021-06-30 一种基于边缘智能的高低空协同疫情防控***及方法

Publications (2)

Publication Number Publication Date
CN113371173A CN113371173A (zh) 2021-09-10
CN113371173B true CN113371173B (zh) 2022-11-25

Family

ID=77580280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110731968.1A Expired - Fee Related CN113371173B (zh) 2021-06-30 2021-06-30 一种基于边缘智能的高低空协同疫情防控***及方法

Country Status (1)

Country Link
CN (1) CN113371173B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941667A (zh) * 2019-11-07 2020-03-31 北京科技大学 一种移动边缘计算网络中的计算卸载方法及***
CN111383132A (zh) * 2020-03-19 2020-07-07 东南大学 一种适用于疫情期的智慧工地管理***及管理方法
CN111684830A (zh) * 2018-02-06 2020-09-18 软银股份有限公司 Haps协同飞行***
CN112148014A (zh) * 2020-09-29 2020-12-29 南京邮电大学 一种基于边缘计算和无人机的空间人员流动密集检测与消毒方法
CN112394746A (zh) * 2020-11-23 2021-02-23 武汉科技大学 一种基于机器学习的智能防疫无人机及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684830A (zh) * 2018-02-06 2020-09-18 软银股份有限公司 Haps协同飞行***
CN110941667A (zh) * 2019-11-07 2020-03-31 北京科技大学 一种移动边缘计算网络中的计算卸载方法及***
CN111383132A (zh) * 2020-03-19 2020-07-07 东南大学 一种适用于疫情期的智慧工地管理***及管理方法
CN112148014A (zh) * 2020-09-29 2020-12-29 南京邮电大学 一种基于边缘计算和无人机的空间人员流动密集检测与消毒方法
CN112394746A (zh) * 2020-11-23 2021-02-23 武汉科技大学 一种基于机器学习的智能防疫无人机及其控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
无人机在重大防疫工作中的应用浅析;陈杰;《中国交通信息化》;20201231(第247期);第156-158页 *
智能无人机轨迹与任务卸载联合优化;张梦琳等;《计算机工程与应用》;20201115(第21期);第38-46页 *

Also Published As

Publication number Publication date
CN113371173A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN108632831B (zh) 一种基于动态航迹的无人机群频谱资源分配方法
Servetnyk et al. Unsupervised federated learning for unbalanced data
Fan et al. D2D power control based on supervised and unsupervised learning
Yu et al. UAV-aided low latency mobile edge computing with mmWave backhaul
Fragkos et al. Artificial intelligence enabled distributed edge computing for Internet of Things applications
CN109787696B (zh) 基于案例推理与合作q学习的认知无线电资源分配方法
CN111988792A (zh) 无人机联盟网络卸载模型及决策计算方法
CN110650456A (zh) 无人机自组织网络中基于模糊综合评价的簇头选举方法
CN106358300A (zh) 一种微蜂窝网络中的分布式资源分配方法
Sha et al. DRL-based task offloading and resource allocation in multi-UAV-MEC network with SDN
Cheng et al. Energy-efficient resource allocation for UAV-empowered mobile edge computing system
CN113406974A (zh) 一种面向无人机集群联邦学习的学习与资源联合优化方法
Chen et al. Energy-aware path planning for obtaining fresh updates in UAV-IoT MEC systems
Guo et al. A coded distributed computing framework for task offloading from multi-UAV to edge servers
CN114363803B (zh) 一种移动边缘计算网络节能的多任务分配方法及***
Chen et al. Multi-UAV cooperation based edge computing offloading in emergency communication networks
Zhang et al. Resource allocation in UAV assisted air ground intelligent inspection system
Wei et al. Resource allocation and power control policy for device-to-device communication using multi-agent reinforcement learning
CN113371173B (zh) 一种基于边缘智能的高低空协同疫情防控***及方法
Zhu et al. Fairness-aware task loss rate minimization for multi-UAV enabled mobile edge computing
Li et al. Energy-efficient task offloading and trajectory planning in UAV-enabled mobile edge computing networks
CN113193900A (zh) 紫外光协作无人机通信的网络连通性分部积分计算方法
Das et al. Reinforcement learning-based resource allocation for M2M communications over cellular networks
CN112445617A (zh) 一种基于移动边缘计算的负载策略选择方法及***
CN111930435A (zh) 一种基于pd-bpso技术的任务卸载决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221125

CF01 Termination of patent right due to non-payment of annual fee