CN110287945A - 一种5g环境下无人机目标检测方法 - Google Patents

一种5g环境下无人机目标检测方法 Download PDF

Info

Publication number
CN110287945A
CN110287945A CN201910599417.7A CN201910599417A CN110287945A CN 110287945 A CN110287945 A CN 110287945A CN 201910599417 A CN201910599417 A CN 201910599417A CN 110287945 A CN110287945 A CN 110287945A
Authority
CN
China
Prior art keywords
unmanned plane
base station
image
model
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910599417.7A
Other languages
English (en)
Other versions
CN110287945B (zh
Inventor
孙善宝
罗清彩
于�玲
徐驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Innovation and Entrepreneurship Technology Co Ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201910599417.7A priority Critical patent/CN110287945B/zh
Publication of CN110287945A publication Critical patent/CN110287945A/zh
Application granted granted Critical
Publication of CN110287945B publication Critical patent/CN110287945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供一种5G环境下无人机目标检测方法，属于涉及5G技术、无人机、目标检测和边缘计算技术领域，本发明有效利用5G高带宽高速网络和5G基站边缘智能服务，结合无人机的终端侧的计算能力，将无人机航拍获得的图像实时进行检测，无法确定的目标通过5G回传到5G基站侧进行分析，并将结果实时反馈到无人机，改变无人机行进方式，变换角度或调整传感设备完成目标检测任务。另外，通过云端中心统一管理边缘智能计算节点，根据无人机目标检测任务对边缘节点进行智能模型和服务的个性化分配，同时收集无人机采集图像，用于云端目标检测模型的持续优化。

Description

一种5G环境下无人机目标检测方法
技术领域
本发明涉及5G技术、无人机、目标检测和边缘计算技术，尤其涉及一种5G环境下无人机目标检测方法。
背景技术
无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。随着无人机技术的发展以及关键零组件成本持续下降，大大降低了开发无人机***的门槛，这也使得无人机得到了广泛的应用，无人机的体积和重量也在不断变小以适应更广的应用场景，同时无人机也变得更加智能，自动避障、自动跟踪目标等智能化功能都开始普及。
随着云计算、移动互联网等技术和业务为代表的新一轮信息革命浪潮的来临，带来了从提供产品向提供服务的革命性转变，已成为推动信息产业升级、促进垂直行业与互联网融合的关键要素。云端中心聚合了大量的物理硬件资源，并采用虚拟化技术实现了异构网络计算资源的统一的分配、调度和管理，集中建设数据中心大大降低了计算和存储的成本。伴随着云端数据量越来越庞大，传输的速率却在下降，甚至有时会有很大的网络延迟，网络延迟成为制约应用的一大因素。5G的出现在技术上改变了这一现状，5G具有超高带宽、低延迟、大容量的特点，其端到端的网络切片能力，可以将所需的网络资源面向不同的需求灵活动态地分配，针对垂直化行业为用户提供定制化的网络。另一方面，随着近年来人工智能技术的发展，特别是以深度学习为核心的算法演进，其超强的进化能力，在大数据的支持下，通过训练构建得到类似人脑结构的大规模卷积神经网络，已经在不同领域实现了落地。在5G环境下，随着边缘侧需求的不断激增，人工智能的能力从云端逐渐下沉到边缘侧，更加接近设备的需求侧，以5G基站为代表的边缘计算节点，给整个边缘侧应用产业带了新的可能性。
利用无人机进行目标检测是无人机的重要应用，然而受到无人机尺寸、载重、计算资源的限制，无人机更多的是作为一个采集装置，收集的数据也多是以垂直俯视的角度拍摄，目标检测的准确率有一定的限制。在这种情况下，如何有效利用5G网络及边缘计算能力，提升无人机的目标检测准确度成为亟需解决的问题。
发明内容
为了解决以上技术问题，本发明提出了一种5G环境下无人机目标检测方法，有效利用5G高带宽高速网络和5G基站边缘智能服务，结合无人机的终端侧的计算能力，将无人机航拍获得的图像实时进行检测，无法确定的目标通过5G回传到5G基站侧进行分析，并将结果实时反馈到无人机，改变无人机行进方式，变换角度或调整传感设备完成目标检测任务。另外，通过云端中心统一管理边缘智能计算节点，根据无人机目标检测任务对边缘节点进行智能模型和服务的个性化分配，同时收集无人机采集图像，用于云端目标检测模型的持续优化。
本发明利用云中心聚集大量计算资源，对于无人机执行的目标检测任务进行模型训练，并进行多维度剪裁优化，结合业务逻辑，将服务和模型分别推送到5G边缘基站端和无人机终端。无人机通过5G网络实时与边缘计算节点进行交互，共同实现无人机采集图像的实时目标检测。另外，边缘基站提供存储功能，可将无人机采集的图像暂存在边缘基站，并统一分时上传到云中心用于未来的模型优化，进一步提升识别精度，在一定程度也提升了无人机的续航能力。
其中，
所述的无人机带有图像采集装置，并且具有一定的计算和存储能力，可以加载云中心训练裁剪优化后、专门针对无人机的目标检测模型，在无人机端进行实时目标检测推理，通过5G通信模块，完成与5G基站及云中心的交互，完成协同任务。
另外，无人机具备数据压缩功能，进一步减少存储和网络带宽。
所述的5G基站是具备边缘计算能力的节点，包含计算、存储、网络的能力，对外提供5G网络服务，并向上对接核心网连接云中心，5G基站可以实现目标检测、数据暂存、安全认证、无人机交互控制、数据压缩、分时上传等服务，与所述的无人机实现双向消息传输及行动互动，并与所述的云中心进行双向通信，及时更新管理本节点组件服务。
所述的云中心实现目标检测任务的分发以及目标检测模型的多维度剪裁优化，并将服务和模型，根据5G基站及无人机的实际规格以及其业务需求进行推送，实现对5G基站和无人机的管理，云端通过持续收集的来自边缘基站和无人机采集的图像进行模型训练优化，持续提升识别精度。
本发明用于无人机执行图像采集和目标检测任务，步骤包括：
步骤101、所述的云中心聚集大量硬件资源，针对无人机采集图片的目标检测任务，利用实际收集的图像进行模型训练，形成相应的检测模型；
步骤102、通过所述的云中心为所述的无人机创建图像采集任务，确定无人机目标检测需求及其大体的行驶路线；
步骤103、根据无人机的实际规格和所进行的目标检测任务需求，对相应的模型进行裁剪优化，形成最适合无人机采用的检测模型，并通过安全通道下载到所述的无人机中；
步骤104、根据无人机目标检测任务需求，选择最适合所述的5G基站运行的模型，并根据行驶路线，将针对任务的检测模型、图片质量评价模型以及与无人机进行交互的相关服务，通过安全通道定向推送给所述的5G基站，便于其未来快速加载；
步骤105、所述的无人机开始执行图像采集任务，飞行到相关区域上空，针对地面目标进行图像采集，使用无人机本地模型进行实时目标检测分析，确定目标对象，并进行多次拍照；
步骤106、所述的无人机将其采集的图像通过5G网络快速传到所述的5G基站，同时特别标明确信度不高的图像，请求所述的5G基站提供服务，完成进一步的图像处理；
步骤107、所述的5G基站接收来自所述的无人机发送的图像，对图像采用基站本地针对本次无人机图像采集任务的目标检测模型进行检测，确定检测结果；
步骤108、所述的5G基站根据来自无人机图像序列，进行分析检测，综合置信度、图片质量等多种因素，规划最佳拍摄地点，并反馈给所述的无人机；
步骤109、所述的无人机根据来自所述的5G基站的反馈，实时调整其飞行线路，更改无人机位置和角度，进行拍摄；
步骤110、反复进行步骤105至步骤109，持续提高采集图像质量，满足采集任务。
步骤111、所述的5G基站将所述的无人机采集的图像暂存在本地，并根据实际的采集任务需求，进行图像的分类和压缩，上传到所述的云中心；
步骤112、(可选的)当采集任务时效性不强时，所述的5G基站可以选择网络相对空闲时刻，进行压缩上传到所述的云中心；
步骤113、所述的无人机执行完图像采集任务；
步骤114、所述的云中心根据任务执行情况，对图像进行进一步处理，并将本次收集的图像用于该次任务类型目标检测模型的训练，持续提高检测精度。
本发明的有益效果是
通过云中心统一管理无人机任务，针对无人机执行的不同任务产生的目标检测需求，结合业务逻辑，进行有针对性的模型训练，并根据无人机的规格及任务规格进行多维度的模型剪裁优化，赋能给无人机，使其具备实时分析处理的能力，解决无人机本身功耗、体积限制带来的高能耗计算问题；同时根据无人机执行的任务，将涉及的优化后相关检测模型、评价模型及相关服务，推送到5G边缘基站端，充分利用5G网络的高速传输能力和5G基站的边缘智能能力，通过边缘计算节点和无人机之间的互动，缓解无人机资源的不足，同时提升无人机的实时目标检测准确率，并根据5G边缘计算节点的反馈，进行图像采集路线规划，提升采集图像任务的执行效率，进而提升最终采集图像的图像质量。另外，无人机采集的图像暂存在边缘基站，在一定程度上也提升了无人机的续航能力，通过统一分时上传到云中心用于未来的模型优化，在更加高效的使用网络带宽和计算资源的同时，也持续提升了目标检测识别精度。
附图说明
图1是无人机执行任务参与节点示意图。
图2是无人机执行图像采集和目标检测任务流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过云中心统一管理无人机任务，针对无人机执行的不同任务产生的目标检测需求，结合业务逻辑，进行有针对性的模型训练，并根据无人机的规格及任务规格进行多维度的模型剪裁优化，赋能给无人机，使其具备实时分析处理的能力，解决无人机本身功耗、体积限制带来的高能耗计算问题；同时根据无人机执行的任务，将涉及的优化后相关检测模型、评价模型及相关服务，推送到5G边缘基站端，充分利用5G网络的高速传输能力和5G基站的边缘智能能力，通过边缘计算节点和无人机之间的互动，缓解无人机资源的不足，同时提升无人机的实时目标检测准确率，并根据5G边缘计算节点的反馈，进行图像采集路线规划，提升采集图像任务的执行效率，进而提升最终采集图像的图像质量。另外，无人机采集的图像暂存在边缘基站，在一定程度上也提升了无人机的续航能力，通过统一分时上传到云中心用于未来的模型优化，在更加高效的使用网络带宽和计算资源的同时，也持续提升了目标检测识别精度。
如图1中所示，云中心聚集大量计算资源，对于无人机执行的目标检测任务进行模型训练，并进行多维度剪裁优化，结合业务逻辑，将服务和模型分别推送到5G边缘基站端和无人机终端。无人机通过5G网络实时与边缘计算节点进行交互，共同实现无人机采集图像的实时目标检测。另外，边缘基站提供存储功能，可将无人机采集的图像暂存在边缘基站，并统一分时上传到云中心用于未来的模型优化，进一步提升识别精度，在一定程度也提升了无人机的续航能力。
其中，
所述的无人机带有图像采集装置，并且具有一定的计算和存储能力，可以加载云中心训练裁剪优化后、专门针对无人机的目标检测模型，在无人机端进行实时目标检测推理，通过5G通信模块，完成与5G基站及云中心的交互，完成协同任务，另外，无人机具备数据压缩功能，进一步减少存储和网络带宽；
所述的5G基站是具备边缘计算能力的节点，包含计算、存储、网络的能力，对外提供5G网络服务，并向上对接核心网连接云中心，5G基站可以实现目标检测、数据暂存、安全认证、无人机交互控制、数据压缩、分时上传等服务，与所述的无人机实现双向消息传输及行动互动，并与所述的云中心进行双向通信，及时更新管理本节点组件服务；
所述的云中心实现目标检测任务的分发以及目标检测模型的多维度剪裁优化，并将服务和模型，根据5G基站及无人机的实际规格以及其业务需求进行推送，实现对5G基站和无人机的管理，云端通过持续收集的来自边缘基站和无人机采集的图像进行模型训练优化，持续提升识别精度。
为了描述清楚，以下提到的无人机除了具备5G通信模块，还具备图像采集模块、数据存储模块、计算分析模块、位置定位模块、安全认证模块等，其中无人机与5G基站边缘节点之间可以采用握手协议相互认证形成安全信道，并通过加密传输数据，保证其安全性；无人机采用的目标检测算法，可以是SSD算法、YOLO算法等。本领域技术人员将理解的是，除了使用以上终端和算法之外，根据本发明的实施方式的构造也能够应用于其他场景之上。
下面将结合具体的实施例对本发明提供的方法过程进行详细的说明。
无人机执行图像采集和目标检测任务
参考图2，无人机执行图像采集和目标检测任务包括以下步骤：
步骤101、所述的云中心聚集大量硬件资源，针对无人机采集图片的目标检测任务，利用实际收集的图像进行模型训练，形成相应的检测模型；
步骤102、通过所述的云中心为所述的无人机创建图像采集任务，确定无人机目标检测需求及其大体的行驶路线；
步骤103、根据无人机的实际规格和所进行的目标检测任务需求，对相应的模型进行裁剪优化，形成最适合无人机采用的检测模型，并通过安全通道下载到所述的无人机中；
步骤104、根据无人机目标检测任务需求，选择最适合所述的5G基站运行的模型，并根据行驶路线，将针对任务的检测模型、图片质量评价模型以及与无人机进行交互的相关服务，通过安全通道定向推送给所述的5G基站，便于其未来快速加载；
步骤105、所述的无人机开始执行图像采集任务，飞行到相关区域上空，针对地面目标进行图像采集，使用无人机本地模型进行实时目标检测分析，确定目标对象，并进行多次拍照；
步骤106、所述的无人机将其采集的图像通过5G网络快速传到所述的5G基站，同时特别标明确信度不高的图像，请求所述的5G基站提供服务，完成进一步的图像处理；
步骤107、所述的5G基站接收来自所述的无人机发送的图像，对图像采用基站本地针对本次无人机图像采集任务的目标检测模型进行检测，确定检测结果；
步骤108、所述的5G基站根据来自无人机图像序列，进行分析检测，综合置信度、图片质量等多种因素，规划最佳拍摄地点，并反馈给所述的无人机；
步骤109、所述的无人机根据来自所述的5G基站的反馈，实时调整其飞行线路，更改无人机位置和角度，进行拍摄；
步骤110、反复进行步骤105至步骤109，持续提高采集图像质量，满足采集任务。
步骤111、所述的5G基站将所述的无人机采集的图像暂存在本地，并根据实际的采集任务需求，进行图像的分类和压缩，上传到所述的云中心；
步骤112、(可选的)当采集任务时效性不强时，所述的5G基站可以选择网络相对空闲时刻，进行压缩上传到所述的云中心；
步骤113、所述的无人机执行完图像采集任务；
步骤114、所述的云中心根据任务执行情况，对图像进行进一步处理，并将本次收集的图像用于该次任务类型目标检测模型的训练，持续提高检测精度。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种5G环境下无人机目标检测方法，其特征在于，
利用云中心聚集计算资源，对于无人机执行的目标检测任务进行模型训练，并进行多维度剪裁优化，结合业务逻辑，将服务和模型分别推送到5G边缘基站端和无人机终端；无人机通过5G网络实时与边缘计算节点进行交互，共同实现无人机采集图像的实时目标检测；另外，边缘基站提供存储功能，将无人机采集的图像暂存在边缘基站，并统一分时上传到云中心用于未来的模型优化。
2.根据权利要求1所述的方法，其特征在于，
利用5G高带宽高速网络和5G基站边缘智能服务，结合无人机的终端侧的计算能力，将无人机航拍获得的图像实时进行检测，无法确定的目标通过5G回传到5G基站侧进行分析，并将结果实时反馈到无人机，改变无人机行进方式，变换角度或调整传感设备完成目标检测任务。
3.根据权利要求1或2所述的方法，其特征在于，
通过云端中心统一管理边缘智能计算节点，根据无人机目标检测任务对边缘节点进行智能模型和服务的个性化分配，同时收集无人机采集图像，用于云端目标检测模型的持续优化。
4.根据权利要求3所述的方法，其特征在于，
所述无人机具有计算和存储能力，可加载云中心训练裁剪优化后、专门针对无人机的目标检测模型，在无人机端进行实时目标检测推理，通过5G通信模块，完成与5G基站及云中心的交互，完成协同任务。
5.根据权利要求4所述的方法，其特征在于，
无人机具备数据压缩功能，可进一步减少存储和网络带宽。
6.根据权利要求4或5所述的方法，其特征在于，
所述的5G基站是具备边缘计算能力的节点，包含计算、存储、网络的能力，对外提供5G网络服务，并向上对接核心网连接云中心，5G基站可以实现目标检测、数据暂存、安全认证、无人机交互控制、数据压缩、分时上传服务，与无人机实现双向消息传输及行动互动，并与云中心进行双向通信，及时更新管理本节点组件服务。
7.根据权利要求6所述的方法，其特征在于，
所述的云中心实现目标检测任务的分发以及目标检测模型的多维度剪裁优化，并将服务和模型，根据5G基站及无人机的实际规格以及其业务需求进行推送，实现对5G基站和无人机的管理，云端通过持续收集的来自边缘基站和无人机采集的图像进行模型训练优化，持续提升识别精度。
8.根据权利要求7所述的方法，其特征在于，
操作步骤如下：
包括：
步骤101、云中心聚集硬件资源，针对无人机采集图片的目标检测任务，利用实际收集的图像进行模型训练，形成相应的检测模型；
步骤102、通过云中心为无人机创建图像采集任务，确定无人机目标检测需求及其大体的行驶路线；
步骤103、根据无人机的实际规格和所进行的目标检测任务需求，对相应的模型进行裁剪优化，形成最适合无人机采用的检测模型，并通过安全通道下载到所述的无人机中；
步骤104、根据无人机目标检测任务需求，选择最适合所述的5G基站运行的模型，并根据行驶路线，将针对任务的检测模型、图片质量评价模型以及与无人机进行交互的相关服务，通过安全通道定向推送给所述的5G基站，便于其未来快速加载；
步骤105、所述的无人机开始执行图像采集任务，飞行到相关区域上空，针对地面目标进行图像采集，使用无人机本地模型进行实时目标检测分析，确定目标对象，并进行多次拍照；
步骤106、所述的无人机将其采集的图像通过5G网络快速传到所述的5G基站，同时特别标明确信度不高的图像，请求所述的5G基站提供服务，完成进一步的图像处理；
步骤107、所述的5G基站接收来自所述的无人机发送的图像，对图像采用基站本地针对本次无人机图像采集任务的目标检测模型进行检测，确定检测结果；
步骤108、所述的5G基站根据来自无人机图像序列，进行分析检测，综合置信度、图片质量因素，规划最佳拍摄地点，并反馈给所述的无人机；
步骤109、所述的无人机根据来自所述的5G基站的反馈，实时调整其飞行线路，更改无人机位置和角度，进行拍摄；
步骤110、反复进行步骤105至步骤109，持续提高采集图像质量，满足采集任务；
步骤111、5G基站将无人机采集的图像暂存在本地，并根据实际的采集任务需求，进行图像的分类和压缩，上传到云中心；
步骤112、无人机执行完图像采集任务；
步骤113、云中心根据任务执行情况，对图像进行进一步处理，并将本次收集的图像用于该次任务类型目标检测模型的训练，持续提高检测精度。
9.根据权利要求8所述的方法，其特征在于，
当采集任务时效性不强时，5G基站选择网络相对空闲时刻，进行图像压缩并上传到云中心。
CN201910599417.7A 2019-07-04 2019-07-04 一种5g环境下无人机目标检测方法 Active CN110287945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599417.7A CN110287945B (zh) 2019-07-04 2019-07-04 一种5g环境下无人机目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599417.7A CN110287945B (zh) 2019-07-04 2019-07-04 一种5g环境下无人机目标检测方法

Publications (2)

Publication Number Publication Date
CN110287945A true CN110287945A (zh) 2019-09-27
CN110287945B CN110287945B (zh) 2021-03-16

Family

ID=68021866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599417.7A Active CN110287945B (zh) 2019-07-04 2019-07-04 一种5g环境下无人机目标检测方法

Country Status (1)

Country Link
CN (1) CN110287945B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111431986A (zh) * 2020-03-18 2020-07-17 宁波智诚祥科技发展有限公司 基于5g和ai云边协同的工业智能质检***
CN111486869A (zh) * 2020-04-22 2020-08-04 电子科技大学 一种基于5g的分布式飞行校验***和方法
CN111582016A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 基于云边协同深度学习的智能免维护电网监控方法及***
CN112055178A (zh) * 2020-09-07 2020-12-08 河南浩宇空间数据科技有限责任公司 一种应用于无人机低延迟5g通讯***
CN112113150A (zh) * 2020-08-11 2020-12-22 苏州辰航致远智能科技有限公司 一种基于5g通信的管道检测***及其远程控制方法
CN112289032A (zh) * 2020-11-05 2021-01-29 浙江点辰航空科技有限公司 一种无人机高速公路自动巡检方法
CN112367400A (zh) * 2020-11-12 2021-02-12 广东电网有限责任公司 一种边云协同的电力物联网智能巡检方法及***
CN112859907A (zh) * 2020-12-25 2021-05-28 湖北航天飞行器研究所 少样本条件下基于三维特效仿真的火箭残骸高空检测方法
CN112950396A (zh) * 2021-03-08 2021-06-11 中国联合网络通信集团有限公司 基于无人机的自动化理赔方法、理赔平台及***
CN113067872A (zh) * 2021-03-19 2021-07-02 航天时代飞鸿技术有限公司 一种面向无人***的专网云指控***
CN113534832A (zh) * 2021-08-03 2021-10-22 国网江苏省电力有限公司泰州供电分公司 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
CN113534829A (zh) * 2021-06-11 2021-10-22 南京邮电大学 一种基于边缘计算的无人机日常巡逻检测***
CN113746524A (zh) * 2020-05-29 2021-12-03 青岛云世纪信息科技有限公司 一种基于5g的无人机互联***
CN114020006A (zh) * 2021-09-26 2022-02-08 佛山中科云图智能科技有限公司 无人机辅助降落方法、装置、存储介质以及电子设备
CN112130588B (zh) * 2020-08-27 2022-03-01 东风汽车集团有限公司 一种搜寻目标人物的方法、车载终端及无人机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076172A1 (en) * 2013-09-27 2017-03-16 At&T Mobility Ii Llc Method and apparatus for image collection and analysis
CN107679484A (zh) * 2017-09-28 2018-02-09 辽宁工程技术大学 一种基于云计算存储的遥感图像目标自动检测与识别方法
CN108198439A (zh) * 2018-01-24 2018-06-22 济南浪潮高新科技投资发展有限公司 一种基于雾计算的城市智能交通控制方法
CN108549384A (zh) * 2018-05-21 2018-09-18 济南浪潮高新科技投资发展有限公司 一种5g环境下远程控制自动驾驶方法
CN108684047A (zh) * 2018-07-11 2018-10-19 北京邮电大学 一种无人机承载小基站通信***与方法
CN108845885A (zh) * 2018-07-04 2018-11-20 济南浪潮高新科技投资发展有限公司 一种面向自动驾驶的边缘计算资源管理方法
CN109765939A (zh) * 2018-12-21 2019-05-17 中国科学院自动化研究所南京人工智能芯片创新研究院 无人机的云台控制方法、装置和存储介质
CN109828845A (zh) * 2019-03-01 2019-05-31 长沙理工大学 一种基于边缘计算的绝缘子热成像实时诊断***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076172A1 (en) * 2013-09-27 2017-03-16 At&T Mobility Ii Llc Method and apparatus for image collection and analysis
CN107679484A (zh) * 2017-09-28 2018-02-09 辽宁工程技术大学 一种基于云计算存储的遥感图像目标自动检测与识别方法
CN108198439A (zh) * 2018-01-24 2018-06-22 济南浪潮高新科技投资发展有限公司 一种基于雾计算的城市智能交通控制方法
CN108549384A (zh) * 2018-05-21 2018-09-18 济南浪潮高新科技投资发展有限公司 一种5g环境下远程控制自动驾驶方法
CN108845885A (zh) * 2018-07-04 2018-11-20 济南浪潮高新科技投资发展有限公司 一种面向自动驾驶的边缘计算资源管理方法
CN108684047A (zh) * 2018-07-11 2018-10-19 北京邮电大学 一种无人机承载小基站通信***与方法
CN109765939A (zh) * 2018-12-21 2019-05-17 中国科学院自动化研究所南京人工智能芯片创新研究院 无人机的云台控制方法、装置和存储介质
CN109828845A (zh) * 2019-03-01 2019-05-31 长沙理工大学 一种基于边缘计算的绝缘子热成像实时诊断***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VIPIN N SATHI等: "A Novel Protocol for Securing Network Slice Component Association and Slice Isolation in 5G Networks", 《THE 21ST ACM INTERNATIONAL CONFERENCE》 *
张宁: "基于无人机平台的动态目标检测***开发", 《中国优秀硕士学位论文全文数据库工程科技II辑》 *
徐小夏等: "5G时代测绘地理信息的新发展", 《中国测绘》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582016A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 基于云边协同深度学习的智能免维护电网监控方法及***
CN111431986B (zh) * 2020-03-18 2023-02-28 宁波智诚祥科技发展有限公司 基于5g和ai云边协同的工业智能质检***
CN111431986A (zh) * 2020-03-18 2020-07-17 宁波智诚祥科技发展有限公司 基于5g和ai云边协同的工业智能质检***
CN111486869A (zh) * 2020-04-22 2020-08-04 电子科技大学 一种基于5g的分布式飞行校验***和方法
CN111486869B (zh) * 2020-04-22 2022-03-18 电子科技大学 一种基于5g的分布式飞行校验***和方法
CN113746524A (zh) * 2020-05-29 2021-12-03 青岛云世纪信息科技有限公司 一种基于5g的无人机互联***
CN112113150A (zh) * 2020-08-11 2020-12-22 苏州辰航致远智能科技有限公司 一种基于5g通信的管道检测***及其远程控制方法
CN112130588B (zh) * 2020-08-27 2022-03-01 东风汽车集团有限公司 一种搜寻目标人物的方法、车载终端及无人机
CN112055178A (zh) * 2020-09-07 2020-12-08 河南浩宇空间数据科技有限责任公司 一种应用于无人机低延迟5g通讯***
CN112289032A (zh) * 2020-11-05 2021-01-29 浙江点辰航空科技有限公司 一种无人机高速公路自动巡检方法
CN112367400A (zh) * 2020-11-12 2021-02-12 广东电网有限责任公司 一种边云协同的电力物联网智能巡检方法及***
CN112859907A (zh) * 2020-12-25 2021-05-28 湖北航天飞行器研究所 少样本条件下基于三维特效仿真的火箭残骸高空检测方法
CN112950396A (zh) * 2021-03-08 2021-06-11 中国联合网络通信集团有限公司 基于无人机的自动化理赔方法、理赔平台及***
CN113067872A (zh) * 2021-03-19 2021-07-02 航天时代飞鸿技术有限公司 一种面向无人***的专网云指控***
CN113534829A (zh) * 2021-06-11 2021-10-22 南京邮电大学 一种基于边缘计算的无人机日常巡逻检测***
CN113534829B (zh) * 2021-06-11 2024-04-05 南京邮电大学 一种基于边缘计算的无人机日常巡逻检测***
CN113534832A (zh) * 2021-08-03 2021-10-22 国网江苏省电力有限公司泰州供电分公司 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
CN113534832B (zh) * 2021-08-03 2024-03-15 国网江苏省电力有限公司泰州供电分公司 一种基于边缘计算的无人机巡检跟踪配网线飞行方法
CN114020006A (zh) * 2021-09-26 2022-02-08 佛山中科云图智能科技有限公司 无人机辅助降落方法、装置、存储介质以及电子设备

Also Published As

Publication number Publication date
CN110287945B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110287945A (zh) 一种5g环境下无人机目标检测方法
CN107544540B (zh) 一种应用于旋翼无人机的航线规划方法
US11763522B2 (en) 3D reconstruction method based on on-site edge-cloud collaboration for cultivated land
CN109286913A (zh) 基于蜂窝网联的无人机移动边缘计算***能耗优化方法
CN106774421A (zh) 一种无人机轨迹规划***
CN113422803B (zh) 一种基于端边云协同的无人机智能巡检任务无缝迁移方法
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN109275099A (zh) 水下无线传感器网络中基于voi的多auv高效数据收集方法
Ibn-Khedher et al. Edge computing assisted autonomous driving using artificial intelligence
CN110187716A (zh) 地质勘测无人机飞行控制方法和装置
Yan et al. Data offloading enabled by heterogeneous UAVs for IoT applications under uncertain environments
CN114327526A (zh) 一种移动边缘计算环境中的任务卸载方法及其应用
Yu et al. Energy-aware dynamic computation offloading for video analytics in multi-UAV systems
Tang et al. An offloading approach in fog computing environment
CN112788110A (zh) 一种基于云边协同模型优化的产品外观检测方法及其实现***
Amelin et al. Task allocation algorithm for the cooperating group of light autonomous unmanned aerial vehicles
Gad et al. Joint self-organizing maps and knowledge distillation-based communication-efficient federated learning for resource-constrained UAV-IoT systems
CN116578120A (zh) 无人机调度方法、装置、无人机***和算机设备
Xiao et al. Mobile-edge-platooning cloud: a lightweight cloud in vehicular networks
CN116436980A (zh) 一种实时视频任务端网边协同调度方法及装置
Jabour et al. An optimized approach for efficient-power and low-latency fog environment based on the PSO algorithm
CN113220311B (zh) 一种移动感知的云边端协同应用卸载方法、***及其存储介质
Geng et al. Research on task allocation of UAV cluster based on particle swarm quantization algorithm
CN115561790A (zh) 基于深度网络的星地云边协同对地目标识别方法及装置
CN112712453B (zh) 基于云计算的智慧城市管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210223

Address after: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Applicant after: INSPUR GROUP Co.,Ltd.

Address before: North 6th floor, S05 building, Langchao Science Park, 1036 Langchao Road, hi tech Zone, Jinan City, Shandong Province, 250100

Applicant before: SHANDONG INSPUR ARTIFICIAL INTELLIGENCE RESEARCH INSTITUTE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230423

Address after: S02 Building, 1036 Langchao Road, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan City, Shandong Province, 250000

Patentee after: Shandong Inspur innovation and entrepreneurship Technology Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: INSPUR GROUP Co.,Ltd.