CN111275760A - 一种基于5g与深度图像信息的无人机目标跟踪***及方法 - Google Patents
一种基于5g与深度图像信息的无人机目标跟踪***及方法 Download PDFInfo
- Publication number
- CN111275760A CN111275760A CN202010049718.5A CN202010049718A CN111275760A CN 111275760 A CN111275760 A CN 111275760A CN 202010049718 A CN202010049718 A CN 202010049718A CN 111275760 A CN111275760 A CN 111275760A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- target
- depth image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 17
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 claims abstract description 9
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 21
- 238000012544 monitoring process Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims description 9
- 230000036544 posture Effects 0.000 claims description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 23
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/40—Correcting position, velocity or attitude
- G01S19/41—Differential correction, e.g. DGPS [differential GPS]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/69—Spread spectrum techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于5G与深度图像信息的无人机目标跟踪***及方法,通过GPS和深度图像信息组合导航定位***,结合卫星导航的广泛性与视觉图形对场景的感知的优势;利用MPII数据集,融合改进Face recognition与改进的open‑pose算法,进行深度学习训练出高效的模型,并移植到工控模块中可以实时对目标识别与姿态估计;获取的目标姿态等数据通过前沿的5G技术与WiFi扩频等技术相结合的方式进行数据传输。与现有技术相比,本发明具有避免单一传输方式定位不准确且成本高的缺点,姿态估计准确、传输速率快等优点。
Description
技术领域
本发明涉及无人机目标跟踪技术领域,尤其是涉及一种基于5G与深度图像信息的无人机目标跟踪***及方法。
背景技术
无人机是一种无人驾驶的飞行器,它具有构造简单、成本低、机动性好、复杂环境适应性强等特点。随着嵌入式技术、自动化技术等高新科技的不断发展,无人机逐渐被用于各个方面,如搜索救援、军事侦察与电路巡检等。
目前在无人机跟踪方面,机载摄像装置是无人机感知探测的主要应用方式,例如军用作战无人机锁定并跟踪作战目标,在搜索救援任务中通过图像处理的方法确定需要救援的目标等。传统的目标跟踪装置往往都是固定不动的,如交通摄像监控、商场监控、银行监控等,这样就大大局限了目标跟踪的范围,在执行目标跟踪任务中很容易导致目标的丢失。考虑到无人机具有体积小、重量轻、飞行姿态灵活的特点,可以垂直起降、横飞、悬停、盘旋,并且可以负载飞行,使传感器具有更大的测量范围,进而具有更好的跟踪效果。然而传感器在不断扩大信息搜索范围的同时,增大了信息的复杂性和处理信息的难度。
目前无人机的导航***大多基于卫星导航,卫星导航的方式一般是全局性、单向广播,传输数据成本较高,且在一定条件下,例如多普勒噪声较大的时候,无法有效地将飞机的姿态信息发回地面,且在对人的识别应用中,准确率也不是很高,此外还存在传输链路不可靠以及在低空或者复杂的环境中卫星信号丢失而无法定位导航等问题。
为了使无人机在复杂情况下,实现对目标的准确跟踪与定位,更大限度的发挥无人机机动性强的特点,目前还面临以下难点:
(1)复杂的运动背景下实现高效识别目标并对目标进行跟踪;
(2)针对目标即时有效的对姿态进行估计;
(3)能够针对特定的姿态进行做出有效的反馈并实时传输到服务器端。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于5G与深度图像信息的无人机目标跟踪***及方法。
本发明的目的可以通过以下技术方案来实现:
一种基于5G与深度图像信息的无人机目标跟踪***,该***包括无人机飞行***、地面信息处理服务器端和地面无线接入设备。其中:
a、无人机飞行***包括:
深度摄像头,用于实现目标区域的深度图像实时采集;
工控模块,用于对无人机进行路径规划,并根据深度摄像头获取的深度图像进行人脸识别,以及获取目标对象的姿态估计信息;
飞控模块,用于控制无人机的飞行姿态,并按照规划线路控制无人机飞达指定位置;
5G模块,用于负责空地之间数据的收发服务,完成视频流的传输,以及实现空地之间各类数据发送和接收;
WiFi扩频模块,用于传输坐标及飞机姿态在内的信息至地面信息处理服务器端;
GPS模块,用于获取无人机在空中对地面目标进行跟踪定位时坐标信息,并将获取的信息发送至工控模块处理进行导航定位;
b地面信息处理服务器端包括:
WiFi扩频与5G收发模块,用于获取5G模块与WiFi扩频模块传回的相关图像与参数信息;
监控与控制平台,用于对目标的姿态实时监视并进行飞行安全的后台控制;
c、地面无线接入设备(AP基站)则用于传递无人机飞行***、地面信息处理服务器端的数据信息,以进行后续分析、监控等功能。。
所述的工控模块采用A*算法对无人机的路径进行规划。
所述的工控模块采用改进的open-pose姿态估计算法检测目标姿态信息。在人体姿态识别过程中,采用一个benchmark数据集进行深度学习模型的训练、测试。benchmark数据集优选采用MPII数据集。
所述的工控模块基于Face recognition库的人脸识别检测算法识别需要跟踪的目标对象。
所述的GPS模块基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位时坐标信息的计算。
优选地,所述的深度摄像头采用Intel realsense D415型号摄像头。
一种基于5G与深度图像信息的无人机目标跟踪方法,具体包括如下步骤:
S1、无人机采用A*算法对路径进行规划。
S2、利用深度摄像头拍摄目标深度图像,并根据Face_recognition库的人脸识别检测算法选取目标。
S3、采用改进的open-pose算法对识别的目标进行姿态估计。具体包括下列步骤:
31)采用MPII中的训练集与深度摄像头获取的目标图像作为训练数据,对改进的open-pose网络框架进行训练,生成可用的预训练模型;
32)采用MPII中的测试集和深度摄像头获取的目标图像作为测试数据,进行参数与性能优化;
33)利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法,实现目标的跟踪与姿态识别。
S4、基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位坐标计算,并基于计算的坐标与步骤S3获取的目标姿态进行导航飞行。
S5、将步骤S4中得到的坐标通过数据与深度摄像头捕捉到的视频通过5G模块传输至工控模块。
S6、无人机的工控模块调度飞控模块,并按照步骤S1规划的路径控制无人机的运行轨迹,实现对目标的跟踪。
与现有技术相比,本发明具有以下优点:
1)本发明利用GPS和深度图像信息组合导航定位***,结合卫星导航的广泛性与视觉图形对场景的感知的优势,避免单一传输方式定位不准确且成本高的缺点;
2)本发明创新地利用MPII数据集,融合改进Face recognition与改进的open-pose算法,进行深度学习训练出高效的模型,并移植到工控模块中可以实时对目标识别与姿态估计;在姿态识别的基础上,利用几何约束定义特定的姿态,可以随着跟踪目标的行为无人机进行姿态调整与必要的信息传输;
3)本发明将前沿的5G技术与WiFi扩频等技术相结合进行数据的传输,最新的5G通信技术具有低延迟高速率的特点,而选择WiFi扩频技术作为重要参数传输方式,WiFi扩频技术在有效距离与传输速率上都优于WiFi。
附图说明
图1为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪***的结构框图;
图2为本发明实施例提供的一种基于5G与深度图像信息的无人机目标跟踪方法的流程示意图;
图3为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中路径规划的原理示意图;
图4为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中人脸识别算法流程示意图;
图5为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中姿态估计网格示意图;
图6为本发明实施例中一种基于5G与深度图像信息的无人机目标跟踪方法中视觉导航算法原理图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例
图1是本发明实施例提供的一种基于无人机的姿态跟踪***的示意性框图,为了便于说明,仅仅示出了与本实施例相关的部分。
如图1所示,本实施例提供的一种基于5G与深度图像信息的无人机目标跟踪***,包括无人机飞行***、地面信息处理服务器端、地面无线接入设备(AP基站)。
其中,无人机飞行***主要包括深度摄像头、工控模块、飞控模块、5G模块、WiFi扩频模块、超声波模块。
深度摄像头实现目标区域的深度图像实时采集,其获得的数据通过5G模块传输到工控模块;
GPS模块用于获取无人机飞行状态下的定位坐标信息,并将获取的信息发送至工控模块处理;
工控模块是一台微型电脑,通过GPU进行深度学习算法的运行和分析,用于对无人机进行路径规划,并能够根据深度摄像头获取的深度图像进行人脸识别,并获取目标对象的姿态估计信息,进一步达到目标对象和无人机进行交互;
飞控模块控制着飞机的飞行姿态以及与各个模块相连接;
5G模块负责空地之间数据的收发服务,完成视频流的传输,以及实现空地之间各类数据发送和接收,如传送训练好的样本及视频图像信息等;
WiFi扩频模块则是通过WiFi扩频技术传输比较重要的坐标以及飞机姿态等信息;
超声波模块则是测量无人机距离地面的高度,从而实现地面端的实时监控和应急处理等服务。
地面信息处理服务器端包括监控与控制平台和WiFi与5G收发模块。监控与控制平台用于实现对目标的姿态实时监视并进行飞行安全的后台控制。WiFi与5G收发模块主要获取WiFi与扩频通信链路传回的相关图像与参数。
地面无线接入设备(AP基站)用于传递无人机飞行***、地面信息处理服务器端的数据信息,以进行后续分析、监控等功能。
工控模块的路径规划使用A*算法是启发式搜索,是一种尽可能基于现有信息的搜索策略,用于规划线路使无人机飞达目的地的安全距离。
工控模块的人脸识别采用的是基于Face recognition库的人脸识别检测算法,用于识别需要跟踪的目标对象。
工控模块的姿态估计使用改进的open-pose姿态估计算法,用于检测人体的一些关键点,如关节,五官等,通过关键点描述人体骨骼信息;人体骨骼关键点对于描述人体姿态,预测人体行为至关重要。
本发明的定位导航使用GPS与视觉信息导航相结合的方法。本发明的GPS模块基于GPS的差分定位算法实现对无人机在空中对地面目标进行跟踪定位时位置的计算,深度摄像头使用Intel的双目视觉摄像头采集现实生活中无人机需要跟踪目标人物的信息和周围场景的信息,获取深度信息估计,然后利用所采集的信息根据Face_recognition算法实现对目标人物进行跟踪。
如图2所示,本发明实施例提供的一种基于5G与深度图像信息的无人机目标跟踪方法,用于实现本实施例上述提供的跟踪***的跟踪功能。具体流程包括:
步骤一、无人机路径规划。
在Jetson-Nano模块上采用A*算法对无人机的路径进行规划,如图3所示,图中的点G为需要跟踪目标到达点,点S为无人机的现在位置,根据算法,无人机会先将之前预跑点的信息和11号点信息进行估计对比,然后根据列表中的点的欧式距离求出用时和步数最短路径,最后根据路径规划的线路飞达目的地的安全距离。
步骤二、无人机利用摄像头获取人脸信息,对目标进行人脸识别。
摄像头选用Intel realsense D415型号,拍摄目标人脸。摄像头采用Face_recognition库的人脸识别检测算法。人脸识别实际上是对人脸进行编码后再去计算两两人脸的相似度,Face_recognition库的人脸识别检测算法的流程图如图4所示。假设known_image是已知人脸库的图像,unknown_image是未录入人脸库的图像,分别利用face_encodings函数来映射成一个向量,再利用两个向量的内积来衡量相似度,compare_faces函数就是根据阈值确认是否是同一人脸。上述函数都是支持多个人脸计算的。另外compare_faces有个tolerance参数是控制阈值的,tolerance值越低表示准确度越高,容错率越低,默认为0.6。
步骤三、对识别的目标进行进一步的姿态估计。
在对特定的单人或多人目标识别的基础上,采用改进的open-pose算法,其核心思路是部分亲和字段(part affinity field)。其比自上而下的算法的好处在于:location和orientation(关节部位的几何位置与方向信息)信息都使用了。而且每一种肢体在关联的两个人物之间都有一个亲和字段(affinity field),其中的每一个像素都有一个二维向量的描述。若某个点有多个重叠的人,则对多个重叠的人向量求和,再除以人数。图5为本步骤所使用的算法网络结构图,图中F是由传统神经网络VGG19通过深度摄像头采集的深度图像生成的一组特征图,将其作为网络的输入,第一阶段产生一组检测置信度图S1与一组亲和度向量L1,阶段t产生相应的置信度图St与一组亲和度向量Lt,最终输出用来分配每个关键点属于哪个人体,网络是对每一个检测到的人体区域的关键点集合,学习从关键点集合到正常分布的关键点的映射。这一步叫做残差校正(residual correction),使用残差多层感知机(residual multilayer perceptron)来实现。采用感兴趣区域(RoI)合并的关键点检测,然后将它们馈送到残余多层感知机(MLP)中。同时考虑所有关节并学习关节的配置。本发明将用benchmark数据集中的训练集与深度摄像头获取的目标图像作为训练数据,对改进的open-pose网络框架进行训练,生成可用的预训练模型;然后采用benchmark数据集中的测试集和深度摄像头获取的目标图像作为测试数据,进行参数与性能优化;最后利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法,实现目标的跟踪与姿态识别。
步骤四、根据无人机上GPS模块的差分定位算法实现对无人机在空中对地面目标进行跟踪定位时坐标位置的计算,结合深度摄像头来对目标进行深度采集,可以准确得到目标的准确位置信息,如图6所示,使用改进的open-pose算法对深度摄像头获取的视频数据进行分析,对目前进行有效的跟踪与姿态调整。
差分定位是相对定位的一种特殊实现方式,它在定位区域内的一个或若干个己知点上设置GPS接收机作为基准站,连续跟踪观测视野内的所有GPS卫星伪距,经与已知距离对比,求出伪距修正值,再以一定的数据格式通过传输线路播送,定位区域内的所有接收机都能接收到该差分信息,从而对自己测量到的伪距进行修正,再利用修正后的伪距进行定位,差分定位是目前GPS实时定位中精度最高的一种定位方式,但是它需要数据传输线路,用户接收机要有差分数据接口,而且基准站的作用范围有限,一般限制在200km~300km。随着GPS定位技术的发展,差分的概念从普通伪距差分发展为载波相位查分、RTK等方式。本发明在无人机底座上安装有差分GPS定位模块,其模块集成了数据传输所需要的差分数据、接口、地面基准站等所需要的信息功能模块信息。根据深度摄像头中双目深度图像信息,空间点的三维重建模型,如图6所示双目测距的基础原理。
步骤五、将步骤四中得到的坐标通过数据与摄像头捕捉到的视频传输方式通过Wi-fi扩频通信和第五代Wi-Fi(5G WiFi)技术进行数据传输,视频数据传输给监控与控制平台进行监控与保存,将目标姿态数据传给无人机工控模块,并可以有效的抵抗信息传输过程中,由于反射与折射带来的不同程度的时间延迟,并且可以抗多普勒移,避免信息的失真,可以实现远距离的传输同时具有低功耗的特点。在计算机网络中,4G比3G是带宽和信道列数增加,而5G不仅会增加,而且在通信基站的数量也是大量增加,这也是5G的一个关键技术。这就与调制和解调的天线阵列相关,所以,另一个关键技术是全双工技术。第三个就是编码接入技术,多址码分编码技术。
步骤六、无人机的工控模块调度飞控模块,按照步骤一规划的路径控制无人机的运行轨迹。
为了验证本发明识别跟踪的准确性,本实施例使用改进的open-pose算法对人体多个部位的分别检测进行了相应的实验,实验结果如表1所示。
表1姿态估计识别的准确度分析
本发明采用的人体姿态识别所采用的数据集为一个benchmark数据集(the MPIIhuman multi-person dataset),将上述数据集的训练集与深度摄像头获取的目标图像作为训练数据,对改进的open-pose网络框架进行训练,并采用MPII中的测试集和深度摄像头获取的目标图像作为测试数据,进行参数与性能优化;最后利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法,实现目标的跟踪与姿态识别。评价指标是对所有的身体部位使用平均精度均值(mean Average Precision mAP),对比Deepcut和Deepercut获得了如表1所示的测试结果,对与头、肩、肘的检测和估计基本都能够达到接近80%的平均准确率,但是腕、臀、膝、踝部的检测和估计平均准确率相比于头、肩、肘的检测和估计会下降10个百分点左右,原因是基于算法对于头、肩、肘的特征提取优于其他部位,腕、臀、膝、踝等部受到目标个体和环境影响因素更大。
从上述内容可以看出,本实施例提供的一种基于5G与深度图像信息的无人机目标跟踪方法创新地结合改进的open-pose的姿态估计,利用上述数据集进行深度学习训练出高效的模型,并移植到工控模块中实时对目标进行姿态估计;并将前沿的5G技术与WiFi、扩频等技术相结合进行数据的传输。利用最新的5G通信技术,低延迟高速率的特点,选择WiFi扩频技术传输无人机包括坐标位置、姿态信息在内的重要参数信息,WiFi扩频技术在有效距离与传输速率上都优于WiFi。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,包括:
无人机飞行***:
深度摄像头,用于实现目标区域的深度图像实时采集;
工控模块,用于对无人机进行路径规划,并根据深度摄像头获取的深度图像进行人脸识别,以及获取目标对象的姿态估计信息;
飞控模块,用于控制无人机的飞行姿态,并按照规划线路控制无人机飞达指定位置;
5G模块,用于负责空地之间数据的收发服务,完成视频流的传输,以及实现空地之间各类数据发送和接收;
WiFi扩频模块,用于传输坐标及飞机姿态在内的信息至地面信息处理服务器端;
GPS模块,用于获取无人机在空中对地面目标进行跟踪定位时坐标信息,并将获取的信息发送至工控模块处理进行导航定位;
地面信息处理服务器端:
WiFi扩频与5G收发模块,用于获取5G模块与WiFi扩频模块传回的相关图像与参数信息;
监控与控制平台,用于对目标的姿态实时监视并进行飞行安全的后台控制;
地面无线接入设备。
2.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,所述的工控模块采用改进的open-pose姿态估计算法检测目标姿态信息。
3.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,在人体姿态识别过程中,采用一个benchmark数据集进行深度学习模型的训练、测试。
4.根据权利要求3所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,所述的benchmark数据集采用MPII数据集。
5.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,所述的工控模块基于Face recognition库的人脸识别检测算法识别需要跟踪的目标对象。
6.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,所述的GPS模块基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位时坐标信息的计算。
7.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,所述的工控模块采用A*算法对无人机的路径进行规划。
8.根据权利要求1所述的一种基于5G与深度图像信息的无人机目标跟踪***,其特征在于,所述的深度摄像头采用Intel realsense D415型号摄像头。
9.一种应用如权利要求1~8任一项所述的基于5G与深度图像信息的无人机目标跟踪***的跟踪方法,其特征在于,该方法包括下列步骤:
1)无人机采用A*算法对路径进行规划;
2)利用深度摄像头拍摄目标深度图像,并根据Face_recognition库的人脸识别检测算法选取目标;
3)采用改进的open-pose算法对识别的目标进行姿态估计;
4)基于GPS的差分定位算法对无人机在空中对地面目标进行跟踪定位坐标计算,并基于计算的坐标与步骤3)获取的目标姿态进行导航飞行;
5)将步骤4)中得到的坐标通过数据与深度摄像头捕捉到的视频通过5G模块传输至工控模块;
6)无人机的工控模块调度飞控模块,并按照步骤1)规划的路径控制无人机的运行轨迹,实现对目标的跟踪。
10.一种根据权利要求9所述的基于5G与深度图像信息的无人机目标跟踪方法,其特征在于,步骤3)具体包括下列步骤:
31)采用MPII中的训练集与深度摄像头获取的目标图像作为训练数据,对改进的open-pose网络框架进行训练,生成可用的预训练模型;
32)采用MPII中的测试集和深度摄像头获取的目标图像作为测试数据,进行参数与性能优化;
33)利用生成的预训练模型在无人机的工控模块上运行改进的open-pose算法,实现目标的跟踪与姿态识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010049718.5A CN111275760A (zh) | 2020-01-16 | 2020-01-16 | 一种基于5g与深度图像信息的无人机目标跟踪***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010049718.5A CN111275760A (zh) | 2020-01-16 | 2020-01-16 | 一种基于5g与深度图像信息的无人机目标跟踪***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111275760A true CN111275760A (zh) | 2020-06-12 |
Family
ID=70998884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010049718.5A Pending CN111275760A (zh) | 2020-01-16 | 2020-01-16 | 一种基于5g与深度图像信息的无人机目标跟踪***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111275760A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111824406A (zh) * | 2020-07-17 | 2020-10-27 | 南昌航空大学 | 一种基于机器视觉的公共安全自主巡查四旋翼无人机 |
CN112013820A (zh) * | 2020-09-04 | 2020-12-01 | 中山大学 | 一种面向无人机机载平台部署的实时目标检测方法及装置 |
CN112349096A (zh) * | 2020-10-28 | 2021-02-09 | 厦门博海中天信息科技有限公司 | 一种道路中智能识别行人的方法、***、介质及设备 |
CN112488029A (zh) * | 2020-12-10 | 2021-03-12 | 重庆邮电大学 | 一种基于空地协同的车辆检测方法 |
CN112486197A (zh) * | 2020-12-05 | 2021-03-12 | 哈尔滨工程大学 | 基于多源图像自适应选权的融合定位跟踪控制方法 |
CN113206967A (zh) * | 2021-03-31 | 2021-08-03 | 西安羚控电子科技有限公司 | 一种基于5g网络的无人机高清视频数据传输***及方法 |
CN113469139A (zh) * | 2021-07-30 | 2021-10-01 | 广州中科智云科技有限公司 | 无人机边缘侧嵌入式ai芯片的数据安全传输方法及*** |
CN113511115A (zh) * | 2021-05-28 | 2021-10-19 | 南昌智能新能源汽车研究院 | 一种基于双目视觉的汽车座椅姿态智能控制方法 |
CN113589328A (zh) * | 2021-08-09 | 2021-11-02 | 深圳市电咖测控科技有限公司 | 一种基于多gnss接收***的高精度gnss定位装置 |
CN115984956A (zh) * | 2022-12-16 | 2023-04-18 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析*** |
CN117151423A (zh) * | 2023-10-07 | 2023-12-01 | 仪征市枣林湾水利站 | 一种基于数据分析的水利河道施工管理***及其管理方法 |
CN117526009A (zh) * | 2024-01-08 | 2024-02-06 | 中建科工集团有限公司 | 虚拟电厂用站端接入设备及接入方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150071524A1 (en) * | 2013-09-11 | 2015-03-12 | Motorola Mobility Llc | 3D Feature Descriptors with Camera Pose Information |
CN105847684A (zh) * | 2016-03-31 | 2016-08-10 | 深圳奥比中光科技有限公司 | 无人机 |
CN106384097A (zh) * | 2016-09-20 | 2017-02-08 | 朱海燕 | 基于人脸识别的智能视频监控*** |
CN108111811A (zh) * | 2017-12-16 | 2018-06-01 | 广东容祺智能科技有限公司 | 一种基于5g网络数据通信的无人机通信***及通信方法 |
US20180186452A1 (en) * | 2017-01-04 | 2018-07-05 | Beijing Deephi Technology Co., Ltd. | Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation |
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
-
2020
- 2020-01-16 CN CN202010049718.5A patent/CN111275760A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150071524A1 (en) * | 2013-09-11 | 2015-03-12 | Motorola Mobility Llc | 3D Feature Descriptors with Camera Pose Information |
CN105847684A (zh) * | 2016-03-31 | 2016-08-10 | 深圳奥比中光科技有限公司 | 无人机 |
CN106384097A (zh) * | 2016-09-20 | 2017-02-08 | 朱海燕 | 基于人脸识别的智能视频监控*** |
US20180186452A1 (en) * | 2017-01-04 | 2018-07-05 | Beijing Deephi Technology Co., Ltd. | Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation |
CN109753076A (zh) * | 2017-11-03 | 2019-05-14 | 南京奇蛙智能科技有限公司 | 一种无人机视觉追踪实现方法 |
CN108111811A (zh) * | 2017-12-16 | 2018-06-01 | 广东容祺智能科技有限公司 | 一种基于5g网络数据通信的无人机通信***及通信方法 |
Non-Patent Citations (2)
Title |
---|
DIEGO MERCADO-RAVELL ET AL: "Visual detection and tracking with UAVs, following a mobile object", 《SPECIAL ISSUE ON ROBOT AND HUMAN INTERACTIVE》 * |
代淑娴等: "基于RPCCA的无人机目标跟踪定位算法", 《传感器与微***》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111824406A (zh) * | 2020-07-17 | 2020-10-27 | 南昌航空大学 | 一种基于机器视觉的公共安全自主巡查四旋翼无人机 |
CN112013820A (zh) * | 2020-09-04 | 2020-12-01 | 中山大学 | 一种面向无人机机载平台部署的实时目标检测方法及装置 |
CN112013820B (zh) * | 2020-09-04 | 2022-03-08 | 中山大学 | 一种面向无人机机载平台部署的实时目标检测方法及装置 |
CN112349096A (zh) * | 2020-10-28 | 2021-02-09 | 厦门博海中天信息科技有限公司 | 一种道路中智能识别行人的方法、***、介质及设备 |
CN112486197B (zh) * | 2020-12-05 | 2022-10-21 | 青岛民航凯亚***集成有限公司 | 基于多源图像自适应选权的融合定位跟踪控制方法 |
CN112486197A (zh) * | 2020-12-05 | 2021-03-12 | 哈尔滨工程大学 | 基于多源图像自适应选权的融合定位跟踪控制方法 |
CN112488029A (zh) * | 2020-12-10 | 2021-03-12 | 重庆邮电大学 | 一种基于空地协同的车辆检测方法 |
CN113206967A (zh) * | 2021-03-31 | 2021-08-03 | 西安羚控电子科技有限公司 | 一种基于5g网络的无人机高清视频数据传输***及方法 |
CN113511115A (zh) * | 2021-05-28 | 2021-10-19 | 南昌智能新能源汽车研究院 | 一种基于双目视觉的汽车座椅姿态智能控制方法 |
CN113469139A (zh) * | 2021-07-30 | 2021-10-01 | 广州中科智云科技有限公司 | 无人机边缘侧嵌入式ai芯片的数据安全传输方法及*** |
CN113469139B (zh) * | 2021-07-30 | 2022-04-05 | 广州中科智云科技有限公司 | 无人机边缘侧嵌入式ai芯片的数据安全传输方法及*** |
CN113589328A (zh) * | 2021-08-09 | 2021-11-02 | 深圳市电咖测控科技有限公司 | 一种基于多gnss接收***的高精度gnss定位装置 |
CN113589328B (zh) * | 2021-08-09 | 2024-01-12 | 深圳市电咖测控科技有限公司 | 一种基于多gnss接收***的高精度gnss定位装置 |
CN115984956A (zh) * | 2022-12-16 | 2023-04-18 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析*** |
CN115984956B (zh) * | 2022-12-16 | 2023-08-29 | 北京师范大学 | 一种人机协同学生课堂投入度多模态可视分析*** |
CN117151423A (zh) * | 2023-10-07 | 2023-12-01 | 仪征市枣林湾水利站 | 一种基于数据分析的水利河道施工管理***及其管理方法 |
CN117151423B (zh) * | 2023-10-07 | 2023-12-29 | 仪征市枣林湾水利站 | 一种基于数据分析的水利河道施工管理***及其管理方法 |
CN117526009A (zh) * | 2024-01-08 | 2024-02-06 | 中建科工集团有限公司 | 虚拟电厂用站端接入设备及接入方法 |
CN117526009B (zh) * | 2024-01-08 | 2024-03-19 | 中建科工集团有限公司 | 虚拟电厂用站端接入设备及接入方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111275760A (zh) | 一种基于5g与深度图像信息的无人机目标跟踪***及方法 | |
Li et al. | Toward location-enabled IoT (LE-IoT): IoT positioning techniques, error sources, and error mitigation | |
CN110850403B (zh) | 一种多传感器决策级融合的智能船水面目标感知识别方法 | |
CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
CN108832997B (zh) | 一种无人机群搜索救援方法及*** | |
Rantakokko et al. | Accurate and reliable soldier and first responder indoor positioning: Multisensor systems and cooperative localization | |
CN104729506B (zh) | 一种视觉信息辅助的无人机自主导航定位方法 | |
CN106384353A (zh) | 一种基于rgbd的目标定位方法 | |
CN113625774B (zh) | 局部地图匹配与端到端测距多无人机协同定位***和方法 | |
CN103852077A (zh) | 链路失效时无人机定位信息防欺骗自主判断方法 | |
KR20130037764A (ko) | 선박 통합모니터링을 위한 위성정보 및 선박정보의 통합방법 | |
CN116245916B (zh) | 一种面向无人艇的红外舰船目标跟踪方法及装置 | |
US11741702B2 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
CN106600652A (zh) | 一种基于人工神经网络的全景摄像头定位方法 | |
Li et al. | Location-Enabled IoT (LE-IoT): A survey of positioning techniques, error sources, and mitigation | |
CN111812978B (zh) | 一种多无人机协作slam方法与*** | |
CN105810023A (zh) | 机场起落架收放自动监测***及方法 | |
Varma et al. | Indoor localization for IoT applications: Review, challenges and manual site survey approach | |
Aggarwal | GPS-based localization of autonomous vehicles | |
Li et al. | Collaborative positioning for swarms: A brief survey of vision, LiDAR and wireless sensors based methods | |
Figueira et al. | MISSION-ORIENTED SENSOR ARRAYS AND UAVs–A CASE STUDY ON ENVIRONMENTAL MONITORING | |
Lee et al. | A feasibility study on smartphone localization using image registration with segmented 3d building models based on multi-material classes | |
Lombaerts et al. | Development and Field Test Results of Distributed Ground-Based Sensor Fusion Object Tracking | |
Wang | A driverless vehicle vision path planning algorithm for sensor fusion | |
Lombaerts et al. | Development and Field Test Results of Distributed Ground Sensor Fusion Based Object Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |
|
RJ01 | Rejection of invention patent application after publication |