CN115144867A - 一种基于无人机搭载三轴云台相机的目标检测定位方法 - Google Patents

Abstract

本发明是一种基于无人机搭载三轴云台相机的目标检测定位方法。本发明以无人机为平台结合三轴云台通过对视觉传感器采集得到的图像经过增强去噪、分割提取以后来捕获目标；并构建简单的定位数学几何模型，对现有图像数据结合相机参数进行分析与转化，为得到目标的实际位置坐标，云台相机时刻将目标锁定在视野中央，跟随目标移动，结合激光测距传感器得到的与目标之间的距离，及时准确地计算当前目标与无人机的相对位置；通过坐标转换计算出被监测目标的具***置。本发明在低成本、低信息量的情况下可以有效改善目标检测与定位***中运算手段复杂、成本高昂、鲁棒性及准确性较差的问题，为救援工作提供准确快速的定位***。

Description

一种基于无人机搭载三轴云台相机的目标检测定位方法

技术领域

本发明涉及目标检测领域，具体是一种一种基于无人机搭载三轴云台相机结合TinyML进行目标实时检测与定位的方法。

背景技术

摄像头作为一种很重要的视觉监测设备，可以在固定的区域远距离为人类获取当地的有用信息。随着监控设备数量的增加，视频监控已经逐渐成为维护社会治安和法治的重要工具，也成为智慧城市中协调物流交通、检测安全隐患的重要支撑。但是在一些场合下固定摄像头会被遮挡，留下监控死角，目标可以轻松走出监控区域，还存有很多安全隐患。但大面积密集部署固定监控***需要极高的成本，也会造成通信网络的压力。无人机具有高空的开阔视角，三轴云台相机具有很高的空间自由度，可以作为追踪和监视***的重要组成部分，结合RTK定位技术通过空间几何关系，可以很好的对目标进行实时定位。

基于无人机追踪已经有了一些算法和模型。一方面，目前的实现方式复杂，另一方面，运算时占用了过多资源。如何充分利用有限信息及相机参数信息，快速、准确地检测运动目标并且不会受外界地理位置影响实时得到被测目标的位置信息，利用无人机搭载云台，结合TinyML进行目标的实时检测提取与定位便是解决这一问题的重要方法。

发明内容

针对现有技术存在的问题，本发明公开一种基于无人机搭载三轴云台相机的目标检测定位方法，在低成本、低信息量的情况下建立快速准确的火源目标检测与定位***。

为了解决所述技术问题，本发明采用的技术方案是：一种基于无人机搭载三轴云台相机的目标检测定位方法，包括以下步骤：

S01)、将三轴云台固定在无人机底部，传感器固定在三轴云台下方杆臂处，传感器视觉传感器与激光测距传感器；

S02)、进行三轴云台相机与无人机姿态的标定，姿态通过各自携带的IMU传感器进行姿态解算；

S03)、将TinyML部署至机载应用平台，然后通过视觉传感器实时捕捉视频信息，将视频流数据输入部署好的TinyML检测模型进行检测，发现视野中出现目标后，获取目标在图像中所处的位置，当目标被***捕捉到时，识别后将目标圈在矩形框内，提取矩形框对角坐标，通过中点坐标公式计算得出矩形框中心坐标，与视野中心进行偏移量计算，得到偏移量坐标(Δx，Δy)，通过(Δx，Δy)矫正无人机进行移动，使得目标始终位于中心点，此时激光测距仪开启工作，通过读取激光测距仪数据，得到无人机与目标的距离L；

S04)、通过步骤S02)、S03)得到无人机与目标的距离L以及相对角度，已相机为原点建立坐标系，通过以下计算得到P点相对于O点的位置坐标，P点为目标所在位置，O点为相机位置：

Z′＝L*cosβ，

X′＝L*sinβ*sinα，

Y′＝L*sinβ*cosγ，其中L表示无人机与目标的距离，α、β、γ分别表示P点相对O点X轴、Z轴、Y轴的夹角；

S05)、获取无人机定位，即O点位置坐标，通过机载RTK卫星导航定位接收机获取机身在导航坐标系中的经度、纬度以及高度，通过坐标转换矩阵

即可计算出目标在导航坐标系中的真实坐标点，即目标的经度、纬度以及高度。

进一步的，云台相机与无人机姿态的标定过程为：

S21)、选取四元数来确定无人机航向角，四元数的方程如公式(1)所示：

其中

Q、W分别表示四元数关于时间的微分、四元数、角速度数值，四元数Q＝q₀+q₁i+q₂j+q₃k，q₀为四元数实部，q₁、q₂、q₃为虚部，i、j、k为虚数单位，t0为运动的初始时刻，Q₀为四元数的初值；

为角速度的初值，由陀螺仪得到其矩阵形式：

其中T_s表示求微分的时间间隔，ω₁、ω₂、ω₃分别表示空间中X、Y、Z三轴分别的角速度，Ω(ω)表示

关于角速度的函数表示；

S22)、设定在一个采样周期内角速度是常量，对公式(2)求差分得到离散域的四元数公式为：

其中Qk、Qk+1分别表示第k、k+1个采样时刻的四元数，I表示单位矩阵，Ω(ωTs)表示Ω(ω)代入自变量T_s后的函数表示，

由四元数确定的b系至R系的坐标变换矩阵为：其中b系是载体坐标系，R系表示导航坐标系；

当参考坐标系R是导航坐标系时，三次基本旋转对应的坐标变换阵为：

其中横滚角为R、俯仰角为P、偏航角为Y，则

该角度作为相机沿三个方向的转动角度，与初始平台的角度做差得到相机转动的偏移量。

进一步的，本方法用于检测定位火源。

进一步的，步骤S03)中，TinyML检测模型对视频数据流经过增强去噪、分割提取以后来捕获目标。

本发明的有益效果：本发明提供了一种基于无人机搭载三轴云台相机得目标检测定位方法。其只要是利用搭载在无人机上的摄像头以及激光测距传感器确定火源与无人机的相对位置，然后通过RTK获取到无人机自身的精确定位数据，然后通过坐标系转换的方式将目标的相对位置转换成实际导航坐标系位置。在低成本、低信息量的情况下建立快速准确的火源目标检测与定位***。

附图说明

图1为无人机搭载三轴云台相机及激光测距传感器的示意图；

图2为目标圈在矩形框内的示意图；

图3为目标与相机相对位置坐标系的示意图；

图中：1、电机I，2、电机II，3、电机III，4、杆臂。

具体实施方式

下面结合具体实施例对本发明作进一步的说明。

实施例1

本实施例公开一种基于无人机搭载三轴云台相机并结合TinyML进行目标实时检测与定位的方法，具体用于检测定位火情，实现本方法需要无人机、三轴云台以及传感器，如图1所示，三轴云台通过电机I1固定在无人机底部，传感器固定在云台下方杆臂处，即杆臂4上安装有视觉传感器与激光测距传感器，通过标定将激光测距传感器的测量点指定在图像中心点处。本实施例中，视觉传感器就是相机。

所有的数据处理采用ARM高性能深度学***台通信的5G网络通信部分。在串行通讯时，要求通讯双方都采用一个标准接口，使不同的设备可以方便地连接起来进行通讯。RS485是最常用的一种串行通信接口。5G网络通信模块具有通信速度快、网络频谱宽、通信灵活等特点，因此用来作为连接远程监控平台的桥梁。

本方法包括以下步骤：

S01)、将三轴云台固定在无人机底部，传感器固定在三轴云台下方杆臂处，传感器视觉传感器与激光测距传感器，视觉传感器就是相机；

S02)、进行三轴云台相机与无人机姿态的标定，姿态通过各自携带的IMU传感器进行姿态解算；

在初始静止阶段，无人机有一个空间初始姿态，横滚角俯仰角在水平地面上接近于0，偏航角根据机头方向来确定，同样云台相机也有一个类似姿态，标定是需要相机与无人机的相对姿态保持一致。

S03)、将TinyML部署至机载应用平台，然后通过图像采集装置实时捕捉视频信息，将视频流数据输入部署好的TinyML检测模型进行检测，通过增强去噪、分割提取发现视野中出现目标后，获取目标在图像中所处的位置，当目标被***捕捉到时，如图2所示，识别后将目标圈在矩形框内，提取矩形框对角坐标，通过中点坐标公式计算得出矩形框中心坐标，与视野中心进行偏移量计算，得到偏移量坐标(Δx，Δy)，通过(Δx，Δy)矫正无人机进行移动，使得目标始终位于中心点，此时激光测距仪开启工作，通过读取激光测距仪数据，得到无人机与目标的距离L；

S04)、通过步骤S02)、S03)得到无人机与目标的距离L以及相对角度，步骤S02)的标定会让相机的视角方向与无人机一致，这一步骤中相机跟踪物体时相对于无人机会有一个转动，这个转动的角度就是相对角度。

如图3所示，已相机为原点建立坐标系，通过以下计算得到P点相对于O点的位置坐标，P点为目标所在位置，O点为相机位置：

Z′＝L*cosβ，

X′＝L*sinβ*sinα，

Y′＝L*sinβ*cosγ，其中L表示无人机与目标的距离，α、β、γ分别表示P点相对O点X轴、Z轴、Y轴的夹角；

S05)、获取无人机定位，即O点位置坐标，通过机载RTK卫星导航定位接收机获取机身在导航坐标系中的经度、纬度以及高度，通过坐标转换矩阵

即可计算出目标在导航坐标系中的真实坐标点，即目标的经度、纬度以及高度。

本实施例中，云台相机与无人机姿态的标定过程为：

S21)、选取四元数来确定无人机航向角，四元数的方程如公式(1)所示：

其中

Q、W分别表示四元数关于时间的微分、四元数、角速度数值，四元数Q＝q₀+q₁i+q₂j+q₃k，q₀为四元数实部，q₁、q₂、q₃为虚部，i、j、k为虚数单位，t₀为运动的初始时刻，Q₀为四元数的初值；

为角速度的初值，由陀螺仪得到其矩阵形式：

其中T_s表示求微分的时间间隔，ω₁、ω₂、ω₃分别表示空间中X、Y、Z三轴分别的角速度，Ω(ω)表示

关于角速度的函数表示，比如f(x)这种表示；

S22)、设定在一个采样周期内角速度是常量，对公式(2)求差分得到离散域的四元数公式为：

其中Q_k、Q_k+1分别表示第k、k+1个采样时刻的四元数，I表示单位矩阵，Ω(ωT_s)表示Ω(ω)代入自变量T_s后的函数表示，

由四元数确定的b系至R系的坐标变换矩阵为：其中b系是载体(云台相机)坐标系，R系表示参考坐标系；

当参考坐标系R是导航坐标系时，三次基本旋转对应的坐标变换阵为：

其中横滚角为R、俯仰角为P、偏航角为Y，则

该角度作为相机沿三个方向的转动角度，与初始平台的角度做差得到相机转动的偏移量。

本发明是一种基于无人机搭载三轴云台相机结合TinyML进行火源目标实时检测与定位的装置与方法。本发明提出的方案，以无人机结合三轴云台来捕获火源目标；为识别到火源目标，将TinyML部署至ARM机载嵌入式应用平台进行火源识别，识别到火源后云台相机时刻将目标锁定在视野中央，跟随目标移动，结合激光测距传感器得到的与火源之间的距离，通过数学推导计算当前火源目标与无人机的相对位置，将相对位置转换到导航系坐标系中，便可以得到被监测火源的真实地理位置。本发明不局限于火源检测，对于其他目标定位同样适用。

以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (4)

1.一种基于无人机搭载三轴云台相机的目标检测定位方法，其特征在于：包括以下步骤：

S01)、将三轴云台固定在无人机底部，传感器固定在三轴云台下方杆臂处，传感器包括视觉传感器与激光测距传感器；

S02)、进行三轴云台相机与无人机姿态的标定，姿态通过各自携带的IMU传感器进行姿态解算；

S03)、将TinyML部署至机载应用平台，然后通过视觉传感器实时捕捉视频信息，将视频流数据输入部署好的TinyML检测模型进行检测，发现视野中出现目标后，获取目标在图像中所处的位置，当目标被***捕捉到时，识别后将目标圈在矩形框内，提取矩形框对角坐标，通过中点坐标公式计算得出矩形框中心坐标，与视野中心进行偏移量计算，得到偏移量坐标(Δx，Δy)，通过(Δx，Δy)矫正无人机进行移动，使得目标始终位于中心点，此时激光测距仪开启工作，通过读取激光测距仪数据，得到无人机与目标的距离L；

S04)、通过步骤S02)、S03)得到无人机与目标的距离L以及相对角度，已视觉传感器为原点建立坐标系，通过以下计算得到P点相对于O点的位置坐标，P点为目标所在位置，O点为相机位置：

Z′＝L*cosβ，

X′＝L*sinβ*sinα，

Y′＝L*sinβ*cosγ，

其中L表示无人机与目标的距离，α、β、γ分别表示P点相对O点X轴、Z轴、Y轴的夹角；

S05)、获取无人机定位，即O点位置坐标，通过机载RTK卫星导航定位接收机获取机身在导航坐标系中的经度、纬度以及高度，通过坐标转换矩阵

即可计算出目标在导航坐标系中的真实坐标点，即目标的经度、纬度以及高度。

2.根据权利要求1所述的基于无人机搭载三轴云台相机的目标检测定位方法，其特征在于：云台相机与无人机姿态的标定过程为：

S21)、选取四元数来确定无人机航向角，四元数的方程如公式(1)所示：

其中Q、Q、W分别表示四元数关于时间的微分、四元数、角速度数值，四元数Q＝q₀+q₁i+q₂j+q₃k，q₀为四元数实部，q₁、q₂、q₃为虚部，i、j、k为虚数单位，t₀为运动的初始时刻，Q₀为四元数的初值；

为角速度的初值，由陀螺仪得到其矩阵形式：

其中T_s表示求微分的时间间隔，ω₁、ω₂、ω₃分别表示空间中X、Y、Z三轴分别的角速度，Ω(ω)表示Q关于角速度的函数表示；

S22)、设定在一个采样周期内角速度是常量，对公式(2)求差分得到离散域的四元数公式为：

其中Qk、Qk+1分别表示第k、k+1个采样时刻的四元数，I表示单位矩阵，Ω(ωTs)表示Ω(ω)代入自变量T_s后的函数表示，

由四元数确定的b系至R系的坐标变换矩阵为：其中b系是载体坐标系，R系表示导航坐标系；

当参考坐标系R是导航坐标系时，三次基本旋转对应的坐标变换阵为：

其中横滚角为R、俯仰角为P、偏航角为Y，则

该角度作为相机沿三个方向的转动角度，与初始平台的角度做差得到相机转动的偏移量。

3.根据权利要求1所述的基于无人机搭载三轴云台相机的目标检测定位方法，其特征在于：本方法用于检测定位火源。

4.根据权利要求1所述的基于无人机搭载三轴云台相机的目标检测定位方法，其特征在于：步骤S03)中，TinyML检测模型对视频数据流经过增强去噪、分割提取以后来捕获目标。

Images