CN109063532B - 一种基于无人机的野外失联人员搜寻方法 - Google Patents

Abstract

本发明公开了一种基于无人机的野外失联人员搜寻方法。无人机通过预定的航线，采用自动巡航模式对失联人员活动的区域经行航拍搜寻，完成航拍任务后返航；在航拍过程中，实时通过机载图像处理模块对采集的图像依次进行图像分割处理、ROI区域映射及目标检测处理，并将检测到目标的图像及其对应记录的GPS位置信息通过通讯模块传输给地面站，搜救人员通过无人机回传的信息展开救援工作。本发明对于可能存在的失联人员将其位置信息及相关图像数据通过通信模块发送至地面站以帮助搜救人员确定失联人员位置。

Description

一种基于无人机的野外失联人员搜寻方法

技术领域

本发明涉及了一种野外失联人员的搜寻方法，特别是涉及到一种基于无人机的野外失联人员搜寻方法。

背景技术

近年来，自助自主的旅行受到了广大的旅行爱好者的追捧，而未经开发的无人区又是“驴友”最常涉足的地方。由于旅行爱好者具有自主自发性，且大多数并没有经过专业的训练，因此在探险中追求刺激的同时也伴随着巨大的风险，失联现象屡有发生。在对野外失联人员搜救的过程中，搜救人员面对的最大困难在于如何快速定位失联人员的位置，目前常规的方法是通过大量人员进行地毯式搜索，这种方法不仅费时费力，而且严重依赖于人的主观判断，使得搜救工作效率低下，往往造成不可挽回的后果。

发明内容

本发明要解决的技术问题是：针对目前野外人员搜寻方法中存在的不足，提供一种基于无人机的野外失联人员搜寻方法。

本发明所要解决的问题包括如下步骤：

无人机通过预定的航线，采用自动巡航模式对失联人员活动的区域经行航拍搜寻，完成航拍任务后返航；在航拍过程中，实时通过机载图像处理模块对采集的图像依次进行图像分割处理、ROI区域映射及目标检测处理，并将检测到目标的图像及其对应记录的GPS位置信息通过通讯模块传输给地面站，搜救人员通过无人机回传的信息展开救援工作。

所述的无人机上装载有红外摄像头和可见光摄像头，红外摄像头和可见光摄像头分别采集获得红外灰度图像和可见光图像，红外摄像头和可见光摄像头构成图像采集单元，红外摄像头和可见光摄像头并排布置在无人机机头，并且红外摄像头和可见光摄像头朝向同一方向。

所述的实时通过机载图像处理模块对采集的图像进行图像分割处理，具体是采用改进的最大熵法对红外灰度图像进行图像分割，得到可能代表人体目标的前景区域，进而用于提取图像中可能存在人体的区域：

1)对红外摄像头获取的红外灰度图像进行灰度统计，计算灰度直方图，然后根据灰度直方图采用以下公式计算各个灰度级概率：

其中，p_i表示第i个灰度级的概率，i表示灰度级序数，n_i表示图像中第i个灰度级的像素数量，N表示整幅图像的像素总数量；

2)接着采用以下公式计算背景B和目标O的概率熵：

式中，H(B)，H(O)分别为背景B和目标O的概率熵，t表示红外灰度图像的灰度级预设分割阈值，i、j均表示红外灰度图像的灰度级序数，L表示最大灰度级；

3)然后，根据得到的概率熵，建立以下最优阈值t^*的目标函数：

式中，t_o表示红外灰度图像中代表人体的灰度值，α表示灰度值t_o的可信度；

最后根据拉格朗日对偶性，采用对偶优化求解方法对目标函数的进行求解获得最优阈值t^*，利用最优阈值t^*对红外灰度图像进行分割，获得前景区域和背景区域。

本发明特殊设计了目标函数，并且其中特殊设置了可信度α，能够提高对人体目标的检测准确性。

所述的实时通过机载图像处理模块对采集的图像进行ROI区域映射及目标检测处理，具体是采用改进的目标识别方法，得到图像中是否人体目标的检测结果，能够有效减少计算设备在识别目标过程中的无用计算：

1)对红外摄像头和可见光摄像头分别采集到的红外灰度图像和可见光图像进行标定，获取红外灰度图像和可见光图像之间的n对特征点对，n对特征点对为至少8对特征点对；

2)通过n对特征点对采用以下公式计算红外灰度图像和可见光图像之间的基本矩阵f：

Af＝0

式中，A表示参考矩阵，矩阵A是一个n×9的矩阵，(u,v)^T，(u′,v′)分别为红外灰度图像和可见光图像中一对特征点对的坐标；

3)采用以下公式计算获得红外灰度图像中分割出的前景区域对应到可见光图像中的极线l：

l＝fm

式中，m是红外灰度图像中提取到的前景区域的几何中心坐标；

4)然后在极线l上的每个像素点为中心建立滑动检测窗口，并提取滑动检测窗口的Hog特征，然后将极线l的每个Hog特征输入到已训练好的支持向量机SVM进行分类，识别获得可见光图像中是否有人体目标的存在。

本发明通过上述方式进行ROI区域映射及目标检测，能更好、更快速、更准确地检测获得图像中的人体目标。

已训练好的支持向量机SVM是由标准人体图库中的图像提取获得代表人体目标的像素点的Hog特征，然后将Hog特征和标准人体图库中的图像的已知像素点标签信息输入到支持向量机SVM中学习训练获得，学习训练时采用RBF核函数(高斯核函数)。

所述的无人机是一种在机翼及尾翼上覆有柔性光伏组件的太阳能小型固定翼无人机，以实现在光照强度足够满足时的长时间续航。

所述柔性光伏组件全称单晶柔性太阳能组件，是一种将太阳能转化为电能的器件，在本实施例中将太阳能转化为电能并送往蓄电池中存储起来，用以推动负载工作。所谓柔性，是指该电池板可折弯。折弯角度可达30度。

所述预定航线是通过人为对待搜索区域按地毯式搜索方式进行规划的，执行飞行命令后无人机将按照航线进行搜寻。

与现有的搜寻方法相比，本发明的有益效果在于：

现有的野外失联人员搜寻方法中，尚未存在基于无人机视觉搜寻的相关技术，因此本发明是一个全新的方向。

本发明避免了人工搜寻时存在的成本高效率低的问题，同时运用可见光和红外热成像的高效识别技术进行大范围的野外人员搜索，为精准救援工作提供了可靠的依据。

附图说明

图1为本发明方法的流程示意图。

具体实施方式

以下将参照附图对本发明进一步说明。

如图1所示，本发明具体实施中，采用主要包含无人机与其对应的地面站组成的***，无人机选用太阳能小型固定翼无人机作为飞行平台以满足长续航的要求，无人机上装载飞行控制板、电源管理模块、气压计、陀螺仪、加速度计、GPS模块，用于进行飞行器姿态控制及导航的需求，外接通讯模块，图像采集及处理单元，拍摄用于识别目标的图像并回传相应的数据。

无人机上装载有红外摄像头和可见光摄像头，红外摄像头和可见光摄像头分别采集获得红外灰度图像和可见光图像，红外摄像头和可见光摄像头构成图像采集单元，红外摄像头和可见光摄像头并排布置在无人机机头，并且红外摄像头和可见光摄像头朝向同一方向。

无人机是一种在机翼及尾翼上覆有柔性光伏组件的太阳能小型固定翼无人机。

飞行控制板采用STM32F407飞控处理器模块，用于通过MPU-6050整合的3轴陀螺仪、3轴加速度计以及地磁传感器来采集姿态数据并控制飞行器姿态，通过GPS模块进行导航。

图像采集单元采用包括可见光和红外热成像的图像采集设备和可控制的三轴云台，云台将飞行器飞行过程的抖动影响减小到最小，从而最大可能保证采集到图像的清晰度。摄像头将采集到的图像信息传送到机载图像处理模块用于目标的识别。

图像处理模块采用NVIDIA Tegra K1处理器作为处理单元，由NVIDIA 4-1加四核ARM-Cortex A15CPU和包含192个NVIDIA CUDA核心的NVIDIA Kepler GPU组成以完成图像处理的需求。

通讯模块采用铱星9602SBD卫星数据传输模块，Iridium 9602是单板收发器模块，通过卫星信道收发数据包以实现在野外无人区中无人机和地面站的数据传输。

电源管理模块是将锂电池电压降至机载平台和飞控单元所需的电压5V和输出电流2A。

地面站是用来实时接受并显示机载平台传输的信息。

本发明的实施过程如下：

1、选取某地未经大量开发的荒山作为本实施例的实施对象，划定待搜寻的面积为10公顷，林地地貌，在待搜索区域内随机分布10-20人模拟待搜救的失联人员。通过地面站上位机软件预定航线，对目标区域进行地毯式搜寻，无人机飞行高度设定在20-25m左右。

无人机按照预定航线自主航行，航行速度30-40km/h。无人机在航行期间以3秒每幅图像的速度持续对地面拍摄，

2、在航拍过程中，实时通过机载图像处理模块对采集的图像进行图像分割处理

具体实施采用改进的最大熵法对红外灰度图像进行图像分割，得到前景区域：

1)对红外摄像头获取的红外灰度图像进行灰度统计，计算灰度直方图，然后根据灰度直方图采用以下公式计算各个灰度级概率：

其中，p_i表示第i个灰度级的概率，i表示灰度级序数，对8-bit灰度图像而言，其值通常取0～255；n_i表示图像中第i个灰度级的像素数量，N表示整幅图像的像素总数量；

2)接着采用以下公式计算背景B和目标O的概率熵：

式中，H(B)，H(O)分别为背景B和目标O的概率熵，t表示红外灰度图像的灰度级预设分割阈值，i、j均表示红外灰度图像的灰度级序数，L表示最大灰度级，对8-bit图像而言L取255；

3)然后根据得到的概率熵，建立以下最优阈值t^*的目标函数：

式中，t_o表示红外灰度图像中代表人体的灰度值，t_o通过带有人体的标准红外灰度图像确定，为一个常数，α表示灰度值t_o的可信度；

最后根据拉格朗日对偶性，采用对偶优化求解方法对目标函数的进行求解获得最优阈值t^*，利用最优阈值t^*对红外灰度图像进行分割，获得前景区域和背景区域。

3、实时通过机载图像处理模块对采集的图像进行ROI区域映射及目标检测处理，具体采用改进的目标识别方法，得到图像中是否人体目标的检测结果：

1)对红外摄像头和可见光摄像头分别采集到的红外灰度图像和可见光图像采用matlab软件工具箱中的Camera Calibrator工具进行标定，获取红外灰度图像和可见光图像之间的n对特征点对；

2)通过n对特征点对采用以下公式计算红外灰度图像和可见光图像之间的基本矩阵f：

Af＝0

式中，A表示参考矩阵，矩阵A是一个n×9的矩阵，(u,v)^T，(u′,v′)分别为红外灰度图像和可见光图像中一对特征点对的坐标；

具体实施对参考矩阵A进行奇异值分解，计算参考矩阵A的广义逆矩阵A⁺，并根据广义逆矩阵A⁺计算基本矩阵f的最小二乘解，从而获得基本矩阵f。

3)采用以下公式计算获得红外灰度图像中分割出的前景区域对应到可见光图像中的极线l，极线l代表了红外灰度图像中分割出的前景区域中心点对应到可见光图像中可能之处：

l＝fm

式中，m是红外灰度图像中提取到的前景区域的几何中心坐标；

4)然后在极线l上的每个像素点为中心建立滑动检测窗口，并提取滑动检测窗口的Hog特征，然后将极线l的每个Hog特征输入到已训练好的支持向量机SVM进行分类，识别获得可见光图像中是否有人体目标的存在。

已训练好的支持向量机SVM是由标准人体图库中的图像提取获得代表人体目标的像素点的Hog特征，然后将Hog特征和标准人体图库中的图像的已知像素点标签信息输入到支持向量机SVM中学习训练获得，学习训练时采用RBF核函数(高斯核函数)。

4、将检测到目标的图像及其对应记录的GPS位置信息通过通讯模块传输给地面站，搜救人员通过无人机回传的信息展开救援工作。

当无人机检测到目标时，将该幅图像和相应的GPS信息通过卫星通讯模块发送至地面站，地面站工作人员比对无人机回传的数据并核对信息的正确性。

无人机完成目标区域的搜寻任务，直线返航。

通过实际测试，该搜寻方法在待搜救人员身体未被遮挡物遮挡的情况下能够比较准确的识别定位带搜救人员，使用的卫星传输模块能够很好的将目标信息传输至上位机，每幅图像(1920×1080)的平均处理时间仅需不到1s。在多次实验中，对于随机分布的待检测人员，***的检测精度达到98.2％，满足对野外失联人员搜寻的要求。

由此，本发明的太阳能无人机可以实现在光照强度足够满足时的长时间续航，无人机在大范围长时间作业的过程中，通过图像采集单元不断获取地面图像并通过图像处理单元分辨是否存在疑似失联人员，对于可能存在的失联人员将其位置信息及相关图像数据通过通信模块发送至地面站以帮助搜救人员确定失联人员位置。

Claims (5)

1.一种基于无人机的野外失联人员搜寻方法，其特征在于包括以下步骤：无人机通过预定的航线，采用自动巡航模式对失联人员活动的区域经行航拍搜寻，完成航拍任务后返航；在航拍过程中，实时通过机载图像处理模块对采集的图像依次进行图像分割处理、ROI区域映射及目标检测处理，并将检测到目标的图像及其对应记录的GPS位置信息通过通讯模块传输给地面站，搜救人员通过无人机回传的信息展开救援工作；

所述的实时通过机载图像处理模块对采集的图像进行图像分割处理，具体是采用改进的最大熵法对红外灰度图像进行图像分割，得到前景区域：

1)对红外摄像头获取的红外灰度图像进行灰度统计，计算灰度直方图，然后根据灰度直方图采用以下公式计算各个灰度级概率：

其中，p_i表示第i个灰度级的概率，i表示灰度级序数，n_i表示图像中第i个灰度级的像素数量，N表示整幅图像的像素总数量；

2)接着采用以下公式计算背景B和目标O的概率熵：

式中，H(B)，H(O)分别为背景B和目标O的概率熵，t表示红外灰度图像的灰度级预设分割阈值，i、j均表示红外灰度图像的灰度级序数，L表示最大灰度级；

3)然后，根据得到的概率熵，建立以下最优阈值t^*的目标函数：

式中，t_o表示红外灰度图像中代表人体的灰度值，a表示灰度值t_o的可信度；

最后根据拉格朗日对偶性，采用对偶优化求解方法对目标函数的进行求解获得最优阈值t^*，利用最优阈值t^*对红外灰度图像进行分割，获得前景区域和背景区域。

2.根据权利要求1所述的一种基于无人机的野外失联人员搜寻方法，其特征在于：所述的无人机上装载有红外摄像头和可见光摄像头，红外摄像头和可见光摄像头并排布置在无人机机头，并且红外摄像头和可见光摄像头朝向同一方向。

3.根据权利要求2所述的一种基于无人机的野外失联人员搜寻方法，其特征在于：所述的实时通过机载图像处理模块对采集的图像进行ROI区域映射及目标检测处理，具体是采用改进的目标识别方法，得到图像中是否人体目标的检测结果：

1)对红外摄像头和可见光摄像头分别采集到的红外灰度图像和可见光图像进行标定，获取红外灰度图像和可见光图像之间的n对特征点对；

2)通过n对特征点对采用以下公式计算红外灰度图像和可见光图像之间的基本矩阵f：

Af＝0

式中，A表示参考矩阵，矩阵A是一个n×9的矩阵，(u,v)^T，(u′,v′)分别为红外灰度图像和可见光图像中一对特征点对的坐标；

3)采用以下公式计算获得红外灰度图像中分割出的前景区域对应到可见光图像中的极线l：

l＝fm

式中，m是红外灰度图像中提取到的前景区域的几何中心坐标；

4)然后在极线l上的每个像素点为中心建立滑动检测窗口，并提取滑动检测窗口的Hog特征，然后将极线l的每个Hog特征输入到已训练好的支持向量机SVM进行分类，识别获得可见光图像中是否有人体目标的存在。

4.根据权利要求1所述的一种基于无人机的野外失联人员搜寻方法，其特征在于：所述的无人机是一种在机翼及尾翼上覆有柔性光伏组件的太阳能小型固定翼无人机。

5.根据权利要求1所述的一种基于无人机的野外失联人员搜寻方法，其特征在于：所述预定航线是通过人为对待搜索区域按地毯式搜索方式进行规划的，执行飞行命令后无人机将按照航线进行搜寻。

Images