CN114115359A - 一种无人机山区寻羊***及其工作方法 - Google Patents

Abstract

本发明提及一种无人机山区寻羊***，包括无人机子***和地面端子***；所述地面端子***包括触控式显示屏、处理器和第一图传装置，该处理器内安装有搜寻模块；搜寻模块用于生成搜寻指令，搜寻指令至少包括搜寻范围和搜寻目标类型；无人机子***包括无人机本体，以及设置在无人机本体上的电池组、飞控装置、机载电脑、视频录制装置和第二图传装置；该机载电脑内安装有路线规划模块和目标检测模型。本发明采用无人机替代人工方式寻找丢失的牛羊，并且能够自动驱赶丢失牛羊返回目的地，有效提高了山区寻羊的效率和安全；在无人机上同时搭载图传装置和4G通信模块，确保数据能够有效传输至地面端。

Description

一种无人机山区寻羊***及其工作方法

技术领域

本发明涉及无人机放牧技术领域，具体而言涉及一种无人机山区寻羊***及其工作方法。

背景技术

我国西部山区地形复杂，人口稀疏，非城市地区百姓以游牧行业为主。山区地形复杂，山脉绵延不绝，山脚到山顶有着巨大的海拔落差，对农民生产生活是一项极大的挑战。为了适应地势，山区牧民大多选择能够在山坡上站稳的山羊/牦牛进行放养，牛羊群白天从棚里出去自行前往附近的山坡上吃草，日落后成群回棚。牧民只有在晚上的时候清点数量。经常会遇到牛羊走失的情况，需要牧民自行前往山坡上寻找。每丢失一头牛，就会给牧民造成上万元的损失。

目前，少数民族牧民从事山区牛羊养殖遇到的主要问题有：1.山路崎岖，山脉众多，山脚到山顶海拔落差多在两千米以上，没有稳定的山路可走，部分上山路途需要攀爬，非常危险。2.单个牛羊太过分散，目标尺寸较小，容易与灌木、石块、雪山混淆，不易分辨，仅凭肉眼难以看清。3.牧民每次出门只是为了找寻丢失的牛羊，每次都需要几天时间翻越数座山脉，4.山路陡峭，山林中也存在狼群等野生动物，牧民独自出门找羊容易遇到危险。

发明内容

本发明针对现有技术中的不足，提供一种无人机山区寻羊***及其工作方法，通过无人机携带摄像头在指定线路进行巡视，通过预训练的目标检测模型，寻找丢失的牛羊，一旦找到牲畜，自动播放驱赶声音，并向地面段发送警报，将找到的牲畜地址传给地面工作人员，由工作人员前往目标所在地进行驱赶。无人机飞行灵活，易进行垂直起降；搭载的激光雷达模块，能够对山区地形进行建模，保障无人机飞行安全；搭载的目标检测模块，容易识别小目标，且采用算法识别比肉眼辨认效果要好。同样的路程，从山脚到山顶，牧民需要一天的时间，而采用无人机可能仅需几分钟，足够无人机定时充电和巡线；有效提高了山区寻羊的效率和安全性。

为实现上述目的，本发明采用以下技术方案：

本发明实施例提出了一种无人机山区寻羊***，所述寻羊***包括无人机子***和地面端子***；

所述地面端子***包括触控式显示屏、处理器和第一图传装置，该处理器内安装有搜寻模块；搜寻模块用于生成搜寻指令，搜寻指令至少包括搜寻范围和搜寻目标类型；第一图传装置通过点对点图传技术，采用远程桌面的方式监控无人机子***的工作状态；

所述无人机子***包括无人机本体，以及设置在无人机本体上的电池组、飞控装置、机载电脑、视频录制装置和第二图传装置；该机载电脑内安装有路线规划模块和目标检测模型；

所述电池组分别与飞控装置、机载电脑、视频录制装置和图传装置连接，以提供其正常工作所需电能；

所述路线规划模块用于接收地面端子***发送的搜寻指令，根据搜寻范围自动规划飞行路线；所述飞控装置用于控制无人机沿路线规划模块发送的飞行路线飞行；所述视频录制装置用于拍摄无人机飞行过程中的地画图像；所述目标检测模型对视频录制装置拍摄的地画图像进行处理，检测图像上是否存在搜寻目标；所述第二图传装置用于接收地面端子***传输的控制信号，以及向地面端子***发送图像信号和检测结果；

当目标检测模型发现搜寻目标时，机载电脑将包含搜寻目标的图像和当前无人机位置信息一起发送至地面端子***。

进一步地，所述搜寻模块自动获取用户在触控式显示屏上框选出的待检测区域，将待检测区域的区域边界转换成GPS坐标后传输给无人机的机载电脑。

进一步地，所述路线规划模块用于根据待检测区域自动生成S形飞行路径。

进一步地，所述飞控装置包括距离传感器，用于在无人机飞行过程中实时探测无人机本体和山体表面的距离值；

所述飞控装置根据距离传感器反馈的距离值实时调整无人机本体的飞行高度，使无人机本体和山体表面之间的距离值维持在预设距离值范围内。

进一步地，所述搜寻目标类型包括牛和羊。

进一步地，所述无人机子***还包括主动刺激模块，用于驱使机载音箱发出驱赶声音，以驱赶图像中的目标返回目的地。

进一步地，所述目标检测模型基于uoloV4算法对拍摄图像进行处理；如果检测到拍摄图像中物体的检测置信度大于第一预设置信度阈值，自动拍照并存储位置信息；如果检测到物体的置信度大于第二预设置信度阈值，则自动触发警报装置，提醒地面站工作人员，并同时触发主动刺激模块，进行自动驱赶和自主跟踪；第二预设置信度阈值大于第一预设置信度阈值。

进一步地，所述目标检测模型的训练过程包括以下步骤：

采集普通航拍无人机拍摄的不同角度不同背景的若干段视频，对视频进行抽帧处理，抽取一定量的样本图片，送入uolo原始算法进行批量检测，对检测结果进行数据处理，筛选出同时满足以下条件的目标：(1)目标框面积大于100个单位像素的检测目标，(2)检测类别为牛和羊的目标，进行批量标注，并进行手动筛选，增加标注脚本没能检测出的目标，删除检测错误的目标，修正目标框，生成训练数据集；

将标注好的训练数据集放入图像增强模块，对样本图片进行旋转、扭曲、拉仲和反转处理，扩充所拍摄的若干张样本图片数量，且标记框也经过对应的变换，得到完整的目标检测数据集；

将目标检测数据集送入YOLO算法进行训练，并结合无人机拍摄参数、机载电脑处理速度和检测目标的类别特点，设定检测网络相关参数；并在训练过程中不断调整学习率，得到目标检测模型。

进一步地，所述无人机子***还包括4G通讯模块；当无人机图传信号不佳时，将拍摄图像、检测结果，以及无人机当前位置坐标，封装成ros消息，采用发布-订阅的机制，将该消息存入公共消息池中，使地面端子***通过订阅该消息以获取牛羊位置。

基于前述无人机山区寻羊***，本发明还提及一种无人机山区寻羊***的工作方法，所述工作方法包括以下步骤：

S1，配置全局项目参数，包括期望置信度、离地距离、飞行速度和主动刺激参数；

S2，无人机收到遥控信号，检查GPS信号、机载电脑运行状态、图传通道稳定之后自动起飞，并悬停；

S3，地面端子***自动连接上无人机机载电脑，用户在显示屏的终端卫星地图上手动框选出搜寻区域，生成搜寻指令，将搜寻指令传输到机载电脑的路径规划模块中，使路径规划模块根据搜寻范围自动规划S型飞行路线；

S4，控制无人机按照规划的飞行路线沿山坡巡逻，同时对拍摄的地画图像进行目标检测：

当拍摄画画存在疑似走丢的牛羊画画时，无人机自动改变线路，抵近侦查；若抵近后检测出的牛羊置信度≥50％，则自动拍照录像，记录此刻无人机所在位置，将数据封装成ros消息，经过第二图传装置传输回地面端子***，请求地面进一步处理；

S5，根据牧民发送的驱赶指令进行驱赶操作。

本发明的有益效果是：

本发明采用无人机替代人工方式寻找丢失的牛羊，并且能够自动驱赶丢失牛羊返回目的地，有效提高了山区寻羊的效率和安全性。考虑到山区环境复杂，时有信号不佳的情况，本发明在无人机上同时搭载图传装置和4G通信模块，确保数据能够有效传输至地面端。

附图说明

图1是本发明实施例的无人机山区寻羊***结构示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

图1是本发明实施例的无人机山区寻羊***结构示意图。参见图1，该寻羊***包括无人机子***和地面端子***。

(一)地面端子***

地面端子***包括触控式显示屏、处理器和第一图传装置，该处理器内安装有搜寻模块；搜寻模块用于生成搜寻指令，搜寻指令至少包括搜寻范围和搜寻目标类型；第一图传装置通过点对点图传技术，采用远程桌面的方式监控无人机子***的工作状态。

示例性地，地面端子***可以采用手机、一体机或者PC端等。以手机为例，牧民通过在手机屏幕上框选出搜索区域，也可以通过手机屏幕实时查看无人机的工作状态或者无人机回传的目标图像和目标位置，并进一步下达相关控制指令。

(二)无人机子***

无人机子***包括无人机本体，以及设置在无人机本体上的电池组、飞控装置、机载电脑、视频录制装置和第二图传装置；该机载电脑内安装有路线规划模块和目标检测模型。

电池组分别与飞控装置、机载电脑、视频录制装置和图传装置连接，以提供其正常工作所需电能。

路线规划模块用于接收地面端子***发送的搜寻指令，根据搜寻范围自动规划飞行路线；飞控装置用于控制无人机沿路线规划模块发送的飞行路线飞行；视频录制装置用于拍摄无人机飞行过程中的地画图像；目标检测模型对视频录制装置拍摄的地画图像进行处理，检测图像上是否存在搜寻目标；第二图传装置用于接收地面端子***传输的控制信号，以及向地面端子***发送图像信号和检测结果。

当目标检测模型发现搜寻目标时，机载电脑将包含搜寻目标的图像和当前无人机位置信息一起发送至地面端子***。

搜寻模块自动获取用户在触控式显示屏上框选出的待检测区域，将待检测区域的区域边界转换成GPS坐标后传输给无人机的机载电脑。路线规划模块根据待检测区域自动生成S形飞行路径。无人机在巡检过程中，通过距离传感器保持离地面距离最低为20米，有效视角范围最低为150m*150m。巡检速度为15km/h，平均一块电池续航30min，能够巡检两座山体。

无人机子***还包括主动刺激模块，用于驱使机载音箱发出驱赶声音，以驱赶图像中的目标返回目的地。

例如，目标检测模型基于yoloV4算法对拍摄图像进行处理；如果检测到拍摄图像中物体的检测置信度大于第一预设置信度阈值(如50％)，自动拍照并存储位置信息；如果检测到物体的置信度大于第二预设置信度阈值(如90％)，第二预设置信度阈值大于第一预设置信度阈值，则自动触发警报装置，提醒地面站工作人员，并同时触发主动刺激模块，进行自动驱赶和自主跟踪。

示例性地，目标检测模型的训练过程包括以下步骤：

采集普通航拍无人机拍摄的不同角度不同背景的若干段视频，对视频进行抽帧处理，抽取一定量的样本图片，送入yolo原始算法进行批量检测，对检测结果进行数据处理，筛选出同时满足以下条件的目标：(1)目标框面积大于100个单位像素的检测目标，(2)检测类别为牛和羊的目标，进行批量标注，并进行手动筛选，增加标注脚本没能检测出的目标，删除检测错误的目标，修正目标框，生成训练数据集。将标注好的训练数据集放入图像增强模块，对样本图片进行旋转、扭曲、拉仲和反转处理，扩充所拍摄的若干张样本图片数量，且标记框也经过对应的变换，得到完整的目标检测数据集。将目标检测数据集送入YOLO算法进行训练，并结合无人机拍摄参数、机载电脑处理速度和检测目标的类别特点，设定检测网络相关参数；并在训练过程中不断调整学习率，得到目标检测模型。

例如，采用普通航拍无人机拍摄的不同角度，不同背景的30段视频，每段视频时长为10-15秒，进行抽帧，每3帧抽取一张图，共抽取约3700张图片；再经过旋转，扭曲，拉仲，反转等方式，将所拍摄的若干张牛羊图片数量扩充为55000张。将检测数据集送入YOLO算法进行训练，并结合无人机拍摄目标图像过小与机载电脑处理速度限制等特点，将检测网络定为416*416，将置信度阈值设置为20％。结合检测目标的类别特点，将size设置为2，将filtters设置为21，并在训练过程中不断调整学习率。训练之后得到目标检测模型。

若无人机巡检过程中侦查到牛羊目标，则向地面端请求指示。接收到信号，根据请求指示进行操作。该步骤可能会出现三种情况：

第一种情况，当无人机图传信号良好时，则向地面端请求指示，若地面端工作人员审核确认找到丢失的牛羊，则牧民可以自行前往。也可采取主动刺激，机载音箱模块自动播放声音进行驱赶，同时无人机自动跟踪框选的牛羊，进行驱赶。若牛羊行进方向为远离地面端工作人员方向，则可以自动变换无人机位置，使得无人机朝向正确的方向进行返回跟踪。

第二种情况，当无人机所处位置过于偏僻，接收不到图传信息的时候，自动启用4G模块，连接互联网，将摄像头画画，检测结果，以及无人机当前位置坐标，封装成ros消息，采用发布-订阅的机制，将该消息存入公共消息池中，地面端应用订阅该消息，从而获取牛羊位置。

第三种情况，当无人机图传信号丢失，且所处位置没有4G网络覆盖，则将数据保存至机载电脑搭载的SD卡中，主动返航，待返回信号良好区域再发送指令。

基于前述无人机山区寻羊***，本实施例还提及一种无人机山区寻羊***的工作方法，该工作方法包括以下步骤：

S1，配置全局项目参数，包括期望置信度、离地距离、飞行速度和主动刺激参数。

S2，无人机收到遥控信号，检查GPS信号、机载电脑运行状态、图传通道稳定之后自动起飞，并悬停。

S3，地面端子***自动连接上无人机机载电脑，用户在显示屏的终端卫星地图上手动框选出搜寻区域，生成搜寻指令，将搜寻指令传输到机载电脑的路径规划模块中，使路径规划模块根据搜寻范围自动规划S型飞行路线。

S4，控制无人机按照规划的飞行路线沿山坡巡逻，同时对拍摄的地画图像进行目标检测：

当拍摄画画存在疑似走丢的牛羊画画时，无人机自动改变线路，抵近侦查；若抵近后检测出的牛羊置信度≥50％，则自动拍照录像，记录此刻无人机所在位置，将数据封装成ros消息，经过第二图传装置传输回地面端子***，请求地面进一步处理。优选的，巡检过程中可以搭载红外摄像头进行辅助侦查。

S5，根据牧民发送的驱赶指令进行驱赶操作。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡屈于本发明思路下的技术方案均屈于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种无人机山区寻羊***，其特征在于，所述寻羊***包括无人机子***和地面端子***；

所述地面端子***包括触控式显示屏、处理器和第一图传装置，该处理器内安装有搜寻模块；搜寻模块用于生成搜寻指令，搜寻指令至少包括搜寻范围和搜寻目标类型；第一图传装置通过点对点图传技术，采用远程桌面的方式监控无人机子***的工作状态；

所述无人机子***包括无人机本体，以及设置在无人机本体上的电池组、飞控装置、机载电脑、视频录制装置和第二图传装置；该机载电脑内安装有路线规划模块和目标检测模型；

所述电池组分别与飞控装置、机载电脑、视频录制装置和图传装置连接，以提供其正常工作所需电能；

所述路线规划模块用于接收地面端子***发送的搜寻指令，根据搜寻范围自动规划飞行路线；所述飞控装置用于控制无人机沿路线规划模块发送的飞行路线飞行；所述视频录制装置用于拍摄无人机飞行过程中的地画图像；所述目标检测模型对视频录制装置拍摄的地画图像进行处理，检测图像上是否存在搜寻目标；所述第二图传装置用于接收地面端子***传输的控制信号，以及向地面端子***发送图像信号和检测结果；

当目标检测模型发现搜寻目标时，机载电脑将包含搜寻目标的图像和当前无人机位置信息一起发送至地面端子***。

2.根据权利要求1所述的无人机山区寻羊***，其特征在于，所述搜寻模块自动获取用户在触控式显示屏上框选出的待检测区域，将待检测区域的区域边界转换成GPS坐标后传输给无人机的机载电脑。

3.根据权利要求2所述的无人机山区寻羊***，其特征在于，所述路线规划模块用于根据待检测区域自动生成S形飞行路径。

4.根据权利要求1所述的无人机山区寻羊***，其特征在于，所述飞控装置包括距离传感器，用于在无人机飞行过程中实时探测无人机本体和山体表面的距离值；

所述飞控装置根据距离传感器反馈的距离值实时调整无人机本体的飞行高度，使无人机本体和山体表面之间的距离值维持在预设距离值范围内。

5.根据权利要求1所述的无人机山区寻羊***，其特征在于，所述搜寻目标类型包括牛和羊。

6.根据权利要求1所述的无人机山区寻羊***，其特征在于，所述无人机子***还包括主动刺激模块，用于驱使机载音箱发出驱赶声音，以驱赶图像中的目标返回目的地。

7.根据权利要求6所述的无人机山区寻羊***，其特征在于，所述目标检测模型基于yoloV4算法对拍摄图像进行处理；如果检测到拍摄图像中物体的检测置信度大于第一预设置信度阈值，自动拍照并存储位置信息；如果检测到物体的置信度大于第二预设置信度阈值，则自动触发警报装置，提醒地面站工作人员，并同时触发主动刺激模块，进行自动驱赶和自主跟踪；第二预设置信度阈值大于第一预设置信度阈值。

8.根据权利要求7所述的无人机山区寻羊***，其特征在于，所述目标检测模型的训练过程包括以下步骤：

采集普通航拍无人机拍摄的不同角度不同背景的若干段视频，对视频进行抽帧处理，抽取一定量的样本图片，送入yolo原始算法进行批量检测，对检测结果进行数据处理，筛选出同时满足以下条件的目标：(1)目标框面积大于100个单位像素的检测目标，(2)检测类别为牛和羊的目标，进行批量标注，并进行手动筛选，增加标注脚本没能检测出的目标，删除检测错误的目标，修正目标框，生成训练数据集；

将标注好的训练数据集放入图像增强模块，对样本图片进行旋转、扭曲、拉仲和反转处理，扩充所拍摄的若干张样本图片数量，且标记框也经过对应的变换，得到完整的目标检测数据集；

将目标检测数据集送入YOLO算法进行训练，并结合无人机拍摄参数、机载电脑处理速度和检测目标的类别特点，设定检测网络相关参数；并在训练过程中不断调整学习率，得到目标检测模型。

9.根据权利要求1所述的无人机山区寻羊***，其特征在于，所述无人机子***还包括4G通讯模块；当无人机图传信号不佳时，将拍摄图像、检测结果，以及无人机当前位置坐标，封装成ros消息，采用发布-订阅的机制，将该消息存入公共消息池中，使地面端子***通过订阅该消息以获取牛羊位置。

10.一种基于权利要求1-9任一项所述的无人机山区寻羊***的工作方法，其特征在于，所述工作方法包括以下步骤：

S1，配置全局项目参数，包括期望置信度、离地距离、飞行速度和主动刺激参数；

S2，无人机收到遥控信号，检查GPS信号、机载电脑运行状态、图传通道稳定之后自动起飞，并悬停；

S3，地面端子***自动连接上无人机机载电脑，用户在显示屏的终端卫星地图上手动框选出搜寻区域，生成搜寻指令，将搜寻指令传输到机载电脑的路径规划模块中，使路径规划模块根据搜寻范围自动规划S型飞行路线；

S4，控制无人机按照规划的飞行路线沿山坡巡逻，同时对拍摄的地画图像进行目标检测：

当拍摄画画存在疑似走丢的牛羊画画时，无人机自动改变线路，抵近侦查；若抵近后检测出的牛羊置信度≥50％，则自动拍照录像，记录此刻无人机所在位置，将数据封装成ros消息，经过第二图传装置传输回地面端子***，请求地面进一步处理；

S5，根据牧民发送的驱赶指令进行驱赶操作。

Images