CN115299428A - 一种基于深度学习的物联网智能驱鸟*** - Google Patents

一种基于深度学习的物联网智能驱鸟*** Download PDF

Info

Publication number
CN115299428A
CN115299428A CN202210932069.2A CN202210932069A CN115299428A CN 115299428 A CN115299428 A CN 115299428A CN 202210932069 A CN202210932069 A CN 202210932069A CN 115299428 A CN115299428 A CN 115299428A
Authority
CN
China
Prior art keywords
bird
module
bird repelling
deep learning
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210932069.2A
Other languages
English (en)
Inventor
徐瀚辰
徐红武
曹吉
周思佳
赵光园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Original Assignee
Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co filed Critical Nantong Power Supply Co Of State Grid Jiangsu Electric Power Co
Priority to CN202210932069.2A priority Critical patent/CN115299428A/zh
Publication of CN115299428A publication Critical patent/CN115299428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00Scaring or repelling devices, e.g. bird-scaring apparatus
    • A01M29/06Scaring or repelling devices, e.g. bird-scaring apparatus using visual means, e.g. scarecrows, moving elements, specific shapes, patterns or the like
    • A01M29/10Scaring or repelling devices, e.g. bird-scaring apparatus using visual means, e.g. scarecrows, moving elements, specific shapes, patterns or the like using light sources, e.g. lasers or flashing lights
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00Scaring or repelling devices, e.g. bird-scaring apparatus
    • A01M29/16Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M29/00Scaring or repelling devices, e.g. bird-scaring apparatus
    • A01M29/16Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves
    • A01M29/18Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves using ultrasonic signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Birds (AREA)
  • Zoology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Environmental Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Insects & Arthropods (AREA)
  • Pest Control & Pesticides (AREA)
  • Wood Science & Technology (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的物联网智能驱鸟***,以STM32F为核心,多普勒雷达和摄像头结合,多普勒雷达检测到移动物体时,将信息传输给STM32F,启动摄像头拍摄图片,通过OpenCV计算机视觉库对图片进行高斯滤波和二值化处理,提高了目标分类检测的准确率,利用设计的卷积神经网络模型,采用Adam优化算法,进行深度学习,判断入侵物体是否鸟类,若为鸟类开启驱鸟模式,白天采用音波驱鸟、绿光爆闪驱鸟,夜间采用绿光爆闪驱鸟、超声波驱鸟,驱鸟方式更加人性化,物联网远程监控,终端用户在PC机或手机APP上实时监测。无鸟类入侵时驱鸟器为休眠模式,降低了电量损耗,太阳能板和蓄电池结合,显著提高了续航时间,实现了无外供电源长期自主驱鸟,简单实用,驱鸟精准,降低了运维难度和成本。

Description

一种基于深度学习的物联网智能驱鸟***
技术领域
本发明涉及物联网技术领域,具体为一种基于深度学习的物联网智能驱鸟***。
背景技术
当今,随着全球电气化和信息化水平的提高,工业尤其是制造业对电力***的稳定性要求越来越高,为保障电力***安全平稳运行,势必要减少输电线路故障和控制意外事故的发生,输电线路的安全事关国家安全、经济发展和社会稳定。近年来,随着鸟类繁衍数量不断增多,活动范围不断扩大,有的鸟类把鸟窝搭建在输电线路的杆(塔)上引起短路,各种大鸟觅食后喜欢落在铁塔中线横担上,歇息时大量排放粪便,污染绝缘子,降低绝缘子绝缘强度而引起线路跳闸,鸟类还经常钻进变压器或交流滤波器的空隙中导致输电线路瞬间故障,输电线路闪络跳闸的现象呈逐年上升趋势,鸟类引发的输电线路事故不但造成巨大的经济损失,还严重地扰乱了社会正常生产和生活秩序,鸟害已成为输电线路故障的3大重要原因之一。
目前,国内的主要驱鸟措施是在输电线路的杆(塔)上安装防鸟刺、风车、加大绝缘子伞裙等。防鸟刺、防鸟风车等装置都不能主动探测鸟类,只是被动式盲目性防鸟,且驱鸟方式单一,短时间内能取得一定的驱鸟效果,但是时间长了,被鸟类适应,反而会成为鸟类的栖息场所,甚至鸟类会在那里筑巢。另外,国内市场上也有少量的语音驱鸟和超声波驱鸟装置,但这些检测方法容易受到雨滴、落叶、天气、温度等环境的影响,误报率和漏报率都极高,不仅无法实现精准驱鸟,且容易扰民,造成环境污染,因此输电线路迫切需要一种长期自主工作的高效驱鸟器。
为了解决以上问题,如公开号为CN113383763A的中国专利公开了一种全天候全区域智能驱鸟***和装置,由探测感知模块、信息综合处理模块、多能驱离模块和人机交互模块四部分组成。探测感知模块由探鸟雷达、光电***、伺服控制***以及多功能转台组成;综合处理模块采用高速处理控制器硬件架构,完成信息的采集处理、数据融合和人工智能模型演算及智能控制与深度学习;多能驱离模块采用强声驱鸟和蓝光驱鸟手段,不断执行不同的驱离多种结合方式;人机交互模块具备智能监控鸟类目标信息能根据信息发送指令;该***和装置具备智能探测感知获取数据,将数据融合处理后,人工智能边缘计算,进行声、光多种驱赶方式,最终根据驱离效果评估,机器深度学习进行不断迭代优化等综合防范功能。
又如公开号为CN114242080A的中国专利公开了一种基于鸟类声纹特征的变电站分布式驱鸟方法与终端,根据预先采集鸟类信息建立鸟类数据库,并基于鸟类数据库训练深度学习网络,使得深度学习网络能够分离并识别鸟类声纹信息,鸟类信息包括鸟类声纹信息以及鸟类种类;接收前端检测装置发送的声纹信息以及鸟类位置信息,通过深度学习网络分离并识别声纹信息中的鸟类声纹信息,得到对应的鸟类种类;根据鸟类种类向鸟类数据库进行查询,根据查询结果生成对应鸟类种类的驱离策略;根据鸟类位置信息向多个不同位置分布的分布式驱鸟器中距离该位置最近的一个分布式驱鸟器发送驱离策略,由分布式驱鸟器根据驱离策略进行驱鸟;更具针对性,保障了驱鸟的有效性的同时也提高了驱鸟效果。
目前,现有驱鸟技术还存在不足之处:第一份专利通过智能探测感知获取数据,将数据融合处理后人工智能边缘计算,必要时开启对应位置的驱鸟设备进行驱鸟,进行声、光驱赶方式,从而达到自动驱鸟的目的,以飞鸟驱离时间作为对象深度学习,提高鸟类识别率和驱鸟效果。第二份专利通过采集鸟类信息建立鸟类数据库,深度学习网络分离并识别不同的鸟类种类,并根据种类的不同和鸟类位置选取对应的驱离策略。两份专利都在一定程度上提高了驱鸟效果,但第一份专利使用的探鸟雷达易受风吹雨打等环境因素的影响出现误报,第二份专利通过深度学习网络分离并识别不同的鸟类种类,消耗很多电脑算力,鸟类信息识别的准确率不高,使用电池作为电源,续航时间无法保障,运维难度较大,现有技术仍有待改进。
发明内容
针对现有技术的不足,本发明提供了一种基于深度学习的物联网智能驱鸟***,以解决上述问题。
为实现以上目的,本发明通过以下技术方案予以实现:
一种基于深度学习的物联网智能驱鸟***,由STM32F微控制器、探测模块、光照检测模块、驱鸟模块、供电模块和物联网远程监控和巡检模块、通信模块、探测与驱鸟范围扩大模块组成,所述探测模块包括多普勒雷达、摄像头,所述STM32F微控制器是整个驱鸟***的核心模块,与探测模块、光照检测模块、物联网远程监控和巡检模块、供电模块、通信模块、探测与驱鸟范围扩大模块连接,所述通信模块选用BC95模块,所述摄像头选用OV7725模块。
进一步的,所述多普勒雷达与OV7725摄像头模块相结合,多普勒雷达检测到移动物体时,将检测信息传输给STM32F微控制器,启动OV7725摄像头拍摄图片,基于深度学习分类算法判断入侵物体是否鸟类,若入侵物体为鸟类,开启驱鸟模式。
进一步的,深度学习的目标分类算法通过一个卷积神经网络模型识别入侵物体是否为鸟类,使用2个卷积层、2个池化层、2个全连接层,共6层卷积神经网络,输出神经元数量为2,通过OpenCV计算机视觉库对于背景图像和正样本图像进行高斯滤波和二值化处理,将背景滤除,提取入侵物***置和轮廓特征,进行图形分割,然后导入网络模型进行训练和测试,第一层卷积层的输出特征图的尺寸公式如下:
Figure BDA0003781997550000041
(公式1)中:
O——输出图像的尺寸;
I——输入图像的尺寸;
K——卷积核的尺寸;
P——填充数;
S——移动步长。
进一步的,卷积神经网络模型第一层卷积层的输出作为第二层池化层的输入,根据第二层池化层的过滤器尺寸和步长得出第二层池化层的输出,根据第三层卷积层中有卷积核个数、卷积核尺寸及步长,得出输出特征图像尺寸,经过最后一层池化层得到的输出与全连接层连接将张量数据平铺展开为向量数据,再经过一个全连接层并运用softmax激活函数得出最后分类结果。
进一步的,为加快卷积神经网络模型的收敛速度,将损失函数降到最低,采用Adam优化算法,该算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,其计算过程为,首先通过目标函数当前的梯度计算出梯度的一阶矩和二阶矩;然后对一阶矩与二阶矩进行矫正;最后根据求得的偏置矫正、期望、学习率来更新参数,其计算公式为:
Figure BDA0003781997550000042
(公式2)中:
gt——当前参数的梯度;
β12——一阶/二阶矩衰减系数,即梯度gt/gt 2的期望;
mt/vt——梯度gt的一阶/二阶矩;
Figure BDA0003781997550000051
——mt/vt的偏置矫正;
ωt——要求解(更新)的参数;
α——学习率;
ε=10-8
t——更新的步数。
进一步的,所述驱鸟模块包括绿光驱鸟、音波驱鸟、超声波驱鸟三种驱鸟模式,所述音波驱鸟由MP3解码模块、功率放大器和扬声器组成,MP3解码模块内置SD卡,其输入端与微控制器STM32F相连,输出与功率放大器相连接;所述绿光驱鸟由灯珠、聚光杯组成,聚光杯增强绿光灯珠的照射距离;所述超声波驱鸟包括超声波发生器和超声波喇叭,超声波发生器产生不同频率的超声波。
进一步的,所述探测与驱鸟范围扩大模块使用舵机配合工作,灵活改变探测角度,扩大探测范围。
进一步的,所述光照检测模块由光敏二极管DS、比较器LM393、电容、电阻、发光二极管组成,光敏二极管DS阳极与比较器同相输入端连接。光照检测检测光照参数确定白天还是黑夜。
进一步的,所述通信模块BC95模组与物联网阿里云服务器连接,将采集的数据通过BC95模组上传至云端服务器。
进一步的,所述物联网远程监控和巡检模块包括温度传感器、湿度传感器、电量监测、鸟入侵信息,采集的温度、湿度、电量、鸟类入侵次数、驱鸟信息上传至云端服务器,终端用户可实时监测。
进一步的,所述供电电路,其上搭载太阳能充电板和蓄电池相结合,保障驱鸟***正常供电。
相对于现有技术,本发明的有益效果在于:一种基于深度学习的物联网智能驱鸟***,以STM32F为核心,多普勒雷达和摄像头结合,多普勒雷达检测到移动物体时,将信息传输给STM32F,启动摄像头拍摄图片,通过OpenCV计算机视觉库对图片进行高斯滤波和二值化处理,提高了目标分类检测的准确率,利用设计的卷积神经网络模型,采用Adam优化算法,进行深度学习,判断入侵物体是否鸟类,若为鸟类开启驱鸟模式,白天采用音波驱鸟、绿光爆闪驱鸟,夜间采用绿光爆闪驱鸟、超声波驱鸟,驱鸟方式更加人性化,物联网远程监控,终端用户在PC机或手机APP上实时监测。无鸟类入侵时驱鸟器为休眠模式,降低了电量损耗,太阳能板和蓄电池结合,显著提高了续航时间,实现了无外供电源长期自主驱鸟,简单实用,驱鸟精准,降低了运维难度和成本。
附图说明
图1为本发明一种基于深度学习的物联网智能驱鸟***模块架构图;
图2为本发明一种基于深度学习的物联网智能驱鸟***基于多普勒探测器和深度学习的目标分类原理图;
图3为本发明一种基于深度学习的物联网智能驱鸟***目标分类神经网络模型结构;
图4为本发明一种基于深度学习的物联网智能驱鸟***Acc曲线与Loss曲线图;
图5为本发明一种基于深度学习的物联网智能驱鸟***OpenCV计算机视觉库图像预处理示意图;
图6为本发明一种基于深度学习的物联网智能驱鸟***网络架构图;
图7为本发明一种基于深度学习的物联网智能驱鸟***阿里云监测数据界面;
图8为本发明一种基于深度学习的物联网智能驱鸟***工作流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明提供一种技术方案:一种基于深度学习的物联网智能驱鸟***,由STM32F微控制器、基于深度学习算法的鸟类探测模块、多模式驱鸟模块、供电模块和物联网远程监控和巡检模块、通信模块、探测与驱鸟范围扩大模块组成,探测模块使用多普勒雷达与摄像头相结合,***模块架构如图1所示。其工作过程和原理如下:
当鸟类探测模块检测到鸟儿移动至输电铁塔附近,由于鸟类种类繁多、体型存在差异、移动速度和羽毛颜色也各尽不同,快捷高效的探测鸟类是否接近输电铁塔是驱鸟***的关键环节,考虑到鸟类飞行至铁塔附近是一个移动的过程,故本驱鸟***选用HB100多普勒探测器作为预探测手段。HB100利用多普勒雷达发射固定频率(f0)微波信号并接收反射波信号(频率f1),当遇到静止物体时反射波频率不变;当遇到运动物体时,发射波与反射波相混差频产生一个新的低频信号即为多普勒信号,其频率为多普勒频率。HB100将物体移动信号放大并通过过零比较器转换为方波信号传输至STM32微处理器中,其工作原理图如图2所示。探测器的探测范围为10米的球形区域,可覆盖单个铁塔,探测区域内可准确探测到运动物体靠近和远离的信号。探测器功耗极低(35mA),可超长待机且其不受温度、光线、湿度等因素的影响,抗电磁干扰能力强,整个探测环节为非接触式测量,不会对被测对象造成伤害,也不会对环境产生污染,符合人与自然和谐共生的理念。但是由于多普勒易受环境风吹雨打的影响,容易出现误报问题,因此,多普勒探测器检测到移动的物体时,向STM微处理器发送信号,启动摄像头拍摄图片,采用基于深度学习的目标分类算法判断入侵的物体是否是鸟类,再甄别是否唤醒驱鸟器进行驱鸟,可有效降低驱鸟器***误报问题。
基于深度学习的目标检测算法有Faster R-CNN、YOLO、SSD等算法,这些主流算法不仅可以解决目标检测的分类问题,还可以检测到物***置信息,但网络模型复杂,对硬件要求极高,训练过程需要消耗极大的算力。本发明所涉***中,只需要区分检测目标(入侵物体)是否鸟类即可,不需要进行鸟类物种区分,也不关心目标具***置。从节约算力和经济实用的角度出发,本发明设计了一个简单实用的卷积神经网络模型来进行分类学习,以识别入侵物体是否为鸟类。
本发明所设计的分类网络模型结构如图3所示,使用2个卷积层、2个池化层、2个全连接层,共6层卷积神经网络。考虑到鸟类形体及其停栖、飞行在输电线路中的姿态多样,第一卷积层卷积核数量为8,以增强网络识别不同入侵目标的能力。输出神经元数量为2,即输出为鸟类和非鸟类两个类别。
由于本发明中摄像头拍摄图像中包括天空、输电线、绝缘子、电线杆等背景,鸟儿在整个图像中占据位置较小,如果对完整图像进行深度学习,则会导致模型整体泛化能力较弱,目标分类检测的准确率较低,如需提高其泛化能力,需要大量的训练样本,导致成本提高。因此,在将图像导入网络模型训练之前,需要进行预处理。通过OpenCV计算机视觉库对于背景图像和正样本图像进行高斯滤波和二值化处理,将背景滤除,然后提取入侵物***置和轮廓特征,以此为据进行图形分割,然后导入网络模型进行训练和测试。
预处理后的图像特征简单明显,因此在图像预处理阶段可转换为32×32的三通道像素格式,便于送入网络模型中训练,提高识别的准确率。图3中,第一层卷积层的输入为32×32像素大小,其中卷积核数为8,卷积核大小为5×5,步长为1。第一层卷积层的输出特征图的尺寸如(公式1)所示。
Figure BDA0003781997550000091
(公式1)中:
O——输出图像的尺寸;
I——输入图像的尺寸;
K——卷积核的尺寸;
P——填充数;
S——移动步长。
由于此卷积神经网络不使用全零填充,故P=0。则由公式(1)得,第一层卷积层输出为8×28×28,8为输出特征图的数量,8个卷积核输出8个特征图,28×28为输出特征图的尺寸。第一层卷积层的输出作为第二层池化层的输入,第二层池化层的过滤器尺寸为2×2,步长为2,则第二层池化层的输出为8×14×14。在第三层卷积层中有32个卷积核,卷积核尺寸为5×5,步长为1,输出特征图为32×10×10。经过最后一层池化层(过滤器尺寸为2×2,步长为2)得到32×5×5的输出,然后与全连接层连接将张量数据平铺展开为1×120大小的向量数据,再经过一个全连接层并运用softmax激活函数得出最后分类结果。
为加快模型的收敛速度,将损失函数降到最低,采用Adam优化算法。该算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,达到最小化损失函数的目的。其计算过程为,首先通过目标函数当前的梯度计算出梯度的一阶矩和二阶矩;然后对一阶矩与二阶矩进行矫正,由于参数初始值为0,所以会向0偏置,减小偏置对参数更新的影响;最后根据求得的偏置矫正、期望、学习率来更新参数,其计算公式为:
Figure BDA0003781997550000101
(公式2)中:
gt——当前参数的梯度;
β1/β2——一阶/二阶矩衰减系数,即梯度gt/gt 2的期望;
mt/vt——梯度gt的一阶/二阶矩;
Figure BDA0003781997550000102
——mt/vt的偏置矫正;
ωt——要求解(更新)的参数;
α——学习率;
ε=10-8
t——更新的步数。
建立数据集时,针对输电线路的鸟类目标分类检测这一实际应用背景,通过各种途径收集含有鸟类目标的图像约800张,同时,为了增强模型的健壮性,还将200张不含有鸟类目标的图片加入数据集中。最终,有1000张图像可以用来进行模型的训练和测试,其中80%作为训练集,20%作为验证集。训练过程在单台2.4GHz,内存为12GB的个人计算机上完成,并且其训练过程采用Python3.7的编译器和Tensorflow2.1的深度学***缓。最终,模型训练集的准确率为98.93%,验证集的准确率为96.88%,符合检测精度的要求。
在服务器上将模型训练好后,就可以移值到STM32单片机上运行了。
图5(a)所示图片中有鸟儿停在输电线路上,在导入网络模型学***方向和铅垂方向进行投影,得到黑色像素点分布的纵、横坐标的位置即为入侵物体可能分布的位置,如图5(d)、(e)。根据图5(d)、(e)中所示黑色像素分布纵横坐标,可获得入侵物体可能分布的图像区域为图5(f)中所标注的1、2、3、4区域。根据图5(f)中的1、2、3、4区域进行裁剪,将得到的图像分别导入模型学习从图5(f)中可知1、4区域裁剪得到的图像中只有背景,2、3区域裁剪得到的图像中才会有入侵物体。根据模型学习输出结果,将获知是否有鸟类入侵及入侵次数。
基于窄带物联网(NB-IOT)技术是目前前景最为广阔的一项技术。驱鸟设备物联网应用一般面向对输电线路和输电铁塔的周围温湿度、摄像信息、电量检测等信息的全面感知,将采集的信息上传至云端,终端用户通过对云端信息进行分析处理进而实现鸟害远程监测、巡检与预警等功能,物联网平台架构如图6所示。智能驱鸟器通信模块采用移远的NB-IOT模组BC95,用于连接NB-IOT基站,支持多种协议(UDP/TCP/CoAP/LWM2M/MQTT)将数据上传至云平台(***OneNET、中国电信IoT平台、华为云、阿里云)。本驱鸟器***基于MQTT协议(消息队列遥测传输)向阿里云发布/订阅信息,阿里云监测数据界面如图7所示。
目前常见的驱鸟方式有音波驱鸟、超声波驱鸟、化学驱鸟和有色光驱鸟。由于鸟类能够听到的频率范围较窄,鸟类无法听到频率高于20khz的超声波;而通过化学药物驱赶靠近铁塔的鸟类,不仅对鸟类健康产生影响而且可能会污染环境。本驱鸟***采用音波(语音)和有色光的方式驱赶鸟类。鸟类的眼睛较为敏感,可感知不同波长的有色光。其中对500-570nm波长的有色光最为敏感。而红色光会对鸟类的迁徙产生影响,不符合友好驱赶鸟类的宗旨,故驱鸟***采用绿光(520-525nm)进行驱鸟,聚光杯则增强绿光灯珠照射距离。音波驱鸟即为语音驱鸟,驱鸟器通过播放天敌的声音、同类的哀鸣、枪声等不同的声音,实现将鸟儿驱赶的目的。音波驱鸟模块由MP3解码模块、功率放大器、扬声器三部分组成。而超声波驱鸟模块由超声波发射器和超声波喇叭组成。通过改变超声波频率进而实现变频驱鸟,可有效避免因鸟儿适用频率超声波无法实现驱鸟效果的问题。
驱鸟***工作流程图如图8所示,其工作流程为:
①HB100多普勒探测器循环检测是否有移动的物体靠近输电铁塔;
②检测到移动的物体存在时,开启摄像头进行拍摄照片;
③利用基于深度学习的目标分类算法(通过搭建卷积神经网络对鸟类图片进行训练,实现对入侵目标的分类),判断是否鸟类入侵,并将智能驱鸟器从休眠模式中唤醒;
④利用光照传感器检测当前光照为白天时,STM32微控制器采用音波和绿光爆闪的模式进行驱鸟,并采集图片;夜晚时,采用超声波和绿光爆闪的模式进行驱鸟;
⑤利用STM32微控制器更改绿光爆闪和超声波频率,实现高效驱鸟;
⑥STM32定时器定时30分钟,启动温度、湿度传感器,采集温湿度数据,并检测蓄电池的电量和鸟儿入侵频率数据;
⑦检测BC95通信模块是否工作就绪并激活场景,注册登录到阿里云;
⑧通过BC95通信模块将采集的温度、湿度、蓄电池电量、鸟类入侵次数、驱鸟信息等数据上传至云服务器中,供终端用户实时监测分析。
⑨当电量过低或鸟儿入侵频率过高时,通过PC机或手机APP向终端用户发送报警信息。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的物联网智能驱鸟***,其特征在于:针对输电线路鸟害,研制的一种基于深度学习的物联网智能驱鸟***,包括STM32F微控制器、探测模块、光照检测模块、驱鸟模块、供电模块、物联网远程监控和巡检模块、通信模块、探测与驱鸟范围扩大模块,所述探测模块包括多普勒雷达、摄像头,包含以下步骤:
S1:多普勒雷达和高清摄像头相结合对入侵物体预检测和拍照,通过OpenCV计算机视觉库对背景图像和正样本图像进行高斯滤波和二值化处理,将背景滤除,提取入侵物***置和轮廓特征,进行图形分割处理;
S2:将处理后的图片导入设计的卷积神经网络模型进行深度学习,判断入侵物体是否为鸟类;
S3:若入侵物体为鸟类,将智能驱鸟***从休眠模式唤醒,开启驱鸟模式,利用光照检测模块检测当前光照为白天时,采用音波驱鸟和绿光爆闪驱鸟;夜晚时采用超声波驱鸟和绿光爆闪驱鸟,利用STM32F微控制器更改绿光爆闪和超声波频率,实现驱鸟;
S4:STM32F定时器定时30分钟,启动温度、湿度传感器,采集温湿度数据,并检测蓄电池的电量和鸟儿入侵频率数据,检测BC95模块是否工作就绪并激活场景,注册登录到物联网阿里云服务器,将采集的数据上传至物联网阿里云服务器,终端用户通过在PC机或手机APP上实时查看驱鸟信息和电池电量。
2.根据权利要求1所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:所述摄像头选用OV7725模块,所述多普勒雷达与OV7725摄像头相结合,多普勒雷达检测到移动物体时,将检测信息传输给STM32F微控制器,启动OV7725摄像头拍摄图片,基于深度学习分类算法判断入侵物体是否鸟类,若入侵物体为鸟类,开启驱鸟模式。
3.根据权利要求2所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:深度学习的目标分类算法通过一个卷积神经网络模型识别入侵物体是否为鸟类,该模型使用2个卷积层、2个池化层、2个全连接层,共6层卷积神经网络,输出神经元数量为2,通过OpenCV计算机视觉库对背景图像和正样本图像进行高斯滤波和二值化处理,将背景滤除,提取入侵物***置和轮廓特征,进行图形分割,然后导入网络模型进行训练和测试,第一层卷积层的输出特征图的尺寸公式如下:
Figure FDA0003781997540000021
(公式1)中:
O——输出图像的尺寸;
I——输入图像的尺寸;
K——卷积核的尺寸;
P——填充数;
S——移动步长。
4.根据权利要求3所述的一种基于深度学***铺展开为向量数据,再经过一个全连接层并运用softmax激活函数得出最后分类结果。
5.根据权利要求4所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:为加快卷积神经网络模型的收敛速度,将损失函数降到最低,采用Adam优化算法,该算法利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,其计算过程为,首先通过目标函数当前的梯度计算出梯度的一阶矩和二阶矩;然后对一阶矩与二阶矩进行矫正;最后根据求得的偏置矫正、期望、学习率来更新参数,其计算公式为:
Figure FDA0003781997540000031
(公式2)中:
gt——当前参数的梯度;
β12——一阶/二阶矩衰减系数,即梯度gt/gt 2的期望;
mt/vt——梯度gt的一阶/二阶矩;
Figure FDA0003781997540000032
——mt/vt的偏置矫正;
ωt——要求解(更新)的参数;
α——学习率;
ε=10-8
t——更新的步数。
6.根据权利要求5所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:所述STM32F微控制器是整个驱鸟***的核心模块,外接探测模块、光照检测模块、驱鸟模块、物联网远程监控和巡检模块、供电模块、通信模块、探测与驱鸟范围扩大模块,所述驱鸟模块包括绿光驱鸟、音波驱鸟、超声波驱鸟三种驱鸟模式,所述音波驱鸟由MP3解码模块、功率放大器和扬声器组成,MP3解码模块内置SD卡,其输入端与微控制器STM32F相连,输出与功率放大器相连接;所述绿光驱鸟由灯珠、聚光杯组成,聚光杯增强绿光灯珠的照射距离;所述超声波驱鸟包括超声波发生器和超声波喇叭,超声波发生器产生不同频率的超声波。
7.根据权利要求6所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:所述探测与驱鸟范围扩大模块使用鸵机配合工作,灵活改变探测角度,扩大探测范围;所述光照检测模块由光敏二极管DS、比较器LM393、电容、电阻、发光二极管组成,光敏二极管DS阳极与比较器同相输入端连接。
8.根据权利要求7所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:所述通信模块选用BC95模组,BC95模组与物联网阿里云服务器连接,将采集的数据通过BC95模组上传至物联网阿里云服务器。
9.根据权利要求8所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:所述物联网远程监控和巡检模块包括温度传感器、湿度传感器、电量监测、鸟入侵信息,采集的温度、湿度、电量、鸟类入侵次数、驱鸟信息上传至物联网阿里云服务器,终端用户可实时监测。
10.根据权利要求9所述的一种基于深度学习的物联网智能驱鸟***,其特征在于:所述供电模块上搭载太阳能充电板和蓄电池相结合,保障驱鸟***的续航时间。
CN202210932069.2A 2022-08-04 2022-08-04 一种基于深度学习的物联网智能驱鸟*** Pending CN115299428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210932069.2A CN115299428A (zh) 2022-08-04 2022-08-04 一种基于深度学习的物联网智能驱鸟***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210932069.2A CN115299428A (zh) 2022-08-04 2022-08-04 一种基于深度学习的物联网智能驱鸟***

Publications (1)

Publication Number Publication Date
CN115299428A true CN115299428A (zh) 2022-11-08

Family

ID=83858794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210932069.2A Pending CN115299428A (zh) 2022-08-04 2022-08-04 一种基于深度学习的物联网智能驱鸟***

Country Status (1)

Country Link
CN (1) CN115299428A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133020A (zh) * 2023-10-26 2023-11-28 湖北华中电力科技开发有限责任公司 基于图像大数据的电网设施异常检测与处理方法及***
CN117238299A (zh) * 2023-11-14 2023-12-15 国网山东省电力公司电力科学研究院 输电线路鸟类声音识别模型优化方法、***、介质及设备
CN117930381A (zh) * 2024-03-25 2024-04-26 海南中南标质量科学研究院有限公司 基于物联网大数据的口岸无辐射透视波通关查验***

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184824A (zh) * 2015-09-30 2015-12-23 重庆师范大学 基于图像传感网的智能农业驱鸟***和方法
CN107156102A (zh) * 2017-06-01 2017-09-15 北京中安航信科技有限公司 基于目标跟踪的定向驱鸟装置及其驱鸟方法
CN108174842A (zh) * 2018-01-31 2018-06-19 佛山市神风航空科技有限公司 一种驱鸟装置
CN208047858U (zh) * 2018-01-30 2018-11-06 广州环名科技有限公司 一种能够对电力设备鸟害进行及时驱离的装置
CN110063326A (zh) * 2019-04-30 2019-07-30 济南浪潮高新科技投资发展有限公司 基于卷积神经网络的智能驱鸟方法
CN110167344A (zh) * 2016-11-11 2019-08-23 生物生态服务提供商 用于检测飞行动物的***和方法
CN110753132A (zh) * 2019-11-28 2020-02-04 佛山光之瞳电子科技有限公司 一种变电站鸟害组网监测与防治***及方法
CN110827304A (zh) * 2018-08-10 2020-02-21 清华大学 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
JP6704979B1 (ja) * 2018-12-12 2020-06-03 テックファーム株式会社 無人飛行装置、無人飛行システム及び無人飛行装置制御システム
CN112056302A (zh) * 2020-10-10 2020-12-11 苏州电力设计研究院有限公司 一种用于主变横担的驱鸟装置、***及方法
CN112149579A (zh) * 2020-09-25 2020-12-29 国网江苏省电力有限公司南通供电分公司 一种基于改进yolo_v3的鸟巢隐患检测方法
CN112237183A (zh) * 2020-10-14 2021-01-19 国网山东省电力公司潍坊供电公司 一种可监测的超声波闭环驱鸟装置及驱鸟方法
CN112289326A (zh) * 2020-12-25 2021-01-29 浙江弄潮儿智慧科技有限公司 一种具有噪音去除的鸟类识别综合管理***及其噪音去除方法
CN112364986A (zh) * 2020-11-26 2021-02-12 南京医科大学 一种对于梯度变化敏感的卷积神经网络模型
CN212644416U (zh) * 2020-07-30 2021-03-02 国网福建省电力有限公司南平供电公司 一种变电站照明与驱鸟一体的智能灯杆装置
CN112614084A (zh) * 2019-09-18 2021-04-06 中国科学院沈阳计算技术研究所有限公司 一种针对ct图像的3d深度卷积神经网络的方法
CN112806348A (zh) * 2021-01-27 2021-05-18 郑州师范学院 一种驱鸟***
CN113180030A (zh) * 2021-07-01 2021-07-30 广东电网有限责任公司中山供电局 一种嵌入式鸟类识别***
CN113239877A (zh) * 2021-06-01 2021-08-10 平安科技(深圳)有限公司 基于计算机视觉的农田监测方法及其相关设备
CN113287597A (zh) * 2021-05-20 2021-08-24 河南天通电力有限公司 一种基于视频研判的输电线路主动驱鸟装置
CN214047282U (zh) * 2020-12-08 2021-08-27 国网北京市电力公司 一种主动探测式驱鸟装置
CN113468984A (zh) * 2021-06-16 2021-10-01 哈尔滨理工大学 一种农作物病虫害叶片识别***、识别方法及病虫害预防方法
CN114097764A (zh) * 2021-12-22 2022-03-01 赵世高 一种智能驱鸟***
CN114242080A (zh) * 2021-11-02 2022-03-25 国网福建省电力有限公司检修分公司 一种基于鸟类声纹特征的变电站分布式驱鸟方法与终端
CN114255135A (zh) * 2021-12-28 2022-03-29 华东交通大学 一种基于声振融合的智能网联农田保护***
CN114661068A (zh) * 2022-05-17 2022-06-24 天津滨海国际机场有限公司 一种用于机场的飞行物驱赶方法、装置、电子设备及介质

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184824A (zh) * 2015-09-30 2015-12-23 重庆师范大学 基于图像传感网的智能农业驱鸟***和方法
CN110167344A (zh) * 2016-11-11 2019-08-23 生物生态服务提供商 用于检测飞行动物的***和方法
CN107156102A (zh) * 2017-06-01 2017-09-15 北京中安航信科技有限公司 基于目标跟踪的定向驱鸟装置及其驱鸟方法
CN208047858U (zh) * 2018-01-30 2018-11-06 广州环名科技有限公司 一种能够对电力设备鸟害进行及时驱离的装置
CN108174842A (zh) * 2018-01-31 2018-06-19 佛山市神风航空科技有限公司 一种驱鸟装置
CN110827304A (zh) * 2018-08-10 2020-02-21 清华大学 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
JP6704979B1 (ja) * 2018-12-12 2020-06-03 テックファーム株式会社 無人飛行装置、無人飛行システム及び無人飛行装置制御システム
CN110063326A (zh) * 2019-04-30 2019-07-30 济南浪潮高新科技投资发展有限公司 基于卷积神经网络的智能驱鸟方法
CN112614084A (zh) * 2019-09-18 2021-04-06 中国科学院沈阳计算技术研究所有限公司 一种针对ct图像的3d深度卷积神经网络的方法
CN110753132A (zh) * 2019-11-28 2020-02-04 佛山光之瞳电子科技有限公司 一种变电站鸟害组网监测与防治***及方法
CN212644416U (zh) * 2020-07-30 2021-03-02 国网福建省电力有限公司南平供电公司 一种变电站照明与驱鸟一体的智能灯杆装置
CN112149579A (zh) * 2020-09-25 2020-12-29 国网江苏省电力有限公司南通供电分公司 一种基于改进yolo_v3的鸟巢隐患检测方法
CN112056302A (zh) * 2020-10-10 2020-12-11 苏州电力设计研究院有限公司 一种用于主变横担的驱鸟装置、***及方法
CN112237183A (zh) * 2020-10-14 2021-01-19 国网山东省电力公司潍坊供电公司 一种可监测的超声波闭环驱鸟装置及驱鸟方法
CN112364986A (zh) * 2020-11-26 2021-02-12 南京医科大学 一种对于梯度变化敏感的卷积神经网络模型
CN214047282U (zh) * 2020-12-08 2021-08-27 国网北京市电力公司 一种主动探测式驱鸟装置
CN112289326A (zh) * 2020-12-25 2021-01-29 浙江弄潮儿智慧科技有限公司 一种具有噪音去除的鸟类识别综合管理***及其噪音去除方法
CN112806348A (zh) * 2021-01-27 2021-05-18 郑州师范学院 一种驱鸟***
CN113287597A (zh) * 2021-05-20 2021-08-24 河南天通电力有限公司 一种基于视频研判的输电线路主动驱鸟装置
CN113239877A (zh) * 2021-06-01 2021-08-10 平安科技(深圳)有限公司 基于计算机视觉的农田监测方法及其相关设备
CN113468984A (zh) * 2021-06-16 2021-10-01 哈尔滨理工大学 一种农作物病虫害叶片识别***、识别方法及病虫害预防方法
CN113180030A (zh) * 2021-07-01 2021-07-30 广东电网有限责任公司中山供电局 一种嵌入式鸟类识别***
CN114242080A (zh) * 2021-11-02 2022-03-25 国网福建省电力有限公司检修分公司 一种基于鸟类声纹特征的变电站分布式驱鸟方法与终端
CN114097764A (zh) * 2021-12-22 2022-03-01 赵世高 一种智能驱鸟***
CN114255135A (zh) * 2021-12-28 2022-03-29 华东交通大学 一种基于声振融合的智能网联农田保护***
CN114661068A (zh) * 2022-05-17 2022-06-24 天津滨海国际机场有限公司 一种用于机场的飞行物驱赶方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓庆绪等: ""物联网中间件技术与应用"", vol. 1, 机械工业出版社, pages: 11 - 12 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133020A (zh) * 2023-10-26 2023-11-28 湖北华中电力科技开发有限责任公司 基于图像大数据的电网设施异常检测与处理方法及***
CN117133020B (zh) * 2023-10-26 2024-01-19 湖北华中电力科技开发有限责任公司 基于图像大数据的电网设施异常检测与处理方法及***
CN117238299A (zh) * 2023-11-14 2023-12-15 国网山东省电力公司电力科学研究院 输电线路鸟类声音识别模型优化方法、***、介质及设备
CN117238299B (zh) * 2023-11-14 2024-01-30 国网山东省电力公司电力科学研究院 输电线路鸟类声音识别模型优化方法、***、介质及设备
CN117930381A (zh) * 2024-03-25 2024-04-26 海南中南标质量科学研究院有限公司 基于物联网大数据的口岸无辐射透视波通关查验***

Similar Documents

Publication Publication Date Title
CN115299428A (zh) 一种基于深度学习的物联网智能驱鸟***
CN108416963B (zh) 基于深度学习的森林火灾预警方法及***
Liu et al. High precision detection algorithm based on improved RetinaNet for defect recognition of transmission lines
CN106335646A (zh) 一种干扰式反无人机***
CN106971152A (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN112806348B (zh) 一种驱鸟***
CN110850775A (zh) 一种用于智慧农业的环境数据无线监测***及其工作方法
CN112101088A (zh) 一种无人机电力自动巡检方法、装置及***
KR102002632B1 (ko) Iot 기반 과수 모니터링 시스템 및 방법
CN113468984A (zh) 一种农作物病虫害叶片识别***、识别方法及病虫害预防方法
CN112690270A (zh) 基于毫米波雷达的高压输电线路杆塔探鸟驱鸟***及方法
CN109452258A (zh) 架空线路智能驱鸟器
CN110367239A (zh) 一种基于物联网的输电线路鸟害防治方法
CN111160271A (zh) 一种基于深度学习的室内养鸡场病鸡检测***
CN114898238A (zh) 一种野生动物遥感识别方法及装置
CN114184232A (zh) 一种输电线路多参量集成监测***
CN114415695A (zh) 一种基于视觉技术和巡检机器人的茶园巡检***
Abdulla et al. Agriculture based on internet of things and deep learning
CN108957255A (zh) 基于无人机舵机扫描检测电力线电晕的定位方法
CN209330740U (zh) 一种基于机器视觉柑橘黄龙病的预警***
CN116616267A (zh) 一种农作物病虫害防治的装置和方法
Uchiyama et al. Sensor network system for condition detection of harmful animals by step-by-step interlocking of various sensors
CN206057138U (zh) 扬尘气象地空监控装置
CN114943984A (zh) 一种基于雷达点云与视觉图像的智能探鸟驱鸟方法及装置
Kumar et al. A Literature Research Review on Animal Intrusion Detection and Repellent Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221108