CN113569644B - 一种基于机器视觉的机场鸟类目标检测方法 - Google Patents
一种基于机器视觉的机场鸟类目标检测方法 Download PDFInfo
- Publication number
- CN113569644B CN113569644B CN202110720400.XA CN202110720400A CN113569644B CN 113569644 B CN113569644 B CN 113569644B CN 202110720400 A CN202110720400 A CN 202110720400A CN 113569644 B CN113569644 B CN 113569644B
- Authority
- CN
- China
- Prior art keywords
- bird
- image
- target detection
- training
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 62
- 238000012360 testing method Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 abstract description 4
- 238000004220 aggregation Methods 0.000 abstract description 4
- 230000002860 competitive effect Effects 0.000 abstract description 3
- 230000005855 radiation Effects 0.000 abstract description 2
- 241000271566 Aves Species 0.000 description 34
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001846 repelling effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 241000272188 Accipiter Species 0.000 description 1
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 241000272186 Falco columbarius Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002940 repellent Effects 0.000 description 1
- 239000005871 repellent Substances 0.000 description 1
- 230000035943 smell Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的机场鸟类目标检测方法,根据飞鸟的运动特性提出了一种时域变化滤波算法,能够实现对飞鸟的初定位;利用红外视频中飞鸟的红外辐射满足高斯模型的特性,设计了一种基于高斯热图感知的鸟目标检测网络,能够在一级检测的基础上对飞鸟聚集区域进行单只鸟的细定位;本发明克服了传统驱鸟手段效率低、成本高、时效性短的问题;解决了机场飞鸟数量多、体积小、多聚集等问题,在机场红外视频上对飞鸟的检测取得了竞争力的结果。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于机器视觉的机场鸟类目标检测方法。
背景技术
飞机的飞行速度快,与飞鸟发生碰撞后通常会造成极大的破坏,严重时会造成飞机的坠毁。国际航空联合会已把鸟害升级为“A”类(最易发生的) 航空灾难。因此,设计高效而安全的驱鸟***对维护机场安全至关重要。
近年来,作为鸟情观测的重要技术手段之一,雷达探鸟技术得到了快速的发展和应用。目前,国内外研制的相对成熟的“机场雷达探鸟***”主要包括美国的Merlin雷达、加拿大的Accipiter雷达、荷兰的Robin雷达以及英国的Aveillant雷达,国内的部分高校和科研院所也在开展和推进探鸟雷达技术的研究。通过对探鸟雷达数据的处理分析,有助于掌握机场周边鸟类活动规律,及时形成鸟情分析报告,有助于指导机场制定科学合理的鸟防措施。雷达探鸟***的探测范围在垂直高度上可以达到7500~15000英尺,在水平距离上可以达到2~6公里,虽然雷达探鸟***对机场周边鸟类活动的热点区域能够进行鸟类数量的估计,但雷达探测的范围相对较远。在所有鸟击事件中,飞机起飞和降落过程是最容易发生鸟击的阶段,超过90%的鸟击发生在机场和机场附近空域,50%发生在低于30米的空域,仅有1%发生在超过760米的高空。对于机场应用环境,在环保意识加强下,如何在不伤害鸟类的情况下,对机场低空出现的飞鸟进行实时有效驱赶是现如今机场安全的重要课题,当今国际通用的驱鸟方法主要有两种:其一是改变鸟类的生态环境,这种方法对环境破坏较大;其二是运用刺激信号对鸟类进行驱赶,刺激主要针对视觉、听觉和嗅觉方面。视觉刺激主要通过激光或者鸟类天敌的图像来驱赶鸟类。随着智能化绿色机场的推广,刺激信号驱鸟将成为未来发展的主要选择方案。对鸟驱赶前要对低空出现的鸟进行实时有效的探测,目前国内鸟类探测手段主要包括热成像法、雷达法和图像处理方法。由于鸟的体积小,热成像效果不理想,尤其在和所处环境温度相似的情况下;雷达对近目标反应慢并且价格昂贵。
发明内容
本发明的目的是提供一种基于机器视觉的机场鸟类目标检测方法,能够提高驱鸟效率和准确性。
本发明所采用的技术方案是,一种基于机器视觉的机场鸟类目标检测方法,具体按照以下步骤实施:
步骤1、采集机场上空和周边环境红外视频序列V,将V分为训练视频 Vtrain和测试视频Vtest;
步骤2、对训练视频Vtrain执行时域变化滤波算法进行一级运动区域检测,得到飞鸟聚集区域图像集合Mtrain;
步骤3、设计基于高斯热图感知的鸟目标检测网络结构,将飞鸟聚集区域图像集合Mtrain作为鸟目标检测网络的训练样本集,对网络进行训练,得到网络模型MBDGHP-Net;
步骤4、输入测试视频Vtest,Vtest={Imr|1≤r≤R},其中Imr是Vtest中的第r帧图像,图像的宽为W,高为H,视频序列中的总帧数为R;
步骤5、定义视频帧数计数器变量为r,r初始化为1,即r=1;定义飞鸟目标检测结果集合变量PSte,PSte初始化为空,即PSte=NULL;
步骤6、读取Vtest中的第r帧图像Imr,对Imr执行时域变化滤波算法,得到Imr中飞鸟聚集区域图像集合其中J表示鸟聚集区域图像总个数,/>表示第j个飞鸟聚集区域图像;
步骤7、加载网络模型MBDGHP-Net,对飞鸟聚集区域图像计数器变量j初始化,即j=1;
步骤8、读取Imgr中第j个飞鸟聚集区域图像将/>输入至MBDGHP-Net,输出对应的高斯热图/>
步骤9、将作为输入,调用开源的Opencv库函数cv2.Watershed()进行分水岭分割后处理,得到飞鸟二级检测框集合/>将/>追加到PSte中,即/>
步骤10、判断j是否大于J,如果j≥J,执行步骤11;否则,返回步骤 8;
步骤11、在图像Imr上标记PSte中对应的各个目标检测框;
步骤12、判断r是否大于R,如果r≥R,则鸟目标检测结束,否则r=r+1,返回步骤6。
本发明的特点还在于:
步骤2具体过程为:
步骤2.1、输入训练视频Vtrain,Vtrain={Imt|1≤t≤T},其中Imt是Vtrain中的第 t帧图像,图像的宽为W,高为H,视频序列中的总帧数为T;
步骤2.2、视频帧数计数器变量t初始化为k,即t=k,k为时域变化滤波算法中的滤波器长度;
步骤2.3、调用开源的PyTorch库函数torch.mean(),计算图像序列{Imt-1,Imt-2,…,Imt-k}的均值图像Mt,
步骤2.4、计算Imt和Mt的差值图像Dt,Dt=Imt-Mt;
步骤2.5、调用开源的Opencv库函数cv2.meanStdDev(),计算Dt的均值μ和标准差δ;
步骤2.6、计算分割阈值Th,Th=μ+a×δ,其中a为经验阈值系数;
步骤2.7、根据分割阈值Th对Dt进行分割得到二值图像Bt,按照公式(1) 进行二值化分割:
步骤2.8、把二值图像Bt作为输入,调用开源的提取轮廓的Opencv库函数cv2.findContours(),输出一级检测候选目标框集合,即飞鸟聚集区域检测框集合Ctr,其中是Ctr中第i个候选检测框;
步骤2.9、调用开源的Opencv库函数cv2.contourArea()计算Ctr中各目标框在Imt中的像素面积/>调用开源的Numpy库函数np.mean()计算所有目标框的面积均值
步骤2.10、检测框计数器变量i初始化为1,即i=1;设置分割阈值Thr,其中b表示阈值分割系数;
步骤2.11、对Ctr中第i个候选框进行筛选,如果/>在Imt中提取/>对应的图像/>构成一个样本,将该样本加入到训练样本集Mtrain中;
步骤2.12、判断i是否大于I,如果i≥I,执行步骤2.13;否则,i=i+1;返回步骤2.11。
步骤2.13、判断t是否大于T,如果t≥T,一级检测结束,输出Mtrain;否则,t=t+1;返回步骤2.3。
步骤3具体过程为:
步骤3.1、设计鸟目标检测网络结构;
步骤3.2、定义鸟目标检测网络中的目标损失函数L,其中Ga*为鸟目标检测网络预测的高斯热图,Ga为高斯热图真值;
步骤3.3、制作样本位置真值集Gs;
步骤3.4、在训练样本集Mtrain和样本位置真值集合Gs的基础上制作高斯热图真值集合GH;
步骤3.5、设置鸟目标检测网络训练参数,将训练样本集Mtrain以及对应的高斯热图真值集合GH送入鸟目标检测网络进行训练,输出训练好的网络模型MBDGHP-Net;
步骤3.1中BDGHP-Net网络结构的具体设计为:
BDGHP-Net网络由输入模块、特征提取模块、多尺度特征融合模块和预测模块组成;
对Mtrain中任意一张图像Mtrainn进行大小归一化处理,得到归一化后的待分割飞鸟图像Image,其大小为w×h×c,把Image送入网络的输入模块,其中w×h为图像的分辨率,c为通道值;
特征提取模块是利用卷积层和池化层的组合提取Image的各尺度特征,由6组卷积层和5组最大池化层组成,具体连接顺序为:卷积层Conv1-池化层MaxPool1-卷积层Conv2-池化层MaxPool2-卷积层Conv3-池化层MaxPool3-卷积层Conv4-池化层MaxPool4-卷积层Conv5-池化层MaxPool5-卷积层Conv6;
多尺度特征融合模块由5组卷积层、4组串联层和3组上采样层组成,具体连接顺序为:串联层Concat1-上采样层UpSample1-卷积层Conv7-串联层 Concat2-上采样层UpSample2-卷积层Conv8-串联层Concat3-上采样层UpSampk3-卷积层Conv9-串联层Concat4-卷积层Conv10-卷积层Conv11;
预测模块是对多尺度特征融合模块的输出经过1×1卷积操作,得到大小为64×64×1的飞鸟区域的概率图作为网络输出;
步骤3.3具体过程为:
制作样本位置真值集Gs:在训练样本集Mtrain中取出第n个样本图像Mn,对Mn使用公开的标签标记工具Yolo_mark进行单个飞鸟区域标记,得到飞鸟区域的位置框集合Gn, 是Gn中的第z个飞鸟区域位置框, Z是图像Mn中飞鸟区域的位置框总个数,Mtrain中所有样本图像标记的飞鸟区域位置框构成样本位置真值集合:/>
步骤3.4具体过程为:
步骤3.4.1、输入训练样本集Mtrain和样本位置真值集合Gs;
步骤3.4.2、定义图像个数计数器变量为n,n初始化为1,即n=1;
步骤3.4.3、读取Mtrain中第n幅图像Mn和Mn在Gs中对应的样本位置真值集合
步骤3.4.4、定义样本位置个数计数器变量为z,z初始化为1,即z=1;
步骤3.4.5、在Mn中提取对应的子图像/>1≤i≤h,1≤j≤w,i,j表示像素点的行和列坐标值,w,h为/>的宽和高,计算/>中每个像素点/>到其中心点的距离xi,j,按照公式(2)计算xi,j:
步骤3.4.6、将xi,j送入高斯函数G(xi,j)计算得到对应的高斯值,所有像素点的高斯值构成一个高斯热图,即高斯热图真值Ga,将Ga加入集合GHn中,按照公式(3)计算G(xi,j):
步骤3.4.7、判断z是否大于Z,如果z≥Z,执行步骤3.4.8;否则,z累加1,即z=z+1;返回步骤3.4.5;
步骤3.4.8、将GHn加入高斯真值集合GH,即GH+=GHn;
步骤3.4.9、判断n是否大于N,如果n≥N,高斯真值制作结束,输出高斯真值集GH;否则,n累加1,即n=n+1;返回步骤3.4.3。
步骤3.5具体过程为:
步骤3.5.1、设置鸟目标检测网络模型训练参数,设置学习率变量 Learning_rate、每批次数据大小变量Batch_siz、训练迭代最大次数变量 Max_iter,定义训练迭代次数变量为Step,Step初始化为1;
步骤3.5.2、从训练样本集Mtrain和高斯真值集合GH中随机读取 Batch_size个样本和真值数据,将读入的数据送入鸟目标检测网络中,进行网络训练;
步骤3.5.3,计算鸟目标检测网络训练过程中两次迭代的损失函数L绝对差值Dif,根据Dif判断模型是否收敛,如果Dif≤Th1,模型收敛,否则模型不收敛;
步骤3.5.4、若模型收敛或者Step≥Max_iter,进入步骤3.5.5;否则, Step=Step+1,使用Adam优化器来反向修正网络模型中各网络层的权重系数,返回步骤3.5.2;
步骤3.5.5、网络训练结束,保存鸟目标检测网络训练模型MBDGHP-Net。
本发明有益效果是:
本发明基于机器视觉的机场鸟类目标检测方法,根据飞鸟的运动特性提出了一种时域变化滤波算法,能够实现对飞鸟的初定位,并且筛选出待分割的群聚飞鸟区域;利用红外视频中飞鸟的红外辐射满足高斯模型的特性,设计了一种能够预测飞鸟区域得分的基于高斯热图感知的鸟目标检测网络,能够在一级检测的基础上对聚集鸟群区域进行细定位;本发明克服了传统驱鸟手段效率低、成本高、时效性短的问题;解决了机场飞鸟数量多、体积小、聚集情况复杂的多问题,在机场飞鸟视频的检测上取得了竞争力的结果。
附图说明
图1是本发明基于机器视觉的机场鸟类目标检测方法的流程图;
图2是本发明基于机器视觉的机场鸟类目标检测方法中一级检测流程图;
图3是本发明基于机器视觉的机场鸟类目标检测方法的BDGHP-Net网络结构示意图;
图4是本发明基于机器视觉的机场鸟类目标检测方法的高斯真值制作示意图;
图5是本发明实施例中的机场飞鸟测试视频序列;
图6是本发明实施例中的一幅飞鸟测试图像;
图7是本发明实施例中TVF一级检测结果及放大图;
图8是本发明实施例中BDGHP-Net对图8的二级检测结果及放大图;
图9是本发明实施例中的另一幅飞鸟测试图像;
图10是本发明实施例中TVF一级检测结果及放大图;
图11是本发明实施例中BDGHP-Net对图10的二级检测结果及放大图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提出一种基于机器视觉的机场鸟类目标检测方法,如图1所示,具体按照以下步骤实施:
步骤1、采集机场上空和周边环境红外视频序列V,将V分为训练视频 Vtrain和测试视频Vtest;
步骤2、对训练视频Vtrain执行时域变化滤波算法(Temporal Variation Filter,简称TVF)进行一级运动区域检测,得到飞鸟聚集区域图像集合Mtrain;具体过程如图2所示:
步骤2.1、输入训练视频Vtrain,Vtrain={Imt|1≤t≤T},其中Imt是Vtrain中的第 t帧图像,图像的宽为W,高为H,视频序列中的总帧数为T;在本发明实施例中W=720,H=576,T=260;
步骤2.2、视频帧数计数器变量t初始化为k,即t=k,k为时域变化滤波算法中的滤波器长度;在本发明实施例中k=6;
步骤2.3、调用开源的PyTorch库函数torch.mean(),计算图像序列 {Imt-1,Imt-2,…,Imt-k}的均值图像Mt,
步骤2.4、计算Imt和Mt的差值图像Dt,Dt=Imt-Mt;
步骤2.5、调用开源的Opencv库函数cv2.meanStdDev(),计算Dt的均值μ和标准差δ;
步骤2.6、计算分割阈值Th,Th=μ+a×δ,其中a为经验阈值系数;在本发明实施例中a=4;
步骤2.7、根据分割阈值Th对Dt进行分割得到二值图像Bt,按照公式(1) 进行二值化分割:
步骤2.8、把二值图像Bt作为输入,调用开源的提取轮廓的Opencv库函数cv2.findContours(),输出一级检测候选目标框集合,即飞鸟聚集区域检测框集合Ctr,其中是Ctr中第i个候选检测框;
步骤2.9、调用开源的Opencv库函数cv2.contourArea()计算Ctr中各目标框在Imt中的像素面积/>调用开源的Numpy库函数np.mean()计算所有目标框的面积均值
步骤2.10、检测框计数器变量i初始化为1,即i=1;设置分割阈值Thr,其中b表示阈值分割系数;在本发明实施例中b=0.8;
步骤2.11、对Ctr中第i个候选框进行筛选,如果/>在Imt中提取/>对应的图像/>构成一个样本,将该样本加入到训练样本集Mtrain中;
步骤2.12、判断i是否大于I,如果i≥I,执行步骤2.13;否则,i=i+1;返回步骤2.11。
步骤2.13、判断t是否大于T,如果t≥T,一级检测结束,输出Mtrain;否则,t=t+1;返回步骤2.3。
步骤3、设计基于高斯热图感知的鸟目标检测网络结构(Bird Detection Networkbased on Gaussian Heatmap Perception,简称BDGHP-Net),将飞鸟聚集区域图像集合Mtrain作为鸟目标检测网络的训练样本集,对网络进行训练,得到网络模型MBDGHP-Net;具体设计如图3所示:
步骤3.1、设计鸟目标检测网络结构;步骤3.1具体过程为:
BDGHP-Net网络由输入模块、特征提取模块、多尺度特征融合模块和预测模块组成;
对Mtrain中任意一张图像Mtrainn进行大小归一化处理,得到归一化后的待分割飞鸟图像Image,其大小为w×h×c,把Image送入网络的输入模块,其中w×h为图像的分辨率,c为通道值,在本发明实施例中w=h=128,c=3;
特征提取模块是利用卷积层和池化层的组合提取Image的各尺度特征,由6组卷积层和5组最大池化层组成,具体连接顺序为:卷积层Conv1-池化层MaxPool1-卷积层Conv2-池化层MaxPool2-卷积层Conv3-池化层MaxPool3-卷积层Conv4-池化层MaxPool4-卷积层Conv5-池化层MaxPool5-卷积层Conv6;特征提取模块中具体的网络层、卷积层参数设置和输出维度大小如表1所示:
表1
多尺度特征融合模块由5组卷积层、4组串联层和3组上采样层组成,具体连接顺序为:串联层Concat1-上采样层UpSample1-卷积层Conv7-串联层Concat2-上采样层UpSample2-卷积层Conv8-串联层Concat3-上采样层 UpSample3-卷积层Conv9-串联层Concat4-卷积层Conv10-卷积层Conv11;多尺度特征融合模块中具体的网络层、卷积层参数设置和输出维度大小如表2所示:
表2
预测模块是对多尺度特征融合模块的输出经过1×1卷积操作,得到大小为64×64×1的飞鸟区域的概率图作为网络输出。
步骤3.2、定义鸟目标检测网络中的目标损失函数L,其中Ga*为鸟目标检测网络预测的高斯热图,Ga为高斯热图真值;
步骤3.3、制作样本位置真值集Gs;步骤3.3具体过程为:
制作样本位置真值集Gs:在训练样本集Mtrain中取出第n个样本图像Mn,对Mn使用公开的标签标记工具Yolo_mark进行单个飞鸟区域标记,得到飞鸟区域的位置框集合Gn, 是Gn中的第z个飞鸟区域位置框,Z是图像Mn中飞鸟区域的位置框总个数,Mtrain中所有样本图像标记的飞鸟区域位置框构成样本位置真值集合:/>
步骤3.4、在训练样本集Mtrain和样本位置真值集合Gs的基础上制作高斯热图真值集合GH;步骤3.4具体过程如图4所示:
步骤3.4.1、输入训练样本集Mtrain和样本位置真值集合Gs;
步骤3.4.2、定义图像个数计数器变量为n,n初始化为1,即n=1;
步骤3.4.3、读取Mtrain中第n幅图像Mn和Mn在Gs中对应的样本位置真值集合
步骤3.4.4、定义样本位置个数计数器变量为z,z初始化为1,即z=1;
步骤3.4.5、在Mn中提取对应的子图像/>1≤i≤h,1≤j≤w,i,j表示像素点的行和列坐标值,w,h为/>的宽和高,计算/>中每个像素点/>到其中心点的距离xi,j,按照公式(2)计算xi,j:
步骤3.4.6、将xi,j送入高斯函数G(xi,j)计算得到对应的高斯值,所有像素点的高斯值构成一个高斯热图,即高斯热图真值Ga,将Ga加入集合GHn中,按照公式(3)计算G(xi,j):
步骤3.4.7、判断z是否大于Z,如果z≥Z,执行步骤3.4.8;否则,z累加1,即z=z+1;返回步骤3.4.5;
步骤3.4.8、将GHn加入高斯真值集合GH,即GH+=GHn;
步骤3.4.9、判断n是否大于N,如果n≥N,高斯真值制作结束,输出高斯真值集GH;否则,n累加1,即n=n+1;返回步骤3.4.3。
步骤3.5、设置鸟目标检测网络训练参数,将训练样本集Mtrain以及对应的高斯热图真值集合GH送入鸟目标检测网络进行训练,输出训练好的网络模型MBDGHP-Net;步骤3.5具体过程为:
步骤3.5.1、设置鸟目标检测网络模型训练参数,设置学习率变量 Learning_rate、每批次数据大小变量Batch_size、训练迭代最大次数变量 Max_iter,定义训练迭代次数变量为Step,Step初始化为1;具体设置如表3 所示;
表3
参数 | 参数说明 | 取值 |
Learning_rate | 学习率 | 0.00005 |
Max_iter | 训练最大迭代次数 | 500 |
Batch_size | 每批次数据的大小 | 4 |
Step | 训练迭代次数变量初始值 | 1 |
步骤3.5.2、从训练样本集Mtrain和高斯真值集合GH中随机读取 Batch_size个样本和真值数据,将读入的数据送入鸟目标检测网络中,进行网络训练;
步骤3.5.3,计算鸟目标检测网络训练过程中两次迭代的损失函数L绝对差值Dif,根据Dif判断模型是否收敛,如果Dif≤Th1,模型收敛,否则模型不收敛;在本发明实施例中Th1=0.002;
步骤3.5.4、若模型收敛或者Step≥Max_iter,进入步骤3.5.5;否则, Step=Step+1,使用Adam优化器来反向修正网络模型中各网络层的权重系数,返回步骤3.5.2;
步骤3.5.5、网络训练结束,保存鸟目标检测网络训练模型MBDGHP-Net。
步骤4、输入测试视频Vtest,Vtest={Imr|1≤r≤R},其中Imr是Vtest中的第r帧图像,图像的宽为W,高为H,视频序列中的总帧数为R;在本发明实施例中W=720,H=576,R=2690;
步骤5、定义视频帧数计数器变量为r,r初始化为1,即r=1;定义飞鸟目标检测结果集合变量PSte,PSte初始化为空,即PSte=NULL;
步骤6、读取Vtest中的第r帧图像Imr,对Imr执行时域变化滤波算法,得到Imr中飞鸟聚集区域图像集合其中J表示鸟聚集区域图像总个数,/>表示第j个飞鸟聚集区域图像;
步骤7、加载网络模型MBDGHP-Net,对飞鸟聚集区域图像计数器变量j初始化,即j=1;
步骤8、读取Img中第j个飞鸟聚集区域图像将/>输入至 MBDGHP-Net,输出对应的高斯热图/>
步骤9、将作为输入,调用开源的Opencv库函数cv2.Watershed()进行分水岭分割后处理,得到飞鸟二级检测框集合/>将/>追加到PSte中,即/>
步骤10、判断j是否大于J,如果j≥J,执行步骤11;否则,返回步骤 8;
步骤11、在图像Imr上标记PSte中对应的各个目标检测框;
步骤12、判断r是否大于R,如果r≥R,则鸟目标检测结束,否则r=r+1,返回步骤6。
本发明基于机器视觉的机场鸟类目标检测方法。首先,利用飞鸟的运动特性,设计了一种时域变化滤波方法,对拍摄的机场飞鸟红外视频序列中的运动目标进行一级检测,得到运动区域(即单只飞鸟和聚集在一起的多只飞鸟)的候选框;其次,对候选框按照面积大小进行筛选,如果候选框面积小于所有检测框面积均值的一定阈值倍数,则认为候选框对应单只飞鸟,输出候选框;否则认为候选框中包含多只飞鸟,把候选框对应的图像区域送入鸟目标检测网络模型进行二级检测,对网络预测得到的高斯热图采用分水岭分割算法进行后处理得到聚集区域的各个飞鸟检测框。本发明克服了传统驱鸟手段效率低、成本高、时效性短等问题,解决了机场飞鸟数量多、体积小、聚集情况复杂等众多问题,在机场飞鸟视频的检测上取得了竞争力的结果。
实施例
本发明在机场周边采集了测试视频Vtest,视频序列Vtest中部分图像如图5 所示,鸟的数量范围为50~200。
本发明对测试视频序列Vtest中的飞鸟检测结果如图6~图11所示,图6 表示一幅飞鸟场景图像,图7(a)表示本发明提出的TVF一级检测结果原图,图7(b)表示对图7(a)中虚线部分放大图,白色框是飞鸟检测框,图8(a)表示本发明设计的鸟目标检测网络BDGHP-Net对图7的二级检测结果原图,图8(b)表示对图8(a)中虚线部分放大图放大图,白色框是飞鸟检测框;图9表示另一幅飞鸟场景图像,图10(a)表示本发明提出的 TVF一级检测结果原图,图10(b)表示对图10(a)中虚线部分放大图放大图,白色框是飞鸟检测框,图11(a)表示本发明设计的鸟目标检测网络BDGHP-Net对图10的二级检测结果原图,图11(b)表示对图11(a)中虚线部分放大图放大图,白色框是飞鸟检测框。通过图6~图11结果可以看出本发明提出的TVF运动目标检测算法能够实现运动飞鸟目标的精确初检测, BDGHP-Net网络能够实现飞鸟聚集区域的单目标精确细检测,本发明方法可以实现机场飞鸟的精准检测。
采用准确率P、召回率R和调和平均值F三个评价指标对本发明的飞鸟检测效果进行评价,评价指标定义:
①准确率(Precision,P)。准确率表示检测出的正确目标个数占检测出的总目标个数的比例。
②召回率(Recall,R)。召回率表示是检测出的正确目标个数占所有标注的真值框总数目的比例。
③调和平均值(F-measure,F)。调和平均值是对召回率和准确率的加权平均值,因此F-measure是检测算法性能的综合度量,其值越高即算法性能越好,其计算表达式为:
本发明在测试视频Vtest上对本文提出的TVF一级检测模块和 BDGHP-Net二级检测模块进行了客观性能测试,结果如表4所示。TVF算法在Vtest上的调和平均值是75.3%,BDGHP-Net网络的调和平均值为90.5%,相对TVF算法,BDGHP-Net网络的调和平均值性能提高了15.2%。
表4
根据表4可知,本发明提出的TVF运动目标检测算法能够较好的实现飞鸟的初步定位,在TVF的基础上,BDGHP-Net网络对飞鸟的检测性能有了显著的提升。
通过上述方式,本发明提出的一种基于机器视觉的机场鸟类目标检测方法,根据飞鸟的运动特性提出了一种时域变化滤波算法,实现了对飞鸟运动区域的有效检测,针对运动区域存在多只飞鸟聚集的情况,提出了一种基于高斯热图感知的鸟目标检测网络,实现了对飞鸟聚集区域单只飞鸟的精确检测。实验结果验证了本发明的有效性,从而证明了本发明可以应用于机场基于机器视觉的鸟类目标检测,进而实现刺激信号驱鸟,提升机场驱鸟的绿色智能化与自动化水平。
Claims (5)
1.一种基于机器视觉的机场鸟类目标检测方法,其特征在于,具体按照以下步骤实施:
步骤1、采集机场上空和周边环境红外视频序列V,将V分为训练视频Vtrain和测试视频Vtest;
步骤2、对训练视频Vtrain执行时域变化滤波算法进行一级运动区域检测,得到飞鸟聚集区域图像集合Mtrain;具体过程为:
步骤2.1、输入训练视频Vtrain,Vtrain={Imt|1≤t≤T},其中Imt是Vtrain中的第t帧图像,图像的宽为W,高为H,视频序列中的总帧数为T;
步骤2.2、视频帧数计数器变量t初始化为k,即t=k,k为时域变化滤波算法中的滤波器长度;
步骤2.3、调用开源的PyTorch库函数torch.mean(),计算图像序列{Imt-1,Imt-2,…,Imt-k}的均值图像Mt,
步骤2.4、计算Imt和Mt的差值图像Dt,Dt=Imt-Mt;
步骤2.5、调用开源的Opencv库函数cv2.meanStdDev(),计算Dt的均值μ和标准差δ;
步骤2.6、计算分割阈值Th,Th=μ+a×δ,其中a为经验阈值系数;
步骤2.7、根据分割阈值Th对Dt进行分割得到二值图像Bt,按照公式(1)进行二值化分割:
步骤2.8、把二值图像Bt作为输入,调用开源的提取轮廓的Opencv库函数cv2.findContours(),输出一级检测候选目标框集合,即飞鸟聚集区域检测框集合Ctr,其中/>是Ctr中第i个候选检测框;
步骤2.9、调用开源的Opencv库函数cv2.contourArea()计算Ctr中各目标框在Imt中的像素面积/>调用开源的Numpy库函数np.mean()计算所有目标框的面积均值/>
步骤2.10、检测框计数器变量i初始化为1,即i=1;设置分割阈值Thr,其中b表示阈值分割系数;
步骤2.11、对Ctr中第i个候选框进行筛选,如果/>在Imt中提取/>对应的图像构成一个样本,将该样本加入到训练样本集Mtrain中;
步骤2.12、判断i是否大于I,如果i≥I,执行步骤2.13;否则,i=i+1;返回步骤2.11;
步骤2.13、判断t是否大于T,如果t≥T,一级检测结束,输出Mtrain;否则,t=t+1;返回步骤2.3;
步骤3、设计基于高斯热图感知的鸟目标检测网络结构,将飞鸟聚集区域图像集合Mtrain作为鸟目标检测网络的训练样本集,对网络进行训练,得到网络模型MBDGHP-Net;具体过程为:
步骤3.1、设计鸟目标检测网络结构;
步骤3.2、定义鸟目标检测网络中的目标损失函数L,其中Ga*为鸟目标检测网络预测的高斯热图,Ga为高斯热图真值;
步骤3.3、制作样本位置真值集Gs;
步骤3.4、在训练样本集Mtrain和样本位置真值集Gs的基础上制作高斯热图真值集合GH;
步骤3.5、设置鸟目标检测网络训练参数,将训练样本集Mtrain以及对应的高斯热图真值集合GH送入鸟目标检测网络进行训练,输出训练好的网络模型MBDGHP-Net;
步骤4、输入测试视频Vtest,Vtest={Imr|1≤r≤R},其中Imr是Vtest中的第r帧图像,图像的宽为W,高为H,视频序列中的总帧数为R;
步骤5、定义视频帧数计数器变量为r,r初始化为1,即r=1;定义飞鸟目标检测结果集合变量PSte,PSte初始化为空,即PSte=NULL;
步骤6、读取Vtest中的第r帧图像Imr,对Imr执行时域变化滤波算法,得到Imr中飞鸟聚集区域图像集合其中J表示鸟聚集区域图像总个数,/>表示第j个飞鸟聚集区域图像;
步骤7、加载网络模型MBDGHP-Net,对飞鸟聚集区域图像计数器变量j初始化,即j=1;
步骤8、读取Imgr中第j个飞鸟聚集区域图像将/>输入至MBDGHP-Net,输出/>对应的高斯热图/>
步骤9、将作为输入,调用开源的Opencv库函数cv2.Watershed()进行分水岭分割后处理,得到飞鸟二级检测框集合/>将/>追加到PSte中,即/>
步骤10、判断j是否大于J,如果j≥J,执行步骤11;否则,返回步骤8;
步骤11、在图像Imr上标记PSte中对应的各个目标检测框;
步骤12、判断r是否大于R,如果r≥R,则鸟目标检测结束,否则r=r+1,返回步骤6。
2.根据权利要求1所述一种基于机器视觉的机场鸟类目标检测方法,其特征在于,步骤3.1具体过程为:
BDGHP-Net网络由输入模块、特征提取模块、多尺度特征融合模块和预测模块组成;
对Mtrain中任意一张图像Mtrainn进行大小归一化处理,得到归一化后的待分割飞鸟图像Image,其大小为w×h×c,把Image送入网络的输入模块,其中w×h为图像的分辨率,c为通道值;
特征提取模块是利用卷积层和池化层的组合提取Image的各尺度特征,由6组卷积层和5组最大池化层组成,具体连接顺序为:卷积层Conv1-池化层MaxPool1-卷积层Conv2-池化层MaxPool2-卷积层Conv3-池化层MaxPool3-卷积层Conv4-池化层MaxPool4-卷积层Conv5-池化层MaxPool5-卷积层Conv6;
多尺度特征融合模块由5组卷积层、4组串联层和3组上采样层组成,具体连接顺序为:串联层Concat1-上采样层UpSample1-卷积层Conv7-串联层Concat2-上采样层UpSample2-卷积层Conv8-串联层Concat3-上采样层UpSample3-卷积层Conv9-串联层Concat4-卷积层Conv10-卷积层Conv11;
预测模块是对多尺度特征融合模块的输出经过1×1卷积操作,得到大小为64×64×1的飞鸟区域的概率图作为网络输出。
3.根据权利要求1所述一种基于机器视觉的机场鸟类目标检测方法,其特征在于,步骤3.3具体过程为:
制作样本位置真值集Gs:在训练样本集Mtrain中取出第n个样本图像Mn,对Mn使用公开的标签标记工具Yolo_mark进行单个飞鸟区域标记,得到飞鸟区域的位置框集合Gn, 是Gn中的第z个飞鸟区域位置框,Z是图像Mn中飞鸟区域的位置框总个数,Mtrain中所有样本图像标记的飞鸟区域位置框构成样本位置真值集:/>
4.根据权利要求1所述一种基于机器视觉的机场鸟类目标检测方法,其特征在于,步骤3.4具体过程为:
步骤3.4.1、输入训练样本集Mtrain和样本位置真值集Gs;
步骤3.4.2、定义图像个数计数器变量为n,n初始化为1,即n=1;
步骤3.4.3、读取Mtrain中第n幅图像Mn和Mn在Gs中对应的样本位置真值集
步骤3.4.4、定义样本位置个数计数器变量为z,z初始化为1,即z=1;
步骤3.4.5、在Mn中提取对应的子图像/>i,j表示像素点的行和列坐标值,w,h为/>的宽和高,计算/>中每个像素点/>到其中心点的距离xi,j,按照公式(2)计算xi,j:
步骤3.4.6、将xi,j送入高斯函数G(xi,j)计算得到对应的高斯值,所有像素点的高斯值构成一个高斯热图,即高斯热图真值Ga,将Ga加入集合GHn中,按照公式(3)计算G(xi,j):
步骤3.4.7、判断z是否大于Z,如果z≥Z,执行步骤3.4.8;否则,z累加1,即z=z+1;返回步骤3.4.5;
步骤3.4.8、将GHn加入高斯真值集合GH,即GH+=GHn;
步骤3.4.9、判断n是否大于N,如果n≥N,高斯真值制作结束,输出高斯真值集GH;否则,n累加1,即n=n+1;返回步骤3.4.3。
5.根据权利要求1所述一种基于机器视觉的机场鸟类目标检测方法,其特征在于,步骤3.5具体过程为:
步骤3.5.1、设置鸟目标检测网络模型训练参数,设置学习率变量Learning_rate、每批次数据大小变量Batch_size、训练迭代最大次数变量Max_iter,定义训练迭代次数变量为Step,Step初始化为1;
步骤3.5.2、从训练样本集Mtrain和高斯真值集合GH中随机读取Batch_size个样本和真值数据,将读入的数据送入鸟目标检测网络中,进行网络训练;
步骤3.5.3,计算鸟目标检测网络训练过程中两次迭代的损失函数L绝对差值Dif,根据Dif判断模型是否收敛,如果Dif≤Th1,模型收敛,否则模型不收敛;
步骤3.5.4、若模型收敛或者Step≥Max_iter,进入步骤3.5.5;否则,Step=Step+1,使用Adam优化器来反向修正网络模型中各网络层的权重系数,返回步骤3.5.2;
步骤3.5.5、网络训练结束,保存鸟目标检测网络训练模型MBDGHP-Net。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110720400.XA CN113569644B (zh) | 2021-06-28 | 2021-06-28 | 一种基于机器视觉的机场鸟类目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110720400.XA CN113569644B (zh) | 2021-06-28 | 2021-06-28 | 一种基于机器视觉的机场鸟类目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113569644A CN113569644A (zh) | 2021-10-29 |
CN113569644B true CN113569644B (zh) | 2024-03-15 |
Family
ID=78162991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110720400.XA Active CN113569644B (zh) | 2021-06-28 | 2021-06-28 | 一种基于机器视觉的机场鸟类目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113569644B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116148862B (zh) * | 2023-01-16 | 2024-04-02 | 无锡市雷华科技有限公司 | 一种探鸟雷达飞鸟综合预警评估方法 |
CN116086408B (zh) * | 2023-04-10 | 2023-06-23 | 山东省青东智能科技有限公司 | 一种基于工业相机的智能测绘*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205815A (zh) * | 2015-09-15 | 2015-12-30 | 西安理工大学 | 基于云台可控制摄像机的实时视频跟踪***及跟踪方法 |
CN108520286A (zh) * | 2018-04-24 | 2018-09-11 | 青岛科技大学 | 基于卷积神经和候选区域的红外暗弱光小目标检测*** |
CN109033975A (zh) * | 2018-06-27 | 2018-12-18 | 山东大学 | 一种岸滩监测中的鸟类检测、识别与追踪方法及装置 |
CN110414375A (zh) * | 2019-07-08 | 2019-11-05 | 北京国卫星通科技有限公司 | 低空目标的识别方法、装置、存储介质及电子设备 |
CN111680699A (zh) * | 2020-04-27 | 2020-09-18 | 中国人民解放***箭军工程大学 | 一种基于背景抑制的空地红外时敏弱小目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2015305303B2 (en) * | 2014-08-21 | 2021-03-25 | Identiflight International, Llc | Avian detection systems and methods |
-
2021
- 2021-06-28 CN CN202110720400.XA patent/CN113569644B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105205815A (zh) * | 2015-09-15 | 2015-12-30 | 西安理工大学 | 基于云台可控制摄像机的实时视频跟踪***及跟踪方法 |
CN108520286A (zh) * | 2018-04-24 | 2018-09-11 | 青岛科技大学 | 基于卷积神经和候选区域的红外暗弱光小目标检测*** |
CN109033975A (zh) * | 2018-06-27 | 2018-12-18 | 山东大学 | 一种岸滩监测中的鸟类检测、识别与追踪方法及装置 |
CN110414375A (zh) * | 2019-07-08 | 2019-11-05 | 北京国卫星通科技有限公司 | 低空目标的识别方法、装置、存储介质及电子设备 |
CN111680699A (zh) * | 2020-04-27 | 2020-09-18 | 中国人民解放***箭军工程大学 | 一种基于背景抑制的空地红外时敏弱小目标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于鸟类目标散射特性分析的雷达探鸟实验;陈唯实;宁焕生;李敬;毛峡;王宝发;;航空学报;20090725(第07期);154-160 * |
Also Published As
Publication number | Publication date |
---|---|
CN113569644A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106707296B (zh) | 一种基于双孔径光电成像***的无人机检测与识别方法 | |
CN103871029B (zh) | 一种图像增强及分割方法 | |
CN113569644B (zh) | 一种基于机器视觉的机场鸟类目标检测方法 | |
CN104992223B (zh) | 基于深度学习的密集人数估计方法 | |
CN109766884A (zh) | 一种基于Faster-RCNN的机场跑道异物检测方法 | |
CN106651886A (zh) | 一种基于超像素聚类优化cnn的云图分割方法 | |
CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及*** | |
CN110070008A (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
CN107832797B (zh) | 基于深度融合残差网的多光谱图像分类方法 | |
CN113470076B (zh) | 一种平养鸡舍黄羽鸡多目标跟踪方法 | |
CN114241511B (zh) | 一种弱监督行人检测方法、***、介质、设备及处理终端 | |
Zortea et al. | Oil-palm tree detection in aerial images combining deep learning classifiers | |
CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
Chen et al. | Agricultural remote sensing image cultivated land extraction technology based on deep learning | |
CN110197233B (zh) | 一种利用航迹进行飞行器分类的方法 | |
CN117197676A (zh) | 一种基于特征融合的目标检测识别方法 | |
CN113222959A (zh) | 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法 | |
CN110503647A (zh) | 基于深度学习图像分割的小麦植株实时计数方法 | |
Meng et al. | Unmanned aerial vehicle classification and detection based on deep transfer learning | |
CN109359545B (zh) | 复杂低空环境下一种协同监视方法与装置 | |
CN113064133B (zh) | 一种基于时频域深度网络的海面小目标特征检测方法 | |
CN114120150A (zh) | 一种基于无人机成像技术的道路目标检测方法 | |
CN107679467B (zh) | 一种基于hsv和sdalf的行人重识别算法实现方法 | |
CN111414855B (zh) | 基于端到端回归模型的电线杆标牌目标检测及识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |