CN107316012A - 小型无人直升机的火灾检测与跟踪方法 - Google Patents

小型无人直升机的火灾检测与跟踪方法 Download PDF

Info

Publication number
CN107316012A
CN107316012A CN201710447372.2A CN201710447372A CN107316012A CN 107316012 A CN107316012 A CN 107316012A CN 201710447372 A CN201710447372 A CN 201710447372A CN 107316012 A CN107316012 A CN 107316012A
Authority
CN
China
Prior art keywords
fire
image
suspicious region
angle
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710447372.2A
Other languages
English (en)
Other versions
CN107316012B (zh
Inventor
裴海龙
刘雨曦
徐燕翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710447372.2A priority Critical patent/CN107316012B/zh
Publication of CN107316012A publication Critical patent/CN107316012A/zh
Application granted granted Critical
Publication of CN107316012B publication Critical patent/CN107316012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开了一种小型无人直升机的火灾检测与跟踪方法，包括以下步骤：***初始化、开启地面站***以及GIS平台，采集彩色图像和红外图像；根据颜色找出彩色图像中的可疑区域，根据灰度找出红外图像中的可疑区域；提取彩色图像中可疑区域的颜色，灰度共生矩阵特征；提取红外图像中可疑区域圆形度，面积变化率特征；经过离线训练后使用SVM的分类决策判定是否是火灾；机载处理器计算红外图像中火点坐标并发送给云台，云台实时跟踪火点；云台的惯性测量单元获取红外摄像头的姿态角；地面站结合小型无人直升机的经纬度、高度、偏航角信息和姿态角计算出火点的精确经纬度定位信息；最终GIS平台把火点的精确定位在地图上标出。

Description

小型无人直升机的火灾检测与跟踪方法
技术领域
本发明涉及无人机火灾检测预警技术领域，具体涉及一种小型无人直升机的火灾检测与跟踪方法。
背景技术
我国是世界上自然灾害最为严重的国家之一。灾害种类多、分布地域广、发生频率高、造成损失重。对于突发性灾害，特别是火灾和山洪等有限范围、突发性强、危害大且难以快速大面积地面搜寻和探测的灾害，进行早期探测预警是十分关键的减灾手段。目前国内预警***基本上是采取定点观测的手段和方法，如常规的森林防火瞭望哨等，但由于地形和成本的因素，观测预警网络难以覆盖所有的区域而造成预警延误。卫星遥感灾害监测是近年发展起来的一种新方法，但由于卫星高度高(数百公里)且轨道固定，运行周期长(以天、星期来计算)，卫星遥感缺乏全天候观测能力，尤其缺乏全天时全天候高分辨率观测能力；空间覆盖能力不能满足灾害区域性监测需求，数据获取实效性亟待提高；监测周期(时间分辨率)尚不能满足灾害应急阶段的监测需求，在目前综合应用多星资源情况下也不能满足这一指标。
我国2007年发布的《国家综合防灾减灾规划(2011-2015年)》明确指出，“加强自然灾害监测预警预报能力建设”，“逐步完善各类自然灾害的监测预警预报网络***”，提出了对“自然灾害立体监测体系”的迫切需求。然而，由于经济和技术等条件的制约，目前立体监测仍难以实时大范围精确实现，低成本的小型无人直升机超低空移动观测平台是解决这一关键问题的可行途径。
国内目前已开始利用高空的气象卫星等遥感技术应用于灾害的预警和监测，但由于缺少相关的小型飞行平台，还没有开展基于低空自主移动网络平台的精确实时的立体预警体系构建。而国外，特别是欧洲发达国家正进行大量投入，实施该方向的研究与应用。例如欧盟就曾组织在多个国家和组织间联合进行COMET的研究计划，先后作出大量的投入，其成果已接近实用。之后欧盟又新近推出了更为实用的AWARE计划，由德国、西班牙、比利时和挪威等国的大学和研究机构联合研究开发火警自动识别技术。在加拿大和奥地利也已开始利用小型无人机进行森林火灾等灾难的预警。
灾害预警目前正朝着网络化和空、天、地一体化的方向发展。基于小型无人机的森林火灾预警***已在加拿大、匈牙利等国运行，其与现有观测预警网络的相互有效补充，为自主移动网络式灾害预警***构建取得了理论与实际应用经验。空、天、地三维立体多信源多分尺度信息互动协调、网络化、智能化、无人值守已成为未来灾难监测预警技术的发展趋势。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种小型无人直升机的火灾检测与跟踪方法，该方法通过小型无人直升机的机载彩色摄像头采集的图像和红外摄像头采集的图像进行特征融合、SVM判定火灾，使用云台对火点进行实时跟踪，同时地面站结合云台惯性测量单元(Inertial Measurement Unit，IMU)获取的红外摄像头姿态角度(俯仰角和滚转角)和小型无人直升机的经纬度、高度、偏航角信息计算火点精确经纬度定位信息，并在GIS平台把火点的精确定位在地图上标出。
本发明的目的可以通过采取如下技术方案达到：
一种小型无人直升机的火灾检测与跟踪方法，所述方法包括下列步骤：
S1、小型无人直升机的火灾检测与跟踪***初始化以及开启地面站***以及GIS平台；
S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站***；
S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；
S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；
S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；
S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；
S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；
S8、云台接收到红外图像中的火点坐标并实时跟踪火点；
S9、云台的惯性测量单元获取红外摄像头姿态角；
S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；
S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。
进一步地，所述红外摄像头姿态角包括俯仰角和滚转角。
进一步地，所述地面站***包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角和小型无人直升机的经纬度、高度、偏航角的信息以及显示地面站***最终计算的火点精确经纬度定位信息；
所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站***发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。
进一步地，所述步骤S3中提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：
设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：
P(x,y)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j}
其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数，在得到灰度共生矩阵后计算纹理特征量，所述纹理特征量用对比度、能量、熵的特征量来表示，其中，
所述对比度反映图像的清晰度和纹理的沟纹深浅，计算公式如下：
Con＝∑i∑j(i-j)2P(i,j)；
所述能量是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，计算公式如下：Asm＝∑i∑jP(i,j)2；
所述熵是图像包含信息量的随机性度量，计算公式如下：
Ent＝-∑i∑jP(i,j)logP(i,j)。
进一步地，所述步骤S4中提取红外图像可疑区域的圆形度、面积变化率特征的方法为:
(1)圆形度e，用来度量与圆形的接近程度，其中A表示可疑区域面积，P表示可疑区域周长，e＝4πA/P2；
(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，假设第一帧的可疑区域面积为S1,第三帧的可疑区域面积为S2，则面积变化率ΔS为
进一步地，所述步骤S10过程如下：
已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°，则红外摄像头能拍摄到的距离映射到地面上则为L＝H*cotθ，飞机以正北方向为0°计算偏航角，γ为红外摄像头偏离正北方向的角度，则
γ＝Ф+α
△Lat＝L*cosγ
△Lng＝L*sinγ
其中，△Lat、△Lng分别为在经线上和纬线上相对于飞机的距离；
已知地球半径为6371千米，换算成经纬度则为：
△Lat_degree＝(180°*△Lat)/(6371*103*π)；
△Lng_degree＝(180°*△Lng)/(6371*103*cos(△Lat_degree+fly_lat)*π)；
得到火点坐标为：
Fire_lng＝fly_lng+△Lng_degree
Fire_lat＝fly_lat+△Lat_degree
其中fly_lng、fly_lat为飞机的经纬度，Fire_lng、Fire_lat为火点的经纬度。
本发明相对于现有技术具有如下的优点及效果：
1、本发明公开的小型无人直升机的火灾检测与跟踪方法实现了面向火灾应急监测的多源信息(彩色图像、红外图像)采集与融合，并采集了台灯，蜡烛和其余无火焰的图像作为负样本，采用SVM进行离线训练，再通过SVM调用训练数据分类决策判定火灾，结果证明多源信息(彩色图像、红外图像)采集与融合能更准确地进行火灾的判定。
2、本发明公开的小型无人直升机的火灾检测与跟踪方法通过地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台惯性测量单元获取的红外摄像头姿态角(俯仰角和滚转角)，计算出火点的精确经纬度定位信息，并在GIS平台把火点的精确定位在地图上标出。
附图说明
图1是小型无人直升机的火灾检测与跟踪方法的***结构框图；
图2是小型无人直升机的火灾检测与跟踪方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1是本发明公开的小型无人直升机的火灾检测与跟踪方法的***结构框图，机载处理器是用来处理彩色图像和红外图像并提取特征、火灾判定并完成与云台和地面站***之间的通信；红外摄像头采集模块用来采集红外图像；彩色摄像头采集模块用来采集彩色图像；云台用来实时跟踪火点，同时云台的惯性测量单元获取红外摄像头姿态角(俯仰角和滚转角)并发送给地面站；地面站***用来实时显示彩色图像并结合小型无人直升机的经纬度、高度、偏航角信息和云台的惯性测量单元获取红外摄像头的姿态角(俯仰角和滚转角)计算出火点的精确经纬度定位信息；GIS平台用来把火点的精确定位在地图上标出。
如图2所示，一种小型无人直升机的火灾检测与跟踪方法，包括下列步骤：
S1、小型无人直升机的火灾检测与跟踪***初始化以及开启地面站***以及GIS平台；
给小型无人直升机的火灾检测与跟踪***和云台上电，开启地面站***，所述地面站***包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，在没有找到火点之前，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角(俯仰角和滚转角)和小型无人直升机的经纬度、高度、偏航角的信息，最后两个用来显示地面站最终计算的火点精确经纬度定位信息；开启GIS平台，所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站***发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。
S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站***；
红外摄像头的采集帧率为8.3HZ，虽然彩色摄像头的采集帧率能达到30HZ，但由于红外摄像头识别火灾更准确，采用红外图像火灾识别为主，彩色图像火灾识别为辅的方法，故小型无人直升机的火灾检测与跟踪方法的运行频率为8.3HZ。
为了提高彩色图像和红外图像的处理频率，使用机载处理器的DSP进行图像处理。使红外图像处理频率由2HZ提高到8.3HZ。
S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；
其中，上述提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：
设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：
P(x,y)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j}
其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数。在得到灰度共生矩阵后，往往不是直接应用计算的灰度共生矩阵，而是在此基础上计算纹理特征量，经常用对比度、能量、熵等特征量来表示纹理特征。
(1)对比度：反应了图像的清晰度和纹理的沟纹深浅。纹理的沟纹越深，反差越大，效果清晰；反之，对比度小，则沟纹浅，效果模糊。
(2)能量：是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，反应了图像灰度分布均匀程度，能量值大表明当前纹理是一种规则变化较为稳定的纹理。
(3)熵：是图像包含信息量的随机性度量。当共生矩阵中所有值均相等或者像素值表现出最大的随机性时，熵最大，因此熵值表明了图像灰度分布的复杂程度，熵值越大，图像越复杂。
S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；
其中，所述提取红外图像可疑区域的圆形度、面积变化率特征的方法为:
(1)圆形度e：用来度量与圆形的接近程度。其中A表示可疑区域面积，P表示可疑区域周长
e＝4πA/P2
(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，例如第一帧的可疑区域面积为S1,第三帧的可疑区域面积为S2，则面积变化率ΔS为
S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集台灯、蜡烛、和其余无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；
S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到SVM中进行决策分类；
S7、若SVM判定可疑区域是火灾，则利用机载处理器CPU/DSP计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；
S8、云台接收到红外图像中的火点坐标并实时跟踪火点；
S9、云台的惯性测量单元获取红外摄像头姿态角(俯仰角和滚转角)；
S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角(俯仰角和滚转角)，计算出火点的精确经纬度定位信息；
所述地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角(俯仰角和滚转角)，计算出火点的精确经纬度定位信息的方法为：
已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°。则红外摄像头能拍摄到的距离映射到地面上则为L＝H*cotθ。飞机以正北方向为0°计算偏航角，γ为红外摄像头偏离正北方向的角度。则
γ＝Ф+α
△Lat＝L*cosγ
△Lng＝L*sinγ
其中，△Lat、△Lng分别为在经线上和纬线上相对于飞机的距离。已知地球半径为6371千米，换算成经纬度则为
△Lat_degree＝(180°*△Lat)/(6371*103*π)；
△Lng_degree＝(180°*△Lng)/(6371*103*cos(△Lat_degree+fly_lat)*π)；
所以得到火点坐标为
Fire_lng＝fly_lng+△Lng_degree
Fire_lat＝fly_lat+△Lat_degree
其中fly_lng、fly_lat为飞机的经纬度，Fire_lng、Fire_lat为火点的经纬度。
S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种小型无人直升机的火灾检测与跟踪方法，其特征在于，所述方法包括下列步骤：
S1、小型无人直升机的火灾检测与跟踪***初始化以及开启地面站***以及GIS平台；
S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站***；
S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；
S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；
S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；
S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；
S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；
S8、云台接收到红外图像中的火点坐标并实时跟踪火点；
S9、云台的惯性测量单元获取红外摄像头姿态角；
S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；
S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。
2.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述红外摄像头姿态角包括俯仰角和滚转角。
3.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述地面站***包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角和小型无人直升机的经纬度、高度、偏航角的信息以及显示地面站***最终计算的火点精确经纬度定位信息；
所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站***发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。
4.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述步骤S3中提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：
设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：
P(x,y)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j}
其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数，在得到灰度共生矩阵后计算纹理特征量，所述纹理特征量用对比度、能量、熵的特征量来表示，其中，
所述对比度反映图像的清晰度和纹理的沟纹深浅，计算公式如下：
Con＝∑i∑j(i-j)2P(i,j)；
所述能量是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，计算公式如下：Asm＝∑i∑jP(i,j)2；
所述熵是图像包含信息量的随机性度量，计算公式如下：
Ent＝-∑i∑jP(i,j)logP(i,j)。
5.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述步骤S4中提取红外图像可疑区域的圆形度、面积变化率特征的方法为:
(1)圆形度e，用来度量与圆形的接近程度，其中A表示可疑区域面积，P表示可疑区域周长，e＝4πA/P2；
(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，假设第一帧的可疑区域面积为S1,第三帧的可疑区域面积为S2，则面积变化率ΔS为
<mrow> <mi>&amp;Delta;</mi> <mi>S</mi> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>S</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>S</mi> <mn>1</mn> </msub> <mo>|</mo> </mrow> <msub> <mi>S</mi> <mn>1</mn> </msub> </mfrac> <mo>.</mo> </mrow>
6.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述步骤S10过程如下：
已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°，则红外摄像头能拍摄到的距离映射到地面上则为L＝H*cotθ，飞机以正北方向为0°计算偏航角，γ为红外摄像头偏离正北方向的角度，则
γ＝Ф+α
△Lat＝L*cosγ
△Lng＝L*sinγ
其中，△Lat、△Lng分别为在经线上和纬线上相对于飞机的距离；
已知地球半径为6371千米，换算成经纬度则为：
△Lat_degree＝(180°*△Lat)/(6371*103*π)；
△Lng_degree＝(180°*△Lng)/(6371*103*cos(△Lat_degree+fly_lat)*π)；
得到火点坐标为：
Fire_lng＝fly_lng+△Lng_degree
Fire_lat＝fly_lat+△Lat_degree
其中fly_lng、fly_lat为飞机的经纬度，Fire_lng、Fire_lat为火点的经纬度。
CN201710447372.2A 2017-06-14 2017-06-14 小型无人直升机的火灾检测与跟踪方法 Active CN107316012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710447372.2A CN107316012B (zh) 2017-06-14 2017-06-14 小型无人直升机的火灾检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710447372.2A CN107316012B (zh) 2017-06-14 2017-06-14 小型无人直升机的火灾检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN107316012A true CN107316012A (zh) 2017-11-03
CN107316012B CN107316012B (zh) 2020-12-22

Family

ID=60181639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710447372.2A Active CN107316012B (zh) 2017-06-14 2017-06-14 小型无人直升机的火灾检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN107316012B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182706A (zh) * 2017-12-08 2018-06-19 重庆广睿达科技有限公司 一种焚烧物的监控方法及***
CN108765335A (zh) * 2018-05-25 2018-11-06 电子科技大学 一种基于遥感图像的森林火灾检测方法
CN109165577A (zh) * 2018-08-07 2019-01-08 东北大学 一种基于视频图像的早期森林火灾检测方法
CN109903505A (zh) * 2017-12-08 2019-06-18 中电科特种飞机***工程有限公司 一种森林火情监测***、方法及介质
CN111445661A (zh) * 2020-04-08 2020-07-24 峰飞国际有限公司 一种火情处理方法、装置、设备及存储介质
CN111765974A (zh) * 2020-07-07 2020-10-13 中国环境科学研究院 一种基于微型制冷红外热像仪的野生动物观测***及方法
CN111880575A (zh) * 2020-08-10 2020-11-03 重庆依塔大数据研究院有限公司 基于颜色追踪的控制方法、装置、存储介质及机器人
CN111985273A (zh) * 2019-05-23 2020-11-24 九阳股份有限公司 一种智能家电的图像处理方法及智能家电
CN111982291A (zh) * 2019-05-23 2020-11-24 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及***
CN112330917A (zh) * 2020-11-10 2021-02-05 浙江大华技术股份有限公司 火情点的定位的方法、装置和***
CN113419212A (zh) * 2021-06-16 2021-09-21 南京邮电大学 基于灰度共生矩阵和因子分析特征提取的无设备定位方法
CN113626377A (zh) * 2020-05-06 2021-11-09 杭州海康微影传感科技有限公司 裸数据存储控制方法、装置及设备、存储介质
CN115564971A (zh) * 2022-07-18 2023-01-03 南京靖冯胜科技有限公司 一种基于灰度共生矩阵的织带阻燃性能测试方法
CN115979262A (zh) * 2023-03-21 2023-04-18 峰飞航空科技(昆山)有限公司 飞行器的定位方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609589A (zh) * 2008-06-17 2009-12-23 侯荣琴 多频图像火灾探测***
CN101650866A (zh) * 2009-09-22 2010-02-17 华南理工大学 一种应用于无人机的火灾检测***及其火灾检测方法
CN103886344A (zh) * 2014-04-14 2014-06-25 西安科技大学 一种图像型火灾火焰识别方法
CN104143248A (zh) * 2014-08-01 2014-11-12 江苏恒创软件有限公司 基于无人机的森林火灾探测及防控方法
US20160321798A1 (en) * 2013-03-14 2016-11-03 Lockheed Martin Corporation System, method, and computer program product for indicating hostile fire
CN206021492U (zh) * 2016-09-22 2017-03-15 云南电网有限责任公司电力科学研究院 基于无人机的输电线路山火监测装置
CN106683038A (zh) * 2016-11-17 2017-05-17 云南电网有限责任公司电力科学研究院 一种生成火情态势图的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609589A (zh) * 2008-06-17 2009-12-23 侯荣琴 多频图像火灾探测***
CN101650866A (zh) * 2009-09-22 2010-02-17 华南理工大学 一种应用于无人机的火灾检测***及其火灾检测方法
US20160321798A1 (en) * 2013-03-14 2016-11-03 Lockheed Martin Corporation System, method, and computer program product for indicating hostile fire
CN103886344A (zh) * 2014-04-14 2014-06-25 西安科技大学 一种图像型火灾火焰识别方法
CN104143248A (zh) * 2014-08-01 2014-11-12 江苏恒创软件有限公司 基于无人机的森林火灾探测及防控方法
CN206021492U (zh) * 2016-09-22 2017-03-15 云南电网有限责任公司电力科学研究院 基于无人机的输电线路山火监测装置
CN106683038A (zh) * 2016-11-17 2017-05-17 云南电网有限责任公司电力科学研究院 一种生成火情态势图的方法及装置

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182706B (zh) * 2017-12-08 2021-09-28 重庆广睿达科技有限公司 一种焚烧物的监控方法及***
CN109903505A (zh) * 2017-12-08 2019-06-18 中电科特种飞机***工程有限公司 一种森林火情监测***、方法及介质
CN108182706A (zh) * 2017-12-08 2018-06-19 重庆广睿达科技有限公司 一种焚烧物的监控方法及***
CN108765335A (zh) * 2018-05-25 2018-11-06 电子科技大学 一种基于遥感图像的森林火灾检测方法
CN108765335B (zh) * 2018-05-25 2022-08-02 电子科技大学 一种基于遥感图像的森林火灾检测方法
CN109165577A (zh) * 2018-08-07 2019-01-08 东北大学 一种基于视频图像的早期森林火灾检测方法
CN109165577B (zh) * 2018-08-07 2022-03-25 东北大学 一种基于视频图像的早期森林火灾检测方法
CN111982291B (zh) * 2019-05-23 2022-11-04 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及***
CN111985273B (zh) * 2019-05-23 2024-03-15 九阳股份有限公司 一种智能家电的图像处理方法及智能家电
CN111982291A (zh) * 2019-05-23 2020-11-24 杭州海康机器人技术有限公司 一种基于无人机的火点定位方法、装置及***
CN111985273A (zh) * 2019-05-23 2020-11-24 九阳股份有限公司 一种智能家电的图像处理方法及智能家电
CN111445661A (zh) * 2020-04-08 2020-07-24 峰飞国际有限公司 一种火情处理方法、装置、设备及存储介质
CN113626377A (zh) * 2020-05-06 2021-11-09 杭州海康微影传感科技有限公司 裸数据存储控制方法、装置及设备、存储介质
CN111765974A (zh) * 2020-07-07 2020-10-13 中国环境科学研究院 一种基于微型制冷红外热像仪的野生动物观测***及方法
CN111765974B (zh) * 2020-07-07 2021-04-13 中国环境科学研究院 一种基于微型制冷红外热像仪的野生动物观测***及方法
CN111880575A (zh) * 2020-08-10 2020-11-03 重庆依塔大数据研究院有限公司 基于颜色追踪的控制方法、装置、存储介质及机器人
CN111880575B (zh) * 2020-08-10 2023-03-24 重庆依塔大数据研究院有限公司 基于颜色追踪的控制方法、装置、存储介质及机器人
CN112330917B (zh) * 2020-11-10 2022-07-22 浙江大华技术股份有限公司 火情点的定位的方法、装置和***
CN112330917A (zh) * 2020-11-10 2021-02-05 浙江大华技术股份有限公司 火情点的定位的方法、装置和***
CN113419212A (zh) * 2021-06-16 2021-09-21 南京邮电大学 基于灰度共生矩阵和因子分析特征提取的无设备定位方法
CN113419212B (zh) * 2021-06-16 2022-08-23 南京邮电大学 基于灰度共生矩阵和因子分析特征提取的无设备定位方法
CN115564971A (zh) * 2022-07-18 2023-01-03 南京靖冯胜科技有限公司 一种基于灰度共生矩阵的织带阻燃性能测试方法
CN115564971B (zh) * 2022-07-18 2023-06-16 广东柏奴斯股份有限公司 一种基于灰度共生矩阵的织带阻燃性能测试方法
CN115979262A (zh) * 2023-03-21 2023-04-18 峰飞航空科技(昆山)有限公司 飞行器的定位方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN107316012B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN107316012A (zh) 小型无人直升机的火灾检测与跟踪方法
CN112422783B (zh) 一种基于停机坪集群的无人机智能巡查***
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
Pajares Overview and current status of remote sensing applications based on unmanned aerial vehicles (UAVs)
CN112435207B (zh) 一种基于天空地一体化的森林火灾监测预警方法
Spence et al. Deployment of an unmanned aerial system to assist in mapping an intermittent stream
CN103852077A (zh) 链路失效时无人机定位信息防欺骗自主判断方法
CN107504957A (zh) 利用无人机多视角摄像快速进行三维地形模型构建的方法
Ma et al. Using unmanned aerial vehicle for remote sensing application
CN102190081B (zh) 基于视觉的飞艇定点鲁棒控制方法
Xing et al. Multi-UAV cooperative system for search and rescue based on YOLOv5
Sherstjuk et al. Forest fire monitoring system based on UAV team, remote sensing, and image processing
US20200035030A1 (en) Augmented/virtual mapping system
CN108061572B (zh) 一种海洋核动力平台综合态势显控***及方法
CN105872479A (zh) 一种基于无人机的社区网格化管理监察及预警***
CN110647170A (zh) 一种基于无人机的航标巡检装置与方法
Petrides et al. Disaster prevention and emergency response using unmanned aerial systems
CN210835732U (zh) 一种基于无人机的航标巡检装置
Walczak et al. Light pollution mapping from a stratospheric high-altitude balloon platform
CN103177606A (zh) 基于日盲紫外光信号的引航靠泊***
RU113046U1 (ru) Комплексная система раннего обнаружения лесных пожаров, построенная на принципе разносенсорного панорамного обзора местности с функцией высокоточного определения очага возгорания
WO2022107619A1 (ja) データ解析装置および方法、並びに、プログラム
WO2022107620A1 (ja) データ解析装置および方法、並びに、プログラム
Jawak et al. Applications of WorldView-2 satellite data for extraction of polar spatial information and DEM of Larsemann Hills, East Antarctica
Blanks UAS applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant