CN108184096B - 一种机场跑滑区全景监控装置、***及方法 - Google Patents
一种机场跑滑区全景监控装置、***及方法 Download PDFInfo
- Publication number
- CN108184096B CN108184096B CN201810016035.2A CN201810016035A CN108184096B CN 108184096 B CN108184096 B CN 108184096B CN 201810016035 A CN201810016035 A CN 201810016035A CN 108184096 B CN108184096 B CN 108184096B
- Authority
- CN
- China
- Prior art keywords
- module
- image
- monitoring
- airport
- sliding area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 85
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 16
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种机场跑滑区全景监控装置、***及方法,该方法通过若干监控装置通过摄像镜头获取机场跑滑区的空间场景光线,通过CCD传感器光线转变成电荷并通过模数转换器芯片转换成数字信号;图像采集模块采集实时的机场跑滑区视频图像数据码流;图像预处理模块对输入的视频图像数据码流进行特征抽取和分割处理,然后通过图像配准模块将获取的若干图像进行匹配叠加,再通过图像融合模块将获取的若干图像进行拼接融合形成机场跑滑区全景图像;物体识别模块对机场跑滑区全景图像上具有运动状态的物体进行识别,通过识别跟踪模块对运动的物体进行跟踪。本发明实现机场跑滑区全景监控,可进行实时识别跟踪预警,提高机场跑滑区的安全性。
Description
技术领域
本发明涉及全景监测技术领域,具体涉及一种机场跑滑区全景监控装置、***及方法。
背景技术
滑行道是陆地机场上供飞机作地面滑行用的规定通道。滑行道***主要包括主滑行道、进出滑行道、飞机机位滑行通道、机坪滑行道、辅助滑行道、滑行道道肩及滑行带。机场跑滑区是包括滑行道在内及滑行道周围的区域,机场跑滑区关系到飞机的安全起飞和着陆,机场跑滑区的监控对保障乘客生命财产安全有着至关重要的意义。
传统的视频监控一般视野范围狭窄,只能监控有限的场景。在需要监控大场景的情况下,往往使用多个摄像头对某个特定的区域进行监控,通过多个摄像头提供多个监控画面,这种解决方案往往分散了监控人员的注意力,不能对偶发的事件及时发现和追踪,容易酿成安全事故。
发明内容
本发明的目的在于提供一种机场跑滑区全景监控装置、***及方法,采用普通的摄像镜头,实现对机场跑滑区的全景监控,并能对机场跑滑区的运动物体进行实时识别跟踪预警,提高机场跑滑区的安全性。
为实现上述目的,本发明的技术方案为:一种机场跑滑区全景监控装置,所述监控装置包括DSP处理器和ARM处理器,所述监控装置还包括摄像镜头、CCD传感器、视频采集模块、图像预处理模块、图像配准模块、图像融合模块、物体识别模块、识别跟踪模块及越界监测模块;所述摄像镜头与所述CCD传感器建立连接关系,摄像镜头用于获取机场跑滑区的空间场景;所述CCD传感器与所述视频采集模块建立连接关系,CCD传感器用于将光线转变成电荷并通过模数转换器芯片转换成数字信号;所述视频采集模块与所述DSP处理器建立连接关系,视频采集模块用于采集CCD传感器传输的实时视频图像数据码流;所述图像预处理模块与所述视频采集模块建立连接关系,图像预处理模块用于对输入的视频图像进行特征抽取和分割处理;所述图像配准模块与所述图像预处理模块建立连接关系,图像配准模块用于将获取的若干图像进行匹配叠加;所述图像融合模块与所述图像配准模块建立连接关系,图像融合模块用于将获取的若干图像进行拼接融合;所述物体识别模块与所述ARM处理器及图像融合模块建立连接关系,物体识别模块用于识别图像融合模块融合后的机场跑滑区图像上具有运动状态的物体;所述识别跟踪模块与所述物体识别模块建立连接关系,识别跟踪模块用于对机场跑滑区图像具有运动状态的物体进行跟踪;所述越界监测模块与所述识别跟踪模块建立连接关系,越界监测模块用于对机场跑滑区图像具有运动状态的物体进行越界监测。
如上所述的一种机场跑滑区全景监控装置,所述监控装置还包括急停检测模块,所述急停检测模块与所述ARM处理器建立连接关系,急停检测模块用于对机场跑滑区图像上具有运动状态的飞机进行急停检测。急停检测模块通过对机场跑滑区具有运动状态的飞机的特征参数进行提取,当飞机发生急停状态时,相邻图像上的飞机特征参数相同,进而判断为飞机发生了急停事故。
如上所述的一种机场跑滑区全景监控装置,所述监控装置还包括预警模块,所述预警模块与所述ARM处理器建立连接关系,预警模块用于机场跑滑区图像具有运动状态的物体跨越安全界限时,或在飞机急停状态下进行安全预警。机场跑滑区的安全界限预先设置在监控装置的参数内部,安全界限内的图像特征参数当没有外来物体闯入时是一致的,当有外来物体闯入时,跑滑区安全界限内的图像特征参数发生变化,进而判断为有外来物闯入进行安全预警。
如上所述的一种机场跑滑区全景监控装置,所述监控装置设有Flash芯片、DDR芯片及以太网接口,所述Flash芯片与所述ARM处理器建立连接关系,Flash芯片用于保存机场跑滑区图像数据,所述DDR芯片与所述ARM处理器建立连接关系,DDR芯片用于实现机场跑滑区图像数据的双倍速率同步动态随机存储;所述以太网接口与所述ARM处理器建立连接关系,以太网接口用于监控装置连接到互联网进行网络数据传输。Flash芯片是非易失存储器,可以对称为块的存储器单元块进行擦写和再编程。DDR芯片内存的频率可以用工作频率和等效频率两种方式表示,工作频率是内存颗粒实际的工作频率,由于DDR内存可以在脉冲的上升和下降沿都传输数据,因此传输数据的等效频率是工作频率的两倍。DDR芯片每个时钟能够以4倍外部总线的速度读/写数据,并且能够以内部控制总线4倍的速度运行。满足监测装置的数据存储需求。
如上所述的一种机场跑滑区全景监控装置,所述监控装置设有无线传输模块,所述无线传输模块与所述ARM处理器建立连接关系,无线传输模块采用LoRa模块、蓝牙模块或NB-IoT模块,无线传输模块用于监控装置监测的机场跑滑区图像数据进行无线传输。LoRa模块可以采用Semtech公司SX1278射频芯片,传输距离最远可达到8km,工作频段为411-441MHz;该模块支持4种工作模式和空中唤醒,可最大限度降低功耗,该模块共有7个引脚,通过串口实现与外部设备通信,引脚M0、M1用来设置模块工作模式,AUX用来指示模块工作状态。NB-IoT模块可以采用SIMCom的SIM7000C,SIM7000C是基于高通MDM9206平台研发的支持NB-IoT模块,采用SMT封装,能满足机场跑滑区全景监控装置的需求。
本发明还提供一种机场跑滑区全景监控***,所述监控***包括上述监控装置,所述监控***还包括显示主机、远端服务器和移动终端;所述监控装置数量至少为2个,监控装置布设在机场跑滑区周围,监控装置设有采集端和监测端,所述采集端和监测端建立连接关系,所述采集端包括DSP处理器、摄像镜头、CCD传感器、视频采集模块、图像预处理模块、图像配准模块和图像融合模块;所述监测端包括ARM处理器、物体识别模块、识别跟踪模块及越界监测模块;所述监测端通过以太网接口与所述显示主机建立连接关系,显示主机获取监测端传输的机场跑滑区全景视频图像数据进行显示;所述远端服务器与所述监测端及移动终端建立连接关系,远端服务器获取所述监测装置机场跑滑区图像数据并传输到所述移动终端。
如上所述的一种机场跑滑区全景监控***,所述监测端通过无线传输模块与所述显示主机建立连接关系,所述无线传输模块采用LoRa模块、蓝牙模块或NB-IoT模块。
如上所述的一种机场跑滑区全景监控***,所述移动终端与所述监测装置通过蓝牙模块建立连接关系,移动终端直接从所述监测装置获取机场跑滑区全景监测数据。
本发明还提供一种机场跑滑区全景监控方法,所述方法采用上述监控装置,通过上述监控***实现,所述监控方法包括以下步骤:
步骤一:若干监控装置通过摄像镜头获取机场跑滑区的空间场景光线,通过CCD传感器光线转变成电荷并通过模数转换器芯片转换成数字信号;
步骤二:CCD传感器传输数字信号到图像采集模块,图像采集模块采集实时的机场跑滑区视频图像数据码流;
步骤三:图像预处理模块对输入视频图像数据码流进行特征抽取和分割处理,然后通过图像配准模块将获取的若干图像进行匹配叠加,再通过图像融合模块将获取的若干图像进行拼接融合形成机场跑滑区全景图像;
步骤四:物体识别模块对机场跑滑区全景图像上具有运动状态的物体进行识别,通过识别跟踪模块对运动的物体进行跟踪;
步骤五:越界监测模块对机场跑滑区具有运动状态的物体进行越界监测,运动的物体跨越机场跑滑区安全界限时,预警模块进行安全预警。
机场跑滑区全景监控方法步骤四中,物体识别模块识别出运动的物体为飞机,当飞机运动后出现急停状态时,预警模块进行安全预警。
本发明具有如下优点:采用普通的摄像镜头,通过图像处理算法,对输入视频图像数据码流进行特征抽取和分割处理,将获取的若干图像进行匹配叠加,并对若干图像进行拼接融合形成机场跑滑区全景图像,实现对机场跑滑区的全景监控,并能对机场跑滑区的运动物体进行实时识别跟踪预警,提高机场跑滑区的安全性,监控成本低。
附图说明
图1为机场跑滑区全景监控装置示意图;
图2为机场跑滑区全景监控***示意图;
图3为机场跑滑区全景监控方法流程图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1所示,一种机场跑滑区全景监控装置,所述监控装置包括DSP处理器1和ARM处理器2,所述监控装置还包括摄像镜头3、CCD传感器4、视频采集模块5、图像预处理模块6、图像配准模块7、图像融合模块8、物体识别模块9、识别跟踪模块10及越界监测模块11;所述摄像镜头3与所述CCD传感器4建立连接关系,摄像镜头3用于获取机场跑滑区的空间场景;所述CCD传感器4与所述视频采集模块5建立连接关系,CCD传感器4用于将光线转变成电荷并通过模数转换器芯片转换成数字信号;所述视频采集模块5与所述DSP处理器1建立连接关系,视频采集模块5用于采集CCD传感器4传输的实时视频图像数据码流;所述图像预处理模块6与所述视频采集模块5建立连接关系,图像预处理模块6用于对输入的视频图像进行特征抽取和分割处理;所述图像配准模块7与所述图像预处理模块6建立连接关系,图像配准模块7用于将获取的若干图像进行匹配叠加;所述图像融合模块8与所述图像配准模块7建立连接关系,图像融合模块8用于将获取的若干图像进行拼接融合;所述物体识别模块9与所述ARM处理器2及图像融合模块8建立连接关系,物体识别模块9用于识别图像融合模块8融合后的机场跑滑区图像上具有运动状态的物体;所述识别跟踪模块10与所述物体识别模块9建立连接关系,识别跟踪模块10用于对机场跑滑区图像具有运动状态的物体进行跟踪;所述越界监测模块11与所述识别跟踪模块10建立连接关系,越界监测模块11用于对机场跑滑区图像具有运动状态的物体进行越界监测。
机场跑滑区全景监控装置的一个实施例中,所述监控装置还包括急停检测模块12,所述急停检测模块12与所述ARM处理器2建立连接关系,急停检测模块12用于对机场跑滑区图像上具有运动状态的飞机进行急停检测。急停检测模块12通过对机场跑滑区具有运动状态的飞机的特征参数进行提取,当飞机发生急停状态时,相邻图像上的飞机特征参数相同,进而判断为飞机发生了急停事故。
机场跑滑区全景监控装置的一个实施例中,所述监控装置还包括预警模块13,所述预警模块13与所述ARM处理器2建立连接关系,预警模块13用于机场跑滑区图像具有运动状态的物体跨越安全界限时,或在飞机急停状态下进行安全预警。机场跑滑区的安全界限预先设置在监控装置的内部参数,当没有外来物体闯入时,安全界限内的图像特征参数是一致的,当有外来物体闯入时,跑滑区安全界限内的图像特征参数发生变化,进而判断为有外来物闯入进行安全预警。
机场跑滑区全景监控装置的一个实施例中,所述监控装置设有Flash芯片14、DDR芯片15及以太网接口16,所述Flash芯片14与所述ARM处理器2建立连接关系,Flash芯片14用于保存机场跑滑区图像数据,所述DDR芯片15与所述ARM处理器2建立连接关系,DDR芯片15用于实现机场跑滑区图像数据的双倍速率同步动态随机存储;所述以太网接口16与所述ARM处理器2建立连接关系,以太网接口16用于监控装置连接到互联网进行网络数据传输。Flash芯片14是非易失存储器,可以对称为块的存储器单元块进行擦写和再编程。DDR芯片15内存的频率可以用工作频率和等效频率两种方式表示,工作频率是内存颗粒实际的工作频率,由于DDR内存可以在脉冲的上升和下降沿都传输数据,因此传输数据的等效频率是工作频率的两倍。DDR芯片15每个时钟能够以4倍外部总线的速度读/写数据,并且能够以内部控制总线4倍的速度运行。满足监测装置的数据存储需求。
机场跑滑区全景监控装置的一个实施例中,所述监控装置设有无线传输模块17,所述无线传输模块17与所述ARM处理器2建立连接关系,无线传输模块17采用LoRa模块、蓝牙模块或NB-IoT模块,无线传输模块17用于监控装置监测的机场跑滑区图像数据进行无线传输。LoRa模块可以采用Semtech公司SX1278射频芯片,传输距离最远可达到8km,工作频段为411-441MHz;该模块支持4种工作模式和空中唤醒,可最大限度降低功耗,该模块共有7个引脚,通过串口实现与外部设备通信,引脚M0、M1用来设置模块工作模式,AUX用来指示模块工作状态。NB-IoT模块可以采用SIMCom的SIM7000C,SIM7000C是基于高通MDM9206平台研发的支持NB-IoT模块,采用SMT封装,能满足机场跑滑区全景监控装置的需求。
如图2所示,本发明还提供一种机场跑滑区全景监控***,所述监控***包括上述监控装置,所述监控***还包括显示主机18、远端服务器19和移动终端20;所述监控装置数量至少为2个,监控装置布设在机场跑滑区周围,监控装置设有采集端和监测端,所述采集端和监测端建立连接关系,所述采集端包括DSP处理器1、摄像镜头3、CCD传感器4、视频采集模块5、图像预处理模块6、图像配准模块7和图像融合模块8;所述监测端包括ARM处理器2、物体识别模块9、识别跟踪模块10及越界监测模块11;所述监测端通过以太网接口16与所述显示主机18建立连接关系,显示主机18获取监测端传输的机场跑滑区全景视频图像数据进行显示;所述远端服务器19与所述监测端及移动终端20建立连接关系,远端服务器19获取所述监测装置机场跑滑区图像数据并传输到所述移动终端20。
机场跑滑区全景监控***的一个实施例中,所述监测端通过无线传输模块17与所述显示主机18建立连接关系,所述无线传输模块17采用LoRa模块、蓝牙模块或NB-IoT模块。
机场跑滑区全景监控***的一个实施例中,所述移动终端20与所述监测装置通过蓝牙模块建立连接关系,移动终端20直接从所述监测装置获取机场跑滑区全景监测数据。
参见图3,本发明还提供一种机场跑滑区全景监控方法,所述方法采用上述监控装置,通过上述监控***实现,所述监控方法包括以下步骤:
S1:若干监控装置通过摄像镜头3获取机场跑滑区的空间场景光线,通过CCD传感器4光线转变成电荷并通过模数转换器芯片转换成数字信号;
S2:CCD传感器4传输数字信号到图像采集模块,图像采集模块采集实时的机场跑滑区视频图像数据码流;
S3:图像预处理模块6对输入视频图像数据码流进行特征抽取和分割处理,然后通过图像配准模块7将获取的若干图像进行匹配叠加,再通过图像融合模块8将获取的若干图像进行拼接融合形成机场跑滑区全景图像;
S4:物体识别模块9对机场跑滑区全景图像上具有运动状态的物体进行识别,通过识别跟踪模块10对运动的物体进行跟踪;
S5:越界监测模块11对机场跑滑区具有运动状态的物体进行越界监测,运动的物体跨越机场跑滑区安全界限时,预警模块13进行安全预警。
机场跑滑区全景监控方法S4中,物体识别模块9识别出运动的物体为飞机,当飞机运动后出现急停状态时,预警模块13进行安全预警。
本发明采用普通的摄像镜头,通过图像处理算法,对输入视频图像数据码流进行特征抽取和分割处理,特征抽取和分割处理可以采用基于超像素和SVM的联合分割算法实现。本发明中对获取的若干图像进行匹配叠加,图像匹配叠加采用基于改进SURF算子的彩色图像配准算法,SURF特征是一种尺度和旋转不变,与SIFT算法的步骤基本相同,但运算速度提高了3-5倍,SURF算法使用了积分图像和盒式滤波器,主要包括提取特征点、生成特征描述符以及特征匹配三部分。特征点提取通过基于高斯金字塔构造的尺度空间进行特征点检测,通过Hessian矩阵提取特征点。生成特征描述符中为保证SURF特征的旋转不变性,给提取的特征点确定主方向。以特征点为圆心、6s(s是特征点所在尺度的值)为半径计算x和y方向的Haar小波响应,Haar小波模板大小取4s×4s;对Haar响应给予高斯权重,使得越靠近特征点的响应越大;以特征点为中心,对π/3的扇形范围内扫描一圈,将所有角度内的Haar小波响应进行累计叠加,形成新的矢量;主方向就是累计叠加的最大值方向。主方向确定以后,将特征点作为中心,构造一个20s×20s的正方形窗口区域,将该区域划为4×4的子区域,并赋予高斯权重系数,对每个区域的采样点分别计算水平方向的Haar小波响应dx之和、垂直方向的Haar小波响应dy之和以及Haar小波响应的绝对值之和,在每个区域形成一个四维向量(∑dx,∑dy,∑dx,∑dy),则特征点的描述符为(4×4)×4=64维向量Vs=(i1,i2,…,i64)。提取出两幅图像的特征点后,可按照特征点之间的相似性度量进行特征匹配。选用特征点之间的欧几里德距离作为相似性度量。本发明对若干图像进行拼接融合形成机场跑滑区全景图像,实现对机场跑滑区的全景监控,并能对机场跑滑区的运动物体进行实时识别跟踪预警,提高机场跑滑区的安全性,监控成本低。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (9)
1.一种机场跑滑区全景监控装置,所述监控装置包括DSP处理器和ARM处理器,其特征在于:所述监控装置还包括摄像镜头、CCD传感器、视频采集模块、图像预处理模块、图像配准模块、图像融合模块、物体识别模块、识别跟踪模块和越界监测模块;所述摄像镜头与所述CCD传感器建立连接关系,摄像镜头用于获取机场跑滑区的空间场景;所述CCD传感器与所述视频采集模块建立连接关系,CCD传感器用于将光线转变成电荷并通过模数转换器芯片转换成数字信号;所述视频采集模块与所述DSP处理器建立连接关系,视频采集模块用于采集CCD传感器传输的实时视频图像数据码流;所述图像预处理模块与所述视频采集模块建立连接关系,图像预处理模块用于对输入的视频图像进行特征抽取和分割处理;所述图像配准模块与所述图像预处理模块建立连接关系,图像配准模块用于将获取的若干图像进行匹配叠加;所述图像融合模块与所述图像配准模块建立连接关系,图像融合模块用于将获取的若干图像进行拼接融合;所述物体识别模块与所述ARM处理器及图像融合模块建立连接关系,物体识别模块用于识别图像融合模块融合后的机场跑滑区图像上具有运动状态的物体;所述识别跟踪模块与所述物体识别模块建立连接关系,识别跟踪模块用于对机场跑滑区图像具有运动状态的物体进行跟踪;所述越界监测模块与所述识别跟踪模块建立连接关系,越界监测模块用于对机场跑滑区图像具有运动状态的物体进行越界监测;
对获取的若干图像进行匹配叠加,图像匹配叠加采用基于改进SURF算子的彩色图像配准算法;SURF算法使用积分图像和盒式滤波器,包括提取特征点、生成特征描述符以及特征匹配三部分;特征点提取通过基于高斯金字塔构造的尺度空间进行特征点检测,通过Hessian矩阵提取特征点;生成特征描述符中为保证SURF特征的旋转不变性,给提取的特征点确定主方向,以特征点为圆心、6s为半径计算x和y方向的Haar小波响应,Haar小波模板大小取4s×4s,其中,s是特征点所在尺度的值;提取出两幅图像的特征点后,按照特征点之间的相似性度量进行特征匹配,选用特征点之间的欧几里德距离作为相似性度量;
所述监控装置还包括急停检测模块,所述急停检测模块与所述ARM处理器建立连接关系,急停检测模块用于对机场跑滑区图像上具有运动状态的飞机进行急停检测;急停检测模块12通过对机场跑滑区具有运动状态的飞机的特征参数进行提取,当飞机发生急停状态时,相邻图像上的飞机特征参数相同,进而判断为飞机发生急停事故。
2.根据权利要求1所述的一种机场跑滑区全景监控装置,其特征在于:所述监控装置还包括预警模块,所述预警模块与所述ARM处理器建立连接关系,预警模块用于机场跑滑区图像具有运动状态的物体跨越安全界限时,或在飞机急停状态下进行安全预警。
3.根据权利要求1所述的一种机场跑滑区全景监控装置,其特征在于:所述监控装置设有Flash芯片、DDR芯片及以太网接口,所述Flash芯片与所述ARM处理器建立连接关系,Flash芯片用于保存机场跑滑区图像数据,所述DDR芯片与所述ARM处理器建立连接关系,DDR芯片用于实现机场跑滑区图像数据的双倍速率同步动态随机存储;所述以太网接口与所述ARM处理器建立连接关系,以太网接口用于监控装置连接到互联网进行网络数据传输。
4.根据权利要求1所述的一种机场跑滑区全景监控装置,其特征在于:所述监控装置设有无线传输模块,所述无线传输模块与所述ARM处理器建立连接关系,无线传输模块采用LoRa模块、蓝牙模块或NB-IoT模块,无线传输模块用于监控装置监测的机场跑滑区图像数据进行无线传输。
5.一种机场跑滑区全景监控***,所述监控***包括如权利要求1至4任一项所述监控装置,其特征在于:所述监控***还包括显示主机、远端服务器和移动终端;所述监控装置数量至少为2个,监控装置布设在机场跑滑区周围,监控装置设有采集端和监测端,所述采集端和监测端建立连接关系,所述采集端包括DSP处理器、摄像镜头、CCD传感器、视频采集模块、图像预处理模块、图像配准模块和图像融合模块;所述监测端包括ARM处理器、物体识别模块、识别跟踪模块和越界监测模块;所述监测端通过以太网接口与所述显示主机建立连接关系,显示主机获取监测端传输的机场跑滑区全景视频图像数据进行显示;所述远端服务器与所述监测端及移动终端建立连接关系,远端服务器获取所述监测装置机场跑滑区图像数据并传输到所述移动终端。
6.根据权利要求5所述的一种机场跑滑区全景监控***,其特征在于:所述监测端通过无线传输模块与所述显示主机建立连接关系,所述无线传输模块采用LoRa模块、蓝牙模块或NB-IoT模块。
7.根据权利要求5所述的一种机场跑滑区全景监控***,其特征在于:所述移动终端与所述监测装置通过蓝牙模块建立连接关系,移动终端直接从所述监测装置获取机场跑滑区全景监测数据。
8.一种机场跑滑区全景监控方法,所述方法采用如权利要求1至4任一项所述监控装置,通过如权利要求6至7任一项所述监控***实现,其特征在于:所述监控方法包括以下步骤:
步骤一:若干监控装置通过摄像镜头获取机场跑滑区的空间场景光线,通过CCD传感器将光线转变成电荷并通过模数转换器芯片转换成数字信号;
步骤二:CCD传感器传输数字信号到图像采集模块,图像采集模块采集实时的机场跑滑区视频图像数据码流;
步骤三:图像预处理模块对输入视频图像数据码流进行特征抽取和分割处理,然后通过图像配准模块将获取的若干图像进行匹配叠加,再通过图像融合模块将获取的若干图像进行拼接融合形成机场跑滑区全景图像;
步骤四:物体识别模块对机场跑滑区全景图像上具有运动状态的物体进行识别,通过识别跟踪模块对运动的物体进行跟踪;
步骤五:越界监测模块对机场跑滑区具有运动状态的物体进行越界监测,运动的物体跨越机场跑滑区安全界限时,预警模块进行安全预警。
9.根据权利要求8所述的一种机场跑滑区全景监控方法,其特征在于:所述步骤四中,物体识别模块识别出运动的物体为飞机,当飞机运动后出现急停状态时,预警模块进行安全预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810016035.2A CN108184096B (zh) | 2018-01-08 | 2018-01-08 | 一种机场跑滑区全景监控装置、***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810016035.2A CN108184096B (zh) | 2018-01-08 | 2018-01-08 | 一种机场跑滑区全景监控装置、***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108184096A CN108184096A (zh) | 2018-06-19 |
CN108184096B true CN108184096B (zh) | 2020-09-11 |
Family
ID=62550123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810016035.2A Expired - Fee Related CN108184096B (zh) | 2018-01-08 | 2018-01-08 | 一种机场跑滑区全景监控装置、***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108184096B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111064929A (zh) * | 2019-12-16 | 2020-04-24 | 佛山科学技术学院 | 一种基于LoRa无线传输的视频数据采集*** |
CN112381797A (zh) * | 2020-11-16 | 2021-02-19 | 广东电网有限责任公司肇庆供电局 | 一种基于红外数据的线状物信息确认方法 |
CN114912755A (zh) * | 2022-04-13 | 2022-08-16 | 西安卓越视讯科技有限公司 | 一种机场飞行区全天候综合预警监测方法、***及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009089281A1 (en) * | 2008-01-11 | 2009-07-16 | Broadband Discovery Systems, Inc. | System and method for conditioning a signal received at a mems based acquisition device |
CN102253381A (zh) * | 2011-04-20 | 2011-11-23 | 上海交通大学 | 用于机场跑道的异物自动检测***及其检测方法 |
CN102946528A (zh) * | 2012-12-14 | 2013-02-27 | 安徽水天信息科技有限公司 | 基于全景点智能视频监控的机场跑道监控*** |
CN103402044A (zh) * | 2013-08-07 | 2013-11-20 | 重庆大学 | 一种基于多源视频融合的目标识别与跟踪*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400380B (zh) * | 2013-07-25 | 2016-11-23 | 河海大学 | 融合图像矩阵偏移的单摄像机水下目标三维轨迹模拟方法 |
DE102015207375A1 (de) * | 2015-04-22 | 2016-10-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Überwachen eines Bereichs vor einem Fahrzeug |
CN106104203B (zh) * | 2015-07-13 | 2018-02-02 | 深圳市大疆创新科技有限公司 | 一种移动物体的距离检测方法、装置及飞行器 |
CN105427618B (zh) * | 2015-12-18 | 2017-08-11 | 清华大学 | 车辆占用紧急停车带的警示方法及*** |
DE112016006873T5 (de) * | 2016-05-19 | 2019-02-14 | Intel Corporation | Erfassung von Menschen in Bildern unter Verwendung von Tiefeninformationen |
-
2018
- 2018-01-08 CN CN201810016035.2A patent/CN108184096B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009089281A1 (en) * | 2008-01-11 | 2009-07-16 | Broadband Discovery Systems, Inc. | System and method for conditioning a signal received at a mems based acquisition device |
CN102253381A (zh) * | 2011-04-20 | 2011-11-23 | 上海交通大学 | 用于机场跑道的异物自动检测***及其检测方法 |
CN102946528A (zh) * | 2012-12-14 | 2013-02-27 | 安徽水天信息科技有限公司 | 基于全景点智能视频监控的机场跑道监控*** |
CN103402044A (zh) * | 2013-08-07 | 2013-11-20 | 重庆大学 | 一种基于多源视频融合的目标识别与跟踪*** |
Also Published As
Publication number | Publication date |
---|---|
CN108184096A (zh) | 2018-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110297498B (zh) | 一种基于无线充电无人机的轨道巡检方法及*** | |
US11748898B2 (en) | Methods and system for infrared tracking | |
Xu et al. | Power line-guided automatic electric transmission line inspection system | |
Li et al. | Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN | |
CN108184096B (zh) | 一种机场跑滑区全景监控装置、***及方法 | |
CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
CN103279949B (zh) | 基于自定位机器人的多相机参数自动标定***运行方法 | |
CN105512628A (zh) | 基于无人机的车辆环境感知***及方法 | |
CN104808685A (zh) | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 | |
CN105205785A (zh) | 一种可定位的大型车辆运行管理***及其运行方法 | |
CN111178148A (zh) | 一种基于无人机视觉***的地面目标地理坐标定位方法 | |
CN106851229B (zh) | 一种基于图像识别的安防智能决策的方法与*** | |
CN104902233A (zh) | 综合安全监控*** | |
CN110866483A (zh) | 一种动静结合的机场跑道异物视觉检测与定位方法 | |
Luo et al. | Object-aware power line detection using color and near-infrared images | |
CN109782793A (zh) | 无人机救援方法及*** | |
CN102722894B (zh) | 一种基于摄像机自动标定的智能视频监控方法 | |
CN107481265A (zh) | 目标重定位方法及装置 | |
CN109238281B (zh) | 基于图像螺旋线的视觉导航及避障方法 | |
Van Phat et al. | Deep4air: A novel deep learning framework for airport airside surveillance | |
CN116012728A (zh) | 应用于无人机巡检的轨道线路识别跟踪方法及*** | |
Parker et al. | Live detection of foreign object debris on runways detection using drones and AI | |
CN117389294A (zh) | 一种机载日盲紫外相机局部放电检测***及方法 | |
CN112926415A (zh) | 一种行人避让***和行人监测方法 | |
CN117423077A (zh) | Bev感知模型、构建方法、装置、设备、车辆及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200911 Termination date: 20220108 |
|
CF01 | Termination of patent right due to non-payment of annual fee |