CN109697424A - 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法 - Google Patents

一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法 Download PDF

Info

Publication number
CN109697424A
CN109697424A CN201811558198.XA CN201811558198A CN109697424A CN 109697424 A CN109697424 A CN 109697424A CN 201811558198 A CN201811558198 A CN 201811558198A CN 109697424 A CN109697424 A CN 109697424A
Authority
CN
China
Prior art keywords
fpga
area
speed railway
video
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811558198.XA
Other languages
English (en)
Inventor
陈积明
孙精辰
贺诗波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201811558198.XA priority Critical patent/CN109697424A/zh
Publication of CN109697424A publication Critical patent/CN109697424A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于FPGA和深度学习的高速铁路异物侵限检测装置及方法，该装置包括视频采集模块、图像存储模块、两个数据处理模块和预警反馈模块，视频采集模用于实时采集高速铁路轨道监控视频；视频处理模块一：利用改进的ICnet神经网络训练标注好的训练集，得到ICnet神经网络权重，完成轨道区域分割模型的构建，将视频的铁轨区域划分安全等级不同的监测区域；视频处理模块二：利用目标识别神经网络对轨道区域进行目标检测；预警反馈模块：将每一帧目标与图像分割结果不断地传送至FPGA进行计算分析，对入侵行为做出语义分析。本发明可以实时、准确的对铁路沿线异物入侵进行监测，符合铁路部门实际需要，能有效保障高速铁路运行安全性。

Description

一种基于FPGA和深度学习的高速铁路异物侵限检测装置及 方法
技术领域
本发明涉及高速铁路异物侵限检测领域，具体涉及一种基于FPGA和深度学习的高速铁路异物侵限检测装置及方法。
背景技术
我国高速铁路运营里程数和客运量的快速增加，对保障高速列车运行安全提出了越来越高的要求。异物侵限和非法侵入是高速铁路中主要突发事件来源之一。因此，对异物侵限和非法入侵进行实时有效的监测和预警，是保障列车运行安全、提高突发事件应急能力、保障高速铁路高效运行的重要基础。
现有技术主要依靠铁路两端的摄像头人工辨识，来分辨异物侵限和非法侵入，这种方法低效，实时性，且对工作人员的要求较高。本发明以FPGA为核心，以语义分割和目标检测算法为载体，充分利用其高速、大数据处理能力和硬件编程设计等特点，实现了对视频图像的采集、处理和预警反馈。本发明能够对现有的高速铁路轨道进行实施分割，运动物体目标检测，并进行语义行为分析，实时有效地监测高速铁路异物入侵情况。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于FPGA和深度学习的高速铁路异物侵限检测装置及方法。
本发明的目的是通过以下技术方案来实现的：一种基于FPGA和深度学习的高速铁路异物侵限检测装置，包括以下部分：
(1)视频采集模块：以FPGA为核心，采用SAA7113H视频解码芯片，通过I2C总线协议对摄像头进行初始化配置，外接模拟PAL/NTAL制式的摄像头，摄像头布置在高速铁路沿线实时采集高速铁路轨道监控视频，并将视频信号进行格式压缩编码；
(2)图像存储模块：采集的视频数据通过FIFO缓存器不断写入到DDR2SDRAM中存储，再经过FIFO缓存器读出视频数据；
(3)数据处理模块一：根据VOC2012的格式构建训练集，训练集的标注规则为：将高铁的轨道区域按照危险程度分为Dangours1区、Dangours2区和Warning区，其中Dangours2区指铁轨区域，危险程度最高，记为III级；Dangours1区指相邻铁轨之间的区域，危险程度次之，记为II级；Warning区指人行横道警戒线到铁轨边缘的区域，危险程度最低，记为I级；对ICnet神经网络进行渐进式压缩；仅采用ICnet神经网络的上分支和中分支，上采样2倍做输出，分别以真实值的1/16、1/8/来指导上分支和中分支的训练；将ICnet神经网络的最后一层全连接层的维数修改为1024；利用改进的ICnet神经网络训练标注好的训练集，得到ICnet神经网络权重，从而完成轨道区域分割模型的构建；从DDR2SDRAM存储器中获取视频数据，并通过轨道区域分割模型进行分割，将结果传送至FIFO缓存器进行下一步处理；
(4)数据处理模块二：从DDR2SDRAM存储器中获取视频数据，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测；判断检测出的目标与数据处理模块一得到的图像分割结果的位置关系，将每一帧图像处理结果传送至预警反馈模块；
(5)预警反馈模块：将数据处理模块二得到的每一帧目标与图像分割结果不断地传送至FPGA进行计算分析，若检测目标处于分割好后的Dangours1区、Dangours2区或Warning区中，说明有异物已经入侵，按分割区域的等级不同启动不同的应急响应措施；否则说明没有检测到异物入侵。
进一步地，所述视频采集模块包括以下部分：采用的FPGA芯片为Alter公司研发的Cyclone IV系列的EP4CE617C8；采用的视频解码芯片为SAA7113H，视频解码芯片在FPGA的控制下通过I2C总线完成配置和初始化过程，输出8位与CCIR656兼容的视频数据。
进一步地，所述图像存储模块包括以下部分：采用8GB内存的DDR2 800系列SDRAM作为存储器；采用FIFO作为数据缓冲器。
进一步地，所述数据处理模块一在构建训练集时，考虑天气状况、光照条件、物体遮挡、摄像机倍率多种因素，建立多场景的高铁轨道分割数据集。
进一步地，所述数据处理模块一中，对ICnet神经网络进行渐进式压缩具体为：压缩率采用1/2，先将其压缩到3/4，对压缩后的网络进行微调，完成后，再压缩到1/2，再微调，保证压缩稳定进行。
进一步地，所述数据处理模块一中，从DDR2SDRAM存储器中获取视频数据之后，对数据进行预处理，预处理过程具体为：将视频数据转换成图片帧的格式，调整亮度和对比度，对模糊图像进行去抖动处理，图像去噪和增强，对预处理后的图像通过轨道区域分割模型进行分割。
进一步地，所述数据处理模块二中，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测具体为：首先把输入图像划分成9*9的单元格，然后对每个单元格预测2个边界框，每个边界框均包含5个预测值：x,y,w,h和可信度，x,y为边界框的中心坐标，与单元格中心对齐，对w,h进行归一化，使得范围变成0到1；如果一个物体的中心落在某个单元格上，那么这个单元格负责预测这个物体；每个单元格需要预测2个边界框值，同时为每个边界框值预测一个置信度，也就是每个单元格需要预测2×(4+1)个值；每个单元格只能预测一种物体，并且直接预测物体的概率值；但是每个单元格可以预测多个边界框值，包括置信度。
进一步地，所述预警反馈模块中，利用图像帧间差分法判断检测目标轨迹及速度变化，结合目标与图像分割结果给出运动目标入侵行为的危险预警。
一种基于FPGA和深度学习的高速铁路异物侵限检测方法，该方法包括以下步骤：
(1)通过布置在高速铁路沿线的摄像头实时采集高速铁路轨道监控视频；
(2)采集的视频数据通过FIFO缓存器不断写入到DDR2SDRAM中存储，再经过FIFO缓存器读出视频数据；
(3)参照VOC2012的格式，利用高速铁路轨道监控视频构建训练集，训练集的标注规则为：将高铁的轨道区域按照危险程度分为Dangours1区、Dangours2区和Warning区；
Dangours2区指铁轨区域，危险程度最高，记为III级；
Dangours1区指相邻铁轨之间的区域，危险程度次之，记为II级；
Warning区指人行横道警戒线到铁轨边缘的区域，危险程度最低，记为I级；
(4)将ICnet神经网络的最后一层全连接层的维数修改为1024，利用改进的ICnet神经网络训练标注好的训练集，调整学习速率、迭代次数、批处理大小、损失函数的阈值、不同级联网络权重，使模型训练损失函数最小，其中损失函数如下：
L＝λ1L1+λ2L2
其中λ1、λ2分别代表上中两个级联分支的权重，L1、L2分别代表上中两个级联分支的损失函数，通过舍弃下分支级联网络，达到加快网络处理速度的目的；
不断训练直到损失函数值达到阈值，得到ICnet神经网络权重，从而完成轨道区域分割模型的构建；
(5)从DDR2SDRAM存储器中获取视频数据，并通过轨道区域分割模型进行分割，将结果传送至FIFO缓存器；
(6)从DDR2SDRAM存储器中获取视频数据，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测；判断检测出的目标与步骤(5)得到的图像分割结果的位置关系；
(7)对目标与图像分割结果的位置关系进行语义分析，若检测目标处于分割好后的Dangours1区、Dangours2区或Warning区中，说明有异物已经入侵，按分割区域的等级不同启动不同的应急响应措施；否则说明没有检测到异物入侵。
本发明的有益效果是：
(1)本发明以FPGA为核心，充分利用其高速、大数据处理能力和硬件编程设计等特点，将图像采集、处理的算力从服务器远程端转移到现场边缘端，增强了铁路监控的实效性；
(2)本发明采用深度学习神经网络自动学习提取铁轨语义分割特征，能够精准的分割各种铁路轨道的不同区域；
(3)本发明基于实时语义分割和目标检测神经网络，具有很高的实时性，处理帧率能够达到30帧/S，能够满足铁路沿线监控视频处理需要。
(4)本发明能够有效解决目前铁路行业对异物侵限监测的难点和痛点，解放劳动力，保障铁路运行安全。
附图说明
图1为本发明装置结构示意图；
图2为本发明方法流程图；
图3为本发明改进的ICnet神经网络络结构图；
图4为本发明语义分割标注规则图；
图5为本发明异物侵限检测效果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，包括以下部分：
(1)视频采集模块：以FPGA为***处理核心，采用SAA7113H视频解码芯片，通过I2C总线协议对摄像头进行初始化配置，外接模拟PAL/NTAL制式的摄像头，摄像头布置在高速铁路沿线实时采集高速铁路轨道监控视频，并将视频信号进行格式压缩编码；
进一步地，采用的FPGA芯片为Alter公司研发的Cyclone IV系列的EP4CE617C8，此款FPGA拥有丰富的I/O接口和逻辑单元，能够实现对每个模块的控制和处理；采用的视频解码芯片为SAA7113H，视频解码芯片在FPGA的控制下通过I2C总线完成配置和初始化过程，输出8位与CCIR656兼容的视频数据。
(2)图像存储模块：采集的视频数据通过FIFO缓存器不断写入到DDR2SDRAM中存储，再经过FIFO缓存器读出视频数据；
进一步地，采用8GB内存的DDR2 800系列SDRAM作为存储器，该存储器具有读写速度快、集成度高、存储容量大以及成本低的特点，能够较好地达到***实时性的要求；采用FIFO作为数据缓冲器，FIFO是一种先入先出的存储器，没有地址定义，只能顺序读写数据，确保了数据的安全性。
(3)数据处理模块一：根据VOC2012的格式构建训练集，如图4所示，训练集的标注规则为：将高铁的轨道区域按照危险程度分为Dangours1区、Dangours2区和Warning区，其中Dangours2区指铁轨区域，危险程度最高，记为III级；Dangours1区指相邻铁轨之间的区域，危险程度次之，记为II级；Warning区指人行横道警戒线到铁轨边缘的区域，危险程度最低，记为I级；对ICnet神经网络进行渐进式压缩，加快网络训练速率；仅采用ICnet神经网络的上分支和中分支，上采样2倍做输出，分别以真实值的1/16、1/8/来指导上分支和中分支的训练，这样的辅助训练使得梯度优化更为平滑，便于训练收敛，通过低分辨率加速捕捉语义，使用高分辨率获取细节，使用级联网络结合，在最快的时间里获得效果；将ICnet神经网络的最后一层全连接层的维数修改为1024，加快神经网络的训练速度；利用改进的ICnet神经网络训练标注好的训练集，得到ICnet神经网络权重，从而完成轨道区域分割模型的构建，如图3所示；从DDR2SDRAM存储器中获取视频数据，并通过轨道区域分割模型进行分割，将结果传送至FIFO缓存器进行下一步处理；
进一步地，在构建训练集时，考虑天气状况、光照条件、物体遮挡、摄像机倍率多种因素，建立多场景的高铁轨道分割数据集。
进一步地，对ICnet神经网络进行渐进式压缩具体为：压缩率采用1/2，先将其压缩到3/4，对压缩后的网络进行微调，完成后，再压缩到1/2，再微调，保证压缩稳定进行。
进一步地，从DDR2SDRAM存储器中获取视频数据之后，对数据进行预处理，预处理过程具体为：将视频数据转换成图片帧的格式，调整亮度和对比度，对模糊图像进行去抖动处理，图像去噪和增强，对预处理后的图像通过轨道区域分割模型进行分割。
(4)数据处理模块二：从DDR2SDRAM存储器中获取视频数据，利用目标识别神经网络(例如yolo神经网络，可识别包括行人、动物在内的20多类物体)对轨道区域的入侵物体或行人进行目标检测；判断检测出的目标与数据处理模块一得到的图像分割结果的位置关系，将每一帧图像处理结果传送至预警反馈模块；
进一步地，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测具体为：首先把输入图像划分成9*9的单元格，然后对每个单元格预测2个边界框，每个边界框均包含5个预测值：x,y,w,h和可信度，x,y为边界框的中心坐标，与单元格中心对齐，对w,h进行归一化，使得范围变成0到1；如果一个物体的中心落在某个单元格上，那么这个单元格负责预测这个物体；每个单元格需要预测2个边界框值，同时为每个边界框值预测一个置信度，也就是每个单元格需要预测2×(4+1)个值；每个单元格只能预测一种物体，并且直接预测物体的概率值；但是每个单元格可以预测多个边界框值，包括置信度。
(5)预警反馈模块：将数据处理模块二得到的每一帧目标与图像分割结果不断地传送至FPGA进行计算分析，若检测目标处于分割好后的Dangours1区、Dangours2区或Warning区中，说明有异物已经入侵，按分割区域的等级不同启动不同的应急响应措施；否则说明没有检测到异物入侵。
进一步地，所述预警反馈模块中，利用图像帧间差分法判断检测目标轨迹及速度变化，结合目标与图像分割结果给出运动目标入侵行为的危险预警，如：物体X正以rm/s的速度在穿越Warning区，即将进Dangours2区。
如图2所示，本发明提供的一种基于FPGA和深度学习的高速铁路异物侵限检测方法，该方法包括以下步骤：
(1)通过布置在高速铁路沿线的摄像头实时采集高速铁路轨道监控视频；
(2)采集的视频数据通过FIFO缓存器不断写入到DDR2SDRAM中存储，再经过FIFO缓存器读出视频数据；
(3)参照VOC2012的格式，利用高速铁路轨道监控视频构建训练集，训练集的标注规则为：将高铁的轨道区域按照危险程度分为Dangours1区、Dangours2区和Warning区；
Dangours2区指铁轨区域，危险程度最高，记为III级；
Dangours1区指相邻铁轨之间的区域，如砂石等，危险程度次之，记为II级；
Warning区指人行横道警戒线到铁轨边缘的区域，如站台等，危险程度最低，记为I级；
(4)将ICnet神经网络的最后一层全连接层的维数修改为1024，利用改进的ICnet神经网络训练标注好的训练集，调整学习速率、迭代次数、批处理大小、损失函数的阈值、不同级联网络权重，使模型训练损失函数最小，其中损失函数如下：
L＝λ1L1+λ2L2
其中λ1、λ2分别代表上中两个级联分支的权重，L1、L2分别代表上中两个级联分支的损失函数，通过舍弃下分支级联网络，达到加快网络处理速度的目的；
不断训练直到损失函数值达到阈值，得到ICnet神经网络权重，从而完成轨道区域分割模型的构建；
(5)从DDR2SDRAM存储器中获取视频数据，并通过轨道区域分割模型进行分割，将结果传送至FIFO缓存器；
(6)从DDR2SDRAM存储器中获取视频数据，利用目标识别神经网络(例如yolo神经网络)对轨道区域的入侵物体或行人进行目标检测；判断检测出的目标与步骤(5)得到的图像分割结果的位置关系；
(7)对目标与图像分割结果的位置关系进行语义分析，若检测目标处于分割好后的Dangours1区、Dangours2区或Warning区中，说明有异物已经入侵，按分割区域的等级不同启动不同的应急响应措施；否则说明没有检测到异物入侵，检测效果如图5所示。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (9)

1.一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，包括以下部分：
(1)视频采集模块：以FPGA为核心，采用SAA7113H视频解码芯片，通过I2C总线协议对摄像头进行初始化配置，外接模拟PAL/NTAL制式的摄像头，摄像头布置在高速铁路沿线实时采集高速铁路轨道监控视频，并将视频信号进行格式压缩编码；
(2)图像存储模块：采集的视频数据通过FIFO缓存器不断写入到DDR2 SDRAM中存储，再经过FIFO缓存器读出视频数据；
(3)数据处理模块一：根据VOC2012的格式构建训练集，训练集的标注规则为：将高铁的轨道区域按照危险程度分为Dangours1区、Dangours2区和Warning区，其中Dangours2区指铁轨区域，危险程度最高，记为III级；Dangours1区指相邻铁轨之间的区域，危险程度次之，记为II级；Warning区指人行横道警戒线到铁轨边缘的区域，危险程度最低，记为I级；对ICnet神经网络进行渐进式压缩；仅采用ICnet神经网络的上分支和中分支，上采样2倍做输出，分别以真实值的1/16、1/8/来指导上分支和中分支的训练；将ICnet神经网络的最后一层全连接层的维数修改为1024；利用改进的ICnet神经网络训练标注好的训练集，得到ICnet神经网络权重，从而完成轨道区域分割模型的构建；从DDR2 SDRAM存储器中获取视频数据，并通过轨道区域分割模型进行分割，将结果传送至FIFO缓存器进行下一步处理；
(4)数据处理模块二：从DDR2 SDRAM存储器中获取视频数据，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测；判断检测出的目标与数据处理模块一得到的图像分割结果的位置关系，将每一帧图像处理结果传送至预警反馈模块；
(5)预警反馈模块：将数据处理模块二得到的每一帧目标与图像分割结果不断地传送至FPGA进行计算分析，若检测目标处于分割好后的Dangours1区、Dangours2区或Warning区中，说明有异物已经入侵，按分割区域的等级不同启动不同的应急响应措施；否则说明没有检测到异物入侵。
2.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述视频采集模块包括以下部分：采用的FPGA芯片为Alter公司研发的CycloneIV系列的EP4CE617C8；采用的视频解码芯片为SAA7113H，视频解码芯片在FPGA的控制下通过I2C总线完成配置和初始化过程，输出8位与CCIR656兼容的视频数据。
3.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述图像存储模块包括以下部分：采用8GB内存的DDR2 800系列SDRAM作为存储器；采用FIFO作为数据缓冲器。
4.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述数据处理模块一在构建训练集时，考虑天气状况、光照条件、物体遮挡、摄像机倍率多种因素，建立多场景的高铁轨道分割数据集。
5.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述数据处理模块一中，对ICnet神经网络进行渐进式压缩具体为：压缩率采用1/2，先将其压缩到3/4，对压缩后的网络进行微调，完成后，再压缩到1/2，再微调，保证压缩稳定进行。
6.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述数据处理模块一中，从DDR2 SDRAM存储器中获取视频数据之后，对数据进行预处理，预处理过程具体为：将视频数据转换成图片帧的格式，调整亮度和对比度，对模糊图像进行去抖动处理，图像去噪和增强，对预处理后的图像通过轨道区域分割模型进行分割。
7.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述数据处理模块二中，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测具体为：首先把输入图像划分成9*9的单元格，然后对每个单元格预测2个边界框，每个边界框均包含5个预测值：x,y,w,h和可信度，x,y为边界框的中心坐标，与单元格中心对齐，对w,h进行归一化，使得范围变成0到1；如果一个物体的中心落在某个单元格上，那么这个单元格负责预测这个物体；每个单元格需要预测2个边界框值，同时为每个边界框值预测一个置信度，也就是每个单元格需要预测2×(4+1)个值；每个单元格只能预测一种物体，并且直接预测物体的概率值；但是每个单元格可以预测多个边界框值，包括置信度。
8.根据权利要求1所述的一种基于FPGA和深度学习的高速铁路异物侵限检测装置，其特征在于，所述预警反馈模块中，利用图像帧间差分法判断检测目标轨迹及速度变化，结合目标与图像分割结果给出运动目标入侵行为的危险预警。
9.一种基于FPGA和深度学习的高速铁路异物侵限检测方法，其特征在于，该方法包括以下步骤：
(1)通过布置在高速铁路沿线的摄像头实时采集高速铁路轨道监控视频；
(2)采集的视频数据通过FIFO缓存器不断写入到DDR2 SDRAM中存储，再经过FIFO缓存器读出视频数据；
(3)参照VOC2012的格式，利用高速铁路轨道监控视频构建训练集，训练集的标注规则为：将高铁的轨道区域按照危险程度分为Dangours1区、Dangours2区和Warning区；
Dangours2区指铁轨区域，危险程度最高，记为III级；
Dangours1区指相邻铁轨之间的区域，危险程度次之，记为II级；
Warning区指人行横道警戒线到铁轨边缘的区域，危险程度最低，记为I级；
(4)将ICnet神经网络的最后一层全连接层的维数修改为1024，利用改进的ICnet神经网络训练标注好的训练集，调整学习速率、迭代次数、批处理大小、损失函数的阈值、不同级联网络权重，使模型训练损失函数最小，其中损失函数如下：
L＝λ1L1+λ2L2
其中λ1、λ2分别代表上中两个级联分支的权重，L1、L2分别代表上中两个级联分支的损失函数，通过舍弃下分支级联网络，达到加快网络处理速度的目的；
不断训练直到损失函数值达到阈值，得到ICnet神经网络权重，从而完成轨道区域分割模型的构建；
(5)从DDR2 SDRAM存储器中获取视频数据，并通过轨道区域分割模型进行分割，将结果传送至FIFO缓存器；
(6)从DDR2 SDRAM存储器中获取视频数据，利用目标识别神经网络对轨道区域的入侵物体或行人进行目标检测；判断检测出的目标与步骤(5)得到的图像分割结果的位置关系；
(7)对目标与图像分割结果的位置关系进行语义分析，若检测目标处于分割好后的Dangours1区、Dangours2区或Warning区中，说明有异物已经入侵，按分割区域的等级不同启动不同的应急响应措施；否则说明没有检测到异物入侵。
CN201811558198.XA 2018-12-19 2018-12-19 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法 Pending CN109697424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811558198.XA CN109697424A (zh) 2018-12-19 2018-12-19 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811558198.XA CN109697424A (zh) 2018-12-19 2018-12-19 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法

Publications (1)

Publication Number Publication Date
CN109697424A true CN109697424A (zh) 2019-04-30

Family

ID=66232090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811558198.XA Pending CN109697424A (zh) 2018-12-19 2018-12-19 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法

Country Status (1)

Country Link
CN (1) CN109697424A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348290A (zh) * 2019-05-27 2019-10-18 天津中科智能识别产业技术研究院有限公司 焦罐车安全预警视觉检测方法
CN110502663A (zh) * 2019-08-26 2019-11-26 西南交通大学 一种基于人工智能的铁路数据处理方法及装置
CN111016932A (zh) * 2019-12-02 2020-04-17 江西理工大学 节能型空轨***的轨道巡检车和检测方法
CN111062268A (zh) * 2019-11-28 2020-04-24 佳讯飞鸿（北京）智能科技研究院有限公司 一种轨旁物体侵限检测方法及***
CN111160224A (zh) * 2019-12-26 2020-05-15 浙江大学 一种基于fpga和地平线分割的高铁接触网异物检测***及方法
CN111626169A (zh) * 2020-05-20 2020-09-04 中铁二院工程集团有限责任公司 一种基于图像的铁路危险落石尺寸判断方法
CN112257604A (zh) * 2020-10-23 2021-01-22 北京百度网讯科技有限公司 图像检测方法、装置、电子设备和存储介质
CN112291494A (zh) * 2020-10-28 2021-01-29 卓旺(安徽)航空科技产业股份有限公司 基于5g通信的无人机4k视频定向转发***
CN112668496A (zh) * 2020-12-31 2021-04-16 深圳市商汤科技有限公司 入侵检测方法、装置、设备及存储介质
CN113128102A (zh) * 2021-03-25 2021-07-16 北京交通大学 铁路道床道砟侵入物多尺度分析模型快速构建的方法
CN113158800A (zh) * 2021-03-19 2021-07-23 上海云赛智联信息科技有限公司 围界入侵混合检测方法及围界入侵混合检测***
CN113239911A (zh) * 2021-07-12 2021-08-10 杭州大杰智能传动科技有限公司 一种无人驾驶智能塔吊视觉场景分析方法和装置
CN113283273A (zh) * 2020-04-17 2021-08-20 上海锐明轨交设备有限公司 基于视觉技术的前方障碍物实时检测方法及***
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113553916A (zh) * 2021-06-30 2021-10-26 广西大学 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN113793462A (zh) * 2021-09-09 2021-12-14 赛思沃德(武汉)科技有限公司 铁路防侵限的方法及装置
CN114882452A (zh) * 2022-05-17 2022-08-09 张弛 轨道线路安全监测方法、列车运行控制方法及控制***
CN115311534A (zh) * 2022-08-26 2022-11-08 中国铁道科学研究院集团有限公司 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质
CN115410136A (zh) * 2022-11-01 2022-11-29 济钢防务技术有限公司 一种基于卷积神经网络的激光排爆***紧急安全控制方法
CN117315593A (zh) * 2023-11-27 2023-12-29 太原理工大学 煤矿井下运输***异物侵入的识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104787084A (zh) * 2015-04-16 2015-07-22 北京交通大学 一种铁路异物侵限检测***及检测方法
CN107886470A (zh) * 2017-10-27 2018-04-06 天津华来科技有限公司 视频跟踪方法、视频跟踪***及摄像机
CN108197610A (zh) * 2018-02-02 2018-06-22 北京华纵科技有限公司 一种基于深度学习的轨道异物检测***
CN108304807A (zh) * 2018-02-02 2018-07-20 北京华纵科技有限公司 一种基于fpga平台和深度学习的轨道异物检测方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104787084A (zh) * 2015-04-16 2015-07-22 北京交通大学 一种铁路异物侵限检测***及检测方法
CN107886470A (zh) * 2017-10-27 2018-04-06 天津华来科技有限公司 视频跟踪方法、视频跟踪***及摄像机
CN108197610A (zh) * 2018-02-02 2018-06-22 北京华纵科技有限公司 一种基于深度学习的轨道异物检测***
CN108304807A (zh) * 2018-02-02 2018-07-20 北京华纵科技有限公司 一种基于fpga平台和深度学习的轨道异物检测方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAO, HENGSHUANG等: "ICNet for Real-Time Semantic Segmentation on High-", 《ARXIV:COMPUTER VISION AND PATTERN RECOGNITION》 *
蒋昀昊: "利用深度学习进行图像分割", 《通讯世界》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348290A (zh) * 2019-05-27 2019-10-18 天津中科智能识别产业技术研究院有限公司 焦罐车安全预警视觉检测方法
CN110502663A (zh) * 2019-08-26 2019-11-26 西南交通大学 一种基于人工智能的铁路数据处理方法及装置
CN111062268A (zh) * 2019-11-28 2020-04-24 佳讯飞鸿（北京）智能科技研究院有限公司 一种轨旁物体侵限检测方法及***
CN111016932B (zh) * 2019-12-02 2021-02-12 江西理工大学 节能型空轨***的轨道巡检车和检测方法
CN111016932A (zh) * 2019-12-02 2020-04-17 江西理工大学 节能型空轨***的轨道巡检车和检测方法
CN111160224A (zh) * 2019-12-26 2020-05-15 浙江大学 一种基于fpga和地平线分割的高铁接触网异物检测***及方法
CN111160224B (zh) * 2019-12-26 2022-04-05 浙江大学 一种基于fpga和地平线分割的高铁接触网异物检测***及方法
CN113283273B (zh) * 2020-04-17 2024-05-24 上海锐明轨交设备有限公司 基于视觉技术的前方障碍物实时检测方法及***
CN113283273A (zh) * 2020-04-17 2021-08-20 上海锐明轨交设备有限公司 基于视觉技术的前方障碍物实时检测方法及***
CN111626169A (zh) * 2020-05-20 2020-09-04 中铁二院工程集团有限责任公司 一种基于图像的铁路危险落石尺寸判断方法
CN112257604A (zh) * 2020-10-23 2021-01-22 北京百度网讯科技有限公司 图像检测方法、装置、电子设备和存储介质
CN112291494A (zh) * 2020-10-28 2021-01-29 卓旺(安徽)航空科技产业股份有限公司 基于5g通信的无人机4k视频定向转发***
CN112291494B (zh) * 2020-10-28 2022-12-16 卓旺(安徽)航空科技产业股份有限公司 基于5g通信的无人机4k视频定向转发***
CN112668496A (zh) * 2020-12-31 2021-04-16 深圳市商汤科技有限公司 入侵检测方法、装置、设备及存储介质
CN113158800A (zh) * 2021-03-19 2021-07-23 上海云赛智联信息科技有限公司 围界入侵混合检测方法及围界入侵混合检测***
CN113128102A (zh) * 2021-03-25 2021-07-16 北京交通大学 铁路道床道砟侵入物多尺度分析模型快速构建的方法
CN113128102B (zh) * 2021-03-25 2023-10-03 北京交通大学 铁路道床道砟侵入物多尺度分析模型快速构建的方法
CN113486726A (zh) * 2021-06-10 2021-10-08 广西大学 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113553916A (zh) * 2021-06-30 2021-10-26 广西大学 一种基于卷积神经网络的轨道危险区域障碍物检测方法
CN113239911A (zh) * 2021-07-12 2021-08-10 杭州大杰智能传动科技有限公司 一种无人驾驶智能塔吊视觉场景分析方法和装置
CN113793462A (zh) * 2021-09-09 2021-12-14 赛思沃德(武汉)科技有限公司 铁路防侵限的方法及装置
CN114882452B (zh) * 2022-05-17 2022-12-30 张弛 轨道线路安全监测方法、列车运行控制方法及控制***
CN114882452A (zh) * 2022-05-17 2022-08-09 张弛 轨道线路安全监测方法、列车运行控制方法及控制***
CN115311534A (zh) * 2022-08-26 2022-11-08 中国铁道科学研究院集团有限公司 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质
CN115410136A (zh) * 2022-11-01 2022-11-29 济钢防务技术有限公司 一种基于卷积神经网络的激光排爆***紧急安全控制方法
CN117315593A (zh) * 2023-11-27 2023-12-29 太原理工大学 煤矿井下运输***异物侵入的识别方法

Similar Documents

Publication Publication Date Title
CN109697424A (zh) 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
Anand et al. Crack-pot: Autonomous road crack and pothole detection
CN106845415B (zh) 一种基于深度学习的行人精细化识别方法及装置
Wu et al. Detection of bird nests in overhead catenary system images for high-speed rail
Xie et al. Real-time illegal parking detection system based on deep learning
CN104504377B (zh) 一种公交车乘客拥挤程度识别***及方法
CN105070053A (zh) 一种识别车辆违规运动模式的智能交通监控摄像机
CN101431664A (zh) 基于视频图像的密集客流密度自动检测方法及***
CN103400113B (zh) 基于图像处理的高速公路隧道行人检测方法
CN110688927A (zh) 一种基于时序卷积建模的视频动作检测方法
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
Yang et al. Bidirectional retrospective generation adversarial network for anomaly detection in videos
CN103905824A (zh) 视频语义检索与压缩同步的摄像***与方法
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
CN104143091A (zh) 基于改进mLBP的单样本人脸识别方法
Sikora et al. Classification of railway level crossing barrier and light signalling system using YOLOv3
Kapoor et al. An intelligent railway surveillance framework based on recognition of object and railway track using deep learning
CN103577804A (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
CN102708375B (zh) 一种高清一体式车牌抓拍识别设备及方法
Sheng et al. A faster R-CNN based high-normalization sample calibration method for dense subway passenger flow detection
Dagvasumberel et al. Railroad near-miss occurrence detection and risk estimation system with data from camera using deep learning
Fratama et al. Improved accuracy of vehicle counter for real-time traffic monitoring system
Wan et al. Fault detection of air-spring devices based on GANomaly and isolated forest algorithms
Jiang et al. Fast Traffic Accident Identification Method Based on SSD Model
Chen et al. RailSegVITNet: A lightweight VIT-based real-time track surface segmentation network for improving railroad safety

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190430

RJ01 Rejection of invention patent application after publication