CN102700569A - 基于图像处理的矿用电机车行人监测方法及报警*** - Google Patents

基于图像处理的矿用电机车行人监测方法及报警*** Download PDF

Info

Publication number
CN102700569A
CN102700569A CN2012101874032A CN201210187403A CN102700569A CN 102700569 A CN102700569 A CN 102700569A CN 2012101874032 A CN2012101874032 A CN 2012101874032A CN 201210187403 A CN201210187403 A CN 201210187403A CN 102700569 A CN102700569 A CN 102700569A
Authority
CN
China
Prior art keywords
image
pedestrian
neural network
rail
electric locomotive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101874032A
Other languages
English (en)
Inventor
唐超礼
黄友锐
曲立国
史明
张俊卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN2012101874032A priority Critical patent/CN102700569A/zh
Publication of CN102700569A publication Critical patent/CN102700569A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于图像处理的矿用电机车行人监测方法及报警***,属于煤矿安全运输领域,包括视频采集模块、图像处理模块和声光报警模块。视频采集用红外摄像仪对电机车前方的图像进行采集;图像处理模块包括图像预处理、铁轨识别和拟合、行人识别,图像预处理基于遗传算法和归一化非完全Beta函数结合的图像自适应校正和基于脉冲耦合神经网络的图像二值化方法,铁轨的识别和拟合基于遗传算法阈值改进的模糊边缘检测快速算法和启发式连接法,行人识别基于FPGA实现的脉冲耦合神经网络图像二值化方法;声光报警模块包括声光报警器和控制电路;本发明可以有效识别轨道附近行人,对其位置做出判断和预警,消除电机车在运输过程中的安全隐患。

Description

基于图像处理的矿用电机车行人监测方法及报警***
技术领域
本发明属于煤矿安全运输领域,涉及一种基于图像处理的矿用电机车行人监测方法及报警***。
背景技术
矿用电机车主要用于井下运输大巷和地面的长距离运输,完成对煤炭、矸石、材料、设备、人员的运送。由于煤矿井下环境复杂,电机车运行频繁,运行距离较长;巷道窄,既作为行人巷道,又作为运输巷道,因此时常出现行人不遵守交通规则或者机车司机疲劳、疏忽、误判断、麻痹等状况。而机车司机又是电机车安全行驶的关键,因此往往出现由于上述状况而造成人身伤害事故。鉴于此种情况,国内外尝试了各种方案如采用超声波、红外线和激光等对电机车前行道路上的行人进行识别报警,但由于井下的特殊使用环境,这些方案都存在一些局限性。如超声波监测设备在长距离的巷道中使用时,其反射波将过于微弱,使得灵敏度下降,精度很低,最佳距离为4-5米,然而为了使司机有足够的时间对报警信号做出反应,同时考虑到电机车的刹车距离,至少需要对在30米以外轨道上的行人进行精确的识别报警。若采用红外监测,虽然测量距离较超声波有所提高,但其定位精度较差,无法正确的判断前方的行人是位于轨道上,还是在轨道两侧的人行道正常行走。采用激光监测设备测量精度非常高,但其作为一种精密仪器对使用环境要求很高,安装在高速行驶并且不断振动的车体上难以保证其正常运行。提出一种新的解决方案来处理电机车运输过程中的这一重大安全隐患是非常必要。
我们在对国内相关科研院所和现代化矿井做了广泛调研的基础上,将新型的图像处理技术应用于电机车行人检测中,设计了基于图像处理的矿用电机车行人监测报警***。电机车安装该***后,该***能进行复杂的背景下的运动目标识别,提取出目标距离估计算法和报警处理方案,对机车前方行人进行检测报警,提高了矿用电机车运输安全性能,改变了过去仅仅靠机车司机肉眼进行观察的局面,电机车撞人的现象得到了有效制止,大大提高了煤矿电机车运输环节的安全可靠性及自动化管理水平。本***中红外摄像仪的采用使得无论井下的光线亮暗,都不影响该***的使用。
发明内容
本发明的目的是提供一种基于图像处理的矿用电机车行人监测方法及报警***,以实现对电机车前进轨道上的行人进行监测报警。
为了达到上述目的,本发明所采用的技术方案为:
基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述***包括视频采集模块、图像处理模块和声光报警模块。所述视频采集模块用红外摄像仪对电机车前方的图像进行采集。所述图像处理模块包括图像预处理、铁轨的识别和拟合、行人的识别。所述声光报警模块包括声光报警器和控制电路。所述图像预处理采用基于遗传算法和归一化非完全Beta函数结合的图像自适应校正和基于脉冲耦合神经网络的图像的二值化方法。所述铁轨的识别和拟合采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别和启发式连接法对铁轨进行拟合。所述行人的识别采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人。
所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述视频采集模块采用WAT-902H2的红外摄像仪。
所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述图像预处理采用基于遗传算法和归一化非完全Beta函数结合的图像自适应校正和采用基于脉冲耦合神经网络的图像的二值化算法。
所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述铁轨的识别和拟合采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别和启发式连接法对铁轨进行拟合。
所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述行人的识别采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人。
所述的采用基于遗传算法和归一化非完全Beta函数结合的图像自适应校正,其特征在于:利用遗传算法针对每幅图像自动地找出非线性变换函数最优的α,β值,具体处理步骤如下:
第一步:设f(x,y)表示坐标为(x,y)的原始图像灰度值,f′(x,y)为其处理后的灰度值,在处理前先进行归一化处理:
g(x,y)=[f(x,y)-Lmin]/[Lmax-Lmin]    (1)
第二步:利用遗传算法编码并产生初始群体,每条染色体包含两个基因段,分别为α、β,每个个体都对应一个非线性变换函数F(u),0≤u≤1,用非线性变换函数对图像灰度进行处理:
g′(x,y)=F[g(x,y)]    (2)
第三步:根据g′(x,y)的值可得到输出图像f′(x,y);
第四步:利用图像质量评价函数作为遗传算法的适应度函数:
Fitness ( i ) = 1 n Σ x = 1 M Σ y = 1 n f 2 ( x , y ) - [ 1 n Σ x = 1 M Σ y = 1 N f ( x , y ) ] 2
其中M,N分别为图像的宽和高,n=M×N,i表示某染色体,Fitness(i)的值越大,则图像灰度分布越均匀,图像对比度越高,图像质量越好;
第五步:选择适应值最大的个体作为当前代的最优个体,对其他个体进行更新,得到新的群体,重复上述步骤直到最终得到较优的非线性变换函数参数α和β。
所述的采用基于脉冲耦合神经网络的图像的二值化算法,其特征在于:脉冲耦合神经网络的图像的二值化算法流程如下:
①确定PCNN网络的结构,即确定输入节点数M和PCNN节点数Q,给出各模块加权系数的初值Mijkl(0)和Wijkl(0),选取衰减时间常数αF、αL、αθ
②采样得到反馈输入Fij(n)和连接输入Lij(n),计算内部活动项Uij(n);
③计算神经网络各层神经元的输入、输出;
④进行神经网络学习,在线调整加权系数Mijkl()和Wijkl();
⑤将点火的神经元对应的像素作为目标,未点火的神经元对应的像素作为背景,分别计算目标和背景的均值及概率,计算目标和背景间的类间方差;
⑥取类间方差最大值所对应的PCNN点火图作为最终分割结果;
⑦判断是不是满足迭代要求(神经网络还未训练完成,则继续迭代),满足迭代要求,则返回到②继续循环调整,否则转到⑧;
⑧结束。
所述的采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别,其特征在于包括以下步骤:
第一步:根据最大类间方差法的原理,即利用类别方差作为判据,选取使类间方差最大的灰度值作为最佳阈值,该最佳阈值的选取仍采用遗传算法优化得到,获得了最佳阈值T后记录下来取得最佳阈值T时的uA(T)和uB(T);
第二步:重新定义隶属度函数:
u mn = x mn / X T x mn ≤ X T ( X max - x mn ) / ( X max - X T ) x mn > X T - - - ( 3 )
这种在图像的低灰度区和高灰度区分别定义模糊矩阵元的方法,对图像的低灰度区域的信息损失小,可使后续的模糊增强达到较好的效果;
第三步:在模糊域对图像进行模糊增强,对于阈值T分成的两类图像uc可取值为uA(T)/XT或者(Xmax-uB(T))/(Xmax-XT),在图像的模糊特征平面上对umn进行非线性变换,其结果是增强大于uc的umn值,衰减小于uc的umn值,增强算子为:
u′mn=Tr(umn)=T1(Tr-1(umn))    (4)
T 1 ( u mn ) = 1 2 { sin [ π ( u mn - u c ) ] + 1 } - - - ( 5 )
第四步:进行逆变换,将模糊增强后的图像从模糊空间变回数据空间,得到的增强后图像,采用3×3的中值滤波器对增强结果进行平滑运算;
第五步:提取图像边缘的时候,将两个算子结合使用,其中边缘检测算子为:
f*(x,y)=|Max(i,j)∈ξ{f′(i,j)}-1/2×(Min(i,j)∈ξ{f′(i,j)}+f(x,y))|    (6)
或者为:
f*(x,y)=|1/2×(Max(i,j)∈ξ{f′(i,j)}+f(x,y))-Min(i,j)∈ξ{f′(i,j)}|    (7)
其中ξ={(i,j)|d((i,j),(x,y))≤2}。
所述的采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人,其特征在于:采用基于Cyclone系列FPGA的脉冲耦合神经网络图像二值化算法,利用FPGA的并行计算能力,提高算法的运行速度,一旦识别出行人,立刻触发报警。
本发明的工作原理是:红外摄像仪不断的采集电机车前进方向上轨道的路面情况,输出P制式模拟视频信号,而后经过解码电路转变成DSP可以识别的数字信号,通过DSP和FPGA内部烧入行人识别算法对图像进行处理,如果判断前方目标区域内有行人,则通过总线通知负责***控制的ARM芯片,再由ARM驱动继电器控制电路,控制声光报警器进行相应的语音报警。司机听到报警声以后,便可以进行减速、刹车等相关应急处理。
本发明与现有技术相比:本发明采用红外摄像仪对电机车前方的图像进行采集,基于遗传算法和归一化非完全Beta函数结合的图像非线性化快速预处理;采用脉冲耦合神经网络进行图像二值化分割,减小图像局部灰度差值,弥补图像局部微小间断;采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别和启发式连接法对铁轨进行拟合;采用FPGA实现脉冲耦合神经网络图像二值化算法检测轨道上运动的行人。将上述图像处理方法应用于矿用电机车行人检测中,设计了基于图像处理的矿用电机车行人监测报警***。***能进行复杂的背景下的运动目标识别,提取出目标距离估计算法和报警处理方案,对电机车前进轨道上的行人进行监测报警,改变了过去仅仅靠机车司机肉眼进行观察的局面,电机车撞人的现象得到了有效制止,大大提高了煤矿电机车运输环节的安全可靠性及自动化管理水平。本***中红外摄像仪的采用使得无论井下的光线亮暗,都不影响该***的使用。
附图说明
图1为基于图像处理的矿用电机车行人监测报警***的流程图
图2为基于图像处理的矿用电机车行人监测报警***原理框图
图3为图像处理的流程图
图4为基于FPGA实现脉冲耦合神经网络图像二值化的结构框图
图5为FPGA电源电路
图6为FPGA配置与时钟电路
图7为原始图像
图8为基于遗传算法和归一化非完全Beta函数结合的图像自适应校正后的图像
图9为基于脉冲耦合神经网络的图像的二值化后图像(有行人)
图10为基于脉冲耦合神经网络的图像的二值化后图像(无行人)
图11为基于遗传算法阈值改进的模糊边缘检测快速算法边界提取后的图像
图12为不同条件下的铁轨拟合效果,(a)无噪声的直道铁轨拟合,(b)有噪声的直道铁轨拟合,(c)无噪声的弯道铁轨拟合,(d)有噪声的弯道铁轨拟合
图13为不同距离行人检测结果,(a)远距离检测结果,(b)近距离检测结果
具体实施方式
下面结合附图对本发明做详细的说明:
如图1所示,基于图像处理的矿用电机车行人监测方法及报警***包括3个主要部分:视频采集模块1、图像处理模块2和声光报警模块3。
如图2所示,***运行时,置于电机车头部的红外摄像仪,不断的采样电机车前方路况信息,输出P制式模拟视频信号,而后经过解码电路转变成DSP可以识别的数字信号,通过DSP和FPGA内部烧入的行人识别算法对图像进行处理,如果判断前方目标区域内有行人,则通过总线通知负责***控制的ARM芯片,再由ARM驱动继电器控制电路,控制声光报警器进行相应的语音报警。
如图3所示,所述的图像的滤波,就是在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,是图像预处理中不可缺少的操作,其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本发明采用高斯滤波器滤波。高斯滤波器是根据高斯函数的形状来选择权值的线性平滑滤波器,高斯平滑滤波器无论在空间域还是在频率域都是十分有效的低通滤波器,而且高斯平滑滤波器对去除服从正态分布的噪声是很有效果的。
如图3所示,所述的基于遗传算法和归一化非完全Beta函数结合的图像自适应校正,其特征在于:利用遗传算法针对每幅图像自动地找出非线性变换函数最优的α,β值,具体处理步骤如下:
第一步:设f(x,y)表示坐标为(x,y)的原始图像灰度值,f′(x,y)为其处理后的灰度值,在处理前先进行归一化处理:
g(x,y)=[f(x,y)-Lmin]/[Lmax-Lmin]    (8)
第二步:利用遗传算法编码并产生初始群体,每条染色体包含两个基因段,分别为α、β,每个个体对应一个非线性变换函数F(u),0≤u≤1,用非线性变换函数对图像灰度进行处理:
g′(x,y)=F[g(x,y)]    (9)
第三步:根据g′(x,y)的值可得到输出图像f′(x,y);
第四步:利用图像质量评价函数作为遗传算法的适应度函数;
Fitness ( i ) = 1 n Σ x = 1 M Σ y = 1 N f 2 ( x , y ) - [ 1 n Σ x = 1 M Σ y = 1 N f ( x , y ) ] 2
其中M,N分别为图像的宽和高,n=M×N,i表示某染色体,Fitness(i)的值越大,则图像灰度分布越均匀,图像对比度越高,图像质量越好;
第五步:选择适应值最大的个体作为当前代的最优个体,对其他个体进行更新,得到新的群体,重复上述步骤直到最终得到较优的非线性变换函数参数α和β。
如图7所示为原始图像,图8为基于遗传算法和归一化非完全Beta函数结合的图像自适应校正后的图像,可以看出,图8比原始图像灰度更宽,同时对比度变化比较明显。
如图3所示,所述的基于脉冲耦合神经网络的图像的二值化算法,其特征在于:脉冲耦合神经网络的图像的二值化算法流程如下:
①确定PCNN网络的结构,即确定输入节点数M和PCNN节点数Q,给出各模块加权系数的初值Mijkl(0)和Wijjkl(0),选取衰减时间常数αF、αL、αθ
②采样得到反馈输入Fij(n)和连接输入Lij(n),计算内部活动项Uij(n);
③计算神经网络各层神经元的输入、输出;
④进行神经网络学习,在线调整加权系数Mijkl()和Wijkl();
⑤将点火的神经元对应的像素作为目标,未点火的神经元对应的像素作为背景,分别计算目标和背景的均值及概率,计算目标和背景间的类间方差;
⑥取类间方差最大值所对应的PCNN点火图作为最终分割结果;
⑦判断是不是满足迭代要求(神经网络还未训练完成,则继续迭代),满足迭代要求,则返回到②继续循环调整,否则转到⑧;
⑧结束。
图9、图10为井下轨道的图像二值化结果,效果还是比较好的。其中,图9为基于脉冲耦合神经网络的图像的二值化后图像(有行人),图10为基于脉冲耦合神经网络的图像的二值化后图像(无行人)。
如图3所示,所述的边缘检测的铁轨识别,其特征在于:采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别,包括以下步骤:
第一步:根据最大类间方差法的原理,即利用类别方差作为判据,选取使类间方差最大的灰度值作为最佳阈值,该最佳阈值的选取仍采用遗传算法优化得到,获得了最佳阈值T后记录下来取得最佳阈值T时的uA(T)和uB(T);
第二步:重新定义隶属度函数:
u mn = x mn / X T x mn ≤ X T ( X max - x mn ) / ( X max - X T ) x mn > X T - - - ( 10 )
这种在图像的低灰度区和高灰度区分别定义模糊矩阵元的方法,对图像的低灰度区域的信息损失小,可使后续的模糊增强达到较好的效果;
第三步:在模糊域对图像进行模糊增强,对于阈值T分成的两类图像uc可取值为uA(T)/XT或者(Xmax-uB(T))/(Xmax-XT),在图像的模糊特征平面上对umn进行非线性变换,其结果是增强大于uc的umn值,衰减小于uc的umn值,增强算子为:
u′mn=Tr(umn)=T1(Tr-1(umn))    (11)
T 1 ( u mn ) = 1 2 { sin [ π ( u mn - u c ) ] + 1 } - - - ( 12 )
第四步:进行逆变换,将模糊增强后的图像从模糊空间变回数据空间,得到的增强后图像,采用3×3的中值滤波器对增强结果进行平滑运算;
第五步:提取图像边缘的时候,将两个算子结合使用,其中边缘检测算子为:
f*(x,y)=|Max(i,j)∈ξ{f′(i,j)}-1/2×(Min(i,j)∈ξ{f′(i,j)}+f(x,y))|    (13)
或者为:
f*(x,y)=|1/2×(Max(i,j)∈ξ{f′(i,j)}+f(x,y))-Min(i,j)∈ξ{f′(i,j)}|    (14)
其中ξ={(i,j)|d((i,j),(x,y))≤2}。
图11为基于遗传算法阈值改进的模糊边缘检测快速算法边界提取后的图像。
如图3所示,所述的启发式连接法铁轨的拟合,其特征在于:采用启发式连接法对铁轨进行拟合,具体如下:
经过前文所述的图像预处理、边缘提取等步骤之后,原始铁轨图像的边缘已经清晰地展现。采用启发式连接法提取铁轨边缘的两条直线,实际就是从图像中提取直线并进一步根据先验知识判断提取到的是否是铁轨边缘。
启发式连接方法就是在连接时主要利用边缘点的空间相邻关系,辅以梯度方向或是对比度等特性,根据相连接的边缘点的共线得到拟合直线。启发式连接实际是采取图像搜索的边缘跟踪过程,一张边缘图像上所有边缘处都为图中的节点,边缘的幅度和相位为节点的状态,连接操作是搜索图中有最小损失路径的节点集。这种直线搜索方法是以最小代价函数,也就是灰度、梯度和线段方向一致性为准则的,充分利用了多方面的信息。因此,能够正确的搜索出图像中的直线边缘。图12为采用启发式连接法提取铁轨并且在不同条件下铁轨拟合的实验效果,其中,(a)为无噪声的直道铁轨拟合,(b)为有噪声的直道铁轨拟合,(c)为无噪声的弯道铁轨拟合,(d)为有噪声的弯道铁轨拟合。为了行人安全起见,图12中铁轨拟合是适当的增加了2条拟合曲线间的宽度。
如图3所示,行人的检测是采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人,其特征在于:采用基于Cyclone系列FPGA的脉冲耦合神经网络图像二值化算法,利用FPGA的并行计算能力,提高算法的运行速度,一旦识别出行人,立刻触发报警。图13为不同距离行人检测结果,其中,(a)为远距离检测结果,(b)为近距离检测结果,该结果表明本发明所采用的方法能够实时地检测到进入图像中的运动行人。
如图4所示,为基于FPGA实现脉冲耦合神经网络图像二值化的结构框图,在FPGA中实现主要由初始化模块、输入计算模块,PCNN模块、输出计算模块、PCNN权值调整模块、输入权值调整模块、控制模块和存储模块构成。由于整个闭环控制都是在FPGA中实现,其中,存储模块1用来保存PCNN输入值;存储模块2用来保存PCNN输出值;存储模块3用来保存输出数据;存储模块4用来保存PCNN权值数据;存储模块5用来保存输入阈值数据。
本发明设计的报警***的运行有FPGA内部时钟统一协调。***上电后,首先要给定复位信号,***接收到复位信号,并检测到复位结束后,由控制模块控制所有模块的运行,首先进行***初始化,将所有控制信号复位,然后分别进行输入、PCNN计算及输出的计算,得到一组图像二值化数据,下面继续调整脉冲耦合神经网络中的权值,先调整PCNN的权值,再调整输入的权值,最后再回到输入,开始循环计算。
如图5所示为FPGA电源电路,电源为本发明设计的报警***提供能量,其输出电压的稳定与否直接决定了***稳定性。本发明中,FPGA采用cyclone系列的EP1C3T144C8芯片,它有3000个LE逻辑资源,另外还有13块M4K RAM(共6.5Kbyte),一个PLL(数字锁相环),144个引脚,其中有108个用户I/O,最高频率可达200MHZ。***由外部提供5V电源,EP1C3T144C8的IO的电压是3.3V,采用LT1086实现5V到3.3V的电源转换,LT1086可输出3A的电流;内核的电压是1.5V,采用LT1587_1.5实现3.3V到1.5V的电源转换,为提高电源的稳定性,在各个芯片的输入输出加上一些滤波电容,另外有5V的电源指示灯D1,表示电源是否正常。
如图6所示为FPGA配置与时钟电路,FPGA是基于sram型的可编程逻辑器件,不像基于rom型可编程器件CPLD,通过JTAG就可以直接把代码固化在芯片内部。FPGA也可以通过JTAG下载代码到片子里面运行,但是FPGA下载到片子里面代码是存放在ram里,所以断电后这些代码马上就丢失了。这样,FPGA就需要非易失性存储器来存放代码,每次上电后自动把代码从配置芯片中读出自行配置,然后运行。本发明中,采用AS模式(主动下载模式)的配置存储器EPCS1,成本比较低,并且很容易配置。调试时流程一般是:修改设计,编译然后通过JTAG下载到FPGA内部运行,并进行代码验证,直到代码正确无误,最后才通过AS模式把代码固化到配置存储器里面。图6中J1为标准10针的JTAG下载口,J2为标准10针的AS下载口,U2为FPGA配置芯片EPCS1。
FPGA***复位分为软件复位和硬件复位,图6所示电路中,K1为硬件复位按键,低电平有效,硬件复位接到FPGA的nconfig引脚(14脚)上,按下此键,FPGA的代码重新从EPCS1中配置。K2为软件复位按键,低电平有效,软件复位接到FPGA的全局时钟引脚(93脚)上,它是在编写VHDL代码的时候的reset引脚,用来对内部的寄存器,状态机,计数器和控制信号进行初始化到一个确定状态。
EP1C3T144C8一共有4个全局时钟,分别是16、17、92、93引脚,任何一个都可作为内部PLL的输入引脚,只有这四个全局时钟才能作为PLL输入,其它IO是不可以的,全局时钟相对于其它IO输入的时钟具有更大驱动能力和最小延时。***采用93引脚接到外部有源20MHZ晶振上,外部晶振提供的时钟可通过内部PLL进行倍频,或通过分频器进行分频,这样可得到各种频率的时钟信号,以满足各种情况需要。

Claims (9)

1.一种基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述***包括视频采集模块、图像处理模块和声光报警模块;所述视频采集模块用红外摄像仪对电机车前方的图像进行采集;所述图像处理模块包括图像预处理、铁轨的识别和拟合、行人的识别;所述声光报警模块包括声光报警器和控制电路;所述图像预处理采用基于遗传算法和归一化非完全Beta函数结合的图像自适应校正和基于脉冲耦合神经网络的图像的二值化方法;所述铁轨的识别和拟合采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别和启发式连接法对铁轨进行拟合;所述行人的识别采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人。
2.根据权利要求1所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述视频采集模块采用WAT-902H2的红外摄像仪。
3.根据权利要求1所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述图像预处理采用基于遗传算法和归一化非完全Beta函数结合的图像自适应校正和采用基于脉冲耦合神经网络的图像的二值化算法。
4.根据权利要求1所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述铁轨的识别和拟合采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别和启发式连接法对铁轨进行拟合。
5.根据权利要求1所述的基于图像处理的矿用电机车行人监测方法及报警***,其特征在于:所述行人的识别采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人。
6.根据权利要求3所述采用基于遗传算法和归一化非完全Beta函数结合的图像自适应校正,其特征在于:利用遗传算法针对每幅图像自动地找出非线性变换函数最优的α,β值,具体处理步骤如下:
第一步:设f(x,y)表示坐标为(x,y)的原始图像灰度值,f′(x,y)为其处理后的灰度值,在处理前先进行归一化处理:
g(x,y)=[f(x,y)-Lmin]/[Lmax-Lmin]    (1)
第二步:利用遗传算法编码并产生初始群体,每条染色体包含两个基因段,分别为α、β,每个个体都对应一个非线性变换函数F(u),0≤u≤1,用非线性变换函数对图像灰度进行处理:
g′(x,y)=F[g(x,y)]    (2)
第三步:根据g′(x,y)的值可得到输出图像f′(x,y);
第四步:利用图像质量评价函数作为遗传算法的适应度函数:
Fitness ( i ) = 1 n Σ x = 1 M Σ y = 1 n f 2 ( x , y ) - [ 1 n Σ x = 1 M Σ y = 1 N f ( x , y ) ] 2
其中M,N分别为图像的宽和高,n=M×N,i表示某染色体,Fitness(i)的值越大,则图像灰度分布越均匀,图像对比度越高,图像质量越好;
第五步:选择适应值最大的个体作为当前代的最优个体,对其他个体进行更新,得到新的群体,重复上述步骤直到最终得到较优的非线性变换函数参数α和β。
7.根据权利要求3所述采用基于脉冲耦合神经网络的图像的二值化算法,其特征在于:脉冲耦合神经网络的图像的二值化算法流程如下:
①确定PCNN网络的结构,即确定输入节点数M和PCNN节点数Q,给出各模块加权系数的初值Mijkl(0)和Wijkl(0),选取衰减时间常数αF、αL、αθ
②采样得到反馈输入Fij(n)和连接输入Lij(n),计算内部活动项Uij(n);
③计算神经网络各层神经元的输入、输出;
④进行神经网络学习,在线调整加权系数Mijkl()和Wijkl();
⑤将点火的神经元对应的像素作为目标,未点火的神经元对应的像素作为背景,分别计算目标和背景的均值及概率,计算目标和背景间的类间方差;
⑥取类间方差最大值所对应的PCNN点火图作为最终分割结果;
⑦判断是不是满足迭代要求(神经网络还未训练完成,则继续迭代),满足迭代要求,则返回到②继续循环调整,否则转到⑧;
⑧结束。
8.根据权利要求4所述采用基于遗传算法阈值改进的模糊边缘检测快速算法对铁轨进行识别,其特征在于包括以下步骤:
第一步:根据最大类间方差法的原理,即利用类别方差作为判据,选取使类间方差最大的灰度值作为最佳阈值,该最佳阈值的选取仍采用遗传算法优化得到,获得了最佳阈值T后记录下来取得最佳阈值T时的uA(T)和uB(T);
第二步:重新定义隶属度函数:
u mn = x mn / X T x mn ≤ X T ( X max - x mn ) / ( X max - X T ) x mn > X T - - - ( 3 )
这种在图像的低灰度区和高灰度区分别定义模糊矩阵元的方法,对图像的低灰度区域的信息损失小,可使后续的模糊增强达到较好的效果;
第三步:在模糊域对图像进行模糊增强,对于阈值T分成的两类图像uc可取值为uA(T)/XT或者(Xmax-uB(T))/(Xmax-XT),在图像的模糊特征平面上对umn进行非线性变换,其结果是增强大于uc的umn值,衰减小于uc的umn值,增强算子为:
u′mn=Tr(umn)=T1(Tr-1(umn));    (4)
T 1 ( u mn ) = 1 2 { sin [ π ( u mn - u c ) ] + 1 } - - - ( 5 )
第四步:进行逆变换,将模糊增强后的图像从模糊空间变回数据空间,得到的增强后图像,采用3×3的中值滤波器对增强结果进行平滑运算;
第五步:提取图像边缘的时候,将两个算子结合使用,其中边缘检测算子为:
f*(x,y)=|Max(i,j)∈ξ{f′(i,j)}-1/2×(Min(i,j)∈ξ{f′(i,j)}+f(x,y))|    (6)
或者为:
f*(x,y)=|1/2×(Max(i,j)∈ξ{f′(i,j)}+f(x,y))-Min(i,j)∈ξ{f′(i,j)}|    (7)
其中ξ={(i,j)| d((i,j),(x,y))≤2}。
9.根据权利要求5所述采用基于FPGA实现的脉冲耦合神经网络图像二值化方法检测轨道上运动的行人,其特征在于:采用基于Cyclone系列FPGA的脉冲耦合神经网络图像二值化算法,利用FPGA的并行计算能力,提高算法的运行速度,一旦识别出行人,立刻触发报警。
CN2012101874032A 2012-06-01 2012-06-01 基于图像处理的矿用电机车行人监测方法及报警*** Pending CN102700569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012101874032A CN102700569A (zh) 2012-06-01 2012-06-01 基于图像处理的矿用电机车行人监测方法及报警***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012101874032A CN102700569A (zh) 2012-06-01 2012-06-01 基于图像处理的矿用电机车行人监测方法及报警***

Publications (1)

Publication Number Publication Date
CN102700569A true CN102700569A (zh) 2012-10-03

Family

ID=46893727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101874032A Pending CN102700569A (zh) 2012-06-01 2012-06-01 基于图像处理的矿用电机车行人监测方法及报警***

Country Status (1)

Country Link
CN (1) CN102700569A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103183042A (zh) * 2013-03-05 2013-07-03 安徽恒源煤电股份有限公司 基于图像处理的电机车行人监测报警***及方法
CN103279741A (zh) * 2013-05-20 2013-09-04 大连理工大学 一种基于车载红外图像的行人预警***及其工作方法
CN103325123A (zh) * 2013-07-09 2013-09-25 江南大学 一种基于自适应神经模糊推理***的图像边缘检测方法
CN103646168A (zh) * 2013-11-26 2014-03-19 浙江工商大学 微油点火预警方法
CN105083325A (zh) * 2015-07-28 2015-11-25 陕西西北铁道电子有限公司 车载光学探测与地理信息相结合的机车防撞方法及装置
CN105654496A (zh) * 2016-01-08 2016-06-08 华北理工大学 基于视觉特性的仿生自适应模糊边缘检测方法
CN106371494A (zh) * 2016-11-30 2017-02-01 泸县玉流机械制造有限责任公司 图像识别控制电路
CN106894806A (zh) * 2016-11-29 2017-06-27 攀枝花市九鼎智远知识产权运营有限公司 一种智能钻机电液控制***及方法
CN108664980A (zh) * 2018-05-14 2018-10-16 昆明理工大学 一种基于引导滤波和小波变换的太阳冕环结构识别方法
CN108885836A (zh) * 2016-03-25 2018-11-23 松下知识产权经营株式会社 驾驶辅助方法和利用该驾驶辅助方法的驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助***以及程序
CN109488383A (zh) * 2018-12-27 2019-03-19 江苏三恒科技股份有限公司 智能视频分析***及其应用方法
CN109508662A (zh) * 2018-11-01 2019-03-22 上海海事大学 一种矿用电机车行人安全监测方法及***
CN109800683A (zh) * 2018-12-30 2019-05-24 昆明物理研究所 一种基于fpga的红外行人检测方法及装置
IT201800005222A1 (it) * 2018-05-15 2019-11-15 Sistema innovativo di visione e di assistenza all’Agente di Condotta nel settore ferroviario.
CN110516532A (zh) * 2019-07-11 2019-11-29 北京交通大学 基于计算机视觉的无人机铁路轨道线路识别方法
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及***
CN112370078A (zh) * 2020-11-10 2021-02-19 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
CN114724080A (zh) * 2022-03-31 2022-07-08 慧之安信息技术股份有限公司 基于安防视频监控的工地智能化安全识别方法和装置
CN117125114A (zh) * 2023-08-31 2023-11-28 西安利雅得电气股份有限公司 一种井下轨道机车定位监测方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008985A (zh) * 2007-01-18 2007-08-01 章毅 ***鉴别***及其控制方法
JP4087045B2 (ja) * 2000-07-13 2008-05-14 松下電器産業株式会社 列車有無判定方法および装置と監視システム
CN201195541Y (zh) * 2008-04-23 2009-02-18 北京福斯达高科技公司 铁路机车前大灯自动转向装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4087045B2 (ja) * 2000-07-13 2008-05-14 松下電器産業株式会社 列車有無判定方法および装置と監視システム
CN101008985A (zh) * 2007-01-18 2007-08-01 章毅 ***鉴别***及其控制方法
CN201195541Y (zh) * 2008-04-23 2009-02-18 北京福斯达高科技公司 铁路机车前大灯自动转向装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
王爽等: "基于阈值优化的图像模糊边缘检测快速算法", 《安徽理工大学学报(自然科学版)》 *
王红梅等: "一种基于PCNN的图像分割方法", 《光电工程》 *
符秋杰: "矿井电机车行人监测报警***的研究", 《中国优秀硕士学位论文全文数据库》 *
郭肖静等: "集装箱图像对比度增强的自适应算法", 《核电子学与探测技术》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103183042A (zh) * 2013-03-05 2013-07-03 安徽恒源煤电股份有限公司 基于图像处理的电机车行人监测报警***及方法
CN103279741B (zh) * 2013-05-20 2016-07-06 大连理工大学 一种基于车载红外图像的行人预警***及其工作方法
CN103279741A (zh) * 2013-05-20 2013-09-04 大连理工大学 一种基于车载红外图像的行人预警***及其工作方法
CN103325123A (zh) * 2013-07-09 2013-09-25 江南大学 一种基于自适应神经模糊推理***的图像边缘检测方法
CN103646168A (zh) * 2013-11-26 2014-03-19 浙江工商大学 微油点火预警方法
CN105083325A (zh) * 2015-07-28 2015-11-25 陕西西北铁道电子有限公司 车载光学探测与地理信息相结合的机车防撞方法及装置
CN105654496A (zh) * 2016-01-08 2016-06-08 华北理工大学 基于视觉特性的仿生自适应模糊边缘检测方法
CN105654496B (zh) * 2016-01-08 2018-06-29 华北理工大学 基于视觉特性的仿生自适应模糊边缘检测方法
CN108885836A (zh) * 2016-03-25 2018-11-23 松下知识产权经营株式会社 驾驶辅助方法和利用该驾驶辅助方法的驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助***以及程序
CN106894806A (zh) * 2016-11-29 2017-06-27 攀枝花市九鼎智远知识产权运营有限公司 一种智能钻机电液控制***及方法
CN106371494A (zh) * 2016-11-30 2017-02-01 泸县玉流机械制造有限责任公司 图像识别控制电路
CN108664980A (zh) * 2018-05-14 2018-10-16 昆明理工大学 一种基于引导滤波和小波变换的太阳冕环结构识别方法
IT201800005222A1 (it) * 2018-05-15 2019-11-15 Sistema innovativo di visione e di assistenza all’Agente di Condotta nel settore ferroviario.
CN109508662A (zh) * 2018-11-01 2019-03-22 上海海事大学 一种矿用电机车行人安全监测方法及***
CN109488383A (zh) * 2018-12-27 2019-03-19 江苏三恒科技股份有限公司 智能视频分析***及其应用方法
CN109800683A (zh) * 2018-12-30 2019-05-24 昆明物理研究所 一种基于fpga的红外行人检测方法及装置
CN110516532A (zh) * 2019-07-11 2019-11-29 北京交通大学 基于计算机视觉的无人机铁路轨道线路识别方法
CN110516532B (zh) * 2019-07-11 2022-03-11 北京交通大学 基于计算机视觉的无人机铁路轨道线路识别方法
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及***
CN112370078A (zh) * 2020-11-10 2021-02-19 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
CN112370078B (zh) * 2020-11-10 2024-01-26 安徽理工大学 一种基于超声成像和贝叶斯优化的图像检测方法
CN114724080A (zh) * 2022-03-31 2022-07-08 慧之安信息技术股份有限公司 基于安防视频监控的工地智能化安全识别方法和装置
CN114724080B (zh) * 2022-03-31 2023-10-27 慧之安信息技术股份有限公司 基于安防视频监控的工地智能化安全识别方法和装置
CN117125114A (zh) * 2023-08-31 2023-11-28 西安利雅得电气股份有限公司 一种井下轨道机车定位监测方法及***
CN117125114B (zh) * 2023-08-31 2024-04-16 西安利雅得电气股份有限公司 一种井下轨道机车定位监测方法及***

Similar Documents

Publication Publication Date Title
CN102700569A (zh) 基于图像处理的矿用电机车行人监测方法及报警***
Huang et al. Automatic symbolic traffic scene analysis using belief networks
Singh et al. Estimation of traffic densities for multilane roadways using a markov model approach
Hua et al. Apphcations of artificial neural networks to intelligent vehicle-highway systems
US11783452B2 (en) Traffic monitoring using distributed fiber optic sensing
Wang et al. STMAG: A spatial-temporal mixed attention graph-based convolution model for multi-data flow safety prediction
CN102496284A (zh) 一种道路交通流量采集及预测方法
CN103761522B (zh) 基于最小外接矩形窗河道分段模型的sar图像河道提取方法
CN103198296A (zh) 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
Gao et al. Short-term traffic speed forecasting using a deep learning method based on multitemporal traffic flow volume
Kuşkapan et al. Pedestrian safety at signalized intersections: Spatial and machine learning approaches
Timofeev et al. Classification of seismoacoustic emission sources in fiber optic systems for monitoring extended objects
CN202783254U (zh) 基于图像处理的矿用电机车行人监测方法及报警***
Monahan et al. A hybrid model for online short-term tidal energy forecasting
CN103310465A (zh) 一种基于马尔科夫随机场的车辆遮挡处理方法
Yuan et al. Spatial deep deconvolution u-net for traffic analyses with distributed acoustic sensing
Ye et al. Traffic flow and vehicle speed monitoring with the object detection method from the roadside distributed acoustic sensing array
Gu et al. Traffic state estimation for urban road networks using a link queue model
Yao et al. Trajectory prediction dimensionality reduction for low-cost connected automated vehicle systems
Bublin Machine learning for distributed acoustic sensors, classic versus image and deep neural networks approach
Yang et al. A shock wave diagram based deep learning model for early alerting an upcoming public event
Choubin et al. Averaged Neural Network Integrated with Recursive Feature Elimination for Flood Hazard Assessment
Li et al. Pedestrian Recognition with Radar Data-Enhanced Deep Learning Approach Based on Micro-Doppler Signatures
Prabha et al. KNODET: A framework to mine GPS data for intelligent transportation systems at traffic signals
Wei et al. GPS probe based freeway real-time travel speed estimation using Kalman filter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121003