CN104386092B - 基于图像识别和多感知融合的列车自动防护***及方法 - Google Patents

Abstract

本发明涉及一种基于图像识别和多感知融合的列车自动防护***及方法，包括图像采集单元(1)、图像处理单元(2)、多感知融合处理单元(3)、辅助感知单元(4)和预警结果输出单元(5)，所述的图像采集单元(1)、图像处理单元(2)、多感知融合处理单元(3)和预警结果输出单元(5)依次连接，所述的辅助感知单元(4)与多感知融合处理单元(3)连接。与现有技术相比，本发明具有能够适应城市轨道交通运行线路出现的复杂情况，根据线路实际情况，自动实现列车的安全防护，大大提高城市轨道交通运行安全。

Description

基于图像识别和多感知融合的列车自动防护***及方法

技术领域

本发明涉及一种轨道交通中的列车自动防护技术，尤其是涉及一种基于图像识别和多感知融合的列车自动防护***及方法。

背景技术

城市轨道交通运营的安全很大程度上取决于自动防护***。通常情况下，在城市轨道交通***中列车与列车之间(包含迎面、侧冲和追尾三种情况)、列车与道岔或其他轨旁设备的安全防护在信号自动控制***(Automatic Train Control，以下简称为ATC***)中实现，但是ATC***的自动防护基于轨道占用和列车主动识别检测。对于城市轨道***运行中出现的不能通过轨道占用和列车主动识别进行检测的侵入物，ATC***的自动防护存在一定的局限性。

对于不能通过轨道占用和列车主动识别进行检测的侵入物(障碍物)，如坠落在轨道上的大石块或广告牌、横跨在道口上的汽车、跌入轨道内的人等，虽然对城市轨道交通的运行存在安全危害，但ATC***很难实现列车的安全防护。考虑到城市轨道***运行条件的复杂性(如高架或隧道上轨道空间较小，弯道较多，司机瞭望条件较差等)，以及障碍物侵入城市轨道交通***中将产生极大的危害和恶劣的社会影响，需要一种能够实现对侵入物等突发事件实现自动防护的方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像识别和多感知融合的列车自动防护***，能够适应城市轨道交通运行线路出现的复杂情况，根据线路实际情况，自动实现列车的安全防护，大大提高城市轨道交通运行安全。

本发明的目的可以通过以下技术方案来实现：

一种基于图像识别和多感知融合的列车自动防护***，其特征在于，包括图像采集单元、图像处理单元、多感知融合处理单元、辅助感知单元和预警结果输出单元，所述的图像采集单元、图像处理单元、多感知融合处理单元和预警结果输出单元依次连接，所述的辅助感知单元与多感知融合处理单元连接；

所述的图像采集单元实时采集列车周边运行环境的图像信号，并将图像信号传输到图像处理单元中，所述的图像处理单元对不安全因素进行初步检测后将其传输给多感知融合处理单元，该多感知融合处理单元启动辅助感知单元进行二次感知，并通过对辅助感知单元传回的探测到的外部不安全因素的相关属性与图像处理单元传送过来的外部不安全因素的相关属性进行融合分析，进一步精确确定外部不安全因素的各项属性，预警结果输出单元根据多感知融合处理单元对外部不安全因素的各项属性进行安全风险分析，确定预警结果的输出情况。

所述的图像采集单元为CCD摄像机或夜间红外摄像机，用于实时采集列车周边运行环境的图像信号，然后经过视频同步分离芯片把图像信号传输到图像处理单元中。

所述的图像处理单元对列车周边运行环境的图像信号中不安全要素特征数据进行提取、识别，测量其距离、形状、相对速度和相对加速度，对影响判断的不利干扰因素进行过滤删除，从而实现对不安全因素进行有效的初步检测。

所述的辅助感知单元是用来辅助探测列车周边运行环境中的外部不安全因素，以及在摄像机无法正常工作的情况下取代图像采集单元作为探测手段。

所述的辅助感知单元为雷达、电磁传感器、激光传感器中一种或几种组合，用于探测外部不安全因素的高度、距离、长度、相对速度和相对加速度。

一种基于图像识别和多感知融合的列车自动防护***的方法，其特征在于，包括以下步骤：

1)首先通过图像采集单元进行列车周边运行环境的图像采集，转步骤2)；

2)图像处理单元通过对图像采集单元传送过来的图像信号进行图像处理，初步识别列车周围可能影响列车运行安全的外部不安全因素所在的大致范围，并测量它们的高度、距离、形状、长度、位置、相对速度和相对加速度，如果识别到不安全因素则转步骤3)；没有则返回步骤1)继续进行图像采集；

3)多感知融合处理单元针对图像处理单元确定的不安全因素的大致范围启动辅助感知单元进行二次感知，转步骤4)；

4)多感知融合处理单元通过对辅助感知单元传回的探测到的外部不安全因素的相关属性与图像处理单元传送过来的通过图像识别初步确定的外部不安全因素的相关属性进行安全风险的融合分析，进一步精确确定外部不安全因素的相关属性，如果确定相关属性与图像处理单元识别的相关属性一致则转步骤5)，不一致则返回步骤1)；

5)预警结果输出单元根据多感知融合处理单元输出的外部不安全因素的精确属性确定不安全因素的风险等级，输出相应的报警信息或是紧急制动命令，然后返回步骤1)。

所述的图像处理单元对图像信号进行处理具体步骤如下：

101)对图像采集单元采集的图像数据进行灰度化处理，去除图像数据中RGB信息，转换为只有0～255的灰度数值信息；

102)图像的预处理：对图像进行噪声过滤；

103)对灰度图像进行像素的灰度平均值计算，作为判断列车运行环境的输入；

104)进行强弱光运行环境判断；

105)根据步骤104)中的判断，如果为弱光环境，则使用算子2进行图像的二值化；如果为强光环境，则使用算子1进行图像的二值化，其中算子1和2是融合了基于阈值和图像边缘检测这两种方法来实现的图像分割算法，其主要不同在于不同光照下阈值的取值差异；

106)将步骤105)中的二值图进行形态学处理，包括对图像数据进行膨胀、腐蚀、开启和闭合这四种形态学的代数运算，以及对物体边缘信息的滤波处理；

107)对经过形态学处理后的二值图再进行区域填充，将封闭的物体边缘内部进行填充，从而获得整个物体的信息；

108)对最后得到的二值图进行轨道识别与外部不安全因素识别；

由于轨道的轨面在列车运行过后是很光滑的，再由列车的车灯以照射，轨面就显得很光亮，在处理后的二值图中，轨面的信息就成为了两条白色的长带，基于轨道的平直特性，将列车的运行轨道进行识别；

在对列车前方进行识别外部不安全因素时，以列车的轨道作为参考基线，将图像分割成5块识别区域，包括左轨左侧、两轨中间、右轨右侧和两个轨面，对于两个轨面的区域识别，只要识别图像中轨面是否连续或者是否规则，如果不连续或不规则，则存在外部不安全因素，对于轨道的交汇点或者是分歧点，则通过是否存在另外一条连续完整的轨道来排除干扰；对于其他3个区域，则识别是否有大面积的白色区域，这个面积根据白色区域所在图像中的位置进行不同阈值的取值，如果有符合相应阈值判断条件的白色区域则判断为外部不安全因素，同时对于轨道上用的信标、波导管、轨枕、护轮轨干扰判断的物体通过特定的先验特征数据予以排除；

109)当判断有外部不安全因素时，则通过图像测量技术，对外部不安全因素的形状、位置信息、与列车的相对速度和相对加速度信息进行测量，输出给多感知融合处理单元；无外部不安全因素则不输出相关的信息。

所述的多感知融合处理单元具体处理过程如下：

201)图像处理单元识别到不安全因素的存在，多感知融合处理单元从图像处理单元得到前方不安全因素的高度、距离、长度、位置、与列车的相对速度和相对加速度信息；

202)通过从图像处理单元得到的前方不安全因素的位置信息计算出不安全因素相对列车行驶方向的角度信息；

203)根据角度信息启动对应位置的辅助感知单元，通过辅助感知单元获得不安全因素的距离、高度、以及与列车的相对速度和相对加速度信息；

204)根据辅助感知单元传回不安全因素的距离、高度信息，跟图像处理单元的不安全要素数据进行比对，如果在同一位置且高度也超过了车辆限界要求，则可确认不安全因素的存在，转步骤205)；如果比对数据没有发现不安全因素，则返回步骤201)；

205)当判断为存在不安全因素时，根据辅助感知单元传回的距离不安全因素的相对速度和相对加速度信息判断是否有碰撞风险，该判断过程充分考虑了车辆的保障制动率、制动命令的传输延时、车辆牵引的切除时间、紧急制动的施加时间、最大坡度下重力加速度的作用因素，结合与不安全因素的相对速度和相对加速度信息，最终得到最坏情况下列车可能运行的距离；该距离跟当前不安全因素与列车相对距离进行比较，从而判断该时刻是否存在碰撞风险；

如果最坏的情况下不安全因素与列车有碰撞风险，则直接给车辆输出紧急制动命令，从而避免发生碰撞或者尽可能地减小碰撞对列车的伤害；如果不安全因素离列车相对较远，当前速度和加速度下司机通过施加常规制动控制列车在发生碰撞前停下来，则可以输出给司机相应的声光报警信息，提醒司机注意前方的危险点，司机采取必要的操作使列车及时停下，从而避免不必要的紧急制动过程；如果司机一直未采取制动，当判断出存在碰撞风险时，则自动对车辆实施紧急制动；同时不安全因素的信息也通过车载无线通讯***将报警信息传给轨旁的运营调度人员和轨旁维保人员进行后续列车的调度以及不安全因素的排查清除工作，确保后续列车行车安全。

与现有技术相比，本发明能够适应城市轨道交通运行线路出现的复杂情况，根据线路实际情况，自动实现列车的安全防护，大大提高城市轨道交通运行安全，具体为：

弥补现行ATC***探测的局限性，通过图像识别加上其他感知技术，完成对列车运行范围内的外部不安全因素的主动探测、识别、评估以便实现自动防护；

进一步完善城市轨道交通***对危害列车运行安全的突发事件处置手段，实现对城市轨道交通中紧急情况的快速反应，进一步满足城市轨道交通***对安全运行的需求；

提高了城市轨道交通运行中对侵入物等突发事件进行防护的自动化程度，将原来由列车司机人工对轨道侵入物等突发事件的防护升级为自动防护，提高了运营的自动化程度，降低列车司机的压力和司机瞭望过程中局限性以及操作中可能的人为失误；

通过相关等级的报警信息，轨旁调度人员可以尽早知道轨道上的不安全因素，及时组织后续列车避开危险地段；

轨旁维保人员接受到报警信息之后，可以及时组织排查相关危险地段，及时清除障碍物，确保行车安全。

附图说明

图1为本发明***结构示意图；

图2为本发明的流程图；

图3为本发明的图像处理流程图；

图4为本发明的多感知融合处理单元流程图；

图5为本发明具体安装后的示例图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明主要涉及图像识别的多感知融合技术，其基本结构图见图1所示：图中1为图像采集单元，2为图像处理单元，3为多感知融合处理单元，4为辅助感知单元，5为预警结果输出单元。

本发明中：

图像采集单元1可以为CCD摄像机、夜间红外摄像机或者其他符合本发明使用场景的摄像机，主要是实时采集列车周边运行环境的图像资源，然后经过视频同步分离芯片把图像信号传输到图像处理单元2中。

图像处理单元2是执行图像识别的核心处理单元，主要对列车周边运行环境中不安全要素特征数据进行提取、识别，初步测量其距离、形状、相对速度、相对加速度(并不局限于上述属性)，对影响判断的不利干扰因素进行过滤删除，从而实现对不安全因素进行有效的初步检测。

多感知融合处理单元3是根据图像处理单元2的输出结果启动辅助感知单元4进行二次感知，并通过对辅助感知单元4传回的探测到的外部不安全因素的相关属性与图像处理单元2传送过来的通过图像识别初步确定的外部不安全因素的相关属性进行融合分析，进一步精确确定外部不安全因素的各项属性。

辅助感知单元4是用来辅助探测列车周边运行环境中的外部不安全因素，以及在摄像机无法正常工作的情况下(如大雾、大雨等)，取代图像采集单元1作为主要探测手段。它可以是多种传感器的融合应用，比如雷达、电磁、激光等传感器，也可以将这些传感器进行阵列组合。它主要探测的是外部不安全因素的高度、距离、长度、相对速度、相对加速度，但并不局限于上述属性。

预警结果输出单元5根据多感知融合处理单元3对外部不安全因素的各项属性进行安全风险分析，确定预警结果的输出情况。根据危害性等级，它可以是声、光、震动等的组合，也可以是显示在人机交互界面上的相关等级的报警信息，以及输出给车辆制动***的制动命令。

图1中各个单元之间的连接可以是有线的形式，也可以是无线的形式。

各个模块的供电在突然失电的情况下直接由车载UPS供给，这样保证了保护的持续性，提高了行车安全的可靠性。

2.本发明流程

结合图2：运行流程图，本发明主要运行流程如下：

a.首先通过图像采集单元1进行列车周边运行环境的图像采集，转b；

b.图像处理单元2通过对图像采集单元1传送过来的图像资源进行图像处理，初步识别列车周围可能影响列车运行安全的外部不安全因素所在的大致范围，以及初步测量它们的高度、距离、形状、长度、位置、相对速度、相对加速度，但并不局限于上述属性，如果识别到不安全因素则转c，没有则转a继续进行图像采集；

c.多感知融合处理单元3针对图像处理单元2确定的不安全因素的大致范围启动辅助感知单元4进行二次感知，转d；

d.多感知融合处理单元3通过对辅助感知单元4传回的探测到的外部不安全因素的相关属性与图像处理单元2传送过来的通过图像识别初步确定的外部不安全因素的相关属性进行安全风险的融合分析，进一步精确确定外部不安全因素的相关属性，如果确定相关属性与图像处理单元识别的相关属性一致则转e，不一致则转a；

e.预警结果输出单元5根据多感知融合处理单元3输出的外部不安全因素的精确属性确定不安全因素的风险等级，输出相应的报警信息或是紧急制动命令，然后转a。

结合图3：图像处理流程图，本发明图像处理的主要运行流程如下：

a.由于列车行车安全对图像实时性要求较高，为减小后续处理的数据量，对图像采集单元1采集的图像数据进行灰度化处理，去除图像数据中RGB信息，转换为只有0～255的灰度数值信息；

b.图像的预处理：为了消除图像中的基本噪声，增强图像对比度，提高图像质量，以便后续处理和分析，先对图像进行噪声过滤，比较常用的有高斯滤波，中值滤波，均值滤波等；

c.对灰度图像进行像素的灰度平均值计算，作为判断列车运行环境的输入；

d.进行强弱光运行环境判断。列车的运行环境分为隧道、高架和地面。在高架和地面运行时，强弱光环境由白天和夜晚决定。白天时整个灰度图亮度比较亮，所以其平均灰度值较小；而夜晚时整个灰度图的亮度比较暗，所以其平均灰度值较大。而列车运行在隧道环境时，与夜晚类似。确定一个能够比较准确区分强弱光运行环境的阈值，从而进行列车运行强弱光环境的判断；

e.根据d中的判断，如果为弱光环境(夜晚或隧道)，则使用算子2进行图像的二值化；如果为强光环境(白天)，则使用算子1进行图像的二值化。算子1和2是融合了基于阈值和图像边缘检测这两种方法来实现的图像分割算法，它们的主要不同在于不同光照下阈值的取值差异。而所谓图像的二值化，就是根据相应的算法将灰度图中的像素点的灰度值取0或者255，从而使得原先的灰度图只有黑白两种颜色，进而将图像中的无关信息进行滤除；

f.将e中的二值图进行形态学处理。形态学处理就是对图像数据进行膨胀、腐蚀、开启和闭合这四种形态学的代数运算，从而使得图像中物体的边缘信息更加突出。这里的形态学处理还包括对物体边缘信息的滤波处理，从而使得边缘信息更加平滑；

g.对经过形态学处理后的二值图再进行区域填充。所谓的区域填充就是将封闭的物体边缘内部进行填充，从而获得整个物体的信息；

h.对最后得到的二值图进行轨道识别与外部不安全因素识别。由于轨道的轨面在列车运行过后是很光滑的，再由列车的车灯以照射，轨面就显得很光亮，所以在处理后的二值图中，轨面的信息就成为了两条白色的长带。又基于轨道的平直特性，所以很容易将列车的运行轨道进行识别。在对列车前方进行识别外部不安全因素时，以列车的轨道作为参考基线，将图像分割成5块识别区域，既左轨左侧、两轨中间、右轨右侧和两个轨面。对于两个轨面的区域识别，只要识别图像中轨面是否连续或者是否规则，如果不连续或不规则，则存在外部不安全因素，对于轨道的交汇点或者是分歧点，则可以通过是否存在另外一条连续完整的轨道来排除干扰。对于其他3个区域，则识别是否有大面积的白色区域，这个面积可以根据白色区域所在图像中的位置进行不同阈值的取值(同一大小的物体会因远近关系而在图像中显示大小有所不同)，如果有符合相应阈值判断条件的白色区域则判断为外部不安全因素，同时对于轨道上用的信标、波导管、轨枕、护轮轨等其他影响判断的干扰判断的物体可以通过特定的先验特征数据予以排除。在对列车两侧区域进行外部不安全因素识别时，则主要以轨道限界范围内的区域作为识别区域，如果存在大面积的白色区域则判断为外部不安全因素；

i.当判断有外部不安全因素时，则通过图像测量技术，对外部不安全因素的形状、位置信息、与列车的相对速度和相对加速度等信息进行测量，输出给多感知融合处理单元3；无外部不安全因素则不输出相关的信息。

需要注意的是，此处只是举例说明了一种可行的图像处理方法，并不是指本发明只使用这种图像处理方法，并非用以限定本发明，任何可以实现本发明的目的的图像处理方法均属于本发明的保护范围。

结合图4：多感知融合处理单元流程图，本发明多感知融合处理的主要运行流程如下：

a.图像处理单元识别到不安全因素的存在，多感知融合处理单元从图像处理单元得到前方不安全因素的高度、距离、长度、位置、与列车的相对速度和相对加速度等信息；

b.通过从图像处理单元得到的前方不安全因素的位置信息计算出不安全因素相对列车行驶方向的角度信息；

c.根据角度信息启动对应位置的辅助传感器，辅助传感器可以是雷达、电磁、激光等传感器，也可以将这些传感器进行阵列组合，可根据车辆对应位置对限界的不同要求放置相应位置的传感器，最终通过这些辅助传感器获得不安全因素的距离、高度、以及与列车的相对速度和相对加速度等信息；

d.根据辅助传感器传回不安全因素的距离、高度信息，跟图像处理的不安全要素数据进行比对，如果在同一位置且高度也超过了车辆限界要求，则可确认不安全因素的存在，转e；如果比对数据没有发现不安全因素，则转a；

e.当判断为存在不安全因素时，根据辅助传感器传回的距离不安全因素的相对速度和相对加速度信息判断是否有碰撞风险。这个判断过程充分考虑了车辆的保障制动率、制动命令的传输延时、车辆牵引的切除时间、紧急制动的施加时间、最大坡度下重力加速度的作用等因素，结合与不安全因素的相对速度和相对加速度信息，最终得到最坏情况下列车可能运行的距离。这个距离跟当前不安全因素与列车相对距离进行比较，从而判断该时刻是否存在碰撞风险。如果最坏的情况下不安全因素与列车有碰撞风险，则直接给车辆输出紧急制动命令，从而避免发生碰撞或者尽可能地减小碰撞对列车的伤害；如果不安全因素离列车相对较远，当前速度和加速度下司机可以通过施加常规制动控制列车在发生碰撞前停下来，则可以输出给司机相应的声光报警信息，提醒司机注意前方的危险点，司机采取必要的操作使列车及时停下，从而避免不必要的紧急制动过程；如果司机一直未采取制动，当判断出存在碰撞风险时，则自动对车辆实施紧急制动。同时不安全因素的信息也可以通过车载无线通讯***将报警信息传给轨旁的运营调度人员和轨旁维保人员进行后续列车的调度以及不安全因素的排查清除工作，确保后续列车行车安全。

根据他们不同的运行环境和对安全防护的要求，本发明可以进行不同的配置。

结合图5，讲述本发明的一种典型实施例：

1)图5主要描述了本发明设备在列车上的主要连接关系，其中5可以直接输出制动命令给列车的制动***，从而实现列车在紧急情况下的快速制动；

2)根据轨道交通的运行环境，列车运行前方的轨道区域为重点探测区域。摄像头安装在司机室顶部，角度为水平偏下，这样能够有效扩大摄像机的图像采集区域，做到尽量提早探测。需要注意的是，摄像头的个数和安装位置可根据实际检测效果而定，不应成为限制本发明局限性的因素；

3)根据车辆不同位置对限界的不同要求在司机室左中右各放置一个辅助传感器，中间的传感器安装在底部，主要用于探测两轨之间的障碍物，两边的则是中间偏下位置，主要实现对轨道外的不安全因素的跟踪识别，从而快速有效探测外部不安全因素的高度等相关属性；需要注意的是，传感器的个数和安装位置根据传感器实际检测效果而定，不应成为限制本发明局限性的因素；

4)由图像处理单元2进行图像识别，对前方轨道限界范围内不安全要素的特征数据进行提取、识别，由辅助感知单元4进行二次识别和确认危险要素，由多感知融合处理单元3来精确评估外部不安全因素相关属性，由预警结果输出单元5来完成对不安全因素安全风险分析，并给司机提示报警或者直接输出对车辆的紧急制动命令，从而完成对列车运行前方的自动防护；

5)上述实施例并非用以限定本发明，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (6)

1.一种基于图像识别和多感知融合的列车自动防护方法，该方法采用一种基于图像识别和多感知融合的列车自动防护***，其特征在于，所述的***包括图像采集单元(1)、图像处理单元(2)、多感知融合处理单元(3)、辅助感知单元(4)和预警结果输出单元(5)，所述的图像采集单元(1)、图像处理单元(2)、多感知融合处理单元(3)和预警结果输出单元(5)依次连接，所述的辅助感知单元(4)与多感知融合处理单元(3)连接；所述的图像采集单元(1)实时采集列车周边运行环境的图像信号，并将图像信号传输到图像处理单元(2)中，所述的图像处理单元(2)对不安全因素进行初步检测后将其传输给多感知融合处理单元(3)，该多感知融合处理单元(3)启动辅助感知单元(4)进行二次感知，并通过对辅助感知单元(4)传回的探测到的外部不安全因素的相关属性与图像处理单元(2)传送过来的外部不安全因素的相关属性进行融合分析，进一步精确确定外部不安全因素的各项属性，预警结果输出单元(5)根据多感知融合处理单元(3)对外部不安全因素的各项属性进行安全风险分析，确定预警结果的输出情况；

所述的方法包括以下步骤：

1)首先通过图像采集单元(1)进行列车周边运行环境的图像采集，转步骤2)；

2)图像处理单元(2)通过对图像采集单元(1)传送过来的图像信号进行图像处理，初步识别列车周围可能影响列车运行安全的外部不安全因素所在的大致范围，并测量它们的高度、距离、形状、长度、位置、相对速度和相对加速度，如果识别到不安全因素则转步骤3)；没有则返回步骤1)继续进行图像采集；

3)多感知融合处理单元(3)针对图像处理单元(2)确定的不安全因素的大致范围启动辅助感知单元(4)进行二次感知，转步骤4)；

4)多感知融合处理单元(3)通过对辅助感知单元(4)传回的探测到的外部不安全因素的相关属性与图像处理单元(2)传送过来的通过图像识别初步确定的外部不安全因素的相关属性进行安全风险的融合分析，进一步精确确定辅助感知单元(4)传回的探测到的外部不安全因素的相关属性，如果确定相关属性与图像处理单元(2)识别的相关属性一致则转步骤5)，不一致则返回步骤1)；

5)预警结果输出单元(5)根据多感知融合处理单元(3)输出的外部不安全 因素的精确属性确定不安全因素的风险等级，输出相应的报警信息或是紧急制动命令，然后返回步骤1)；

所述的图像处理单元(2)对图像信号进行处理具体步骤如下：

101)对图像采集单元(1)采集的图像数据进行灰度化处理，去除图像数据中RGB信息，转换为只有0～255的灰度数值信息；

102)图像的预处理：对图像进行噪声过滤；

103)对灰度图像进行像素的灰度平均值计算，作为判断列车运行环境的输入；

104)进行强弱光运行环境判断；

105)根据步骤104)中的判断，如果为弱光环境，则使用算子2进行图像的二值化；如果为强光环境，则使用算子1进行图像的二值化，其中算子1和2是融合了基于阈值和图像边缘检测这两种方法来实现的图像分割算法，其主要不同在于不同光照下阈值的取值差异；

106)将步骤105)中的二值图进行形态学处理，包括对图像数据进行膨胀、腐蚀、开启和闭合这四种形态学的代数运算，以及对物体边缘信息的滤波处理；

107)对经过形态学处理后的二值图再进行区域填充，将封闭的物体边缘内部进行填充，从而获得整个物体的信息；

108)对最后得到的二值图进行轨道识别与外部不安全因素识别；

由于轨道的轨面在列车运行过后是很光滑的，再由列车的车灯以照射，轨面就显得很光亮，在处理后的二值图中，轨面的信息就成为了两条白色的长带，基于轨道的平直特性，将列车的运行轨道进行识别；

在对列车前方进行识别外部不安全因素时，以列车的轨道作为参考基线，将图像分割成5块识别区域，包括左轨左侧、两轨中间、右轨右侧和两个轨面，对于两个轨面的区域识别，只要识别图像中轨面是否连续或者是否规则，如果不连续或不规则，则存在外部不安全因素，对于轨道的交汇点或者是分歧点，则通过是否存在另外一条连续完整的轨道来排除干扰；对于其他3个区域，则识别是否有大面积的白色区域，这个面积根据白色区域所在图像中的位置进行不同阈值的取值，如果有符合相应阈值判断条件的白色区域则判断为外部不安全因素，同时对于轨道上用的信标、波导管、轨枕、护轮轨干扰判断的物体通过先验特征数据予以排除；

109)当判断有外部不安全因素时，则通过图像测量技术，对外部不安全因素的形状、位置信息、与列车的相对速度和相对加速度信息进行测量，输出给多感知 融合处理单元(3)；无外部不安全因素则不输出相关的信息。

2.根据权利要求1所述的方法，其特征在于，所述的图像采集单元(1)为CCD摄像机或夜间红外摄像机，用于实时采集列车周边运行环境的图像信号，然后经过视频同步分离芯片把图像信号传输到图像处理单元(2)中。

3.根据权利要求1所述的方法，其特征在于，所述的图像处理单元(2)对列车周边运行环境的图像信号中不安全要素特征数据进行提取、识别，测量其距离、形状、相对速度和相对加速度，对影响判断的不利干扰因素进行过滤删除，从而实现对不安全因素有效的初步检测。

4.根据权利要求2所述的方法，其特征在于，所述的辅助感知单元(4)是用来辅助探测列车周边运行环境中的外部不安全因素，以及在摄像机无法正常工作的情况下取代图像采集单元(1)作为探测手段。

5.根据权利要求4所述的方法，其特征在于，所述的辅助感知单元(4)为雷达、电磁传感器、激光传感器中一种或几种组合，用于探测外部不安全因素的高度、距离、长度、相对速度和相对加速度。

6.根据权利要求1所述的方法，其特征在于，所述的多感知融合处理单元(3)具体处理过程如下：

201)图像处理单元(2)识别到不安全因素的存在，多感知融合处理单元(3)从图像处理单元(2)得到前方不安全因素的高度、距离、长度、位置、与列车的相对速度和相对加速度信息；

202)通过从图像处理单元(2)得到的前方不安全因素的位置信息计算出不安全因素相对列车行驶方向的角度信息；

203)根据角度信息启动对应位置的辅助感知单元(4)，通过辅助感知单元(4)获得不安全因素的距离、高度、以及与列车的相对速度和相对加速度信息；

204)根据辅助感知单元(4)传回不安全因素的距离、高度信息，跟图像处理单元(2)的不安全要素数据进行比对，如果在同一位置且高度也超过了车辆限界要求，则可确认不安全因素的存在，转步骤205)；如果比对数据没有发现不安全因素，则返回步骤201)；

205)当判断为存在不安全因素时，根据辅助感知单元(4)传回的距离不安全因素的相对速度和相对加速度信息判断是否有碰撞风险，该判断过程考虑了车辆的保障制动率、制动命令的传输延时、车辆牵引的切除时间、紧急制动的施加时间、 最大坡度下重力加速度的作用因素，结合与不安全因素的相对速度和相对加速度信息，最终得到列车可能运行的距离；该距离跟当前不安全因素与列车相对距离进行比较，从而判断当前时刻是否存在碰撞风险；

如果不安全因素与列车有碰撞风险，则直接给车辆输出紧急制动命令，从而避免发生碰撞或者尽可能地减小碰撞对列车的伤害；如果不安全因素离列车相对较远，当前速度和加速度下司机通过施加常规制动控制列车在发生碰撞前停下来，则输出给司机相应的声光报警信息，提醒司机注意前方的危险点，司机采取必要的操作使列车及时停下，从而避免不必要的紧急制动过程；如果司机一直未采取制动，当判断出存在碰撞风险时，则自动对车辆实施紧急制动；通过车载无线通讯***将报警信息传给轨旁的运营调度人员和轨旁维保人员进行后续列车的调度以及不安全因素的排查清除工作，确保后续列车行车安全。