CN114419825A - 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 - Google Patents

基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 Download PDF

Info

Publication number
CN114419825A
CN114419825A CN202210315202.XA CN202210315202A CN114419825A CN 114419825 A CN114419825 A CN 114419825A CN 202210315202 A CN202210315202 A CN 202210315202A CN 114419825 A CN114419825 A CN 114419825A
Authority
CN
China
Prior art keywords
point cloud
image
wave radar
camera
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210315202.XA
Other languages
English (en)
Other versions
CN114419825B (zh
Inventor
孙琪皓
刘桂卫
崔庆国
张璇钰
王飞
王衍汇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Design Corp
Original Assignee
China Railway Design Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Design Corp filed Critical China Railway Design Corp
Priority to CN202210315202.XA priority Critical patent/CN114419825B/zh
Publication of CN114419825A publication Critical patent/CN114419825A/zh
Application granted granted Critical
Publication of CN114419825B publication Critical patent/CN114419825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法，属于高铁周界安防技术领域，其特征在于，感知模块包括成像毫米波雷达和摄像头；信息处理部接收感知部的点云数据和图像数据，首先对点云数据进行预处理和异物特征识别、对图像数据进行预处理和异物特征识别；然后进行初步入侵异物判定和识别，最后对点云数据和图像数据融合处理，再次对入侵异物进行判定和识别；响应部接收信息处理部的输出结果，并根据结果做出是否报警和信息显示的动作。本发明将成像毫米波雷达和超高清摄像头感知信息融合，进而克服单一监测手段的局限性，能够实现对复杂环境中入侵的行人、动物、落石等异物的快速精准识别，并自动发布报警信息。

Description

基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法
技术领域
本发明属于高铁周界安防技术领域，具体涉及一种基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法。
背景技术
目前，我国已经投入营运的高速铁路里程超过4万公里，是世界上高速铁路运营里程最长、运行速度最高、运营场景最复杂的国家。随着高速铁路里程的快速增加，高铁周界入侵已成为目前铁路安全急需解决的重要问题。高铁周界主要存在三类潜在威胁：非法入侵、人为破坏和自然破坏。由于高铁站场和沿线区域内重要设备多，安全等级要求高，一旦发生入侵破坏，可能导致严重的经济及社会影响。目前，针对高铁周界入侵问题，运维部门仍主要采用人工巡视的监测手段，这种方式费时费力，效率低下，对于具有突发性和随机性的周界入侵事件难以防范。
近年来，针对铁路周界入侵监测技术和设备，国内外开展了较为广泛的研究。澳大利亚、日本、美国等率先研制和应用了周界安防***。中科院、复旦大学等研究机构也先后开展了基于光纤、激光、图像等技术的周界入侵监测技术研究。然而，从测试和应用效果来看，单一的周界入侵探测方式均存在弊端，如振动光纤、泄漏电缆、光波对射探测、多维三鉴振动探测技术等具有抗干扰能力差、误报率高的缺陷，脉冲电子围栏、张力围栏、微波阵列、激光雷达等具有建设运行成本高的缺点，红外探测、视频监测等具有环境适应性差的缺点。这些手段均无法适用于高铁沿线的复杂环境，满足高铁周界入侵安防“无漏报、低误报、低成本”的应用需求。因此，亟需采用合适的监测技术，研发一种精度高、误报率低，抗干扰能力强、性价比高的高速铁路沿线周界入侵监测报警设备，以有效提升高速铁路的运营安全水平。
发明内容
本发明为解决公知技术中存在的技术问题，提供一种基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法，将成像毫米波雷达和超高清摄像头感知信息融合，进而克服单一监测手段的局限性，满足高铁周界不同场景、光照强度及天气情况的应用需求，基于多源数据融合模型和深度学习算法，能够实现对复杂环境中入侵的行人、动物、落石等异物的快速精准识别，并自动发布报警信息。
本发明的第一目的是提供一种基于毫米波雷达和摄像头的高铁周界入侵监测装置，至少包括：
感知部，所述感知模块包括成像毫米波雷达和摄像头；
信息处理部，所述信息处理部接收感知部的点云数据和图像数据，首先对点云数据进行预处理和异物特征识别、对图像数据进行预处理和异物特征识别；然后进行初步入侵异物判定和识别；最后对点云数据和图像数据融合处理，再次对入侵异物进行判定和识别；
响应部，所述响应部接收信息处理部的输出结果，并根据结果做出是否报警和信息显示的动作。
优选地，所述点云数据和图像数据融合处理的过程为：将毫米波雷达的坐标系转换到图像坐标系中，实现对点云数据和图像数据的空间融合；将毫米波雷达和摄像头的数据采集频率统一设置为20Hz，实现对应时刻的点云数据与图像数据的融合处理；基于距离和空间透视变换原理，将毫米波雷达检测到的异物目标矩形框，以二维图像像素坐标的形式投影到图像的相应位置，进行同一异物目标的信息匹配，实现检测异物特征信息的融合。
优选地，所述成像毫米波雷达基于77GHz频段，采用调频连续波体制，有效探测距离为150m，盲区最大范围是30m，距离地面的高度为3.2m；所述摄像头为800万像素级，晴天有效探测距离为100m，盲区最大范围是8m，距离地面3.7m。
优选地，所述信息处理部包括点云预处理模块、点云智能处理模块、图像预处理模块、图像智能处理模块、数据存储模块、数据融合模块、综合智能检测模块、控制模块和通讯模块。
本发明的第二目的是提供一种基于毫米波雷达和摄像头的高铁周界入侵监测方法，包括：
S1、高铁周界布设成像毫米波雷达和摄像头；
S2、建立不同异物特征的点云数据库和图像数据库；
S3、现场实时同频采集点云和图像数据；
S4、对点云数据和图像数据进行预处理；
S5、基于点云数据的异物特征识别；具体为：第一步，采用恒虚警检测器确定有无异物目标存在；第二步，采用目标生命周期法滤除虚假目标；第三步，采用卡尔曼滤波法实现异物目标运动参数的估计；第四步，基于特征信息训练随机森林分类器，实现检出异物目标的自动分类；
S6、基于图像数据的异物特征识别；具体为：利用S2中不同种类的异物特征信息，采用图像帧间差分法和背景差分法相结合的算法进行异物目标识别，识别图像数据中的有效异物目标信息，同时剔除无效目标信息；所述算法的公式如下：
Figure 488873DEST_PATH_IMAGE001
其中，
Figure 669318DEST_PATH_IMAGE002
和
Figure 800085DEST_PATH_IMAGE003
分别表示第k帧和第(k+1)帧的图像像素值，T为差分图像二值化阈值，
Figure 938943DEST_PATH_IMAGE004
为差分图像像素值；
S7、判断是否存在入侵异物；
S8、点云数据和图像数据融合处理；具体为：将毫米波雷达的坐标系转换到图像坐标系中，实现对S5获取的点云数据和S6获取的图像数据的空间融合；将毫米波雷达和摄像头的数据采集频率统一设置为20Hz，实现对应时刻的点云数据与图像数据的融合处理；基于距离和空间透视变换原理，将毫米波雷达检测到的异物目标矩形框，以二维图像像素坐标的形式投影到图像的相应位置，进行同一异物目标的信息匹配，实现检测异物特征信息的融合；
S9、基于融合模型的异物目标智能检测；
S10、当检测到异物存在时，实时报警并将报警图像传输至高铁安全控制中心，否则不报警。
优选地，S2具体为：选取不同材质和尺寸的异物，在现场开展高铁周界入侵的模拟试验，利用感知部分别采集点云数据和图像数据，通过深度学习算法提取异物特征信息，建立周界入侵异物标准点云数据库和图像数据库，并进行储存。
优选地，S4具体为：首先对点云数据和图像数据进行分割，划定监测范围；然后对S3中的点云数据进行预处理，包括点云滤波和特征增强；对S3中的图像数据进行预处理，包括灰度化、滤波、直方图均衡化过程。
优选地，S7具体为：通过S5和S6的异物特征识别结果，返回识别信息，若S5和S6中至少有一步识别出异物，则判定为存在入侵异物，若两步骤均未识别出异物，则判定不存在入侵异物。
优选地，S9具体为：基于S8得到的异物特征融合信息，建立异物特征融合模型，采用距离变换方法突出融合后的异物目标，综合获取异物目标类型、距离和运动速度信息并进行目标追踪。
优选地，S10具体为：当S9检测出入侵的异物时，通过控制箱通讯模块，实时向高铁安全控制中心发出报警信号，并将触发报警的图像信息回传至高铁安全控制中心。
本发明具有的优点和积极效果是：
本发明利用成像毫米波雷达和超高清摄像头，实现了一种基于多源感知信息融合的高铁周界入侵监测装置及方法。成像毫米波雷达兼具全天候、抗干扰、高精度的优势，超高清摄像头则在智能、高效和准确方面更胜一筹，将成像毫米波雷达与超高清摄像头感知信息有机融合，基于深度学***，具有十分广阔的应用和推广前景。
附图说明
图1为本发明优选实施例中装置的结构示意图；
图2为本发明优选实施例中感知部的结构示意图；
图3为本发明优选实施例的流程图；
图4为本发明优选实施例中监测装置在高铁周界的布置方式图；
图5为基于成像毫米波雷达的入侵异物目标检测方法流程图；
图6为CA-CFAR检测算法示意图；
图7为实际场景和基于点云的异物目标检测结果对比图；
图8为本发明的基于超高清摄像头的入侵异物目标检测方法流程图；
图9为实际场景和基于图像的异物目标检测结果对比图；
图10为基于融合模型的入侵异物目标智能检测方法流程图。
其中：1、监测立杆；2、超高清摄像头；3、成像毫米波雷达；4、控制箱；5、智能处理器；6、数据传输线路。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
请参阅图1至图10，本发明的技术方案为：
一种基于毫米波雷达和摄像头的高铁周界入侵监测装置，包括感知部、信息处理部和响应部。如图1和图2所示，感知部和信息处理部均安装在监测立杆1上，响应部设置在高铁安全控制中心；感知部通过数据传输线6与信息处理部连接，进而实现数据交互，信息处理部通过数据传输线6与响应部连接。
其中，所述感知部包括成像毫米波雷达3和超高清摄像头2，二者为并联关系，分别架设在监测立杆1的支架上。其组合结构如图2所示。成像毫米波雷达基于77GHz频段，采用调频连续波体制，能够以较小的天线尺寸实现对目标的高精度测量，具有结构简单，性能稳定，成本较低的优势，有效探测距离约为150m，盲区最大范围30m。超高清摄像头为800万像素级，具有背光补偿、强光抑制、红外补光等功能，防尘防水，可靠性高，晴天有效探测距离约100m，盲区最大范围8m。监测立杆高4m，摄像头支架位置高度3.7m，毫米波雷达支架位置高度3.2m，摄像头安装位置略高于毫米波雷达，以获取更大的视野范围和探测距离。
所述信息处理部包括智能处理器5，放置于监测立杆上的控制箱4内。智能处理器包括点云预处理模块、点云智能处理模块、图像预处理模块、图像智能处理模块、数据存储模块、数据融合模块、综合智能检测模块、控制模块和通讯模块，多个模块之间均为并联关系。控制箱在立杆上的位置距离地面的高度约2.5m，能够防止动物及不法分子人为破坏。
所述响应部包括实时报警***和实时显示屏幕。二者为串联关系，设置在高铁安全控制中心。
成像毫米波雷达和超高清摄像头分别通过数据传输线与智能处理器连接，智能处理器通过数据连接线与总线相接，通过总线连接到实时报警***和实时显示屏幕。
高铁周界入侵监测装置通过外部电源供电。
为了实现上述目的，作为本发明的另一个方面，还提供了一种基于成像毫米波雷达和超高清摄像头感知信息融合的高铁周界入侵监测方法，包括S1高铁周界布设成像毫米波雷达和超高清摄像头感知设备；S2建立不同异物特征的点云数据库和图像数据库；S3现场实时同频采集点云数据和图像数据；S4点云数据和图像数据预处理、S5基于点云数据进行异物特征识别；S6基于图像数据进行异物特征识别；S7根据S5和S6的结果判断是否存在入侵异物；S8点云数据和图像数据融合处理；S9基于融合模型的异物目标智能检测；S10当发现异物时，实时报警并将报警图像传输至高铁安全控制中心，否则不报警。
所述S1具体为：按照一定间距，在高铁一侧路肩架设立杆，安装成像毫米波雷达和超高清摄像头，调整并固定每台设备的朝向方位、角度和初始参数，以覆盖铁轨及两侧路肩全部范围，实现该区段全覆盖、无死角监测。前端感知设备通过传输线与控制箱相连。
所述S2具体为：选取不同材质和尺寸的异物，在现场开展高铁周界入侵的模拟试验，利用S1安装的前端感知设备分别采集海量点云数据和图像数据，通过深度学习算法提取异物特征信息，建立周界入侵异物标准点云数据库和图像数据库，储存于控制箱内的智能处理器中。
所述S3具体为：利用S1安装的点云和图像采集装置，实时同频地采集监测范围内的点云和图像数据，并通过传输线实时上传至控制箱内的智能处理器中。
所述S4具体为：利用智能处理器中的预处理算法模块，首先对点云和图像数据进行分割，划定监测范围，尽可能减少非危险目标和非关注区域产生的无效数据。对S3实时采集的点云数据进行预处理，包括点云滤波和特征增强。对S3实时采集的图像数据进行预处理，包括灰度化、滤波、直方图均衡化过程。
所述S5具体为：第一步，采用恒虚警检测器确定有无异物目标存在；第二步，采用目标生命周期法滤除极短时间内出现又很快消失的虚假目标；第三步，采用卡尔曼滤波法实现异物目标运动参数的精确估计；第四步，基于特征信息训练随机森林分类器，实现检出异物目标的自动分类。
所述S6具体为：利用S2中提取的不同种类异物特征，采用图像帧间差分法和背景差分法相结合的算法原理进行异物目标识别，识别图像数据中的有效异物目标信息，同时剔除过往列车、巡检车、巡道工等无效目标信息。原理如下公式所示：
Figure 850267DEST_PATH_IMAGE001
其中，
Figure 365562DEST_PATH_IMAGE002
和
Figure 554098DEST_PATH_IMAGE003
分别表示第k帧和第(k+1)帧的图像像素值，T为差分图像二值化阈值，
Figure 129436DEST_PATH_IMAGE004
为差分图像像素值。
所述S7具体为：通过并行的S5和S6进行异物目标识别，并返回识别信息，若S5和S6两步骤中至少有一步识别出异物，则判定为存在入侵异物，若两步骤均未识别出异物，则判定不存在入侵异物。
所述S8具体为：将毫米波雷达的坐标系转换到图像坐标系中，实现对S5获取的点云数据和S6获取的图像数据的空间融合。将毫米波雷达和摄像头的数据采集频率统一设置为20Hz，实现对应时刻的点云数据与图像数据的融合处理。基于距离和空间透视变换原理，将毫米波雷达检测到的异物目标矩形框，以二维图像像素坐标的形式投影到图像的相应位置，进行同一异物目标的信息匹配，实现检测异物特征信息的融合。
所述S9具体为：基于S8得到的异物特征融合信息，建立异物特征融合模型，采用距离变换方法突出融合后的异物目标，综合获取异物目标类型、距离和运动速度等信息并进行目标追踪。
所述S10具体为：当S9检测出入侵的行人、动物、落石等异物时，通过控制箱通讯模块，实时向高铁安全控制中心发出报警信号，并将触发报警的图像信息回传至高铁安全控制中心，工作人员确认后及时采取措施，排除安全隐患。
一种基于毫米波雷达和摄像头的高铁周界入侵监测方法，包括：
步骤S1：高铁周界布设成像毫米波雷达和超高清摄像头感知设备。
本发明中采用的前端感知设备包括成像毫米波雷达和超高清摄像头。在设备安装架设之前，首先设置毫米波雷达的探测视角、采集频率等初始参数，设置摄像头焦距、采集频率等初始参数，安装并调整好两个设备的朝向方位、俯仰角，通过反复调试，确定最合适的安装位置和设备姿态以达到最佳监测效果，并按照如图4的方式将监测装备立杆交错架设在高铁两侧路肩，相邻立杆间距为100m，以覆盖彼此监测盲区，实现铁轨及两侧路肩全覆盖、无死角监测。
步骤S2：建立不同异物特征的点云数据库和图像数据库。
本发明预先在高铁真实运维场景下建立周界入侵综合试验场，利用步骤S1首先在试验场布设成像毫米波雷达和超高清摄像头感知设备，使用每台设备在天窗时间单独开展周界异物入侵模拟试验，以分别采集大量的点云和图像样本数据。选取行人、动物、落石等典型异物，按照不同的入侵方式在多种环境背景条件下进行现场模拟试验，其中既包括正常运营状态下的反向样本，也包括模拟异物侵限状态下的正向样本，为后续异物检测算法的开发和数据比对分析提供基础。
所述点云数据库是基于深度学***均高度、最小矩形目标框长度、宽度、相对运动速度、方位角、信噪比，对行人、动物、落石等典型异物数据样本进行标注，同时也标注过往列车、巡检车等无效目标的反向样本，形成包含不同异物特征信息的点云数据库，储存至智能处理器的存储模块中。
所述图像数据库基于深度学习的VGG模型，在图像中提取能够反映异物目标的特征信息，包括轮廓边界、尺寸、距离、色彩、亮度、边缘、纹理、像素数等信息，对行人、动物、落石等典型异物数据样本进行标注，同时也标注过往列车、巡检车等无效目标的反向样本，形成包含不同异物特征信息的图像数据库，储存至智能处理器的存储模块中。
典型异物包括不同形态、尺寸、颜色的行人、动物、落石等。所述的异物入侵方式包括以不同距离、速度、角度进入监测区域，进入方式包括跳入、落入、横穿。所述的环境背景条件包括晴天、暴雨天、大雪天、扬尘天、浓雾天、黑夜。
步骤S3：现场实时同频采集点云和图像数据。
本发明中通过步骤S1安装好的毫米波雷达和摄像头分别采集点云和图像数据。
所述的采集点云数据的方法为：在毫米波雷达开始工作前，首先设置采样频率为20Hz，设置探测视角和初始采样时刻，调整并固定设备的姿态，实时采集覆盖铁轨及两侧路肩全部范围的点云数据，并实时传输至智能处理器的点云预处理模块中。
所述的采集图像数据的方法为：在摄像头开始工作前，首先设置采样频率为20Hz，并基于联网获取的真实时间设定与毫米波雷达相同的初始采样时刻，实现同频采样，调整并固定设备的姿态，实时采集覆盖铁轨及两侧路肩全部范围的图像数据，并实时传输至智能处理器的图像预处理模块中。
步骤S4：点云和图像数据预处理。
分别进行点云和图像数据的预处理。利用模块内置分割算法分别将步骤S3现场采集的点云和图像数据进行分割处理，使监测范围仅包括所关心的区域，即覆盖铁轨及两侧路肩。
在点云分割完成后，点云预处理模块利用内置算法自动对点云数据进行快速处理，采用双边滤波方法对小尺度起伏噪声进行平顺光滑处理，并进行特征增强，以消除仪器引起的***误差和物体特性引起的孤立点、散列点等，提高数据精度，具体步骤包括：第一步，计算任一数据点
Figure 200160DEST_PATH_IMAGE005
的
Figure 332195DEST_PATH_IMAGE007
邻域点
Figure 437554DEST_PATH_IMAGE008
；第二步，计算数据点
Figure 121477DEST_PATH_IMAGE005
每个临近点的双边滤波空间域权重函数
Figure 679497DEST_PATH_IMAGE009
的参数
Figure 864491DEST_PATH_IMAGE010
和频率域权重函数
Figure 824356DEST_PATH_IMAGE011
的参数
Figure 475917DEST_PATH_IMAGE012
和
Figure 724496DEST_PATH_IMAGE013
，其中
Figure 385285DEST_PATH_IMAGE014
和
Figure 511241DEST_PATH_IMAGE015
为点的法向量；第三步，采用公式分别计算
Figure 864862DEST_PATH_IMAGE016
和
Figure 131896DEST_PATH_IMAGE017
，
即：
Figure 534058DEST_PATH_IMAGE018
，
Figure 202937DEST_PATH_IMAGE019
，
Figure 789776DEST_PATH_IMAGE020
和
Figure 544105DEST_PATH_IMAGE021
分别为空间域和频率域权重函数的标准差；第四步，根据公式计算出双边滤波因子
Figure 546696DEST_PATH_IMAGE022
，即
Figure 273344DEST_PATH_IMAGE023
；第五步，利用公式计算出滤波后更新的数据点
Figure 968768DEST_PATH_IMAGE024
，即
Figure 23442DEST_PATH_IMAGE025
。
在图像分割完成后，图像预处理模块利用内置算法自动对图像数据进行快速处理，采用加权平均值法对图像进行灰度化处理，通过双边滤波方法抑制噪声，使图像趋于平滑，并利用直方图均衡化方法提高图像对比度。利用以上算法消除图像中的无关信息，增强有用真实信息的可检测性，最大限度地简化数据以改进图像特征匹配和识别的可靠性。
所述图像数据灰度化处理的步骤包括：第一步，提取每个像素的R、G、B值；第二步，利用平均值算法，计算出该像素的灰度值，即Gray=R*a+G*b+B*c，a、b、c分别取0.3、0.59、0.11；第三步，使用计算出的灰度值代替像素原始的R、G、B值。
所述双边滤波方法与点云预处理时一致。
所述图像数据直方图均衡化处理的步骤包括：第一步，确定原始图像的灰度级
Figure 564145DEST_PATH_IMAGE026
；第二步，利用公式计算得出原始直方图，即
Figure 473195DEST_PATH_IMAGE027
，其中
Figure 11624DEST_PATH_IMAGE029
为像素总数，
Figure 6125DEST_PATH_IMAGE030
为灰度级
Figure 412835DEST_PATH_IMAGE031
的像素个数；第三步，利用公式计算原始图像的累计直方图，即
Figure 176392DEST_PATH_IMAGE032
；第四步，利用公式计算像素映射关系，即
Figure 682460DEST_PATH_IMAGE033
，其中
Figure 101940DEST_PATH_IMAGE034
和
Figure 250024DEST_PATH_IMAGE035
分别为原图像灰度值的最大值和最小值；第五步，利用映射关系计算均衡化直方图，将每个像素映射成新的像素。
步骤S5：基于点云数据的异物目标识别。
在点云智能处理模块开展基于点云数据的异物目标识别，如图5所示，步骤包括：第一步，采用恒虚警检测器确定有无异物目标存在；第二步，采用目标生命周期法滤除极短时间内出现又很快消失的虚假目标；第三步，采用卡尔曼滤波法实现异物目标运动参数的精确估计；第四步，基于特征信息训练随机森林分类器，实现检出异物目标的自动分类。
采用恒虚警检测器来判别是否有异物目标存在，具体步骤包括：第一步，采用CA-CFAR检测算法确定一个可自适应变化的动态阈值；第二步，将输入端信号与该阈值相比较，若输入信号超过此阈值，则存在异物目标，否则无异物目标存在。
所述CA-CFAR检测算法的原理为：利用参考窗内采样数据的平均值来估计背景功率，从而得到变化的检测阈值。如图6所示，D为待检单元，两侧为保护单元，
Figure 179672DEST_PATH_IMAGE036
和
Figure 122220DEST_PATH_IMAGE037
是参考单元，
Figure 825734DEST_PATH_IMAGE038
是阈值缩放因子。详细实现步骤包括：首先使用检波器从输入信号中检出低频信号，然后利用处理单元将参考单元数据求和并取平均值X、Y和Z，通过阈值缩放因子
Figure 449613DEST_PATH_IMAGE039
得出动态检测阈值T，将待检单元D与T比较，若D大于T，则检测结果为存在异物目标，反之则无异物目标存在，输出结果。
采用目标生命周期方法过滤极短时间内出现又很快消失的虚假目标，该方法将入侵目标的生命周期分为三个阶段：形成阶段、持续阶段和消失阶段。主要通过出现次数A和丢失次数B两个参数进行过滤操作，针对同一异物目标，出现次数A表示被探测到的次数，丢失次数B表示连续丢失的次数。通过在现场开展试验测试，确定A和B两个参数的阈值，并在该装置正式运行工作时设置该参数的阈值进行过滤操作。虚假异物目标会在短时间内出现并很快消失，持续时间很短，所以在形成阶段不会满足A阈值的条件，不会进入形成阶段；对于波动较大的异物目标，若只是短暂丢失，在持续阶段B参数不会达到判定目标消失的阈值，因此可认为该异物目标有效并继续进行稳定追踪。
所述的扩展卡尔曼滤波器是在非线性***中利用卡尔曼滤波算法思想，基于“任何满足物理规律的***应当是连续的”这一基本条件，通过测量上一状态来预测和估计当前状态。其具体实现步骤为：第一步，通过上一状态的最优值和将要施加的控制量，计算得出表征当前状态的预测均值；第二步，计算预测值的协方差；第三步，根据测量值、预测值的协方差、测量值的协方差、状态比例系数，计算卡尔曼增益；第四步，通过卡尔曼增益计算状态估计值。
所述基于特征信息训练随机森林分类器的具体实现步骤为：第一步，采用最值法对提取的点云8维特征信息进行标准化处理，消除特征数据之间数值范围和量纲不一致的影响，公式为：
Figure 187762DEST_PATH_IMAGE040
其中
Figure 363529DEST_PATH_IMAGE041
为特征x的标准化值，
Figure 288759DEST_PATH_IMAGE042
分别为特征x的最小值和最大值。
第二步，选用C4.5算法构建决策树模型，使用信息增益率作为选择分支的准则，采用如下公式：
Figure 778646DEST_PATH_IMAGE043
其中，
Figure 308985DEST_PATH_IMAGE044
为某特征的熵值，
Figure 858915DEST_PATH_IMAGE045
为第
Figure 350070DEST_PATH_IMAGE047
个类的概率，
Figure 112490DEST_PATH_IMAGE048
为特征x的***信息，
Figure 559652DEST_PATH_IMAGE049
为第
Figure 218166DEST_PATH_IMAGE051
个子数据集的样本数量，
Figure 383568DEST_PATH_IMAGE052
为原数据集的样本总数量，
Figure 949679DEST_PATH_IMAGE053
为经过特征x***之后的样本集信息增益，
Figure 313664DEST_PATH_IMAGE054
为经过特征x***之后的信息增益率。
第三步，设置随机森林的参数，将子树数量设置为100棵，确保点云分类结果稳定和相对较快的训练运算速度。
基于以上方法，识别有效异物目标，剔除过往列车、巡检车、巡道工等无效目标信息，实现了95%以上的点云数据综合分类准确率，实际场景和点云识别结果对比如图7所示。
步骤S6：基于图像数据的异物目标识别。
在图像智能处理模块中开展基于图像数据的异物目标识别，流程如图8所示，考虑到高铁周界环境背景复杂，采用图像帧间差分法和背景差分法相结合的算法原理进行异物目标识别，原理如下公式所示：
Figure 205397DEST_PATH_IMAGE055
其中，
Figure 795778DEST_PATH_IMAGE056
和
Figure 165580DEST_PATH_IMAGE057
分别表示第k帧和第(k+1)帧的图像像素值，T为差分图像二值化阈值，
Figure 898918DEST_PATH_IMAGE058
为差分图像像素值。
具体实现步骤包括：第一步，选取视频序列中的前100帧图像逐帧相减，最终得到差值图像，也就是包含异物目标的前景图像，然后再将当前帧图像与该差值图像相减，获得没有异物目标的背景图像模型；第二步，将当前帧图像与背景图像作差得到前景图像后，再进一步进行数学形态学和二值化操作，得出包含异物目标区域；第三步，基于步骤S2现场试验中提取的图像异物特征信息，利用Adaboost算法识别出有效的异物目标及其信息；第四步，对当前帧图像与背景图像的差值图像再次进行二值化处理，针对图像每个像素点均利用背景掩膜方法进行单独判断，若出现像素值为1，表示为前景像素，则用当前背景图像像素更新背景，若出现像素值为0，表示为背景像素，则该点像素值保持不变，以此获得瞬时背景图像，将瞬时背景图像和当前背景图像加权相加，从而实现背景模型的实时更新，背景更新采用公式如下：
Figure 961552DEST_PATH_IMAGE059
，其中
Figure 773650DEST_PATH_IMAGE060
为第k帧背景图像，
Figure 212722DEST_PATH_IMAGE061
第k帧瞬时背景图像，
Figure 223403DEST_PATH_IMAGE062
为背景更新速率。实际场景和图像识别结果对比如图9所示。
利用Adaboost算法进行异物目标识别的主要流程为：第一步，准备好训练数据集
Figure 519255DEST_PATH_IMAGE063
，并对训练数据的权重分布进行初始化，均赋予1/N的权重；第二步，进行多轮的迭代计算，使用具有一定权重的数据集进行学习，得到基本分类器
Figure 880966DEST_PATH_IMAGE064
，计算该基本分类器在最终分类器中所占的权重
Figure 530254DEST_PATH_IMAGE065
和分类误差率
Figure 926600DEST_PATH_IMAGE066
，并用该结果更新数据集的权重分布,所用公式如下：
Figure 65457DEST_PATH_IMAGE067
；
第三步，利用加强平均法将各个弱分类器进行线性组合，得到最终分类器，所用公式如下：
Figure 727514DEST_PATH_IMAGE068
。
步骤S7：判断是否存在入侵异物。
本发明中首先通过并行的步骤S5和步骤S6分别进行异物目标识别，将识别信息返回至智能处理器的控制模块，控制模块根据返回信息发布指定。当步骤S5或步骤S6中至少有一步识别出异物时，控制模块判定存在入侵异物且发布指令，继续执行步骤S8，将两种传感器数据融合后进行综合决策；当步骤S5和步骤S6均未识别出异物时，控制器判定不存在入侵异物且发布指令，返回执行步骤S3，继续在前端采集点云和图像数据。
步骤S8：点云和图像数据融合处理。
本发明中在接收到控制模块发出的指令后，在智能处理器的数据融合模块中将成像毫米波雷达获取的点云数据和超高清摄像头获取的图像数据进行空间、时间和异物目标信息的快速智能融合，实现两个传感器在层次和空间上的信息互补和数据优化组合。
所述的数据空间融合是将两传感器数据统一到一个坐标系中。由于两传感器的位置不同，且各传感器数据均采用自带坐标系，因此需要首先在各坐标系之间建立精确的转换关系，包括成像毫米波雷达坐标系、三维世界坐标系、超高清摄像头坐标系、图像坐标系和像素坐标系。然后通过以下步骤进行数据坐标转换：第一步，通过旋转、缩放和平移等操作步骤，利用坐标系转换公式，将毫米波雷达坐标系中的坐标转换到以超高清摄像头为中心的三维世界坐标系中；第二步，利用坐标系转换公式，把三维世界坐标系中的坐标转换至超高清摄像头坐标系中；第三步，将超高清摄像头坐标系的坐标转换到图像坐标系中。通过以上变换过程，使点云的坐标转换到了图像的对应位置上，实现了两传感器数据的空间融合。
所述的数据时间融合是为了确保两传感器在对应时刻同频采样。在数据采集前，将毫米波雷达和摄像头的数据采集频率统一设置为20Hz，并使用网络通信***提供精确的时钟，给每一帧点云数据和图像数据添加时间戳，设定***中毫米波雷达和摄像头在同一初始时刻T0开始工作，从而保证采集数据的同步性，实现两传感器数据的时间融合。
所述的异物目标信息融合为两传感器所获取的异物目标检测结果的融合，其步骤为：利用二维空间下两传感器识别异物目标的像素距离，以及异物横纵向尺寸等异物目标深部信息，基于空间透视变换原理，将毫米波雷达检测到的异物目标矩形框，以二维图像像素坐标的形式投影到图像的相应位置，进行同一目标的信息匹配和加权融合，实现异物目标在决策级层面的信息融合，采用的融合公式如下：
Figure 242809DEST_PATH_IMAGE069
；
Figure 431345DEST_PATH_IMAGE070
表示融合形成的灰度图像，
Figure 741103DEST_PATH_IMAGE071
表示融合系数，
Figure 77407DEST_PATH_IMAGE072
表示经过降噪处理后的超高清摄像头图像，
Figure 458709DEST_PATH_IMAGE073
表示成像毫米波雷达点云经过坐标转换后形成的图像。
步骤S9：基于融合模型的异物目标智能检测。
本发明中基于步骤S8得到的融合信息，在数据融合模块建立异物目标融合模型，采用距离变换方法突出融合后的异物目标，综合获取异物目标类型、距离和运动速度等信息并进行目标追踪。
距离变换方法采用下式进行：
Figure 564069DEST_PATH_IMAGE074
。
Figure 247991DEST_PATH_IMAGE075
表示前景目标点
Figure 540432DEST_PATH_IMAGE076
的距离度量值，V表示该点的像素值，点（p,q）为前景目标与背景区域的边界点。当融合数据点距离边界点越远，则距离变换后的灰度值越大，以此实现了对于融合图像中异物目标的亮度增加。
步骤S10：实时报警并将报警图像传输至高铁安全控制中心。
本发明中在步骤S9检测出入侵的行人、动物、落石等异物时，控制模块发出指令，通过通讯模块实时向高铁安全控制中心传输，利用实时报警***发出报警信号，以提示相关管理人员，同时把触发报警的融合图像及其信息回传至高铁安全控制中心，管理人员通过实时显示屏幕确认报警信息后及时采取措施，以排除安全隐患。在隐患排除后，报警信号解除，恢复进行正常实时监测。
需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，包含但不限于只使用本发明的高铁线路，也包含普通铁路线。凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种基于毫米波雷达和摄像头的高铁周界入侵监测装置，其特征在于，至少包括：
感知部，所述感知模块包括成像毫米波雷达和摄像头；
信息处理部，所述信息处理部接收感知部的点云数据和图像数据，首先对点云数据进行预处理和异物特征识别、对图像数据进行预处理和异物特征识别；然后进行初步入侵异物判定和识别；最后对点云数据和图像数据融合处理，再次对入侵异物进行判定和识别；
响应部，所述响应部接收信息处理部的输出结果，并根据结果做出是否报警和信息显示的动作。
2.根据权利要求1所述的基于毫米波雷达和摄像头的高铁周界入侵监测装置，其特征在于，所述点云数据和图像数据融合处理的过程为：将毫米波雷达的坐标系转换到图像坐标系中，实现对点云数据和图像数据的空间融合；将毫米波雷达和摄像头的数据采集频率统一设置为20Hz，实现对应时刻的点云数据与图像数据的融合处理；基于距离和空间透视变换原理，将毫米波雷达检测到的异物目标矩形框，以二维图像像素坐标的形式投影到图像的相应位置，进行同一异物目标的信息匹配，实现检测异物特征信息的融合。
3.根据权利要求1所述的基于毫米波雷达和摄像头的高铁周界入侵监测装置，其特征在于，所述成像毫米波雷达基于77GHz频段，采用调频连续波体制，有效探测距离为150m，盲区最大范围是30m，距离地面的高度为3.2m；所述摄像头为800万像素级，晴天有效探测距离为100m，盲区最大范围是8m，距离地面3.7m。
4.根据权利要求1所述的基于毫米波雷达和摄像头的高铁周界入侵监测装置，其特征在于，所述信息处理部包括点云预处理模块、点云智能处理模块、图像预处理模块、图像智能处理模块、数据存储模块、数据融合模块、综合智能检测模块、控制模块和通讯模块。
5.一种基于毫米波雷达和摄像头的高铁周界入侵监测方法，其特征在于，包括如下步骤：
S1、高铁周界布设成像毫米波雷达和摄像头；
S2、建立不同异物特征的点云数据库和图像数据库；
S3、现场实时同频采集点云和图像数据；
S4、对点云数据和图像数据进行预处理；
S5、基于点云数据的异物特征识别；具体为：第一步，采用恒虚警检测器确定有无异物目标存在；第二步，采用目标生命周期法滤除虚假目标；第三步，采用卡尔曼滤波法实现异物目标运动参数的估计；第四步，基于特征信息训练随机森林分类器，实现检出异物目标的自动分类；
S6、基于图像数据的异物特征识别；具体为：利用S2中不同种类的异物特征信息，采用图像帧间差分法和背景差分法相结合的算法进行异物目标识别，识别图像数据中的有效异物目标信息，同时剔除无效目标信息；所述算法的公式如下：
Figure 45024DEST_PATH_IMAGE001
其中，
Figure 484096DEST_PATH_IMAGE002
和
Figure 822673DEST_PATH_IMAGE003
分别表示第k帧和第(k+1)帧的图像像素值，T为差分图像二值化阈值，
Figure 56208DEST_PATH_IMAGE004
为差分图像像素值；
S7、判断是否存在入侵异物；
S8、点云数据和图像数据融合处理；具体为：将毫米波雷达的坐标系转换到图像坐标系中，实现对S5获取的点云数据和S6获取的图像数据的空间融合；将毫米波雷达和摄像头的数据采集频率统一设置为20Hz，实现对应时刻的点云数据与图像数据的融合处理；基于距离和空间透视变换原理，将毫米波雷达检测到的异物目标矩形框，以二维图像像素坐标的形式投影到图像的相应位置，进行同一异物目标的信息匹配，实现检测异物特征信息的融合；
S9、基于融合模型的异物目标智能检测；
S10、当检测到异物存在时，实时报警并将报警图像传输至高铁安全控制中心，否则不报警。
6.根据权利要求5所述的基于毫米波雷达和摄像头的高铁周界入侵监测方法，其特征在于，S2具体为：选取不同材质和尺寸的异物，在现场开展高铁周界入侵的模拟试验，利用感知部分别采集点云数据和图像数据，通过深度学习算法提取异物特征信息，建立周界入侵异物标准点云数据库和图像数据库，并进行储存。
7.根据权利要求6所述的基于毫米波雷达和摄像头的高铁周界入侵监测方法，其特征在于，S4具体为：首先对点云数据和图像数据进行分割，划定监测范围；然后对S3中的点云数据进行预处理，包括点云滤波和特征增强；对S3中的图像数据进行预处理，包括灰度化、滤波、直方图均衡化过程。
8.根据权利要求7所述的基于毫米波雷达和摄像头的高铁周界入侵监测方法，其特征在于，S7具体为：通过S5和S6的异物特征识别结果，返回识别信息，若S5和S6中至少有一步识别出异物，则判定为存在入侵异物，若两步骤均未识别出异物，则判定不存在入侵异物。
9.根据权利要求8所述的基于毫米波雷达和摄像头的高铁周界入侵监测方法，其特征在于，S9具体为：基于S8得到的异物特征融合信息，建立异物特征融合模型，采用距离变换方法突出融合后的异物目标，综合获取异物目标类型、距离和运动速度信息并进行目标追踪。
10.根据权利要求9所述的基于毫米波雷达和摄像头的高铁周界入侵监测方法，其特征在于，S10具体为：当S9检测出入侵的异物时，通过控制箱通讯模块，实时向高铁安全控制中心发出报警信号，并将触发报警的图像信息回传至高铁安全控制中心。
CN202210315202.XA 2022-03-29 2022-03-29 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法 Active CN114419825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210315202.XA CN114419825B (zh) 2022-03-29 2022-03-29 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315202.XA CN114419825B (zh) 2022-03-29 2022-03-29 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法

Publications (2)

Publication Number Publication Date
CN114419825A true CN114419825A (zh) 2022-04-29
CN114419825B CN114419825B (zh) 2022-06-21

Family

ID=81262903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315202.XA Active CN114419825B (zh) 2022-03-29 2022-03-29 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法

Country Status (1)

Country Link
CN (1) CN114419825B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882661A (zh) * 2022-04-29 2022-08-09 广州小鹏汽车科技有限公司 户外预警方法、装置、***和计算可读存储介质
CN115083088A (zh) * 2022-05-11 2022-09-20 长江慧控科技(武汉)有限公司 铁路周界入侵预警方法
CN115100519A (zh) * 2022-06-23 2022-09-23 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN115311534A (zh) * 2022-08-26 2022-11-08 中国铁道科学研究院集团有限公司 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质
CN115394065A (zh) * 2022-10-31 2022-11-25 之江实验室 一种基于ai自动识别丢包行为报警的方法和装置
CN115457253A (zh) * 2022-11-11 2022-12-09 浪潮金融信息技术有限公司 一种基于多摄像模组的物体检测方法、***、设备及介质
CN115497242A (zh) * 2022-09-07 2022-12-20 东南大学 一种面向铁路营业线施工的异物侵入智能监测***及监测方法
CN115620239A (zh) * 2022-11-08 2023-01-17 国网湖北省电力有限公司荆州供电公司 一种点云和视频结合的输电线路在线监测方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208375A1 (en) * 2002-10-15 2004-10-21 Digicomp Research Corporation Automatic intrusion detection system for perimeter defense
GB201301101D0 (en) * 2012-01-24 2013-03-06 Accipiter Radar Technologies Inc Personal electronic target vision system, device and method
CN104821056A (zh) * 2015-04-30 2015-08-05 湖南华诺星空电子技术有限公司 基于雷达与视频融合的智能警戒方法
CN105389920A (zh) * 2015-11-30 2016-03-09 北京正安维视科技股份有限公司 基于二维激光雷达和视频分析的周界报警方法
US10062255B1 (en) * 2017-11-13 2018-08-28 National Technology & Engineering Solutions Of Sandia, Llc VMD fused radar—a hyper-volumetric ultra-low NAR sensor system
CN109920185A (zh) * 2019-04-16 2019-06-21 中科九度(北京)空间信息技术有限责任公司 一种基于毫米波雷达与视频数据融合检测移动目标的方法
WO2019194091A1 (ja) * 2018-04-02 2019-10-10 パナソニック株式会社 侵入検知システムおよび侵入検知方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208375A1 (en) * 2002-10-15 2004-10-21 Digicomp Research Corporation Automatic intrusion detection system for perimeter defense
GB201301101D0 (en) * 2012-01-24 2013-03-06 Accipiter Radar Technologies Inc Personal electronic target vision system, device and method
CN104821056A (zh) * 2015-04-30 2015-08-05 湖南华诺星空电子技术有限公司 基于雷达与视频融合的智能警戒方法
CN105389920A (zh) * 2015-11-30 2016-03-09 北京正安维视科技股份有限公司 基于二维激光雷达和视频分析的周界报警方法
US10062255B1 (en) * 2017-11-13 2018-08-28 National Technology & Engineering Solutions Of Sandia, Llc VMD fused radar—a hyper-volumetric ultra-low NAR sensor system
WO2019194091A1 (ja) * 2018-04-02 2019-10-10 パナソニック株式会社 侵入検知システムおよび侵入検知方法
CN109920185A (zh) * 2019-04-16 2019-06-21 中科九度(北京)空间信息技术有限责任公司 一种基于毫米波雷达与视频数据融合检测移动目标的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
翟海涛: "改进的场面监视雷达杂波图恒虚警检测技术", 《指挥信息***与技术》, 31 December 2019 (2019-12-31), pages 32 - 37 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882661A (zh) * 2022-04-29 2022-08-09 广州小鹏汽车科技有限公司 户外预警方法、装置、***和计算可读存储介质
CN115083088A (zh) * 2022-05-11 2022-09-20 长江慧控科技(武汉)有限公司 铁路周界入侵预警方法
CN115100519A (zh) * 2022-06-23 2022-09-23 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN115100519B (zh) * 2022-06-23 2024-04-26 郑州儒慧信息技术有限责任公司 一种识别高铁沿线隐患物的方法
CN115311534A (zh) * 2022-08-26 2022-11-08 中国铁道科学研究院集团有限公司 基于激光雷达的铁路周界入侵辨识方法、装置及存储介质
CN115497242A (zh) * 2022-09-07 2022-12-20 东南大学 一种面向铁路营业线施工的异物侵入智能监测***及监测方法
CN115497242B (zh) * 2022-09-07 2023-11-17 东南大学 一种面向铁路营业线施工的异物侵入智能监测***及监测方法
CN115394065A (zh) * 2022-10-31 2022-11-25 之江实验室 一种基于ai自动识别丢包行为报警的方法和装置
CN115620239A (zh) * 2022-11-08 2023-01-17 国网湖北省电力有限公司荆州供电公司 一种点云和视频结合的输电线路在线监测方法和***
CN115620239B (zh) * 2022-11-08 2024-01-30 国网湖北省电力有限公司荆州供电公司 一种点云和视频结合的输电线路在线监测方法和***
CN115457253A (zh) * 2022-11-11 2022-12-09 浪潮金融信息技术有限公司 一种基于多摄像模组的物体检测方法、***、设备及介质

Also Published As

Publication number Publication date
CN114419825B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN114419825B (zh) 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
Marquez et al. Intra-hour DNI forecasting based on cloud tracking image analysis
CN108983219A (zh) 一种交通场景的图像信息和雷达信息的融合方法及***
CN110532889A (zh) 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
GB2619196A (en) Multi-target vehicle detection and re-identification method based on radar and video fusion
CN104063882B (zh) 一种基于双目的车辆视频测速方法
Ahmad et al. A novel method for vegetation encroachment monitoring of transmission lines using a single 2D camera
CN113791410B (zh) 一种基于多传感器信息融合的道路环境综合认知方法
CN115034324B (zh) 一种多传感器融合感知效能增强方法
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN106845359A (zh) 基于红外发射的隧道入口行车提示装置及方法
CN114875877A (zh) 一种用于船舶过闸安全检测方法
CN115035470A (zh) 一种基于混合视觉的低小慢目标识别与定位方法及***
CN113253289A (zh) 基于激光雷达与视觉结合的无人机探测跟踪***实现方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测***
Chen et al. Ship target detection algorithm for maritime surveillance video based on gaussian mixture model
Sezgin et al. Safe autonomous driving in adverse weather: Sensor evaluation and performance monitoring
Liu et al. Manhole cover detection from natural scene based on imaging environment perception
CN104867331A (zh) 基于微波的交通事件检测方法及装置
CN111784738A (zh) 一种基于涨落分析的极暗弱运动目标关联检测方法
CN105551017A (zh) 一种基于时空联合的输电线路山火目标提取方法
CN109543553A (zh) 基于机器学习的低小慢目标的光电识别跟踪方法
CN115436937A (zh) 雷达光电一体化安防平台***
CN113740847A (zh) 基于人形目标识别的多雷达协同探测报警***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant