CN117253203A - 一种基于视觉传感器的障碍物检测*** - Google Patents
一种基于视觉传感器的障碍物检测*** Download PDFInfo
- Publication number
- CN117253203A CN117253203A CN202311347708.XA CN202311347708A CN117253203A CN 117253203 A CN117253203 A CN 117253203A CN 202311347708 A CN202311347708 A CN 202311347708A CN 117253203 A CN117253203 A CN 117253203A
- Authority
- CN
- China
- Prior art keywords
- camera
- obstacle detection
- platform door
- vision
- detection system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000001931 thermography Methods 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims 2
- 238000000034 method Methods 0.000 description 19
- 238000009434 installation Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 239000002390 adhesive tape Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明涉及检测***技术领域,具体涉及一种基于视觉传感器的障碍物检测***,设置在站台门与轨道之间的间隙处,障碍物探测模块用以获取前方图像信息并智能识别障碍物进行预警和提示,站台门防夹模块与所述障碍物探测模块连接并可控制站台门的开合,视频记录模块用于记录视频信息为事故追溯提供原始数据,通信模块用于连接TCMS***进行通信,可准确地识别出现在列车进站前后时站台门处障碍物,以提示维保人员快速处理障碍物,保证乘客安全;在站台门与轨道之间的间隙处设置有背景标定物,可配合障碍物探测模块与视频记录模块进行视觉图像及视频捕捉。
Description
技术领域
本发明涉及检测***技术领域,更具体的是,尤其涉及一种基于视觉传感器的障碍物检测***。
背景技术
地铁屏蔽门是一项集建筑、机械、材料、电子和信息等学科于一体的高科技产品,使用于地铁站台。屏蔽门将站台和列车运行区域隔开,通过控制***控制其自动开启,主要保障列车、乘客进出站时的安全。地铁的屏蔽门与列车之间一般存在10cm~30cm的缝隙,特别是曲线站台,此间隙会更大,为保证安全,开车前司机都要检测120多米的缝隙中是否有夹人夹物。地铁屏蔽门和列车门之间的狭缝称为限界区,这种限界区是保证地铁列车安全运行所必须的。一旦屏蔽门和列车门之间的限界区内发生夹人夹物,若此时列车行车会造成重大的安全事故,因此十分必要寻找一种能够检测地铁屏蔽门和列车门之间限界区内发生夹人夹物的方法。
目前的地铁站台门防夹保护装置主要采用1.物理防夹挡板2.红外/激光电子围栏3.激光雷达探测、4.摄像机探测5.摄像机及热成像识别探测。
1.物理防夹挡板为在每个地铁站台门单元立框外侧设置防夹橡胶结构,这种结构不具备报警功能,一旦发生乘客被夹情况,司机很难发现;一般情况下,防夹挡板橡胶材料应保证刚度过硬,关闭滑动门期间,如果滑动门和列车间有障碍物,防夹挡板会发出警报,同时提示司机停止发车,随着警报的消失,可正常开启列车。
2.红外/激光电子围栏,激光方法采用激光探测器,红外方法和激光方法均在每个地铁站台门单元两端分别设置发射端和接收端,可落地安装,也可安装在轨道门立柱的轨道侧,如果有障碍物阻断光束,则判断为异常,通过声光报警等使得列车不得驶出站台。由于红外线装置有2~3°的发散角,易受外界杂散光和自身反射光的影响,***存在误报和漏报;激光探测器激光发散角较小,但因为过于敏感容易受灰红外电子围栏尘等干扰,导致误报率高。并且该方案不适用于月牙形站台,同时仅限于检测到较大的物体。
3.激光雷达探测:当前的激光雷达使用的是TOF测距方式进行障碍物识别,成本比较高,通常情况下还配有摄像机进行辅助图像传输,整体则因为产品成本高而无法广泛应用,后期维保需要专人负责。
4.摄像机探测:单目摄像头进行测距,需要大量参考数据,且精度不高;目前的方法大多都是利用相同参数的固定焦距的相机安装在同一平面,通过对镜头标定,使得同一目标在左右两幅图像上只有水平视差,然后利用标定结果对双目图像做立体匹配,进而生成深度图像。缺点是:定焦距的摄像机在很多应用中,需要在不改变双目视觉***位置的情况下,既能清晰的观察到远距离对象,也可以观察近距离的对象,定焦距的双目视觉***很难适应这一需求,由于此缺点实际应用场景也存在较多误漏报的可能性,目前还处于尝试阶段。
5.摄像机及热成像探测:变焦距的双目视觉***具有定焦距***不具有的灵活性和方便性,可以广泛应用于运动跟踪、三维检测、人机交互等。变焦距的双目视觉***还可以自学习适应现场的应用场景,辅以热成像传感器及主动光背景标定后提高了整个***在精准识别障碍物(人或物)的算法安全性。没有识别率的限制,因为从原理上无需先进行识别再进行测算,而是对所有障碍物直接进行测量;直接利用视差计算距离,精度比单目高;无需维护样本数据库,因为对于双目没有样本的概念。
发明内容
为解决上述技术问题,本发明提供一种检测***技术领域,更具体的是,尤其涉及一种基于视觉传感器的障碍物检测***。
本发明采用的技术方案是:一种基于视觉传感器的障碍物检测***,其特征在于,包括:
障碍物探测单元,包括视觉检测设备,所述视觉检测设备设置在站台门与轨道之间的间隙位置,可用于获取所述站台门与轨道之间的间隙位置的图像信息并识别障碍物,根据所述图像信息进行预警和提示;
站台门防夹单元,与所述障碍物探测单元连接并可控制站台门的开合;
视频记录单元,结合所述视觉检测设备记录所述站台门与轨道之间的间隙位置的实时场景,可提供事故追溯所需的原始数据;
通信单元,用于连接TCMS***进行通信;
其中,还包括自动检测***,所述自动检测***的实施步骤包括:
所述视觉检测设备在列车进站前、到站时和启动离开站台时进行间隙环境的图像捕捉,传输步骤后的图像并进行图像分析,得出图像分析结果;
若所述图像分析结果符合上下地铁的前置条件,则站台门开启;
若所述图像分析结果不符合上下地铁的前置条件,则所述障碍物检测***启动锁紧信号使所述站台门紧闭,并启动所述视频记录单元进行实时画面拍摄。
进一步地,所述视觉检测设备包括第一摄像机、第二摄像机,所述第一摄像机与第二摄像机并列设置在所述站台门与轨道之间的间隙位置,用于图片与视频画面的拍摄,可通过二维算法分别对区域内的障碍物进行判定;所述第一摄像机与所述第二摄像机分别获取的所述图片与所述视频画面可进行组合对比判定位于所述站台门与轨道之间的间隙位置的障碍物状态信息。
进一步地,所述第一摄像机与所述第二摄像机通过摄像机数据通信处理单元进行所述图片与视频画面的数据存储与数据传输。
进一步地,所述第二摄像机还包括热成像传感器模组,所述热成像传感器模块可获取热成像片,所述热成像传感器模组连接热成像数据通信处理单元,所述热成像片通过所述热成像数据通信处理单元进行数据存储与数据传输。
进一步地,所述障碍物探测单元设置有图形分析单元,所述第一摄像机与所述第二摄像机获取的图片可通过所述图形分析单元设置视场内的坐标,并可在该所述图片中的所述坐标内设置特征标记点,根据所述特征标记点进行数据化图形标记及图形分析。
进一步地,所述第一摄像机与所述第二摄像机采用定距定焦摄像机,采用双目视觉***获取图像,所述双目视觉***通过所述第一摄像机与所述第二摄像机双目变焦调焦***进行自适应聚焦焦距调节,保持焦距同步及聚焦清晰。
进一步地,所述障碍物探测单元还包括模型搭建***,所述模型搭建***的步骤包括:
采集变焦距图像训练;
摄像机主点坐标地图生成;
建模完成在线定位。
进一步地,包括背景标定物及补光灯,所述背景标定物设置在所述站台门与轨道之间的间隙处,所述补光灯位置与所述辅助补光装置一致均设置在站台门与轨道之间的缝隙处。
进一步地,还包括告警装置,所述告警装置包括语音告警与灯光告警。
本发明具有的优点和积极效果是:由于采用上述技术方案,本发明具有的优点和积极效果是:由于采用上述技术方案,站台门视频防夹***使用摄像头进行立体图像采集,辅以热成像,抗干扰能力强,准确度高;纳米级防尘镜头不存在光线衰减及悬浮粒子干扰的风险。下站台门***采用顶装式安装方式,对机械位移产生的干扰敏感度低。当每一个站台门都安装图像识别模组,那么本***除了可以判断站台间隙的异物以外,还可以对上下车的乘客人数做分别的精确统计。根据此精确统计数据,再结合AFC票务***的实时数据,通过大数据技术,可以获得站台/车厢客流分布、客流路由数据、客流滞留站台时间、客流换乘时间、客流旅行速度统计。地铁站台间隙异物探测***采用高清视频与热成像识别***结合对站台间隙异物信息进行自动采集、识别、筛选、汇总、分析,实现检测信息分布获取、集中管理、综合运用,提供及时准确的间隙异物报警功能。主要是对危及地铁运营安全的站台间隙进人、间隙夹物、踏空胶条脱落等危害进行检测,防止发生夹人、夹物事故,以保证列车安全正点、高效运行。
附图说明
图1是本发明提供的一种基于视觉传感器的障碍物检测***的流程示意图;
图2是本发明提供的一种基于视觉传感器的障碍物检测***的***模块图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构的技术的描述,以避免不必要地混淆本发明的概念。
下面结合附图对本发明的实施例做出说明。
在本发明实施例的描述中,需要理解的是,术语“顶部”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
一种基于视觉传感器的障碍物检测***,如图1-2所示,包括障碍物探测单元、站台门防夹单元、视频记录单元及通信单元,其中,
障碍物探测单元包括视觉检测设备,视觉检测设备设置在站台门与轨道之间的间隙位置,可用于获取站台门与轨道之间的间隙位置的图像信息并识别障碍物,根据图像信息进行预警和提示;
站台门防夹单元,与障碍物探测单元连接并可控制站台门的开合;
视频记录单元,结合视觉检测设备记录站台门与轨道之间的间隙位置的实时场景,可提供事故追溯所需的原始数据;
通信单元,用于连接TCMS***进行通信。
站台门安全间隙防夹检测报警装置主要包括图像识别传感器模组、热成像传感器模组、数据分析处理模组,确切地讲就是人工智能中的图像识别,通过深度学习神经网络对场景进行像素分割、物体分类、模型标定和目标跟踪,实现对障碍物的识别和匹配。
摄像机双目识别与热成像融合的探测带来信息获取能力的提升,算法要求得以降低,行驶安全也多了一份保障。摄像机单目具备识别障碍物算法、双目测距判断障碍物距离状态、热成像识别区分障碍是人或物并与主动光背景标定物综合融合后高效的保证了***运维的安全可靠等级。
其中,图像识别传感器模组:第一摄像机、第二摄像机、摄像机数据通信处理单元;
第一摄像机:间隙视频画面的拍摄,二维算法独立具备单独对区域内的障碍物进行判定。
第二摄像机:间隙视频画面的拍摄,二维算法独立具备单独对区域内的障碍物进行判定。
第一摄像机与第二摄像机:间隙视频画面的拍摄,两者视频信息进行组合应用对比得出三维算法识别障碍物的状态信息。
摄像机数据通信处理单元:摄像机的图像智能识别算法处理及存储通信。
还包括热成像传感器模组:热成像传感器、热成像数据通信处理单元,以此根据现场辅以数据样本识别人或物体,有效避免夹人事件发生,此设备功能模块具备独立报警。
数据分析处理模组:摄像机模组与热成像模组等数据进行分析处理,同时与上位机进行数据交互。
主动光:依据现场设计出适配的光照强度补光器,用以补光定景抗干扰。
背景标定物:依据现场环境安装利于图像采集的识别标识物体,也可与补光器组合使用增加现场图像采集的可靠性。
本实施例设备及***在列车进站后,列车和站台门未开门时:
第一摄像机、第二摄像机独立采集间隙区域场景;同时根据第一相机和第二相机采集的图像,计算出重叠视场内所有特征点的三维坐标,识别出限界区边界范围;在地铁列车和屏蔽门开始关门时,根据第一相机和第二相机采集的图像视差,计算出重叠视场内所有特征点的三维坐标。
列车和站台门开始关门后***给出所有门关闭且锁紧的信号时:
前端设备进行再次采集得到的所有特征点与列车开门之前得到的所有特征点进行比较,得到新的特征点;进一步计算新的特征点是否落在限界区边界范围内,如果落在限界区的边界范围内,任一摄像机对比出障碍物既会告警,接下来计算特征点的坐标与限界区的边界点坐标的实时差值,并比较该实时差值与预设告警阈值,如果实时差值大于预设告警阈值,则输出告警信号;如果实时差值小于预设告警阈值,则输出安全运行信号。具体的,采用双目视觉原理,计算出重叠视场ECF内所有特征点的三维坐标。
优选地,热成像传感器模组设置在站台门顶端的地铁列车门中线位置,安装方向与地铁列车开门方向平行;地上站台优选的安装方式为侧装在非应急和固定门处,进行侧装方向与地铁列车开门方向平行;摄像机模组与热成像的重叠视场完全覆盖限界区,分别对限界区进行采集图像、温度采集。
优选地,TCMS***连接列车司机,在站台门与轨道间隙处若发现异物可通过此***联系驾驶员,驾驶员根据提示做出刹停或相应的判断,保证行车安全。
优选地,如图2所示,本实施例设置有防夹检测报警方法,具体应用方法如下:
在列车停稳开门之前***接收到站台门开门信号时,利用双目摄像机进行间隙空间取样,提取出站台防护橡胶条、门框与车厢门边框、防撞挡板、反光背景标定板等计算出站台门和车厢门之间限界区边界范围,在地铁站台门和列车车厢门关闭时,利用双目视觉原理计算出边界范围内所有特征点的三维坐标。将在地铁列车和站台门开始关门时得到的所有特征点与列车开门之前得到的所有特征点进行比较,得到新的特征点;计算特征点的坐标与限界区的边界点坐标的实时差值,并比较该实时差值与预设告警阈值,如果实时差值大于预设告警阈值,则输出告警结果,并辅以热成像传感器结果判断出地铁控制***限界区内有夹到人或物体风险,提高***安全性;如果实时差值小于预设告警阈值,则输出无障碍物结果。
***也可在安装调试阶段,获得站台间隙视频,通过视频识别分析,建立特征库,作为正常运行时比对的依据。此***实时判断列车是否进站,当列车进站,整个***开始进入异物探测模式。当停车时间已到,列车门与屏蔽门关闭,本***通过视频方式识别站台间隙间是否有异物,并不断将检测结果提示出来,提供给列车司机和站台工作人员。当列车驶离,本***停止工作,恢复到检测列车进站模式。
每扇滑动门配置一台具备独立图像采集及计算能力的探测单元(视频图像识别模组、热成像、主动光、背景标定物),每侧站台配置独立的运算监控主机、显示器。探测单元负责对监控区域进行侦测,当识别到监控区域障碍物入侵时,上传报警信息及图像至端门告警箱、机房监控主机和中控调度室显示端监控界面实时显示报警状态及图像,司机、列车乘务及站务人员可判断入侵。
报警上传及指示:当前端摄像机或热成像到监控区域入侵后,即时通过工业通信总线将报警信息及视频画面上传至端门告警箱、机房监控主机和中控调度室显示端。软件界面显示报警信息及视频实时画面,所有显示终端可输出声光报警信号,提醒用户暂停发车有障碍物闯入夹伤,从而有效避免不安全行车的事故发生。
站台门视频防夹***使用摄像头进行立体图像采集,辅以热成像,抗干扰能力强,准确度高;纳米级防尘镜头不存在光线衰减及悬浮粒子干扰的风险。地下站台门***采用顶装式安装方式,对机械位移产生的干扰敏感度低。当每一个站台门都安装图像识别模组,那么本***除了可以判断站台间隙的异物以外,还可以对上下车的乘客人数做分别的精确统计。根据此精确统计数据,再结合AFC票务***的实时数据,通过大数据技术,可以获得站台/车厢客流分布、客流路由数据、客流滞留站台时间、客流换乘时间、客流旅行速度统计。
地铁站台间隙异物探测***采用高清视频与热成像识别***结合对站台间隙异物信息进行自动采集、识别、筛选、汇总、分析,实现检测信息分布获取、集中管理、综合运用,提供及时准确的间隙异物报警功能。主要是对危及地铁运营安全的站台间隙进人、间隙夹物、踏空胶条脱落等危害进行检测,防止发生夹人、夹物事故,以保证列车安全正点、高效运行。
视觉检测设备在本实施例中采用定距定焦双摄像机,由于定距定焦双摄像机***对硬件要求高、安装设计复杂、现场适应性、实用性效果差问题提出了基于图像匹配的双摄像机焦距同步方法,使得变焦距的双目视觉***具有更好的泛用性和灵活性;双目变焦调焦***,可以进行自动聚焦,并保持焦距同步;***开发后可以有效的进行自适应调节,保持两个摄像机聚焦清晰以及焦距同步,达到现场应用场景标定后算法自适应建模。
优选地,现场***搭建模型流程如下:
采集变焦距图像训练:训练阶段包括三个模块,LFE,AKS和WFM。首先,给定一个预测障碍物位姿,并选取其在主动光背景标定物上的图像;接下来,LFE模块分别从在线图像和地图图像中提取稠密特征,并从地图图像中提取相应的注意力热图;AKS模块根据热图的注意力得分,从地图图像中选择具备好的特征的点作为关键点;通过双目摄像机得到它们的相应的三维坐标;最后,以这些三维关键点和特征描述符作为输入,WFM模块在一个三维代价卷中搜索,寻找最优位姿偏移量,并将最优位姿偏移量与地面真实位姿进行比较,构造损失函数;在待测目标的同一侧布置两台摄像机构成双目视觉测量***,按照摄像的位置关系,分别为左摄像机2a和右摄像机2b;标定左摄像机2a时,调整标定模板的位置,保证标定模板在不同拍摄焦距时,均在摄像机视场内,在最大焦距下,对摄像机合焦;标定模板静止,逐渐减小摄像机焦距,在不同焦距下拍摄8幅模板图像;使用同样的方法采集右摄像机2b的8张图像。
摄像机主点坐标地图生成:训练结束后,使用所示的网络的部分子网络,可以完成地图生成;给定摄像机扫描和障碍物真实位姿尺寸,可以很容易地获得摄像机点的全局三维坐标;摄像机和障碍物位姿真值仅用于建图;首先,在给定障碍物真实位姿尺寸的情况下,通过双目摄像机投影到图像上,将地图图像像素与全局三维坐标关联起来;然后利用LFE网络求解地图图像的注意力热图和不同分辨率的特征图;接下来,在AKS模块的金字塔中为不同的分辨率选择一组关键点;总体而言,本实施例方法将关键点及其特征描述符,以及其3D坐标保存到地图数据库中;计算改变焦距时,摄像机视场呈现比例扩缩现象,因此在不同焦距拍摄的图像中,特征点连线的交点即为主点。计算摄像机主点坐标,利用拍摄的8张图片,将不同图像上标定模板相同特征点对应的8个像点采用线性回归的方法拟合成m条直线,第i条直线的拟合方程为:
li:aiu+biv+ci=0,(i=1,2...n) (2)
以到像点连线距离平方和最小为目标函数S,其中,计算主点坐标(u0,v0),分别求出左、右摄像机的主点坐标(ul0,vl0)和(ur0,vr0);其中ai,bi,ci为拟合直线所得参数,(u,v)为拟合所需点的像素坐标。
建模完成在线定位:在定位阶段,利用LFE网络再次估计在线图像中不同分辨率的特征图。通过图形畸变矫算法来消除相机畸变而相机位置矫正主要是矫正相机的位置关系,使得双目相机严格平行,从而方便双目图像进行立体匹配,再根据自适应区域的立体匹配算法最终获得相机的内外参数和双目相机的位置关系,本方法从给定的相机的预测障碍物位姿尺寸的最近的地图图像中收集关键点及其特征描述符和全局3D坐标;然后,在WFM模块中,构建的成本卷中给出了候选位姿,而这些关键点则被利用这些候选位姿投影到在线图像上;通过三个不同分辨率的特征匹配网络级联实现由粗到细的位姿尺寸定位。
本发明提供一种基于不同焦距双目变焦摄像机的测距方法实时动态双目测距识别障碍物的方法和***,其方法包括:标记待测距目标,建立待测距目标与两台摄像机之间的垂直距离与两摄像机物理参数的函数关系;基于所述建立的函数关系,选择不同的距离进行标定,确定标定时实测距离与真实距离的固定偏差;时间同步后,令两摄像机分别按固定频率实时采集进行相对移动的待测距目标的图像,基于所述建立的函数关系测量某一时刻的待测距目标在图像上的像素坐标和/或待测距目标与两摄像机的垂直距离;本发明考虑基线长度、焦距等客观物理误差的影响,可应用于移动目标的距离测量,测量精度高。
双目相机、基于深度学习的物体识别模块、三维重建及测距模块、灰度值去重处理模块,其特征在于基于深度学习的物体识别模块的输入图像来自于经过标定后的双目相机的左目捕获的图像,该图像与三维重建部分使用的左目图像一样;三维重建模块的输入来自于标定后的双目相机捕获的两张图像,三维重建模块利用输入的两张图像生成视差图和点云图。
数据处理模块的作用是为物体识别模块和三维重建模块提供图像输入。输入图像是经过标定后的双目相机捕获的图像。由于三维重建过程中需要知道使用的双目相机的内外参数,因此需要对使用的双目相机进行标定操作。
本实施例的目的在于克服现有技术中存在的上述不足,而提供一种操作可靠、实用性强、测量精度高的基于不同焦距双目变焦摄像机的障碍物识别方法,可以根据不同焦距摄像机镜头采集的目标图像信息进行分区域识别,使得远近目标都能精确识别。同时为了提升***的障碍物识别安全性能辅以热成像传感器及主动光背景标定物。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等,均应仍归属于本发明的专利涵盖范围之内。
Claims (9)
1.一种基于视觉传感器的障碍物检测***,其特征在于,包括:
障碍物探测单元,包括视觉检测设备,所述视觉检测设备设置在站台门与轨道之间的间隙位置,可用于获取所述站台门与轨道之间的间隙位置的图像信息并识别障碍物,根据所述图像信息进行预警和提示;
站台门防夹单元,与所述障碍物探测单元连接并可控制站台门的开合;
视频记录单元,结合所述视觉检测设备记录所述站台门与轨道之间的间隙位置的实时场景,可提供事故追溯所需的原始数据;
通信单元,用于连接TCMS***进行通信;
其中,还包括自动检测***,所述自动检测***的实施步骤包括:
所述视觉检测设备在列车进站前、到站时和启动离开站台时进行间隙环境的图像捕捉,传输步骤后的图像并进行图像分析,得出图像分析结果;
若所述图像分析结果符合上下地铁的前置条件,则站台门开启;
若所述图像分析结果不符合上下地铁的前置条件,则所述障碍物检测***启动锁紧信号使所述站台门紧闭,并启动所述视频记录单元进行实时画面拍摄。
2.根据权利要求1所述的基于视觉传感器的障碍物检测***,其特征在于,所述视觉检测设备包括第一摄像机、第二摄像机,所述第一摄像机与第二摄像机并列设置在所述站台门与轨道之间的间隙位置,用于图片与视频画面的拍摄,可通过二维算法分别对区域内的障碍物进行判定;所述第一摄像机与所述第二摄像机分别获取的所述图片与所述视频画面可进行组合对比判定位于所述站台门与轨道之间的间隙位置的障碍物状态信息。
3.根据权利要求2所述的基于视觉传感器的障碍物检测***,其特征在于,所述第一摄像机与所述第二摄像机通过摄像机数据通信处理单元进行所述图片与视频画面的数据存储与数据传输。
4.根据权利要求1-3任一所述的基于视觉传感器的障碍物检测***,其特征在于,所述第二摄像机还包括热成像传感器模组,所述热成像传感器模块可获取热成像片,所述热成像传感器模组连接热成像数据通信处理单元,所述热成像片通过所述热成像数据通信处理单元进行数据存储与数据传输。
5.根据权利要求3所述的基于视觉传感器的障碍物检测***,其特征在于,所述障碍物探测单元设置有图形分析单元,所述第一摄像机与所述第二摄像机获取的图片可通过所述图形分析单元设置视场内的坐标,并可在该所述图片中的所述坐标内设置特征标记点,根据所述特征标记点进行数据化图形标记及图形分析。
6.根据权利要求1-3和5任一所述的基于视觉传感器的障碍物检测***,其特征在于,所述第一摄像机与所述第二摄像机采用定距定焦摄像机,采用双目视觉***获取图像,所述双目视觉***通过所述第一摄像机与所述第二摄像机双目变焦调焦***进行自适应聚焦焦距调节,保持焦距同步及聚焦清晰。
7.根据权利要求1所述的基于视觉传感器的障碍物检测***,其特征在于,述障碍物探测单元还包括模型搭建单元,所述模型搭建单元的应用步骤包括:
采集变焦距图像训练;
摄像机主点坐标地图生成;
建模完成在线定位。
8.根据权利要求1所述的基于视觉传感器的障碍物检测***,其特征在于,包括背景标定物及补光灯,所述背景标定物设置在所述站台门与轨道之间的间隙处,所述补光灯位置与所述辅助补光装置一致均设置在站台门与轨道之间的缝隙处。
9.根据权利要求1所述的基于视觉传感器的障碍物检测***,其特征在于,还包括告警装置,所述告警装置包括语音告警与灯光告警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311347708.XA CN117253203A (zh) | 2023-10-18 | 2023-10-18 | 一种基于视觉传感器的障碍物检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311347708.XA CN117253203A (zh) | 2023-10-18 | 2023-10-18 | 一种基于视觉传感器的障碍物检测*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117253203A true CN117253203A (zh) | 2023-12-19 |
Family
ID=89131272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311347708.XA Pending CN117253203A (zh) | 2023-10-18 | 2023-10-18 | 一种基于视觉传感器的障碍物检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117253203A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117935115A (zh) * | 2024-01-29 | 2024-04-26 | 深圳市宇泰科技有限公司 | 一种屏蔽门异物检测方法及装置 |
-
2023
- 2023-10-18 CN CN202311347708.XA patent/CN117253203A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117935115A (zh) * | 2024-01-29 | 2024-04-26 | 深圳市宇泰科技有限公司 | 一种屏蔽门异物检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107161141B (zh) | 无人驾驶汽车***及汽车 | |
CN103413313B (zh) | 基于电力机器人的双目视觉导航***及方法 | |
CN109878552B (zh) | 基于机器视觉的轨道交通站台门与列车间异物监测装置 | |
Semertzidis et al. | Video sensor network for real-time traffic monitoring and surveillance | |
CN106808482B (zh) | 一种巡检机器人多传感器***及巡检方法 | |
CN101969548B (zh) | 基于双目摄像的主动视频获取方法及装置 | |
KR101999993B1 (ko) | 레이더 및 카메라를 이용한 무인 단속시스템 | |
WO2015024407A1 (zh) | 基于电力机器人的双目视觉导航***及方法 | |
CN112235537B (zh) | 一种变电站现场作业安全预警方法 | |
KR20200064873A (ko) | 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법 | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析***及方法 | |
JPH0431200A (ja) | 航空機ドッキングガイダンス装置 | |
CN111753797A (zh) | 一种基于视频分析的车辆测速方法 | |
CN103696652A (zh) | 一种电动折叠门的保护方法、保护***及电动折叠门 | |
CN117253203A (zh) | 一种基于视觉传感器的障碍物检测*** | |
CN111160220B (zh) | 一种基于深度学习的包裹检测方法、装置、存储介质 | |
CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及*** | |
CN106846297A (zh) | 基于激光雷达的行人流量检测***及方法 | |
CN112508893B (zh) | 基于机器视觉的铁路双轨间微小异物检测方法及*** | |
CN117197779A (zh) | 一种基于双目视觉的轨道交通异物检测方法、装置及*** | |
CN112001971A (zh) | 一种物体识别方法及*** | |
CN111126363A (zh) | 自动驾驶车辆的物体识别和距离测量方法及装置 | |
Malik et al. | Smart Cars and Smart Roads. | |
CN114596657A (zh) | 一种基于深度数据的闸机通行*** | |
KR20220120211A (ko) | 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |