CN103733077B - 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品 - Google Patents
用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品 Download PDFInfo
- Publication number
- CN103733077B CN103733077B CN201280034122.1A CN201280034122A CN103733077B CN 103733077 B CN103733077 B CN 103733077B CN 201280034122 A CN201280034122 A CN 201280034122A CN 103733077 B CN103733077 B CN 103733077B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- guide rail
- visual cues
- measuring speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 59
- 238000004590 computer program Methods 0.000 title description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 96
- 230000000007 visual effect Effects 0.000 claims abstract description 56
- 238000001914 filtration Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 235000019633 pungent taste Nutrition 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005315 distribution function Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000009023 proprioceptive sensation Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 208000035126 Facies Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/021—Measuring and recording of train speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/026—Relative localisation, e.g. using odometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2200/00—Type of vehicles
- B60L2200/26—Rail vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明涉及一种装置(100),其用于日日夜夜测量沿导轨轨道移动的车辆(200)的速度和/或位置,并且无论气候条件如何都是这样做的。根据本发明,此类装置包括:-至少一个图像采集设备(4),其对所述车辆(200)的环境的数字图像的序列进行传输;-用于在由所述图像采集设备(4)传输的两个图像之间确定至少一个被称作图元的视觉指标的明显运动的构件,以确定所述至少一个视觉指标的明显的运动;基于所述至少一个视觉指标的所述明显运动,对所述车辆(200)的速度和/或位置进行估计的构件。
Description
1.技术领域
本发明涉及一种方法,用于定位和/或测量沿着导轨移动的车辆的速度以及装配有此类车辆尤其是火车机车的装置的速度,所述导轨例如是由两根铁轨组成的铁路轨道。
2.背景技术
用于监控和管理铁路交通的当前***的开发必须满足欧洲铁路交通管理***(ERTMS)的要求,该***试图使欧洲的铁路运输的信令和速度的控制协调,且因此使得列车的循环运行更加可靠。
为了改进铁路网络中列车的循环运行的条件以及所有交通运输的安全性,需要对铁路网络中的每辆列车的速度和地点(位置)的精确的了解。
为了满足这种需求,列车装配有不同类型的测距传感器的组合,例如,加速器、多普勒雷达以及车轮传感器。这种解决方案是昂贵的并且需要复杂算法的应用来处理测量的信号。然而,这些传感器所进行的测量的精确度并不令人满意,尤其是由于它们对天气条件、列车的低速、颤动、配置以及地面的颤动、配置、列车车轮在铁轨上的滑动的敏感性。另外,从此类测距传感器中获得的测量易于发生漂移。此外,这些传感器中的一些是固定在车辆下方的,并且会受到损害(例如,飞石)。
为了克服这些漂移并且改进列车位置测量的精确度,已经提出用地面***对从测距传感器中获得的位置的测量进行“重新调节”,所述地面***例如,发射器/信号灯(称作“欧版应答器(Eurobalises)”),其以规则的间隔(例如,在比利时是平均每1.5km)固定在轨道上。这种信号灯在列车通过时启动并且将相对于绑在轨道上的绝对参考系的列车的确切地点发送给此列车。列车的嵌入式计算器随后对列车位置误差进行纠正,方法是通过对最后的信号灯遇到的测距传感器位置进行重新调节。
这种方法的一个缺点在于信号灯放置在铁轨之间的轨道上。在没有监督的情况下,它们易于遭受故意毁坏。随着列车的通过它们还会经受相对较高的机械应力,这可能会引起故障。除了维修这些信号灯带来的成本之外,将这些信号灯安装在整个铁路网络上以及管理库存也会带来相关的成本。此外,这种解决方案还引起了安全性的问题,因为如果一个信号灯不再运行的话,那么测距传感器的位置测量的两个重新调节之间的间隔将会变大。
在一个替代性方案中,已提出用GPS接收器来装配列车,以使得通过此类测距传感器的测量更加可靠。然而,出于此目的,GPS接收器应该能够不断地从卫星中获取信号以获取列车的地点,而这在隧道、城市廊道以及非常陡峭的山谷中将是非常困难的。
另一基于光学***的解决方案是用基于LED技术的传感器来装配列车的,所述光学***的商品名为Correvit。然而,这种方法的一个缺点在于安装在车辆的下方且靠近铁路铁轨的这些传感器是比较脆弱的,且易于受到环境条件的影响。
测量列车“行进的距离”的又一解决方案描述于专利文档FR2673901中。此方法实施了一直沿着轨道固定的可磁化的轨道以及用于对此类轨道进行磁性标记的至少一个线圈,所述线圈由电流脉冲发生器供电并且位于火车机车的前转向架上,且此类磁性标记的至少一个检测器位于火车机车的后转向架上。这些元件是相对于车辆的移动的感测来实施的,线圈和检测器以预定距离彼此隔开。此方法还提供了在每次检测之后用于命令新的标记的构件,以及用于对表示火车机车行进的距离(因此是火车机车在轨道上的位置)的检测到的标记的数目进行计数的构件。
然而,此方法的一个缺点是由于受到较高的机械应力,所述构件的实施和操作中的维修是昂贵的。
另一种已知的方法是实施放置在列车的一端的图像采集装置,随后对图像进行分析以确定列车的速度和位置。图像分析的组成如下:在预先知道的位置处发现元素,例如,沿着铁路轨道放置在地面上的条形码;并且将检测到的代码与储存在数据库中的代码进行比较,用于空间地定位列车。
此方法的一个缺点在于它需要将条形码放置在整个铁轨网络上,其实施是昂贵的。
此方法的另一缺点在于它需要数据库的管理。另外,图像分析以及与储存在数据库中的数据的比较需要大量的处理时间。
换言之,用于测量列车的位置和速度的当前的解决方案并不完全令人满意。
实际上,它们需要检测设备的实施,也就是说:
-基于不同的技术并且测量不同类型的数量,这需要测量信号的复杂处理算法的实施,并且生成了相对较长的数据处理时间;
-嵌入(在火车机车的下方或者内部)或者放置在地面上(在铁轨之间或者沿着轨道),这使得设备易于受到损害;
-昂贵(尤其针对其维修)、不精确(尤其针对列车的低速)并且受到漂移。
3.发明目的
本发明尤其意图克服现有技术的这些缺点。
更确切地说,本发明的一个目的在于提议一种精确且可靠的方法用于测量在导轨上移动的车辆的速度,并且如果必要的话也测量它们的位置而无需在它们的旅途中安装特定的装置,例如,信号灯。
本发明的目的还在于提供一种用于实施此方法的装置,所述装置是尽可能廉价的,其可以安装在任何类型的车辆上并且无论环境条件如何都可以正确地运行。
本发明的另一目的在于提供一种用于测量在导轨上移动的车辆的速度和位置的解决方案,其尤其满足ERTMS***的互操作性以及安全性要求。
4.发明内容
这些目的以及其他将在下文中变得显而易见的目的的实现是借助于无论气候条件如何而用于日日夜夜测量沿着导轨移动的车辆的速度和/或位置的装置。
根据本发明,此类装置包括:
-至少一个图像采集设备,其传输所述车辆的环境的数字图像的序列;
-用于确定由所述图像采集设备传输的两个图像之间的被称作图元的至少一个视觉线索的明显运动的,以确定所述至少一个视觉线索的明显运动,实施:
-借助于所述环境的至少一个模型来简化所述图像的构件,确保了简化图像中的所述至少一个视觉线索的检测;
-用于预测图像区域的构件,在所述图像区域中所述视觉线索将位于随后的图像中;
-用于在所述图像区域中提取所述视觉线索中的一个的构件;
-用于估计移动的构件,方法是比较当前图像与先前图像中的所述视觉线索的实际位置;
-基于所述至少一个视觉线索的所述明显运动对所述车辆的速度和/或位置进行估计的构件。
本发明的装置能够对沿着导轨移动(例如,在铁路轨道上运行)的列车等车辆的速度和位置进行测量,方法是确定由图像采集设备传输的连续的图像中的运动,在一个实施例中,所述图像采集设备尤其可以是摄像机形式的光学成像传感器。
本发明的装置实施了对来自相同序列的图像的处理,所述序列是在结构化环境中采集的。它从图像中实时或几乎实时地提取由导轨和接近的物体组成的铁路环境的投影的相关图元(视觉场景),在这些图元的图像中执行跟踪和滚动运动计算。车辆的速度和“行进距离”的计算最终通过铁路环境的一些实量的先验知识(真实场景)而成为可能,环境的模型可能是,例如,简化的动态模型。
取决于情况,所述至少一个图像采集设备属于尤其包含以下项的组(在非详尽的列表中):
-景象采集设备;
-热感摄像机;
-磁性摄像机等。
因此本发明能够通过部分已知的先验铁路环境中的内部参考来测量列车的速度和“行进距离”(或者相对位置),所述内部参考是从所采用的一个或一个以上图像采集设备(或图像传感器)到,例如,可见光谱(景象采集设备)、红外光谱(热传感器)和/或磁辐射(磁性摄像机)的。
必须注意的是在本发明中实施的图像采集设备是无论气候条件如何而日日夜夜的提供的,从中可以计算出此车辆的车辆速度和“行进距离”的图像的序列(视频、热、磁或其他)可以根据本发明的原理来执行。
换言之,图像采集设备是用于采集车辆在其中移动的环境的构建元素的装置(通过光、热、声音、磁或其他类型的成像)。
此外,由图像采集设备传输且由本发明的装置处理的图像可以是位于车辆的前方或者后方的场景中的图像。
在一项特定的实施方案中,所述至少一个视觉线索表示了所述导轨的至少一个几何特征,例如,曲率半径、铁路轨距规、对准。
有利地是,所述至少一个视觉线索表示了沿着导轨的至少一个物体的至少一个几何特征,例如,杆子的垂直性。
因此,本发明使用了被称作图元的视觉线索或特征,所述图元是从图像中提取的对象,所述图像以简洁的方式含有用于此图像的分析的重要信息(通常这些视觉线索是图像的轮廓或区域),且其时间和空间的演进由一些小心地选择的铁路环境的实量来控制(铁路轨距规、轨道的曲率、沿着轨道的杆子的垂直性等),已知的是所述实量在整个图像的相同序列中是恒定的或者缓慢地改变的。
因此对用于检测铁路轨道以及沿着它的物体的区域做出了规定。
从图像中提取的图元直接由本发明来使用,因此还能够完全消除视觉信息的解读阶段的需求,而这种解读阶段在复杂场景的计算时间方面是昂贵的。
换言之,在图像中直接使用图元的事实极大地减少了运动估计过程中的待处理的数据的量以及算法的执行时间。
在本发明的一项实施例中,所述装置实施了所述车辆的模型以及所述图像采集设备的模型。
车辆的模型的组合以及图像采集设备的组合、环境的模型、导轨车辆组的动态元素,例如涉及待执行的任务(在此情况下为在导轨上移动)的数据按照参数和算法的形式被整合到本发明的装置的计算单元中,所述计算单元在操作中接收关于车辆的当前状态的信息(本体感受信息)以及关于环境的当前状态的信息(外界感受信息)。
车辆的模型以及图像采集设备的模型结合在用于确定图像采集设备(自动校准)的内部参数的过程中,所述图像采集设备安装于在导轨上移动的车辆中。环境的模型(导轨以及沿着导轨的物体)是在从图像中提取视觉线索的阶段(用于简化图像的阶段)期间发生的。导轨车辆组的动态元素是在导轨上移动的车辆的速度和“行进距离”的估计中参与进来的。
所有的这些建模元素直接参与到图像中的视觉信息改变与安装于在导轨上移动的车辆上的图像采集设备的真实空间中的运动之间的关系的表达中(交互矩阵)。
在实施方案的一个特定模式中,用于跟踪和预测的构件实施卡尔曼滤波。
使得移动的列车的速度和“行进距离”永久地具有可靠的且可用的测量的约束要求通过例如一组概念的卡尔曼滤波的用于跟踪***和预测的***的使用,所述概念是从图像的中提取的,例如关注区域,所述概念对相关的纵向图元以及铁路的一些几何特征(曲率半径、轨距规、对齐)进行实体化,其行为被称作通过模型和仍然在内存中(即,储存在装置的存储内存中)的其先前的估计的先验。
因此本发明的装置强调了就执行而言是简单的且非常快速的模型并且通过卡尔曼滤波经由图像中的***的跟踪和预测对建模误差进行了补偿。
卡尔曼滤波确保了基于物体的轮廓的从图像中提取的一组概念的跟踪和预测。
经典地,卡尔曼滤波具有两个不同的阶段,即,预测阶段和更新阶段。预测阶段使用在先前的时刻估计的状态来生成当前状态的估计。在更新阶段中,当前时刻的观察用于对预测的状态进行更正,以获得更加精确的估计。
本发明在不需要对摄像机传输的图像进行转换方面是有利的(存在时间收益)。铁路轨道的一些特征以及车辆的一些特征是足够稳定的,以用作速度和位置的估计中的先决条件。
本发明的装置是在安全的环境下发生的,方法是通过改进速度和位置的测量的精确度和可靠性,并且通过并非与难以从制造商处获得的特定的模型相关联的而是与其参数是通用的且稳定的模型相关联的简单且鲁棒性算法的快速执行。
本发明并不需要将补充设备沿着铁路轨道进行添加来对列车的速度和位置进行估计。它使用现有的基础设施,所述基础设施在相关信息方面是足够密集的。它并不使用铁路网络地图的任何数据库,这使得它能够在世界范围内的所有的铁路网络上独立地运作。
在本发明的一项实施例中,所述装置包括适用于生成表示图像采集设备的倾斜度的信号的倾斜传感器以及用于以取决于生成的信号的角度对所述图像采集设备传输的图像进行旋转的构件。
有利地是,所述倾斜传感器实施Deriche滤波。
将摄像机用作用于测量列车的速度和位置的光学传感器的实施要求摄像机传输的图像的稳定。
实际上,当列车移动时,它经历了使得嵌入式摄像机采集嘈杂的场景的升高,给出了所谓的“颤动的”图像序列。当前用于对图像序列中的运动进行分析的技术对于外部干扰是敏感的。因此,当视觉传感器的实际轨道是受到噪声影响的,那么移动的这种误差会不可挽救地反映在环境的3D测量中。最终,检测到的移动由相对于列车的移动组成(总体运动),而相对于列车的移动自身由列车本身的移动(自我运动)以及称作“噪声”的移动(倾斜和滚动)组成。
称作噪声的移动可以在低振幅的情况下借助于摄像机的电子学而得到减少或者直接得到消除,并且还可以通过在高振幅的情况下用于支持摄像机的机械装置的补偿而得到减少或者直接得到消除。
列车自身的移动是使用与环境相关联的速度场通过图像处理方法确定的。这些方法的原理是从相同的环境的平面投影的序列中发现图像中的滚动的概念与列车自身的移动(或自我运动)的概念之间的一致性。
在图像的特定的预先选定的区域中,移动的研究是关联于优选方向(例如,纵向)的直线段的检测的和它们的速度的。
一个方法由使用滤波器来检测纵向元素组成。基于此基础,修改过的Deriche滤波器用于确定围绕其视线轴的摄像机的旋转角,该角被称作图像中的最大数目的像素的角。
为了确定图像中的纵向元素真正的与场景中的物体的纵向边缘相对应而无需知道固定的绝对参考系中的摄像机的角度位置,所述想法并不是从图像中提取纵向直线,而是提取图像中最具代表性的且类似于重力的方向的纵向直线的方向。这些线是先前在由修改过的Deriche滤波器确定的优选方向中提取的,其确保了图像中的最大数目的像素的角的计算(即,在图像中方向最具代表性的角),以从图像中提取与此角的方向相同的轮廓,并且为本发明的***提供垂直性的概念,且因此提供特定内部参考的概念。
在这种修改过的Deriche滤波器将此信息提供给装置用于图像去旋转的情况下,在去旋转之后在图像中获得的纵向元素随后可以对应于真实场景的物体的纵向边缘。
因此,一种方法能够对图像中的纵向元素或者伪纵向元素进行识别和定位。随后它们中的每一个以矩形的关注区域的形式定位并且提供关于其长度、位置以及垂直性误差的信息。
因此本发明的装置为列车提供了平衡的概念,这一方面通过对相对于其自身的参考***的图像的旋转角进行确定,且另一方面通过几乎自然地对不平坦的地势造成的一些外部干扰进行抑制,所述不平坦的地势即使在当前也仍然会阻止移动车辆上的计算机视觉设备对自然环境中的移动进行正确的分析。
这样的解决方案不仅能够对列车移动期间摄像机造成的暂时性不稳定进行测量而无需回转仪或倾斜计等倾斜传感器的实施,而且还能够区分场景中的旋转与拍摄场景的摄像机的旋转。
在一个替代性方案中,这种倾斜传感器也可以整合到本发明的装置中以满足,例如在安全的框架中的信息的冗余的约束。
换言之,对场景的图像进行获取和建立以对明显的运动进行分析。图像的稳定提供了缺少测距的平衡的概念,以使得循环中的每台车辆具有与其相关联的其自身的参考***。
优选地,所述装置实施了将实际空间中的图像采集设备的运动与所述图像中的所述至少一个线索的运动联系起来的交互矩阵。
有利地是,所述装置包括用于校准所述图像采集设备的构件。
这允许3D环境与2D环境之间的维度关系。
本发明的原理在于适用于结构化环境中的移动机器人的视觉伺服控制的铁路行业。为此:
-视觉伺服控制不仅仅是移动车辆的驾驶员的工作,驾驶员的主要职责是按照仪表盘上的显示对车辆的速度进行调节,而且是EVC(欧洲安全计算机,即,车载计算机)的工作,当驾驶员的行为被视作是危险的且当需要的安全水平不再能够达到时它会触发紧急停止;
-受到控制的量主要是移动车辆的速度和加速度,此车辆的方向由导轨的曲率来约束;
-场景的图像是通过单个摄像机获取的并且得到了稳定以对明显的运动进行分析;
-因此图像的稳定提供了缺少测距的平衡的概念,以使得循环中的每台车辆具有与其相关联的其自身的参考***。
根据本发明的一项特定实施例,所述装置包括用于显示由所述图像采集设备传输的所述环境的数字图像。
有利地是,所述图像是显示在至少一个LCD屏幕上的,所述屏幕位于所述车辆的挡风玻璃上或者位于所述车辆的挡风玻璃之前的透明的镜子上。
在本发明的一项特定的实施例中,所述装置包括用于输入给定路线的构件。
有利地是,所述装置包括用于储存运输网络的至少一幅地图的构件。
优选地,所述装置包括用于指示所述车辆的地理位置的构件。
本发明还涉及用于日日夜夜测量沿导轨移动的车辆的速度和/或位置而无论气候条件如何的方法。
根据本发明,此类方法包括以下步骤:
-借助于图像采集设备获得所述车辆的环境的数字图像的序列;
-确定在由所述图像采集设备传输的两个图像之间的被称作图元的至少一个视觉线索的明显运动,以确定所述至少一个视觉线索的明显运动,这是根据以下步骤的:
-借助于所述环境的至少一个模型来简化所述图像,确保了简化图像中的所述至少一个视觉线索的检测;
-对图像区域进行预测,在所述图像区域中所述视觉线索将位于下一个图像中;
-在所述图像区域中提取所述视觉线索中的一个;
-对移动进行估计,方法是比较当前图像与先前图像中的所述视觉线索的实际位置;
-从所述至少一个视觉线索的所述明显的运动中估计所述车辆的速度和/或位置。
另外,本发明涉及一种计算机程序产品,所述计算机程序产品可以从通信网络中下载以及/或者储存在计算机可读媒介上以及/或者是可以由微处理器来执行的,所述计算机程序产品包括程序代码指令,用于上文中描述的装置中的上文中描述的方法的执行。
5.附图说明
通过借助于由简单的说明性而非详尽基础给出的实例的下文对本发明的一项特定实施例的描述,并且通过附图,本发明的其他特征及优点将更加清楚,在这些附图中:
-图1是根据一项实施例的本发明的装置的示意性透视图;
-图2是本发明的装置的实施的功能图;
-图3描绘了在本发明的装置中实施的跟踪算法的各个步骤;
-图4呈现了如同在本发明的装置中实施的图像中的伪纵向元素的特征的实例;
-图5呈现了根据本发明的列车的速度和“行进距离”(位置)的测量的一般原理;
-图6描绘了如同在本发明的装置中实施的图像中的伪纵向元素的提取的多个步骤;
-图7描绘了真实场景与由本发明的装置的景象采集设备传输的图像之间的相互作用的原理;
-图8A至图8E呈现了从中获取移动车辆的几何模型(图8B至图8E)以及导轨的几何模型(图8A)的不同的图;
-图9A至图9C呈现了导轨切换***的几何模型(图9A至图9B)以及在通过由其对准轴建模的导轨的曲率过渡时减小到转向架之间的恒定长度的单个区段的火车机车的空间演进的模拟(图9C);
-图10A至图10C示出了从上方观看的导轨的平坦的几何图案(图10A),以及与其渐近线呈透视投影的导轨的平坦的几何图案(图10B),以及火车机车的移动的模拟(图10C);
-图11A至图11C描绘了导航廊道的概念,所述廊道由最接近本发明的装置的景象采集设备的两个纵向元素的低端的图像中的明显的运动来界定。
6.具体实施方式
下文中,描述了本发明的一项实施例,其中借助于本发明的装置(传感器)测量其速度和位置的移动车辆是在由两根铁轨组成的轨道上行进的列车。当然此类装置也可以实施于在导轨上移动的其他类型的车辆上。
在以下实例中,本发明的装置通过借助于景象采集设备获得的位于列车前方的场景的图像对列车的速度和位置进行测量。
在一个替代性方案中,此速度也可以从位于列车的后方的场景的图像中进行测量。
6.1发明原理
本发明的装置能够经由单眼视觉的嵌入***通过在铁路环境中尤其被称作先验(priori)的内部参考来测量列车的速度和“行进距离”。为此,本发明的装置实施了对来自相同序列的图像的处理,所述序列是在结构化环境中采集的。它从图像中实时或几乎实时地提取导轨的投影的相关图元(视觉场景),执行跟踪并计算图像中的这些图元的滚动运动。车辆的速度的计算以及“行进距离”的计算最终通过导轨的一些实量的先验知识(真实场景)而成为可能。
所述装置放置在车辆的仪表盘上,且在开始速度和位置的任何估计之前输入取决于车辆的一些参数(通常使用的术语是“放置、***以及启动”装置)。
移动车辆中的本发明的装置的使用显著地通过以下方面而增大了铁路安全性:
-速度和位置测量的改进的精确性和可靠性,以及
-不与难以从制造商处获得的特定模型相关联的而是与其参数是通用的且稳定的模型相关联的简单且鲁棒性算法的快速执行。
本发明的装置完美地符合于通过设备的数量上的可观的节省而降低成本的环境方法,所述设备传统上配适在铁轨上并且被要求通过常规的重新调节对当前车辆上的仪器带来的测量中的漂移进行补偿。
6.2用于测量速度和位置的传感器
如图1所示,本发明的传感器装置100采用了包括盖子1、耐磨板2以及可移除的自动校准装置9的紧凑型外壳的形式。
盖子1提供在例如LCD类型的显示单元的一侧上,使得驾驶员在列车的速度由本发明的装置测量时观察此速度。
可移除的自动校准装置9包括两个大致平行的可移除垫片10和11,所述垫片由棒或蜗杆螺钉12交叉,所述棒或蜗杆螺钉由发动机13驱动。
在耐磨板2上分别安装有借助于固定板3的防振且防光晕摄像机4、预处理(滤波、标记等)板5、帧抓取器6、计算机7(用于图像处理)以及ERTMS/ETCS兼容的输入/输出(I/O)板。
传感器100可以放置在任何地方且以最稳定的方式面朝驾驶员的驾驶室的挡风玻璃位于仪表盘上,且摄像机4朝向铁路轨道向外指向。
如下文中的详细描述,传感器100意图用于通过车辆的轨迹的简单的分析以及沿着轨道定位的物体的图像的滚动的简单的分析来测量速度和“行进距离”。
为此,图2所示的流程图将传感器100细分为视觉***SV以及跟踪***SS,所述***都连接到计算机7,对从摄像机4捕获的图像中提取的信息进行处理。
视觉***SV包括板6(或抓取器)用于获取由摄像机4捕获的图像,举例来说,所述摄像机可以是CCD(电荷耦合装置)摄像机。并不排除这些图像可以储存在连接到计算机7的存储内存中(未图示),但是本发明的迭代方法使得必须仅将两个连续的图像保存在内存中,这些图像被称作“当前图像”和“先前图像”,清除了任何不相关的信息。
传感器100是完全的自主的,因为它包含能够对铁路轨道的跟踪以及沿着它定位的物体的跟踪中的任何误差进行检测和更正的跟踪***SS,这些误差是由于在估计列车的速度和位置时实施的模型的自愿选择的简单程度造成的。在一个替代性方案中,通过包含用于列车200的控制***SC,跟踪***SS可以部分地或者完全地取代驾驶员。
在图5所示的实例中,传感器100的计算机7使用从列车摄像机对的以及铁路环境的通用模型中获得的算法,并且还使用从轨道/列车组的动态元素(例如,待执行的任务上的数据)(在此情况下是在铁路轨道上运行)的通用模型中获得的算法。在运行中,计算机7直接或间接地接收关于列车200的当前状态的信息(本体感受信息)以及铁路轨道的信息(外界感受信息)。唯一不同的参数是将列车200特征化的那些,尤其是,摄像机4以及列车200循环运行的铁路环境。
如果没有本体感受传感器,那么从图像中的铁路环境(铁路轨道、沿着轨道的杆子等)的滚动移动的分析中估计列车的状态。
通过储存在存储内存中的这些参数并且通过由视觉***SV提供的关于列车200以及铁路环境的当前状态的信息,在一个替代性方案中,从控制***SC中计算机7对摄像机4以及视觉***SV传输的图像进行处理,并且借助于跟踪***SS确定列车200的速度和“行进距离”。
在根据本发明的原理的速度和“行进距离”的估计中使用的且在下文中将要详细描述的模型(或者表示)要求简化的假设。这些假设可以被分类为两种类别:
-场景的先验知识(恒定的元素):比利时的普通轨道上的1.435m的轨距规在垂直性上是优选的,这是因为结构化场景中的重力、每秒中待处理的图像的恒定的数目;
-列车的预期的行为(受限制的元素):局部恒定的具有较大曲率半径的弯曲、局部平坦的铁路轨道、列车的较低的滚动和纵摇运动。
6.3车辆的几何模型
车辆的模型对于列车而言是特定的,本发明的传感器装置(图8B至图8E)位于所述列车中。根据线框模型,通过连接其两个转向架的旋转中心的区段,可以在平面中简单的表示火车机车。实际上,火车机车是由轨道的行进的铁轨引导的车辆,且因此其空间配置取决于它在网络中的位置。相对于轨道的定线曲线的切线的车辆的转向角取决于其转向架之间的实际距离。在铁路轨道上的整个旅程中,按照假设,转向架总是与铁轨线的切线垂直。两个转向架中的每一个的旋转中心位于火车机车的相同的纵向中心线上,近似地为一个在另一个之后,在轨道的两根铁轨之间具有相同的定线曲线。
摄像机放置在驾驶员的驾驶室的仪表盘上且向外指向,位于对火车机车建模的区段的延伸中的前转向架之前。在与火车机车相关联的参考系中,其位置和其方向被假设为是不变的,或者改变的非常少。
校准操作,即,寻找形成摄像机拍摄的图像的过程是借助于针孔模型来执行的,这种模型是在图像处理中使用的最为简单且最为普遍的模型。
铁路轨道的3D模型的透视投影按照以下方式使其变形:其渐近线在图像平面中朝向被称作“消失点”的单个点收敛。
这个点的提取使得有可能发现实际空间中的火车机车的行为。
此外,摄像机的高度取决于火车机车的高度以及仪表盘的高度。有可能部分地克服这种先验知识的依赖性,尤其是火车机车驾驶室中的摄像机的位置,方法是借助于自动校准装置9(参见图1)提供摄像机的自动校准。
然而,应该输入列车的一些尺寸参数或者甚至是行为参数以对***进行配置,例如,转向架之间的距离以及列车的最大加速度/减速度。
6.4摄像机的几何模型
摄像机的建模是基于如下所述的简化的假设的基础的。摄像机的固有参数是恒定的。摄像机的倾斜角α是较小的(<10°)。相对于轨道的主要方向的水平偏转角ψ是较小的(<10°)。摄像机相对于其视线轴的旋转角θ与图像中的像素的最大数目的角对应,方法是如下文所述计算修改过的Deriche滤波。摄像机的高度z0是恒定。
6.5铁路轨道的几何模型(图8A)
由于列车的速度,铁路环境中的导轨具有确保某些假设的特征,尤其是在其基础设施上。铁路轨道是局部平坦的且其曲率C是局部恒定的。铁路轨道的宽度e是恒定的且已知的(它对应于两根铁轨之间的间距)。铁轨是具有恒定的且已知的宽度L的连续的线。铁路转换遵循被称作螺旋应变曲线(考纽螺旋或回旋螺线)的轨道过渡曲线以减少乘客可能遭受的离心力的影响。正视图中水平边缘和纵向边缘是平行于彼此的。沿着轨道的相同系列的杆子的几何特征是恒定的(两个连续的杆子之间的间距、距离轨道的距离、宽度、高度、形状)。
6.6铁路环境的模型
对于穿过的每个国家而言,铁路环境中的场景的先验知识要求某些参数的输入,例如,轨距规,以对本发明的装置进行配置。
6.7通过对视觉线索的识别和定位的列车行进的速度和距离的计算
如上文所述,本发明的装置实施的视觉***包含视频摄像机,所述摄像机的感知模型就视觉、平衡、场景解读、图像中的运动的分析以及决策制定而言应该更加接近人体模型,但是其操作限制应该由市场上现有的技术来界定。视频摄像机传输的数据的解读与实施一个或多个测距传感器的方法而言得到了极大的简化。
对于结构化环境中所需的场景的图像而言,在这种情况下从中提取的铁路环境、纵向直线是频繁的构成特征,其特性在整个相同的序列中得以保留。在一个特定的实施模式中,这些纵向直线可以由例如基于相关性的方法进行匹配(所述方法按照已知的方式确保了从两个连续的图像中提取的关注的点或区域之间的匹配)。
为了确定图像中的纵向元素真正的与场景中的物体的纵向边缘相对应而无需知道固定的绝对参考系中的摄像机的角度位置,所述想法并不是从图像中提取纵向直线,而是提取图像中最具代表性的且类似于重力的方向的纵向直线的方向。
本发明的装置随后使用了滤波器,用于检测图像中最具代表性的方向,所述滤波器采用的是修改过的Deriche滤波器的形式,其中仅有具有相同方向梯度的轮廓将被保留。因此在所关注的特定区域中实体化的在图像中移动的一些特征或图元是先前在优选方向上提取的直线区段,其由修改过的Deriche滤波器确定,且其初始功能是梯度的估计和轮廓的提取。
这种滤波器的修改不仅能够从图像中提取组成场景的纵向物体的轮廓,而且还能够对图像中的像素的最大数目的角度进行计算。此角度的值是传送到图像旋转***(硬件或软件)的,以通过去旋转对此角度进行稳定,并且提供本发明的装置,因此基于垂直性的假设在其自身的内部参考中提供给列车。
换言之,修改过的Deriche滤波器确保了像素的提取,对于所述像素梯度方向是图像中最常遇到的,并且使用此特性来确保对抗摄像机的旋转机械干扰的图像的稳定性。
必须注意到相关的图元的提取实施了将灰度图像转化为二进制图像(黑与白)的步骤,所述二进制图像仅包含轮廓。相对于那些处理原始图像的算法而言,所述算法的复杂性得到了极大的简化。
在一个替代性方案中,通过从修改过的Deriche滤波器中计算出的角度使图像变直的去旋转阶段,此刻在所述阶段之前直接提取了图像元素的纵向轮廓。
此方法优选地在本发明的装置中按如下方式实施:视觉场景(图像)中的纵向元素真正的与真实场景(铁路轨道)中的纵向元素对应。
考虑到将要建立的这种假设,随后关注区域对来自从图像中初步地提取的轮廓的纵向直线进行实体化(图4)。为此,识别和定位的阶段应该在提取的阶段之后,以将每个保留的点分配到其各自的直线。
一种方法是使用普瑞维特卷积模板(Prewitt convolution mask)(具有x梯度近似),以突出图像中呈现的纵向边缘(图6)。这种卷积之后是阈值操作(例如,阈值为20)以及二进制化,在所述二进制化中保留的点具有的灰度等于255。
所获得的结果是场景的图像的纵向组分的粗略的绘图而不仅仅是轮廓。中间步骤是在多于10个像素的连续的系列中仅保留按列分类的宽度等于一个像素的某些点。此中间步骤确保了孤立的点的消除以及过短的点系列的消除。这些点的排列继而粘靠着彼聚集,并且最终隶属于界定宽度和高度的结构。
此空间边界由矩形表示,其方向是纵向的且其位置是由图像中其左上角的坐标来确定的。在将纵向元素彼此区分开来之后,定位程序仅仅保留了满足以下标准的那些:
-足够的高度(h>10个像素);
-不超过(|d|<或等于2个像素)的倾斜限制。
6.8轨道铁轨的检测
导轨模型的选择、此导轨在图像中的透视投影的原理、由图像中的铁轨形成的连续的线的对比以及最终在本发明的其自身的应用中的实时约束使得能够将最好的且最快的方法用于检测铁轨,以用作处理区域,而不是所关注的多边形区域,如同在上文中所见的纵向特征的提取的情况下,而是在每次迭代中对简单的水平线、图像中的水平线的数目和排列进行了界定和调整,所述界定和调整是基于某些标准的,例如,列车的测量速度、质量图像信息(熵)、铁路轨道的消失点与图像中的水平线之间的高度差、铁路轨道的测量的曲率等。
考虑到待处理的非常少量的像素,这种信号处理的方法与更加传统的方法相比对于快速检测的目的而言是非常胜任的。基于以下原理,即,在铁路环境中的图像的相同的序列中,轨道的灰度中的统计离差(标准偏差)被假定为在所有的水平检测线上的铁轨的任一侧之上或者附近为相同的。
随后足以在最具代表性的检测线(最接近摄像机,即,图像中最低的)上确定灰度的分布函数的标准偏差。随后,在水平检测线的每一条中,分布函数由高斯滤波来平滑化,并且减小到仅仅是其值超过特定自适应阈值的点,所述值由分布函数的平均值界定,并且将先前计算出的标准偏差值添加到所述平均值。
图像处理环境中已知的这种技术使得能够简单地且可靠地克服可能在相同的图像中发生的光照变化。
所得的分布函数的梯度随后确定了轨道的每根铁轨的轨迹的左边缘和右边缘。
在一个替代性方案中,完全可能在铁路轨道附近的灰度中对分布函数进行空间限制,使得水平检测线减小到单个区段。还可能在每个水平检测线上将不同的检测区段分配给每根铁轨,例如,在图像质量由于信息的局部损失而降级的情况下。
6.9光流
在每个图像获取中,对有用的视觉线索进行识别和定位,随后与相同的序列中的先前图像的它们的相对应的部分进行匹配,以对图像或光流中的它们的明显的运动进行估计。
光流,即,图像中的灰度的瞬时速度场(或运动场)是3D运动的2D表示。将与运动的方向、运动的速度和深度对应的速度矢量分配给这种表示的每个点。
除了通过图像的强度的暂时的改变来计算光流之外,还可以考虑由各种局部操作因素引起的值的暂时的改变,例如,对比度、熵、图像强度的平均值和空间导数。在每种情况下,对相对密集的光流进行估计,从而在必要的情况下在图像的每个像素处确定运动场。然而,光流从不与真实的运动场对应,这是因为作为其主要误差来源的照明变化反映在计算中。
随后将光流与场景中的额外的约束或信息一起使用,以确定场景中的物体的3D运动参数。
6.10铁路轨道的透视投影的线性模型
在存在于真实场景与图像(视觉场景)之间的二元性关系中,火车机车摄像机模型(图7)的结合能够确定投影中心的坐标以及绝对参考系中的图像平面的中心的坐标。与摄像机相关联的场景的任何点的图像平面中的投影的坐标表示在绝对参考系中,并且随后表示在与摄像机关联的参考系中。
在场景的建模以及交互矩阵的表达方面存在困难,这是图像中的视觉信息变化与实际空间中的摄像机运动之间的关系。
通常,所采用的建模使用非常简单的形式体系,所述形式体系仅实施在图像平面的空间中线性地改变的轨道/车辆组的动态参数。
使左侧铁轨和右侧铁轨的投影特征化的通过参数的卡尔曼滤波的跟踪确保了沿着铁路轨道的相关物体的滚动速度的同步估计。
列车的速度和“行进的距离”最终由相反的透视投影来计算,所述投影确保了简化的铁路轨道模型的3D构建,考虑到轨道/车辆组的某些特征化几何量的实际值的先验知识,对于国家和车辆(轨距规以及车辆的长度)来说是特异性的。
考虑到这些假设,用于对轨道-车辆组的线性变量进行建模的候选参数的实例如下:
-C:铁路轨道的局部曲率;
-ψ:相对于铁路轨道的主要方向的光轴的水平偏转的角度;
-x0:相对于铁路轨道的定线曲线的摄像机的投影中心的横坐标。
这些参数以及列车的速度和“行进距离”是针对图像中的每根铁轨检测操作非常简单地进行计算和更新的。
6.11铁路轨道跟踪算法
a)基于视觉信息的运动控制
对于给定的行程表而言,移动的列车在由铁路铁轨的转换界定的一个方向上移动,而同时它的速度和加速度由驾驶员来控制,驾驶员借助于针对操作的安全性部分(紧急制动)的ETCS的帮助而负责操纵控制。
根据本发明,嵌入在火车机车中的视觉***的运动控制是通过在结构化环境中配适视觉伺服控制算法而获得的。
在由摄像机获得的两个连续的图像之间,在通过传统上在铁路环境中使用的传感器进行测量的情况下,车辆从一个点向另一个点盲目地移动(这就是“观看和移动”结构)。另一方面,视觉伺服控制***的外部输入(或参考)不再以传感器(在此情况下是摄像机)与场景之间的情况的形式来表达,如同在用于场景分析算法的情况下,其中位置、速度以及加速度是在绝对参考系中表示的情况的一些概念。相反,它们用在图像中将要达到的一个参考视觉情况(视觉主题)的形式来表达。在本发明使用的这种类型的算法中,选定的组成这种主题的视觉信息应该达到与分配给车辆的任务的成功执行对应的值。
此形式体系含有跟踪回路,所述回路使用来自最简单的现有图像特征(点、直线段)的视觉信息。此方法能够完全避免解读阶段(即,场景的3D模型的重建阶段)的需求,并且大量地减少计算时间,因为从图像中提取的信息直接用在跟踪回路中。这也消除了情况估计误差以及复杂的计算。此方法使用了场景的某些区域的特征(几何学、拓扑学),所述特征在车辆的整个前进过程中保持了基本上的稳定。
使得移动的列车的速度和“行进距离”永久地具有可靠的且可用的测量的约束要求通过一组概念的卡尔曼滤波的跟踪***和预测的实施,所述概念例如铁路轨道的关注的区域以及一些几何特征(曲率半径、轨距规、对准),其行为被称作通过模型和仍然在内存中的其先前的估计的先验。
b)铁路轨道的跟踪
基于图3的原理,所述方法因此包括用于使模型初始化的步骤E1、用于通过模型对检测区域的位置进行预测的步骤E2、用于对所述区域的每一个中的铁轨进行检测的步骤E3,以及用于基于检测到的铁轨的各个部分的位置对模型的参数进行更新的步骤E4。
初始步骤(E1)能够设定模型的参数的先验。
预测步骤(E2)能够对图像的关注区域进行定位,在所述区域中将沿着铁路轨道检测铁轨和物体。这是通过在先前的迭代中计算的轨道/车辆组的模型来完成的。
通过知道铁路轨道的曲率,很容易预测图像中的铁轨以及物体的位置。通过在此位置周围固定足够大的搜索区域,考虑到由于在先前迭代中计算的速度的近似值造成的建模的误差,能够对铁轨以及物体中的一个的存在进行检测。
表示了导轨和/或沿着导轨的至少一个物体的至少一个几何特征的针对一个或一个以上视觉线索的图像的关注区域(即,图像的一部分)的搜索简化了处理操作。
检测步骤(E3)确保了预测的区域中的铁轨的定位和物体的定位。可以通过经典的方法在多边形或线形形状的关注区域或整个图像中对铁轨进行检测,方法是提取它们的轮廓(轮廓分段)或者铁路轨道的结构的轮廓(基于质地标准的区域分段),随后通过与2D铁路轨道模型进行比较。
由于待检测的铁轨的特定的本质(连续性、充分的对比度以及覆盖了图像的一半以上),实时应用要求做出从图像中的隔开的简单的水平线中进行检测的选择。一个方法是使用基于测量速度选定的少量的检测行。
通过卡尔曼滤波(最小二乘法)从先前的测量中完成了模型参数的更新(E4)。
换言之,本发明的装置偏好简单的模型,所述模型在图像中通过卡尔曼滤波在执行上是非常快速的并且通过跟踪和预测的***对建模误差进行补偿(卡尔曼滤波确保了从图像中提取的一组概念的跟踪和预测,这是基于物体的轮廓的)。卡尔曼滤波具有两个不同的阶段,即,预测阶段(E2)和更新阶段(E4)。预测阶段使用在先前的时刻估计的状态来生成当前状态的估计。在更新阶段中,当前时刻的观察用于对预测的状态进行更正,以获得更加精确的估计。
6.12图像中的明显运动(导航廊道)
沿着火车机车在其上行进的轨道的铁轨的任一侧上的基础设施由纵向元素表示(图11A)。导航廊道由最接近摄像头的两个纵向元素的最底端的图像中的明显的运动来界定(图11B)。
在铁路的情况下,导航廊道是轨道的预先存在的模型的直接结果并且投影到运动中的火车机车上的摄像机的图像平面中。
由图像中的两个运动矢量提供的信息的解读在这些矢量具有相同符号的倾斜度时成为了问题。实际上,在这种情况下,简要的分析并不能精确地确定很好的表示属于轨道的相对侧的物体(杆子)的明显运动的两个矢量。这就是为什么在模糊的情况下(图11C),优选的是仅考虑最接近摄像机的纵向元素来表示导航廊道。
6.13其他方面和变体
在本发明的一项实施例中,本发明的装置实施了模块用于显示对车辆在其中移动的环境进行构建的一个或一个以上元素,并且所述装置用于计算在导轨上移动的车辆的速度和“行进距离”。
所述显示模块是,例如,LCD屏幕,其尤其适用于对环境进行监控。
在一项变体中,实际物体的组的图像可以投影在或者包壳于车辆的挡风玻璃上或位于挡风玻璃的前方的透明的镜子中(这也被称作平视显示器或平视观察器),以在视觉、速度、网络拥堵等特定的情况下构成驾驶辅助。
换言之,显示模块显示了直接从屏幕提取的相关元素以及来自相关元素的处理操作的额外的元素,并且构成了例如驾驶辅助(即,它确保驾驶员做出决策)。这些额外的元素向驾驶员提供了关于移动环境的信息。此信息可以是几何的,例如,在图像中连接两个不同物体的直线和曲线,以及/或者数字的,例如,车辆的速度的值和/或车辆的位置等数据(当驾驶员按某个按钮时这些元素可以可选地进行显示),和/或任何其他类型的信息。
必须注意本发明的原理并不仅仅适用于在导轨上运行的车辆,而且还更加广泛地适用于沿着导轨移动的车辆(例如,磁悬浮列车)。
此外,在上述实施例中描述的本发明的原理也可以在采集设备并不是景象采集设备而是热感摄像机、磁性摄像机或者任何其他类型的摄像机时应用。
必须注意,如上文所述,可以实施由本发明的装置处理的视觉信息的原理,以能够测量在导轨上移动的移动车辆的速度和行进距离,并且还能够在任何时间在任何路面、铁轨或者水路运输网络中对移动车辆进行定位,前提是此网络是按照地图的形式和已知的先验构建的,并且含有关于位置和方向的任何类型的原位信息(标记物、板等)。
在一个特定的实施方式中,本发明的装置的这种应用能够在规划好的路线上进行导航,所述路线的连续的交叉点界定了车辆在其中移动的或者车辆位于的各个局部参考***(或相对参考***)。一旦通过了交叉点“k”,那么新的交叉点“k+1”将会接管并且组成了将要达到的新的目标。
这种定位解决方案是具有多种缺点的GPS***的替代。实际上,借助于GPS***的定位计算连续地取决于卫星信号的接收质量,而卫星信号的接收可能由于较差的接收的外部原因(隧道、廊道、地形因素、不期望的信号、风暴、较高湿度等)而受到打断或干扰,所述打断或干扰是通过故意的或无意的无线电干扰、通过接收被暂时掩蔽期间的操作、通过防止了精确计算的若干卫星的瞬间的对齐(暂时的几何不确定性),或者通过卫星中的事故。
有利地是,本发明的装置的特定应用是用于规划路线的以及用于在已知的由先验构建的结构化运输网络中导航的自主***。如上文所述,此***根据如同本发明的装置的相同的硬件和软件原理计算车辆的位置,这是相对于物理特征和标识符的,除了它们在运输网络中的位置之外,所述标识符含有关于采用的方向、覆盖区域的拓扑学、或者将要采用的行为(转动的方向、速度限制、交通灯)的多条信息。
此应用是基于赛车的副驾驶采用的语言的,使用针对给定路线的地图已知的先验。其实施可以包括用于更新运输网络地图的服务,以及用于地图规划和路线规划的服务,其包含交通的实时信息。
如上文所述,这种应用优选地实施显示模块,以及向使用者提供例如关于遵循的方向或者不要超过的速度的多条信息的声音信号。
Claims (18)
1.一种用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其日日夜夜,无论气候条件如何都是这样做的,其特征在于其包括:
至少一个图像采集设备(4),其传输所述车辆(200)的环境的图像的序列;
用于确定由所述图像采集设备(4)传输的两个图像之间的被称作图元的至少一个视觉线索的明显运动的构件,以确定所述至少一个视觉线索的明显运动,实施:
借助于所述环境的至少一个模型来简化所述图像的构件,确保了所述简化图像中的所述至少一个视觉线索的检测;
用于预测图像区域的构件,在所述图像区域中所述视觉线索将位于随后的图像中;
用于在所述图像区域中提取所述视觉线索中的一个的构件;
用于估计移动的构件,方法是比较当前图像与先前图像中的所述视觉线索的实际位置;
基于所述至少一个视觉线索的所述明显运动对所述车辆(200)的速度和/或位置进行估计的构件。
2.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述至少一个图像采集设备(4)属于包括以下项的组:
景象采集设备;
热感摄像机;
磁性摄像机。
3.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述至少一个视觉线索表示了所述导轨的至少一个几何特征。
4.根据权利要求3所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述导轨的所述几何特征为曲率半径、轨距规和/或对准。
5.根据权利要求4所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述至少一个视觉线索表示沿着所述导轨的至少一个物体的至少一个几何特征。
6.根据权利要求5所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述物体的所述几何特征为杆子的垂直性。
7.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其实施了所述装置(200)的几何模型以及所述图像采集设备(4)的几何模型。
8.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述用于预测的构件和所述用于提取的构件实施了卡尔曼滤波。
9.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其包括适用于生成表示所述图像采集设备(4)的倾斜度的信号的倾斜传感器以及用于以取决于所述生成的信号的角度对所述图像采集设备(4)传输的图像进行旋转的构件。
10.根据权利要求9所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述倾斜传感器实施了Deriche滤波。
11.根据权利要求1至10中任一权利要求所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其实施了将实际空间中的所述图像采集设备(4)的运动与所述图像中的所述至少一个视觉线索的运动联系起来的交互矩阵。
12.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其包括用于对所述图像采集设备(4)进行校准的构件。
13.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其包括用于显示所述图像采集设备(4)传输的所述环境的图像的构件。
14.根据权利要求13所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于所述图像是显示在至少一个LCD屏幕上的,所述屏幕位于所述车辆的挡风玻璃上或者位于所述车辆的所述挡风玻璃之前的透明的镜子上。
15.根据权利要求1所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其包括用于输入给定路线的构件。
16.根据权利要求15所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其包括用于储存运输网络的至少一幅地图的构件。
17.根据权利要求15或16所述的用于测量沿导轨移动的车辆(200)的速度和/或位置的装置(100),其特征在于其包括用于指示所述车辆(200)的地理位置的构件。
18.一种用于测量沿导轨移动的车辆(200)的速度和/或位置的方法,其日日夜夜,无论气候条件如何,其特征在于其包括以下步骤:
借助于图像采集设备(4)获得所述车辆的环境的图像的序列;
确定在由所述图像采集设备(4)传输的两个图像之间的被称作图元的至少一个视觉线索的明显运动,以确定所述至少一个视觉线索的明显运动,其包括以下步骤:
借助于所述环境的至少一个模型来简化所述图像,确保了所述简化图像中的所述至少一个视觉线索的检测;
对图像区域进行预测,在所述图像区域中所述视觉线索将位于下一个图像中;
在所述图像区域中提取所述视觉线索中的一个;
对移动进行估计,方法是比较当前图像与先前图像中的所述视觉线索的实际位置;
从所述至少一个视觉线索的所述明显的运动中估计所述车辆的速度和/或位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1155053A FR2976355B1 (fr) | 2011-06-09 | 2011-06-09 | Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant. |
FR1155053 | 2011-06-09 | ||
PCT/EP2012/060880 WO2012168424A1 (fr) | 2011-06-09 | 2012-06-08 | Dispositif de mesure de vitesse et de position d'un véhicule se déplaçant le long d'une voie de guidage, procédé et produit programme d'ordinateur correspondant |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103733077A CN103733077A (zh) | 2014-04-16 |
CN103733077B true CN103733077B (zh) | 2015-04-29 |
Family
ID=46331287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280034122.1A Expired - Fee Related CN103733077B (zh) | 2011-06-09 | 2012-06-08 | 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9221481B2 (zh) |
EP (1) | EP2718730B1 (zh) |
JP (1) | JP6301828B2 (zh) |
CN (1) | CN103733077B (zh) |
AU (1) | AU2012266261B2 (zh) |
CA (1) | CA2839984C (zh) |
EA (1) | EA024891B1 (zh) |
ES (1) | ES2562992T3 (zh) |
FR (1) | FR2976355B1 (zh) |
PL (1) | PL2718730T3 (zh) |
WO (1) | WO2012168424A1 (zh) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI338640B (en) * | 2008-10-28 | 2011-03-11 | Wistron Corp | Image recording systems and related recording methods for recording moving image of the vehicle, and machine readable medium thereof |
CA2850395C (en) * | 2011-09-30 | 2019-11-19 | Siemens S.A.S. | Method and system for determining the availability of a lane for a guided vehicle |
CN102419082A (zh) * | 2011-12-23 | 2012-04-18 | 广东工业大学 | 一种无线传感智能烘干装置 |
US10678259B1 (en) * | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
JP2015033241A (ja) * | 2013-08-02 | 2015-02-16 | 株式会社東芝 | 駆動力許可指令装置、インバータ制御装置、車両制御装置、鉄道車両及び駆動力許可指令方法 |
KR101507242B1 (ko) * | 2013-10-21 | 2015-03-31 | 포항공과대학교 산학협력단 | 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법 |
US9387867B2 (en) * | 2013-12-19 | 2016-07-12 | Thales Canada Inc | Fusion sensor arrangement for guideway mounted vehicle and method of using the same |
US9327743B2 (en) * | 2013-12-19 | 2016-05-03 | Thales Canada Inc | Guideway mounted vehicle localization system |
WO2015162910A1 (ja) * | 2014-04-24 | 2015-10-29 | パナソニックIpマネジメント株式会社 | 車載用表示装置、車載用表示装置の制御方法、プログラム |
GB2527330A (en) * | 2014-06-18 | 2015-12-23 | Gobotix Ltd | Railway vehicle position and specific track location, provided by track and point detection combined with optical flow, using a near-infra-red video camera |
CN105277735B (zh) * | 2014-07-24 | 2019-01-29 | 南车株洲电力机车研究所有限公司 | 一种轨道列车速度和位移的检测方法和装置 |
EP3040726A1 (en) * | 2014-12-29 | 2016-07-06 | General Electric Company | Method and system to determine vehicle speed |
WO2016126492A1 (en) | 2015-02-08 | 2016-08-11 | Hyperloop Technologies, Inc. | Deployable decelerator |
CA2975711A1 (en) | 2015-02-08 | 2016-08-11 | Hyperloop Technologies, Inc | Transportation system |
CN107466444B (zh) | 2015-02-08 | 2019-05-17 | 超级高铁技术公司 | 动态直线定子段控制 |
CA2977730C (en) * | 2015-03-05 | 2018-04-03 | Thales Canada Inc. | Guideway mounted vehicle localization system |
DE102015204437A1 (de) | 2015-03-12 | 2016-09-15 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zum Ermitteln eines Signalbegriffes für ein Schienenfahrzeug |
JP6494103B2 (ja) * | 2015-06-16 | 2019-04-03 | 西日本旅客鉄道株式会社 | 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム |
FR3040676B1 (fr) * | 2015-09-09 | 2017-10-13 | Clearsy | Systeme de localisation des trains le long des voies d'un reseau ferroviaire |
KR102457617B1 (ko) * | 2015-09-16 | 2022-10-21 | 한화테크윈 주식회사 | 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체 |
KR102331538B1 (ko) | 2015-09-16 | 2021-11-26 | 한화테크윈 주식회사 | 영상 안정화 방법, 장치 및 컴퓨터 기록매체 |
CN108702122B (zh) | 2015-10-29 | 2022-06-21 | 超级高铁技术公司 | 变频驱动*** |
US10136106B2 (en) | 2015-11-30 | 2018-11-20 | Progress Rail Locomotive Inc. | Train asset tracking based on captured images |
US10029372B2 (en) | 2015-12-11 | 2018-07-24 | General Electric Company | Control system and method for brake bleeding |
CN106204634B (zh) * | 2016-06-22 | 2019-07-09 | 广东警官学院 | 一种通过监控视频或车载摄像头测量汽车速度的方法 |
US10127461B2 (en) * | 2016-08-12 | 2018-11-13 | Here Global B.V. | Visual odometry for low illumination conditions using fixed light sources |
US9816822B1 (en) | 2016-09-30 | 2017-11-14 | X Development Llc | Assisted roadmap generation |
DE102016220651A1 (de) | 2016-10-20 | 2018-04-26 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug |
CN106506516B (zh) * | 2016-11-24 | 2019-11-08 | 西南交通大学 | 一种磁悬浮列车控制*** |
DE102016223391A1 (de) * | 2016-11-25 | 2018-05-30 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug |
US10152635B2 (en) | 2017-01-24 | 2018-12-11 | Here Global B.V. | Unsupervised online learning of overhanging structure detector for map generation |
EP3589527A4 (en) | 2017-02-28 | 2020-02-19 | Thales Canada Inc. | GUIDANCE-MOUNTED VEHICLE LOCATION SYSTEM |
US10260890B2 (en) | 2017-04-21 | 2019-04-16 | X Development Llc | Aisle-based roadmap generation |
WO2019006361A1 (en) | 2017-06-30 | 2019-01-03 | Hyperloop Technologies, Inc. | ACTIVE CONTROL SYSTEM |
MX2020000267A (es) * | 2017-07-06 | 2020-07-22 | Skytran Inc | Corrección de la trayectoría de un vehículo con respecto a una trayectoria de vuelo magnético proyectada. |
DE102017212955A1 (de) * | 2017-07-27 | 2019-01-31 | Siemens Aktiengesellschaft | Ermittlung der Geschwindigkeit eines Schienenfahrzeugs mit Hilfe einer bordeigenen Kamera |
US20200172135A1 (en) * | 2017-08-10 | 2020-06-04 | Siemens Mobility GmbH | Sensor-controlled adjustment of odometric measurement parameters to weather conditions |
GB201714289D0 (en) * | 2017-09-06 | 2017-10-18 | Simworx Ltd | Modelling systems and methods for entertainment rides |
NL2020072B1 (en) | 2017-12-12 | 2019-06-19 | Laser Tribology B V | System for assessment of traction between a rail and a wheel and method for assessment of the same |
US10733402B2 (en) | 2018-04-11 | 2020-08-04 | 3M Innovative Properties Company | System for vehicle identification |
JP7140849B2 (ja) * | 2018-05-31 | 2022-09-21 | ニッサン ノース アメリカ,インク | 確率的オブジェクト追跡及び予測フレームワーク |
DE102018211329A1 (de) * | 2018-07-10 | 2020-01-16 | Robert Bosch Gmbh | Verfahren zur Wegstreckenmessung sowie System zur Wegstreckenmessung |
DE102018215697A1 (de) | 2018-09-14 | 2020-03-19 | Siemens Mobility GmbH | Automatisiertes fahrzeugseitiges Steuerungssystem für ein Schienenfahrzeug |
US11332172B2 (en) * | 2018-10-09 | 2022-05-17 | Westinghouse Air Brake Technologies Corporation | Method of wheel calibration |
US11004228B2 (en) * | 2018-11-16 | 2021-05-11 | Westinghouse Air Brake Technologies Corporation | Image based train length determination |
US10637579B1 (en) * | 2019-01-18 | 2020-04-28 | X Development Llc | Power adjustment of a communication link based on state disturbance estimations |
FR3094511B1 (fr) * | 2019-03-25 | 2021-04-09 | Alstom Transp Tech | Procédé d’acquisition de données capturées par un module de capture embarqué dans un engin mobile suivant une trajectoire prédéterminée, programme d’ordinateur et dispositif correspondants |
CN110017849B (zh) * | 2019-04-18 | 2020-12-22 | 菲曼(北京)科技有限公司 | 一种基于gnss接收机和imu传感器的测绘一体机的倾斜测量方法 |
WO2020246202A1 (ja) * | 2019-06-03 | 2020-12-10 | 国立大学法人東京大学 | 計測システム、計測方法、及び計測プログラム |
CN110196065A (zh) * | 2019-06-04 | 2019-09-03 | 北京磁浮交通发展有限公司 | 一种磁悬浮列车的速度测算和里程计算方法及*** |
EP4045379A4 (en) | 2019-10-17 | 2024-03-13 | Thales Canada Inc. | SIGNAL APPEARANCE APPLICATION |
WO2021100018A1 (en) * | 2019-11-20 | 2021-05-27 | Thales Canada Inc. | High-integrity object detection system and method |
RU2730398C1 (ru) * | 2019-12-25 | 2020-08-21 | Федеральное государственное бюджетное научное учреждение "Федеральный исследовательский центр Институт прикладной физики Российской академии наук" (ИПФ РАН) | Способ измерения линейности скорости и контроля её неравномерности |
CN111291449B (zh) * | 2020-01-14 | 2023-06-27 | 华强方特(深圳)智能技术有限公司 | 一种有轨差速游览车运动模拟方法和*** |
US11367347B2 (en) | 2020-02-24 | 2022-06-21 | Ford Global Technologies, Llc | Enhanced sensor operation |
CN111452841A (zh) * | 2020-04-13 | 2020-07-28 | 江苏飞梭智行设备有限公司 | 用于并轨或分轨区域的轨道车控制***和方法 |
WO2022053958A1 (en) * | 2020-09-09 | 2022-03-17 | Louw Andries Auret | Vehicle position monitoring system |
CN112258547B (zh) * | 2020-10-19 | 2022-09-20 | 郑州轻工业大学 | 基于逆透视投影变换和跟车模型的车辆三维轨迹优化方法 |
CN113002595B (zh) * | 2021-03-19 | 2023-09-08 | 通号通信信息集团有限公司 | 一种列车追踪方法及*** |
DE102021203898A1 (de) * | 2021-04-20 | 2022-10-20 | Siemens Mobility GmbH | Sensoranordnung und Verfahren zur Positionsbestimmung für ein Schienenfahrzeug |
WO2022261134A1 (en) * | 2021-06-10 | 2022-12-15 | Photogauge, Inc. | System and method for digital-representation-based flight path planning for object imaging |
CN114494329B (zh) * | 2022-04-15 | 2022-07-26 | 之江实验室 | 用于移动机器人在非平面环境自主探索的导引点选取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2673901A1 (fr) * | 1991-03-13 | 1992-09-18 | Inrets | Procede de localisation d'un vehicule roulant sur une voie de guidage et installation de localisation equipant un tel vehicule. |
WO2007091072A1 (en) * | 2006-02-07 | 2007-08-16 | Richard Shenton | System for measuring speed and/or position of a train |
CN101842661A (zh) * | 2007-11-07 | 2010-09-22 | 电子地图有限公司 | 将范围传感器数据映射在图像传感器数据上的方法及布置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0393772U (zh) * | 1990-01-12 | 1991-09-25 | ||
DE19746970B4 (de) | 1997-10-24 | 2017-03-16 | Alcatel Lucent | Verfahren zur Erkennung von Hindernissen vor Schienenfahrzeugen |
JP2000030198A (ja) * | 1998-07-14 | 2000-01-28 | Mitsubishi Motors Corp | 車両用道路形状認識装置 |
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
DE10104946B4 (de) | 2001-01-27 | 2005-11-24 | Peter Pohlmann | Verfahren und Vorrichtung zur Bestimmung der aktuellen Position und zur Überwachung des geplanten Weges eines Objektes |
JP2003294422A (ja) * | 2002-03-28 | 2003-10-15 | Fuji Heavy Ind Ltd | 対象物認識装置および対象物認識方法 |
DE10244127A1 (de) | 2002-09-27 | 2004-04-08 | Siemens Ag | Sensorsystem zur Fahrwegüberwachung für eine autonome mobile Einheit, Verfahren sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Überwachung eines Fahrwegs für eine autonome mobile Einheit |
KR100471268B1 (ko) * | 2002-10-28 | 2005-03-10 | 현대자동차주식회사 | 차간거리 측정 방법 |
US7446798B2 (en) * | 2003-02-05 | 2008-11-04 | Siemens Corporate Research, Inc. | Real-time obstacle detection with a calibrated camera and known ego-motion |
US7764808B2 (en) | 2003-03-24 | 2010-07-27 | Siemens Corporation | System and method for vehicle detection and tracking |
US20040221790A1 (en) * | 2003-05-02 | 2004-11-11 | Sinclair Kenneth H. | Method and apparatus for optical odometry |
JP4218952B2 (ja) * | 2003-09-30 | 2009-02-04 | キヤノン株式会社 | データ変換方法及び装置 |
JP2005227055A (ja) * | 2004-02-12 | 2005-08-25 | Tokyo Metropolitan Sewerage Service Corp | 管渠内画像中のクラック抽出方法 |
WO2005120924A1 (en) | 2004-06-11 | 2005-12-22 | Stratech Systems Limited | Method and system for rail track scanning and foreign object detection |
DE102005029956A1 (de) | 2004-06-29 | 2006-02-02 | Ferdinand Weuste | Vorrichtung zur Vermeidung von Entgleisung, insbesondere für angetriebene, schienengebundene Fahrzeuge |
DE102004060402A1 (de) * | 2004-12-14 | 2006-07-13 | Adc Automotive Distance Control Systems Gmbh | Verfahren und Vorrichtung zur Ermittlung einer Fahrzeuggeschwindigkeit |
JP2007228154A (ja) * | 2006-02-22 | 2007-09-06 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
US7561989B2 (en) * | 2006-04-04 | 2009-07-14 | Procise | Extracting performance metrics from images |
WO2009001512A1 (ja) * | 2007-06-27 | 2008-12-31 | Panasonic Corporation | 撮像装置、方法、システム集積回路、及びプログラム |
DE102007056528B3 (de) * | 2007-11-16 | 2009-04-02 | Seereal Technologies S.A. | Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren |
JP5109074B2 (ja) | 2008-02-29 | 2012-12-26 | クラリオン株式会社 | 車両速度判定装置および車両速度判定方法 |
EP2209091B1 (en) * | 2009-01-16 | 2012-08-08 | Honda Research Institute Europe GmbH | System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system |
DE102009006085A1 (de) | 2009-01-26 | 2010-07-29 | Voith Patent Gmbh | Verfahren zur Erfassung von Streckendaten |
JP5030983B2 (ja) * | 2009-02-10 | 2012-09-19 | 株式会社日立製作所 | 列車の停止検知システム並びに列車の移動速度及び位置検出システム |
JP5649298B2 (ja) * | 2009-11-05 | 2015-01-07 | 三菱重工業株式会社 | 対象物検出装置および対象物検出方法 |
-
2011
- 2011-06-09 FR FR1155053A patent/FR2976355B1/fr not_active Expired - Fee Related
-
2012
- 2012-06-08 EA EA201301322A patent/EA024891B1/ru not_active IP Right Cessation
- 2012-06-08 EP EP12729087.2A patent/EP2718730B1/fr active Active
- 2012-06-08 CN CN201280034122.1A patent/CN103733077B/zh not_active Expired - Fee Related
- 2012-06-08 JP JP2014514087A patent/JP6301828B2/ja not_active Expired - Fee Related
- 2012-06-08 CA CA2839984A patent/CA2839984C/en active Active
- 2012-06-08 ES ES12729087.2T patent/ES2562992T3/es active Active
- 2012-06-08 US US14/123,922 patent/US9221481B2/en not_active Expired - Fee Related
- 2012-06-08 PL PL12729087T patent/PL2718730T3/pl unknown
- 2012-06-08 AU AU2012266261A patent/AU2012266261B2/en not_active Ceased
- 2012-06-08 WO PCT/EP2012/060880 patent/WO2012168424A1/fr active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2673901A1 (fr) * | 1991-03-13 | 1992-09-18 | Inrets | Procede de localisation d'un vehicule roulant sur une voie de guidage et installation de localisation equipant un tel vehicule. |
WO2007091072A1 (en) * | 2006-02-07 | 2007-08-16 | Richard Shenton | System for measuring speed and/or position of a train |
CN101842661A (zh) * | 2007-11-07 | 2010-09-22 | 电子地图有限公司 | 将范围传感器数据映射在图像传感器数据上的方法及布置 |
Also Published As
Publication number | Publication date |
---|---|
AU2012266261B2 (en) | 2016-04-07 |
EP2718730B1 (fr) | 2015-11-18 |
FR2976355B1 (fr) | 2013-06-21 |
EA024891B1 (ru) | 2016-10-31 |
FR2976355A1 (fr) | 2012-12-14 |
CA2839984C (en) | 2017-10-03 |
JP2014522495A (ja) | 2014-09-04 |
CN103733077A (zh) | 2014-04-16 |
ES2562992T3 (es) | 2016-03-09 |
US9221481B2 (en) | 2015-12-29 |
AU2012266261A1 (en) | 2014-01-30 |
CA2839984A1 (en) | 2012-12-13 |
PL2718730T3 (pl) | 2016-05-31 |
US20150008294A1 (en) | 2015-01-08 |
EA201301322A1 (ru) | 2014-09-30 |
EP2718730A1 (fr) | 2014-04-16 |
JP6301828B2 (ja) | 2018-03-28 |
WO2012168424A1 (fr) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103733077B (zh) | 用于测量沿着导向轨道移动的车辆的速度和位置的装置、及其对应的方法和计算机程序产品 | |
US11940290B2 (en) | Virtual stop line mapping and navigation | |
US11814079B2 (en) | Systems and methods for identifying potential communication impediments | |
US20230382422A1 (en) | Systems and methods for vehicle navigation | |
US11573090B2 (en) | LIDAR and rem localization | |
US20210063162A1 (en) | Systems and methods for vehicle navigation | |
US20230005374A1 (en) | Systems and methods for predicting blind spot incursions | |
AU2017300097A1 (en) | Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation | |
US20220035378A1 (en) | Image segmentation | |
EP4042109A1 (en) | Systems and methods for vehicle navigation | |
US20230159050A1 (en) | Systems and methods for vehicle speed and lateral position control | |
WO2020174279A2 (en) | Systems and methods for vehicle navigation | |
US20220351526A1 (en) | Multi-frame image segmentation | |
US20230127230A1 (en) | Control loop for navigating a vehicle | |
US20230202473A1 (en) | Calculating vehicle speed for a road curve | |
US20230206608A1 (en) | Systems and methods for analyzing and resolving image blockages | |
US20230341239A1 (en) | Systems and methods for road segment mapping | |
US20230109164A1 (en) | System and method for vehicle-based localizing of offboard features | |
US12030502B2 (en) | Road vector fields | |
US20240029446A1 (en) | Signature network for traffic sign classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150429 |
|
CF01 | Termination of patent right due to non-payment of annual fee |