CN102700548A - 具有前摄像机和后摄像机的稳健的车辆侧向控制 - Google Patents
具有前摄像机和后摄像机的稳健的车辆侧向控制 Download PDFInfo
- Publication number
- CN102700548A CN102700548A CN2011102579886A CN201110257988A CN102700548A CN 102700548 A CN102700548 A CN 102700548A CN 2011102579886 A CN2011102579886 A CN 2011102579886A CN 201110257988 A CN201110257988 A CN 201110257988A CN 102700548 A CN102700548 A CN 102700548A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- data
- main vehicle
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 230000008676 import Effects 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 abstract description 3
- 238000006073 displacement reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 15
- 239000002245 particle Substances 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 229910003460 diamond Inorganic materials 0.000 description 4
- 239000010432 diamond Substances 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000003595 mist Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000206761 Bacillariophyta Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
- B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
- B60W30/165—Automatically following the path of a preceding lead vehicle, e.g. "electronic tow-bar"
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及具有前摄像机和后摄像机的稳健的车辆侧向控制,具体地,一种用于闭环车辆侧向控制的方法和***,其使用来自前和后摄像机的图像数据和关于领先车辆的位置信息作为输入。主车辆包括在前面和后面处的摄像机,其主要目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括数字地图***和用于感测行驶在主车辆前面的车辆的位置的***。开发一种控制策略,其使主车辆转向以最小化主车辆的路线与车道参考路线的偏离,其中车道参考路线是由从前和后摄像机图像及从其它输入所提取的车道边界计算的。控制策略应用前馈和反馈部件,并使用卡尔曼滤波器估算主车辆的状态向量。
Description
技术领域
本发明总的来说涉及一种用于车辆的侧向控制方法和***,更具体地,涉及一种用于主车辆的侧向控制方法和***,其使用来自前摄像机和后摄像机的图像数据、数字地图、和关于领先车辆的位置的信息来使得能够闭环控制主车辆的转向以便跟随道路参考路线。
背景技术
许多现代车辆包括用于各种目的的车载摄像机。一个普遍应用是前视摄像机,其可以提供图像以用在防撞***、车道偏离警告***、侧向控制***、或者这些或其它***的组合中。然而,可能出现阻止从前视摄像机获得良好的图像的情况。这些情况包括在近距离处的阻挡大部分摄像机视野的领先车辆、以及使摄像机图像模糊的低能见度天气情况,例如雨和雾。在这些情况下,当不能从前视摄像机获取可用的图像时,依赖于摄像机的图像作为输入的***不能运行。
同时,许多较新的车辆还装备有后视摄像机,其通常仅用作备用辅助设备,例如为驾驶员提供视频图像以便看见车后(情况)。虽然这些后视摄像机一般具有比用于其它图像数据采集目的更充足的分辨率和视野,但是直到现在它们还没有被用来为车道位置和侧向控制应用补充来自前视摄像机的图像。
这就有机会使用来自后视摄像机的可用的图像数据,并将其与来自前视摄像机和其它传感器的图像数据结合,来提供更加稳健的侧向控制***。得到的双摄像机***不仅在正常情况下充分利用更多的输入数据,而且当情况不利于前视成像时提供可用的图像数据源以允许***的运行。
发明内容
根据本发明的教导,公开了一种用于闭环车辆侧向控制的方法和***,其使用来自前和后摄像机的图像数据、数字地图、和关于领先车辆的位置信息作为输入。主车辆包括位于前面和后面处的摄像机,其主要目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括数字地图***和用于检测行驶在主车辆前的车辆位置的***。开发一种控制策略,其使主车辆转向以使主车辆的路线与车道参考路线的偏离最小,其中车道参考路线是由从前和后摄像机图像及从其它输入所提取的车道边界计算的。该控制策略使用前馈和反馈部件,并使用卡尔曼滤波器来估算主车辆的状态变量。
从下边的描述和随附权利要求并结合附图,本发明的额外特征是显而易见的。
本发明还提供以下技术方案:
1.一种用于提供主车辆的侧向控制的方法,所述方法包括:
提供来自主车辆车载的前视摄像机的图像数据;
提供来自主车辆车载的后视摄像机的图像数据;
提供来自数字地图***的与主车辆正在行驶的道路有关的数据;
提供来自主车辆车载的领先车辆位置***的关于领先车辆的数据,其中领先车辆是道路上主车辆前边的车辆;和
通过使用来自前视摄像机和后视摄像机的图像数据和来自数字地图***和领先车辆位置***的数据,计算为控制主车辆以维持在道路上的路线所需的转向输入,并且将所述转向输入提供到主车辆中的转向致动器。
2.根据技术方案1的方法,其中,提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。
3.根据技术方案1的方法,其中,提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。
4.根据技术方案1的方法,其中,提供关于领先车辆的数据包括提供领先车辆相对于主车辆的纵向偏移、侧向偏移、和航向角。
5.根据技术方案1的方法,其中,计算为控制主车辆所需的转向输入包括基于来自摄像机的图像数据和来自数字地图***和领先车辆位置***的数据计算前馈项。
6.根据技术方案1的方法,其中,计算为控制主车辆所需的转向输入包括基于车辆动态响应参数计算反馈线性化项。
7.一种用于提供主车辆的侧向控制的方法,所述方法包括:
提供来自主车辆车载的前视摄像机的图像数据;
提供来自主车辆车载的后视摄像机的图像数据;
提供来自主车辆车载的车辆动态传感器的数据;
提供来自数字地图***的与主车辆正在行驶的道路有关的数据;
提供来自主车辆车载的领先车辆位置***的关于领先车辆的数据,其中领先车辆是道路上主车辆前边的车辆;
通过使用来自前视摄像机和后视摄像机的图像数据和来自车辆动态传感器、数字地图***和领先车辆位置***的数据,计算为控制主车辆以维持在道路上的路线所需的转向输入
将所述转向输入提供到主车辆中的转向致动器,以及
估算主车辆的动态响应。
8.根据技术方案7的方法,其中,提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。
9.根据技术方案7的方法,其中,提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。
10.根据技术方案7的方法,其中,提供来自车辆动态传感器的数据包括提供主车辆的速度和横摆率。
11.根据技术方案7的方法,其中,提供关于领先车辆的数据包括提供领先车辆相对于主车辆的纵向偏移、侧向偏移、和航向角。
12.根据技术方案7的方法,其中,计算为控制主车辆所需的转向输入包括基于来自摄像机的图像数据和来自车辆动态传感器、数字地图***和领先车辆位置***的数据计算前馈项。
13.根据技术方案7的方法,其中,计算为控制主车辆所需的转向输入包括基于车辆的动态响应参数计算反馈线性化项。
14.根据技术方案7的方法,其中,估算主车辆的动态响应包括使用卡尔曼滤波器方法来估算主车辆的一组状态变量。
15.一种用于提供主车辆的侧向控制的***,所述***包括:
第一摄像机,用于捕获来自主车辆的前视图像;
第二摄像机,用于捕获来自主车辆的后视图像;
主车辆车载的多个车辆动态传感器,用于提供关于主车辆的运动的数据;
数字地图,用于提供关于主车辆行驶的道路的信息;
主车辆车载领先车辆位置子***,所述领先车辆位置子***提供关于领先车辆相对于主车辆的位置的数据;和
处理器,其配置为接收来自摄像机、车辆动态传感器、数字地图、和领先车辆位置子***的数据,所述处理器计算为控制主车辆以维持在道路上的路线所需的转向输入。
16.根据技术方案15的***,其中,来自第一摄像机和第二摄像机的图像提供关于道路的车道边界的位置的数据,包括路缘和车道线。
17.根据技术方案15的***,其中,车辆动态传感器包括速度传感器和横摆率传感器。
18.根据技术方案15的***,其中,领先车辆位置子***提供领先车辆相对于主车辆的纵向位移、侧向位移、航向角。
19.根据技术方案15的***,其中,处理器包括使用卡尔曼滤波器方法估算主车辆的动态响应的模块,并在用于计算转向输入的反馈线性化项中使用主车辆的动态响应。
20.根据技术方案15的***,其中,处理器还包括用于计算前馈项的模块,所述前馈项用于计算转向输入。
附图说明
图1是使用前和后摄像机及其它输入源的车辆侧向控制***的框图;
图2是主车辆的侧向控制的双轮车模型的示图;
图3是显示了侧向控制模型的多种关键参数的主车辆的示图;
图4是示出如何实施车辆侧向控制模型的控制框图;
图5是使用双摄像机车道融合方法的车辆侧向控制的***框图;
图6是使用来自双摄像机的输入的车道融合***的第一实施例的框图;
图7是使用来自双摄像机的输入的车道融合***的第二实施例的框图;
图8是示出对于已经检测到若干短线和一条长弧的场景的车道线表达的示例的示图;
图9是示出了如何计算主车辆相对于车道边界的位移的直方图;
图10是用在图7的车道追踪模块中的卡尔曼滤波器追踪方法的流程图;以及
图11是用在图7的车道追踪模块中的粒子滤波器追踪方法的流程图。
具体实施方式
下面关于使用前和后摄像机的稳健的车辆侧向控制方法的本发明实施方式的讨论实质上仅仅是示例性的,其决不是为了限制本发明或其应用或使用。
许多现代车辆包括前视摄像机,和在应用例如车道偏离警告和侧向控制辅助中使用来自前视摄像机的图像数据的***。然而,来自前视摄像机的图像可能被领先车辆妨碍,或者被阳光、雾、雨、或雪遮蔽,其降低了依赖于图像的应用的可靠性。假定增加可用的后视摄像机,所述后视摄像机经常主要用作备用辅助设备,则使用后视摄像机图像数据作为前视摄像机图像数据的补充是很有意义的。与GPS和数字地图数据、车辆动态传感器、和基于雷达的或能够检测道路上主车辆前边的车辆的其它***一起,前视和后视摄像机图像能够使用在高级应用中以提高安全和车辆控制。
在一种方法中,数据源直接用在车辆侧向控制应用中。图1是通过使用前视和后视摄像机和其它数据源用于车辆的侧向控制的***10的框图。如下面将要讨论的,***10使用来自前视摄像机12和后视摄像机14的图像数据。领先车辆位置***16,其可以是长距离雷达(LRR)或其它类型的***,追踪领先车辆的位置,以便估计道路的路线。来自基于GPS的导航***或数字地图18的道路曲率信息为***10提供了另一个数据源。来自前视摄像机12、后视摄像机14、领先车辆位置***16和数字地图18的输入都由车辆侧向控制模块20使用,该控制模块20的运行将在下面详细讨论。
图2是用于车辆侧向控制的双轮车(bicycle)模型30的示图,其通过在车辆的中心线处将每个车轴的两个轮子并成一个轮得到。图3是控制模型40的示图,控制模型40向双轮车模型30增加更多细节。在图2和图3中相同的部件和尺度共用相同的参考标记,这将一起讨论。下面的表提供了图2和3中所示出的部件和尺度的索引,包括其参考标记和描述。
主车辆50是双轮车模型30和控制模型40的对象,其在车辆侧向控制模块20中使用。主车辆50在双轮车模型30中由前轮胎52、轮轮胎54和重心点56表示。主车辆50被假定装备有横摆率传感器(未示出)和对于获知其纵向和侧向速度必要的其它传感器。
假定车道参考路线60是具有曲率κ的环状车道路线的中心线,其由数字地图18估算得出。对于在双轮车模型30内所考虑的增进的侧向控制***,主车辆50与车道参考路线60的侧向位移分别通过前视摄像机12和后视摄像机14测量为前侧向位移ΔyF和尾部侧向位移ΔyT。所述位移测量值通过在重心点56前的纵向距离dF和重心点56后的距离dT处的摄像机获得。距离dF和dT是时间变量,并且依赖于由摄像机12和14检测到的车道标记的质量、领先和跟随车辆的遮断和照明条件。
主车辆50上的领先车辆位置***16可以检测领先目标车辆80,并提供其纵向距离XO,侧向距离YO,和航向角θO。只有主车辆50前紧邻的并且在距离阈值(例如50m)内的车辆被认为是领先目标车辆80。双轮车模型30中的其它车辆参数分别是前桥和后桥与重心点56的距离lF和lT。三个主车辆状态变量还被示出为:车辆侧向速度vyH,车辆纵向速度vxH,和车辆横摆率ωH。前轮转向角δF是由侧向控制***20控制的自动转向***的输入。
车辆路线100描述了主车辆50当前跟随的路线,行驶线路102表示通过主车辆50的中心线的直线。距离αO是在前向距离XO处行驶线路102与车辆路线100之间的侧向偏移。距离εO是在前向距离XO处车辆路线100与车道参考路线60之间的侧向偏移。距离αF是在前向距离dF处行驶线路102与车辆路线100之间的侧向偏移。距离εF是在前向距离dF处车辆路线100与车道参考路线60之间的侧向偏移。距离αT是在后向距离dT处行驶线路102与车辆路线100之间的侧向偏移。距离εT是在后向距离dT处车辆路线100与车道参考路线60之间的侧向偏移。
在前向距离dF处相对于车道参考路线切线的车辆方位,由角度θF表示,而在后向距离dT处相对于车道参考路线切线的车辆方位,由角度θT表示。
除了双轮车模型30和控制模型40中示出的元素和尺度外,还必须定义下面的符号:m=主车辆50的总质量;Iω=主车辆50绕重心点56的总惯性;l=前桥与后桥之间的距离,(l=lF+lT);和cF,cT=分别是前轮胎52和后轮胎4的转弯刚度。
侧向车辆动态的线性化的双轮车状态空间模型可以写为:
捕获由于主车辆50的运动造成的前视摄像机测量值的变化和道路几何图形的改变的状态空间方程式是:
类似地,捕获由于主车辆50的运动造成的后视摄像机测量值的变化和道路几何图形的改变的状态空间方程式是:
假定领先目标车辆80跟随车道参考路线60的中心线,因此捕获由于主车辆50的运动造成的雷达测量值的变化和道路几何图形的改变的状态空间方程式是:
方程式(1)-(7)中描述的车辆侧向动态、前摄像机动态、后摄像机动态、和领先目标车辆动态可以结合成以下形式的单个动态***:
或者简写为:
使 表示通过横摆率传感器、前视摄像机12、后视摄像机14、和领先车辆位置***16所观测到的动态***的输出。该观测方程式可以写作y=o(x)。
参考图3的车道参考路线60和车辆路线100,侧向控制模块20的目标是通过调整在距离dF、dT和XO处车道参考路线60(即,ΔyF,ΔyT和YO)与车辆路线100(即,αF,αT和αO)之间的侧向差来追踪道路,其中距离dF,dT和XO是分别通过前视摄像机12、后视摄像机14和领先车辆位置***16测量的。也就是,控制目标是最小化:
J=wFεF-wTεT+wOεO (9)
其中εF=ΔyF-αF,εT=ΔyT-αT和εO=YO-αO是标准化为正加权,使得wF+wT+wO=1。
那么方程式(9)可以写作:
J=h(x) (10)
反馈线性化是在控制非线性***中使用的普遍方法。该方法包括通过改变变量和合适的控制输入提出将非线性***变形为等效的线性***。对于双轮车模型30来说该技术的应用不是线性化因为双轮车模型30经是线性的。但是该技术可以应用于使得双轮车模型30独立于主车辆的纵向速度vxH。
通过使方程式(10)相对于时间微分2次来线性化方程式(8)和(10)所表示的***所需的控制率如下:
使用下面的状态反馈控制律:
u=-k1z1-k2z2 (13)
因此,通过适当的选择k1和k2,可以设计出具有在左半开复平面中的特征矢量A的稳定的车道追踪***。
如图1所示,数字地图18为侧向控制模块20提供输入,包括估算的车道曲率κ,其可以用作前馈控制策略的一部分。通过让 追踪车道曲率κ的转向输入δfwd可以从方程式(1)-(3)计算为:
当进入和离开曲线时,该方程式(14)的前馈分量可以加入到方程式(11)和(13)中的上述所导出控制律中以改善主车辆50的瞬态性能。
图4是表示如何实现上面描述的车辆侧向控制策略的控制框图140。该控制方法内的步骤概述如下:
1)在方框142中,数字地图18提供线路152上的车道曲率κ的估算。
2)在方框144中,车辆动态传感器提供线路154上的车辆前向速度vxH和横摆率ωH测量值。
3)在方框146中,前视摄像机12提供线路156上的车道方位θF、侧向位移ΔyF、和纵向距离的测量值,其中纵向距离的测量值取为dF。
4)在方框148中,后视摄像机14提供线路158上的车道方位θT、侧向位移ΔyT、和纵向距离的测量值,其中纵向距离的测量值取为dT。
5)在方框150中,领先车辆位置***16提供线路160上的领先目标车辆位置,即纵向偏移XO,侧向偏移YO,和行驶方向θO。
6)线路152-160上的输入提供给方框170,其中前馈项δfwd如在方程式(14)中所计算。
7)在方框172中,反馈线性化项δF如在方程式(11)中所计算。
8)在求和连接点174,将前馈项δfwd和反馈线性化项δF加在一起,并送入方框176中的主车辆50中的转向致动器(电动转向,或其它类型***)。
9)在方框178中,观测器模块以线路152-160上的数据和车辆的响应作为输入使用卡尔曼滤波器、使用方程式(8)和y=o(x)来估算车辆的状态变量。
10)在方框180中,变量改变模块使用方程式(10)和(12)计算z1和z2。
11)在方框182中,使用方程式(12)计算反馈项u用于线性化的动态***。
提供一些示例进一步解释上面所述的控制方法的运行。在最佳的情况下,可以使用来自三个外部传感器的测量值;也就是,来自后视摄像机14的后向车道边界信息、来自前视摄像机12的前向车道边界信息、和来自领先车辆位置***16的领先车辆信息。在这样的情况下,方程式(9)内的加权参数被定义为与由相应的传感器返回的测量值的质量(即,信号噪声比,或者估算值的方差)成比例。例如,让前视摄像机12、后视摄像机14和领先车辆位置***16的测量值方差分别是σF、σT和σO。那么相应的加权计算为:
其中C是标准化参数,使得WF+WT+WO=1,并且W是设计者选择的带宽参数。
在领先目标车辆80遮蔽前视摄像机12的视野使得较少或没有前视车道边界信息是可用的情况下,方程式(9)的加权参数将通过降低WF的值(可能到0)和增加WT和WO的值进行调整。类似地,在没有合适的领先目标车辆80的情况下,WO的值将设为0,WF和WT的值将增加。最后,在低角度太阳或者恶劣天气遮蔽来自前视摄像机12的图像使得没有前向车道边界信息是可用的情况下,方程(9)的加权参数将通过设置WF的值为0、并且增加WT和WO的值进行调整。
使用上面描述的控制方法,可以实现稳健的车辆侧向控制***。通过直接使用前和后摄像机图像作为输入,与其它道路曲率的指示器一起,侧向控制***可以提供比不使用许多输入源的侧向控制***更可靠和更稳定的性能。
车辆侧向控制的另一方法可以通过首先在数据融合模块内组合来自前视摄像机12和后视摄像机14的数据、然后使用来自侧向控制模块内融合模块的所得的车道曲率和位移信息来实现。
图5是用于使用双摄像机车道融合方法的车辆侧向控制的***200的框图。与图1中所示的***10相似,***200使用来自前视摄像机12、后视摄像机14、领先车辆位置***16、和数字地图18的数据。然而,与直接在侧向控制模块20中使用输入的***10不同,***200首先组合数据融合模块210内的输入。数据融合模块210的输出,包括道路曲率和相对于车道边界的车辆位移和方位,然后被提供给车辆侧向控制模块220。数据融合模块210的输出还被应用在侧向控制***以外的应用中,例如车道偏离警告***。
执行车道数据融合的两种方法将在下面讨论。在该讨论中,来自图2和3的多个变量和尺度将被参考。
具有车道偏离警告的传统车道信息***通常包括前视摄像机12,其可以测量相对于前部处车道切线的车辆方位θF、在前保险杠处的前侧向位移ΔyF,以及车道曲率κ,其中距离dF被定义为从重心点56到主车辆50的前保险杠的距离。除了提供备用辅助的功能外,后视摄像机14能提供额外的车道感测测量值;相对于后部处车道切线的车辆方位θT,在后保险杠处的后侧向位移ΔyT,其中距离dT定义为从重心点56到主车辆50的后保险杠的距离。该两个额外的摄像机测量值,θT和ΔyT,在设计用于车道感测的稳健融合***中是有价值的。在恶劣的天气和光线情况下它们特别有价值,例如前部低角度太阳,部分地雪覆盖的车道标记,由于雾引起的降低的可视度,等等,其中来自前视摄像机12的图像数量将减少。
图6是使用来自双摄像机的输入的车道融合***240的第一实施例的框图。在***240中,成熟的(full-fledged)前车道传感器***242和完全成熟的后车道传感器***244每个都包括摄像机和处理器,并且可以检测和追踪主车辆50的每一相应端处的车道边界。前车道传感器***242和后车道传感器***244向车道融合模块246提供其测量值,车道融合模块246计算增强的车道边界和方位信息。前车道传感器***242以固定的采样率(例如10Hz)向融合模块246发送测量值θF、ΔyF和κ。后车道传感器***244以同样的固定采样率发送测量值θF和ΔyT。前车道传感器***242、后车道传感器***244、和融合模块246通过可使用控制区域网络(CAN)或其它协议的串行网络248互连。
融合模块246获取来自前车道传感器***242和后车道传感器***244、车辆动态传感器250的输入,并输出增强的车道信息:相对于车道切线的车辆方位(θ),前保险杠中心到车道边界的位移(Δy),和车道曲率(κ)。如之前所提到的,车道信息可以由各种下游应用使用。
来自车辆动态传感器250的测量值包括车辆速度(vH)和横摆率(ωH)。那么下面的卡尔曼滤波器设计为融合来自前车道传感器***242和后车道传感器***244的信息。
状态动态方程式写作:
κ′=κ+vκ
θ′=θ-ωHΔT+κvHΔT+vθ
Δy′=Δy+vHΔTθ+vΔy (16)
或者简写为:
s′=Fs+u+Gv (17)
其中v=(vκ,vθ,vΔy)T表示零平均值高斯白噪声矢量,其对状态动态模型的不确定性进行建模;
u=[0 -ωH ΔT 0 0 0]T,和
测量值模型可以写作:
κF=κ+wκ
或者简写作:
o=Hs+w (19)
其中 ,和 是零平均值高斯白噪声矢量,其对来自前车道传感器***242和后车道传感器***244的测量值的质量进行建模。
概括地说,下面的卡尔曼过滤过程联合地估算未对准角度和车道参数:
3)让在时刻t处的测量值为0;因此更新的状态矢量在时刻t为:
其中R是协方差阵。
5)转到步骤2。
使用上述程序,***240的融合模块246计算主车辆50的组合的车道参数的集,同时确定前车道传感器***242和后车道传感器***244的未对准参数。
图7是使用来自双摄像机的输入的车道融合***300的第二实施例的框图。***300在前边和后边不包括成熟的车道传感器***。相反,***300包括前视摄像机302和后视摄像机304。摄像机302和304只捕获图像并将其发送到融合模块320,融合模块320将图像组合在一起、检测并追踪车道标记。
分别来自前视摄像机302和后视摄像机304的图像,提供给方框306以寻找局部高密度区域。方框306的关键思想是在不同的空间尺度中寻找稳定的局部高密度区域。该算法从建立高斯金字塔开始。在每个金字塔尺度中,图像被放大的粗级图像减掉,其进一步变模糊。然后局部最大寻找操作在不同的坐标中应用于不同的图像,并且高度小于阈值h的所有最大值都被抑制。因此在方框306中推导出可能的车道标记的二进制图像。
在方框308中,检测的路缘和线的像素投影到基于摄像机校准参数的车辆坐标系的的平面上。在方框310处,首先基于相似测量(距离)对来自方框308的投影像素的点云聚类。接近的像素聚类为单个成分。随后这些成分基于其几何形状分类。选择形状与路缘和线相匹配的成分,然后应用线拟合和弧拟合方法来适配线候选者。形状与线或弧不匹配的成分被放弃。
在方框312中,在车辆坐标系中适配的线然后联接为车道边界。在方框314中,追踪并输出车道信息。这包括:监测来自车辆动态传感器的拟合的线和数据;追踪车道边界;和估算车道信息,包括车道曲率(κ)、相对于车道切线的车辆方位(θ),和前保险杠中心到车道边界的位移(Δy)。方框308-314中使用的详细算法将在下面给出。
方框308的投影算法需要下面的摄像机内部参数:
·焦距:像素内的焦距,[fu,fv];
·光心:[cu,cv];
·偏斜系数:定义x像素轴线与y像素轴线之间的角度的偏斜系数储存在标量αc中;
·变形:图像变形系数(径向和切向变形)储存在矢量kc=(k1,k2,k3,k4,p1,p2)中,其中(k1,k2,k3,k4)是径向变形系数,(p1,p2)是切向系数。
以及摄像机外在参数:
·平移矢量T;
·旋转矩阵R;
通过摄像机校准程序估算摄像机外在参数,这些参数中很多是本领域公知的,这里不需要讨论。
用于消除变形的迭代程序概述如下。输入包括像素组S={(ui,vi)|i=1,...,N}和上面定义的摄像机内在参数。输出为经整理的像素组S′={(u′i,v′i)|i=1,...,N}。程序如下:
1)对于每一个像素si=(ui,vi),i=1,...,N;
2)重复执行下面的步骤20次:
a.让 和r=||x||。
b.计算径向校正:
krad=1+k1r+k2r2+k3r3+k4r4。
c.计算切向校正:
d.校正像素
3)输出u作为最终校正的像素(u′i,v′i)。
在上述整理后或者变形消除程序后,可以应用下面的变换。输入包括上面描述的一组整理的像素S′={(u′i,v′i)|i=1,...,N}和摄像机外在参数。输出是投影在车辆框架上的检测到的车道标记点:X={(xi,yi)|i=1,...N}。变换程序如下:
1)对于每一个像素Si=(ui,vi),i=1,...,N;
a.让 并且
b.计算P=Kk[R T]。
c.让H=[p1 p2 p4],其中pj,j=1,...,4是列向量,j=1,...,4。
d.计算z=H-1u。
2)输出z作为车辆框架内的平面的投影像素(xi,yi)。
在方框308中应用上述整理和变换程序,以提供车辆坐标框架内的一组高亮像素,也就是,为候选路缘或车道线点的点。随后,在方框310中,像素或点聚类在一起成为路缘和车道线。假定车道标记像素组 这些像素首先聚类成线,然后这些线适配为线段或弧段。
首先,为了将邻近的像素聚类成线,构造相似图(similarity graph)G=(V,E),其中顶点集定义为地面上的像素,即V={zi|i=1,...N},并且边缘集E定义为像素对的集,如果平面上的每个像素对的距离小于阈值(Tsep),或者每一个像素对处于图像平面内的彼此的8近邻,即E={(zi,zj)|||zi-zj||<Tsep∨Neighbor(si,sj)},其中si和sj是图像平面内相应位置;而邻域(si,sj)在si和sj在彼此的8近邻时为真。在该聚类方法中,8近邻是指第二像素是在像素的大致矩形栅格中第一像素的8个最近邻(紧挨左、右、上、下、左上、右上、坐下、或右下)中的一个。
接下来,应用深度优先搜索(DFS)策略将图分为连接的成分:{X1,...,Xc}。然后将所聚类的车道线中每个与线或弧适配。
让zi=(xi,yi),i=1,...,Nc为检测到的线的像素。该线可以由线参数方程式(Ax+By=d,使得A2+B2=1)拟合。参数A、B和d可以通过最小二乘方估算,例如极小化:
其可以通过寻找具有最小特征值λm的X的特征矢量来求解:
Dβ=λmβ (21)
拟合残差定义为e=λm。
线的宽度W和长度L分别计算为:
线的两个端点是:
es=zm-(nTzm-d′)n (23)
ee=zM-(nTzM-d′)n
其中索引 和
线的方位(角度)是φ=atan2(A,B)。
如果线拟合残差大于阈值,则使用圆参数方程式(x2+y2+a1x+a2y+a3=0)再次拟合线。参数a1、a2和a3通过最小二乘可估算,例如相对于α极小化:
上述最小二乘方的解是α=(CTC)-1CTb。所拟合圆的半径和中心可以分别写作:
所拟合弧的两个端点可以计算为:
es=[xc+Rcosφm yc+Rsinφm]T (26)
ee=[xc+RcosφM yc+RsinφM]T
并且端点处线的方位(角度)是φs=φm和φe=φM,其中索引 和
线的宽度W和长度L分别如下计算:
W=max(||zi-c||)-min(||zi-c||) (27)
和
L=||es-ee|| (28)
其中c=[xc yc]T表示圆的中心。
概括地说,方框310的输出是一列车道线,其与具有下面的参数的线段匹配:法向矢量(n),到原点的距离(d’),宽度(W),长度(L),方位(φ),和起点(es);或与具有下面的参数的弧段匹配:圆心(c),半径(R),宽度(W),长度(L),和两个端点位置(es和ee)。
图8是示出对于检测到如下情形时的车道线表达的例子的图400:由端点402和法向矢量502表示的线段#1,线段#2(404,504),线段#3(414,514),和具有半径420、圆心(c)422、第一端点460、和第二端点412的弧段。在方框312中使用下面的步骤将线与左右车道边界连接。
首先,纵横比(L/W)小于阈值的任何线被移除。仅保留细长的线用于进一步的处理。然后长弧段或长线段被分解为短段,并且每一段由起端点(e)和切向矢量(t)表示。例如,在图400中,线段#1的起端点和切矢量表示为(402,602);长弧分解为4个端点:(406,606),(408,608),(410,610),和(412,612)。
为了在方框314处估算整体车道几何信息(即,车道曲率κ,相对于车道切线的车辆方位θ,和到车道边界的位移Δy),需要估算中心c的位置。
给定一组(车道)线段{(ek,tk)|k=1,...,K}。对于每一段,(ek,tk),其法线(图400中的虚线)通过c,即让tk=(txk,tyk)。因此,寻找c等价于最小化下面的最小二乘:
上述最小二乘方的解是c=(ETE)-1ETγ。车道的曲率可以写作:
相对于车道切线的车辆方位(角)可以计算为:
θ=atan2(cx,cy) (31)
其中cx被示出为图400中的尺度426,cy被示出为尺度428。
图9是示出如何可计算到车道边界的位移的示例的直方图700;让{zj|j=1,...,M}表示检测到的车道线的像素。直方图700构造为描绘所有像素(即,dj=||zj-c||,j=1,...,M)到中心c的距离。直方图700具有原点702。
到左车道边界的位移yL是直方图700中的原点702到左局部峰的距离704,而到右车道边界的位移yR是从原点702到右局部峰的距离706。
方程式(29)-(31)使用来自摄像机302和304的单个帧的数据来估算车道。可以扩展该方法以包括追踪和来自车辆动态传感器的数据。提出两种这样的方法。对于这两种方法,状态变量定义为s={κ,θ,Δy),其中变量分别定义为车道曲率(κ)、相对于车道切线的车辆方位(θ)、和到车道边界的位移(Δy)。让车辆速度(vH)和横摆率(ωH)表示来自车辆动态传感器的测量值。
对于第一种方法,使用卡尔曼追踪程序来估算车道参数。图10是卡尔曼追踪方法的流程图800。步骤如下:
1)在方框802中,使用来自***300(方程式(29)-(31))的第一测量值初始化状态向量s(0),并选择用于s(0)的协方差阵P(0)。
2)在决策菱形框804中等待新数据到达;当新测量值在时刻t到达时,在方框806中将前述状态向量写作s(t-1);然后在方框808处在时刻t处的预测状态s(t)可写作:
κ′=κ
θ′=θ-ωHΔT+κvHΔT
Δy′=Δy+vHΔTθ
其中ΔT是时间增量,以及投影状态向量s′(t)=[κ′θ′Δy′]。
3)同样在方框808处,圆心计算为:
4)在方框810处,提供检测到的来自摄像机302和304的线(ek,tk);然后在方框812处,使用下面的准则执行选通(gating)操作来识别所检测到的线的异常(outlier):
其中T是阈值,如果上述标准不为真则线被处理为异常。
5)在方框814处,计算当前车道几何信息;对于在方框812的选通后余留的全部线,使用方程式(29)极小化最小二乘式以寻找更新的中心的解;然后分别通过方程式(30)-(31)来计算κm和θm,并通过构建直方图来计算位移Δym。
6)在方框816中,执行测量值校正;将κm、θm和Δym处理为状态变量的直接测量值;下面的测量值方程式可以写作:
其中 是零平均值白高斯噪声矢量,其协方差阵是方程式(29)的最小二乘式极小化的残差;然后应用卡尔曼滤波器以获取最终的输出s(t)和相应的协方差阵P(t)。
7)在方框818处,输出更新的车道几何信息,并返回决策菱形框804。
上面描述的和流程图800中的卡尔曼追踪程序表示用于计算车道曲率和车辆方位信息的第一种方法,其使用来自前视摄像机302和后视摄像机304的图像和来自车辆动态传感器的数据。第二种方法使用粒子滤波器。图11是示出粒子滤波器方法的流程图900,其使用下面的步骤来计算车道参数:
2)在决策菱形框904中等待新数据到达;当新测量数据在时刻t到达时,对于每一粒子,使用卡尔曼追踪器的步骤2)到5)计算κm、θm和Δym,也就是说:
a.在方框906中,将前述状态向量写作s(t-1)。
b.在方框908中,计算预测状态s(t);还计算圆心c′。
c.在方框910中,从两个摄像机提供检测到的线;在方框912中,执行选通操作来识别异常的线。
d.在方框914中,使用方程式(29)-(31)和直方图计算当前车道几何信息。
5)在方框920中,对更新粒子集{(s′i(t),w′i)|i=1,...,M}应用重要重采样,标准的统计程序。这在方框922处产生一组所更新车道几何信息的随机样本。
6)返回步骤2,决策菱形904。
如上面所描述和在流程图800和900中示出的,或者卡尔曼滤波器方法,或者粒子滤波器方法,可以用于使用来自前视摄像机302和后视摄像机304的图像、车辆动态传感器作为输入来用于计算车道几何信息——车道曲率κ、相对于车道切线的车辆方位、和到车道边界的位移Δy。
这里公开的方法和***,通过使用来在后视摄像机的可用的图像数据,并将其与来自前视摄像机和其它传感器的图像数据相结合,为车道感测或侧向控制提供更加稳健的能力。该双摄像机***不仅在正常情况下充分应用更多的输入数据,而且在前视成像不利的情况下时提供可用的图像数据源以允许***运行。在不产生新的硬件相关的成本的情况下,车辆制造商和消费者能从这些***中受益,其利用许多车辆中存在的后视成像能力以赋予改善的***性能和可靠性。
前面的讨论仅仅公开和描述了本发明的示例实施方式。在不脱离由随附权利要求限定的本发明的精神和范围的情况下,本领域的技术人员将很容易从该讨论和从附图及权利要求中意识到可在其中做出各种变换、修改和改变。
Claims (10)
1.一种用于提供主车辆的侧向控制的方法,所述方法包括:
提供来自主车辆车载的前视摄像机的图像数据;
提供来自主车辆车载的后视摄像机的图像数据;
提供来自数字地图***的与主车辆正在行驶的道路有关的数据;
提供来自主车辆车载的领先车辆位置***的关于领先车辆的数据,其中领先车辆是道路上主车辆前边的车辆;和
通过使用来自前视摄像机和后视摄像机的图像数据和来自数字地图***和领先车辆位置***的数据,计算为控制主车辆以维持在道路上的路线所需的转向输入,并且将所述转向输入提供到主车辆中的转向致动器。
2.根据权利要求1的方法,其中,提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。
3.根据权利要求1的方法,其中,提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。
4.根据权利要求1的方法,其中,提供关于领先车辆的数据包括提供领先车辆相对于主车辆的纵向偏移、侧向偏移、和航向角。
5.根据权利要求1的方法,其中,计算为控制主车辆所需的转向输入包括基于来自摄像机的图像数据和来自数字地图***和领先车辆位置***的数据计算前馈项。
6.根据权利要求1的方法,其中,计算为控制主车辆所需的转向输入包括基于车辆动态响应参数计算反馈线性化项。
7.一种用于提供主车辆的侧向控制的方法,所述方法包括:
提供来自主车辆车载的前视摄像机的图像数据;
提供来自主车辆车载的后视摄像机的图像数据;
提供来自主车辆车载的车辆动态传感器的数据;
提供来自数字地图***的与主车辆正在行驶的道路有关的数据;
提供来自主车辆车载的领先车辆位置***的关于领先车辆的数据,其中领先车辆是道路上主车辆前边的车辆;
通过使用来自前视摄像机和后视摄像机的图像数据和来自车辆动态传感器、数字地图***和领先车辆位置***的数据,计算为控制主车辆以维持在道路上的路线所需的转向输入
将所述转向输入提供到主车辆中的转向致动器,以及
估算主车辆的动态响应。
8.根据权利要求7的方法,其中,提供来自前视摄像机的图像数据包括提供主车辆相对于在主车辆的前面位置处的道路的位置和方位的估算。
9.根据权利要求7的方法,其中,提供来自后视摄像机的图像数据包括提供主车辆相对于在主车辆的后面位置处的道路的位置和方位的估算。
10.一种用于提供主车辆的侧向控制的***,所述***包括:
第一摄像机,用于捕获来自主车辆的前视图像;
第二摄像机,用于捕获来自主车辆的后视图像;
主车辆车载的多个车辆动态传感器,用于提供关于主车辆的运动的数据;
数字地图,用于提供关于主车辆行驶的道路的信息;
主车辆车载领先车辆位置子***,所述领先车辆位置子***提供关于领先车辆相对于主车辆的位置的数据;和
处理器,其配置为接收来自摄像机、车辆动态传感器、数字地图、和领先车辆位置子***的数据,所述处理器计算为控制主车辆以维持在道路上的路线所需的转向输入。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/840,058 | 2010-07-20 | ||
US12/840,058 US20120022739A1 (en) | 2010-07-20 | 2010-07-20 | Robust vehicular lateral control with front and rear cameras |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102700548A true CN102700548A (zh) | 2012-10-03 |
Family
ID=45443708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011102579886A Pending CN102700548A (zh) | 2010-07-20 | 2011-07-20 | 具有前摄像机和后摄像机的稳健的车辆侧向控制 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120022739A1 (zh) |
CN (1) | CN102700548A (zh) |
DE (1) | DE102011107196A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103909927A (zh) * | 2012-12-28 | 2014-07-09 | 现代摩比斯株式会社 | 横向控制装置及其控制方法 |
CN104035439A (zh) * | 2012-03-15 | 2014-09-10 | 通用汽车环球科技运作有限责任公司 | 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络 |
CN105683015A (zh) * | 2013-09-05 | 2016-06-15 | 罗伯特·博世有限公司 | 基于来自后雷达传感器的数据的增强车道偏离警告 |
CN107040506A (zh) * | 2015-11-10 | 2017-08-11 | 福特全球技术公司 | 使用视觉背景信息的车辆间身份验证 |
CN108287541A (zh) * | 2017-01-10 | 2018-07-17 | 通用汽车环球科技运作有限责任公司 | 优化自主车辆的轨迹的方法和装置 |
CN110562251A (zh) * | 2018-06-05 | 2019-12-13 | 广州小鹏汽车科技有限公司 | 一种自动驾驶方法及装置 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130030651A1 (en) * | 2011-07-25 | 2013-01-31 | GM Global Technology Operations LLC | Collision avoidance maneuver through differential braking |
DE102011086342A1 (de) * | 2011-11-15 | 2013-05-16 | Robert Bosch Gmbh | Vorrichtung und verfahren zum betreiben eines fahrzeugs |
US8948954B1 (en) * | 2012-03-15 | 2015-02-03 | Google Inc. | Modifying vehicle behavior based on confidence in lane estimation |
KR101351919B1 (ko) * | 2012-05-23 | 2014-01-24 | 현대모비스 주식회사 | 차선 유지 보조 시스템 및 방법 |
US8494716B1 (en) | 2012-06-04 | 2013-07-23 | GM Global Technology Operations LLC | Lane keeping system using rear camera |
US9043069B1 (en) | 2012-11-07 | 2015-05-26 | Google Inc. | Methods and systems for scan matching approaches for vehicle heading estimation |
US9063548B1 (en) | 2012-12-19 | 2015-06-23 | Google Inc. | Use of previous detections for lane marker detection |
US9081385B1 (en) | 2012-12-21 | 2015-07-14 | Google Inc. | Lane boundary detection using images |
EP2840007B1 (en) * | 2013-08-22 | 2018-04-04 | Honda Research Institute Europe GmbH | Consistent behaviour generation of a predictive advanced driver assistant system |
JP6237874B2 (ja) * | 2014-02-24 | 2017-11-29 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
US9457807B2 (en) * | 2014-06-05 | 2016-10-04 | GM Global Technology Operations LLC | Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver |
KR102355321B1 (ko) * | 2015-09-10 | 2022-01-25 | 주식회사 만도모빌리티솔루션즈 | 차선 유지 보조 시스템 및 차선 유지 보조 방법 |
DE102015225241A1 (de) * | 2015-12-15 | 2017-06-22 | Volkswagen Aktiengesellschaft | Verfahren und System zur automatischen Steuerung eines Folgefahrzeugs mit einem Vorderfahrzeug |
EP3435352B1 (en) * | 2016-03-24 | 2021-11-17 | Nissan Motor Co., Ltd. | Travel path detection method and travel path detection device |
CN109074741B (zh) * | 2016-03-24 | 2021-08-10 | 日产自动车株式会社 | 行进路检测方法及行进路检测装置 |
US9840253B1 (en) * | 2016-06-14 | 2017-12-12 | Delphi Technologies, Inc. | Lane keeping system for autonomous vehicle during camera drop-outs |
JP6662227B2 (ja) * | 2016-07-19 | 2020-03-11 | 株式会社デンソー | 制御装置 |
DE102016220717A1 (de) * | 2016-10-21 | 2018-05-09 | Volkswagen Aktiengesellschaft | Bestimmen einer Fahrspur und Querregelung für ein Fahrzeug |
US10846541B2 (en) * | 2017-01-04 | 2020-11-24 | Qualcomm Incorporated | Systems and methods for classifying road features |
US10421452B2 (en) * | 2017-03-06 | 2019-09-24 | GM Global Technology Operations LLC | Soft track maintenance |
CN107054454B (zh) * | 2017-05-10 | 2023-04-18 | 南京航空航天大学 | 一种基于参数估计的线控转向控制***及控制方法 |
GB2564854B (en) * | 2017-07-21 | 2020-06-24 | Jaguar Land Rover Ltd | Method and controller for providing a vehicle steering course |
CN109900295B (zh) * | 2017-12-11 | 2022-12-09 | 上海交通大学 | 基于自主式传感器的车辆运动状态的检测方法及*** |
US10706563B2 (en) * | 2018-05-15 | 2020-07-07 | Qualcomm Incorporated | State and position prediction of observed vehicles using optical tracking of wheel rotation |
DE102018114808A1 (de) * | 2018-06-20 | 2019-12-24 | Man Truck & Bus Se | Verfahren zur automatischen Querführung eines Folgefahrzeugs in einem Fahrzeug-Platoon |
EP3810471A4 (en) * | 2018-06-22 | 2022-01-05 | Optimum Semiconductor Technologies, Inc. | SYSTEM AND METHOD FOR NAVIGATION OF AUTONOMOUS VEHICLES |
US10875531B2 (en) * | 2018-08-08 | 2020-12-29 | Ford Global Technologies, Llc | Vehicle lateral motion control |
DE102018122054A1 (de) * | 2018-09-10 | 2020-03-12 | Wabco Gmbh | Querlenkverfahren und Querlenkvorrichtung für das Bewegen eines Fahrzeugs in eine Zielposition, und Fahrzeug dafür |
JP2020050221A (ja) | 2018-09-28 | 2020-04-02 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | 制御装置及び制御方法 |
JP2020050220A (ja) | 2018-09-28 | 2020-04-02 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | 制御装置及び制御方法 |
DE102018009927A1 (de) * | 2018-12-17 | 2020-06-18 | Trw Automotive Gmbh | Steuerungssystem und Steuerungsverfahren für einen hybriden Ansatz zum Ermitteln einer möglichen Trajektorie für ein Kraftfahrzeug |
EP3754359A1 (en) * | 2019-06-18 | 2020-12-23 | Zenuity AB | Method of determination of alignment angles of radar sensors for a road vehicle radar auto-alignment controller |
KR20210043225A (ko) * | 2019-10-11 | 2021-04-21 | 현대자동차주식회사 | 차로 유지 제어장치 및 그 방법 |
DE102019219280A1 (de) * | 2019-12-11 | 2021-06-17 | Zf Friedrichshafen Ag | Verfahren zur Ausrichtung von Fahrzeugen in einer Fahrzeugkolonne |
CN114489044A (zh) * | 2019-12-31 | 2022-05-13 | 华为技术有限公司 | 一种轨迹规划方法及装置 |
US11423573B2 (en) * | 2020-01-22 | 2022-08-23 | Uatc, Llc | System and methods for calibrating cameras with a fixed focal point |
US11840147B2 (en) | 2021-07-13 | 2023-12-12 | Canoo Technologies Inc. | System and method in data-driven vehicle dynamic modeling for path-planning and control |
US11908200B2 (en) | 2021-07-13 | 2024-02-20 | Canoo Technologies Inc. | System and method in the prediction of target vehicle behavior based on image frame and normalization |
US11891059B2 (en) * | 2021-07-13 | 2024-02-06 | Canoo Technologies Inc. | System and methods of integrating vehicle kinematics and dynamics for lateral control feature at autonomous driving |
US11891060B2 (en) | 2021-07-13 | 2024-02-06 | Canoo Technologies Inc. | System and method in lane departure warning with full nonlinear kinematics and curvature |
US11845428B2 (en) | 2021-07-13 | 2023-12-19 | Canoo Technologies Inc. | System and method for lane departure warning with ego motion and vision |
US12017661B2 (en) | 2021-07-13 | 2024-06-25 | Canoo Technologies Inc. | System and method in vehicle path prediction based on full nonlinear kinematics |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1218355A (zh) * | 1998-11-24 | 1999-06-02 | 杨更新 | 汽车自动驾驶*** |
US6275773B1 (en) * | 1993-08-11 | 2001-08-14 | Jerome H. Lemelson | GPS vehicle collision avoidance warning and control system and method |
US20050225477A1 (en) * | 2002-07-15 | 2005-10-13 | Shan Cong | Road curvature estimation system |
US20060030987A1 (en) * | 2004-07-20 | 2006-02-09 | Aisin Seiki Kabushiki Kaisha | Lane keeping assist device for vehicle |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7783403B2 (en) * | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
EP1315980B1 (en) * | 2000-09-08 | 2006-10-04 | Raytheon Company | Path prediction system and method |
US7016783B2 (en) * | 2003-03-28 | 2006-03-21 | Delphi Technologies, Inc. | Collision avoidance with active steering and braking |
JP4647201B2 (ja) * | 2003-12-05 | 2011-03-09 | 富士重工業株式会社 | 車両の走行制御装置 |
KR101075615B1 (ko) * | 2006-07-06 | 2011-10-21 | 포항공과대학교 산학협력단 | 주행 차량의 운전자 보조 정보 생성 장치 및 방법 |
US7734406B1 (en) * | 2006-07-10 | 2010-06-08 | The United States Of America As Represented By The Secretary Of The Air Force | Integrated control of brake and steer by wire system using optimal control allocation methods |
JP2009096273A (ja) * | 2007-10-16 | 2009-05-07 | Hitachi Ltd | 衝突回避制御装置 |
-
2010
- 2010-07-20 US US12/840,058 patent/US20120022739A1/en not_active Abandoned
-
2011
- 2011-07-13 DE DE102011107196A patent/DE102011107196A1/de not_active Ceased
- 2011-07-20 CN CN2011102579886A patent/CN102700548A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6275773B1 (en) * | 1993-08-11 | 2001-08-14 | Jerome H. Lemelson | GPS vehicle collision avoidance warning and control system and method |
CN1218355A (zh) * | 1998-11-24 | 1999-06-02 | 杨更新 | 汽车自动驾驶*** |
US20050225477A1 (en) * | 2002-07-15 | 2005-10-13 | Shan Cong | Road curvature estimation system |
US20060030987A1 (en) * | 2004-07-20 | 2006-02-09 | Aisin Seiki Kabushiki Kaisha | Lane keeping assist device for vehicle |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104035439A (zh) * | 2012-03-15 | 2014-09-10 | 通用汽车环球科技运作有限责任公司 | 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络 |
CN104035439B (zh) * | 2012-03-15 | 2017-04-26 | 通用汽车环球科技运作有限责任公司 | 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络 |
CN103909927A (zh) * | 2012-12-28 | 2014-07-09 | 现代摩比斯株式会社 | 横向控制装置及其控制方法 |
CN105683015A (zh) * | 2013-09-05 | 2016-06-15 | 罗伯特·博世有限公司 | 基于来自后雷达传感器的数据的增强车道偏离警告 |
CN105683015B (zh) * | 2013-09-05 | 2018-06-08 | 罗伯特·博世有限公司 | 基于来自后雷达传感器的数据的增强车道偏离警告 |
CN107040506A (zh) * | 2015-11-10 | 2017-08-11 | 福特全球技术公司 | 使用视觉背景信息的车辆间身份验证 |
CN108287541A (zh) * | 2017-01-10 | 2018-07-17 | 通用汽车环球科技运作有限责任公司 | 优化自主车辆的轨迹的方法和装置 |
CN110562251A (zh) * | 2018-06-05 | 2019-12-13 | 广州小鹏汽车科技有限公司 | 一种自动驾驶方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20120022739A1 (en) | 2012-01-26 |
DE102011107196A1 (de) | 2012-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102398598B (zh) | 使用前视和后视摄像机的车道融合*** | |
CN102700548A (zh) | 具有前摄像机和后摄像机的稳健的车辆侧向控制 | |
US11960293B2 (en) | Systems and methods for navigating lane merges and lane splits | |
US11200433B2 (en) | Detection and classification systems and methods for autonomous vehicle navigation | |
US11697427B2 (en) | Systems and methods for vehicle navigation | |
Dickmann et al. | Automotive radar the key technology for autonomous driving: From detection and ranging to environmental understanding | |
US20210101616A1 (en) | Systems and methods for vehicle navigation | |
US11312353B2 (en) | Vehicular control system with vehicle trajectory tracking | |
US20220001872A1 (en) | Semantic lane description | |
CN107646114B (zh) | 用于估计车道的方法 | |
US10147002B2 (en) | Method and apparatus for determining a road condition | |
US10553117B1 (en) | System and method for determining lane occupancy of surrounding vehicles | |
US20230127230A1 (en) | Control loop for navigating a vehicle | |
US20230236037A1 (en) | Systems and methods for common speed mapping and navigation | |
US20230202473A1 (en) | Calculating vehicle speed for a road curve | |
Moras et al. | Drivable space characterization using automotive lidar and georeferenced map information | |
Kim et al. | Multi-sensor-based detection and tracking of moving objects for relative position estimation in autonomous driving conditions | |
CN115923839A (zh) | 一种车辆路径规划方法 | |
JP7462738B2 (ja) | 車載クラスタ追跡システム | |
Lai et al. | Sensor fusion of camera and MMW radar based on machine learning for vehicles | |
US20240029446A1 (en) | Signature network for traffic sign classification | |
Bai et al. | Drivable Area Detection and Vehicle Localization Based on Multi-Sensor Information | |
Hashimoto | Map-subtraction based moving-object tracking with motorcycle-mounted scanning LiDAR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121003 |