CN113353084A - 用于车辆控制的方法及设备 - Google Patents
用于车辆控制的方法及设备 Download PDFInfo
- Publication number
- CN113353084A CN113353084A CN202110245870.5A CN202110245870A CN113353084A CN 113353084 A CN113353084 A CN 113353084A CN 202110245870 A CN202110245870 A CN 202110245870A CN 113353084 A CN113353084 A CN 113353084A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- signal
- lane
- identified
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 12
- 230000004927 fusion Effects 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000004904 shortening Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明涉及一种用于车辆控制的方法(200),其中,所述方法(200)具有以下步骤:读入(205)摄像机信号(125),所述摄像机信号代表要由车辆(100)驶过的车道的光学感测图像;对由所述摄像机信号(125)所代表的图像实施(210)语义分割,以便从所述图像中识别在所述车辆(100)前方的空闲区域作为可行驶车道区段(305),并且提供代表所识别的可行驶车道区段(305)的车道信号(135);以及在使用所述车道信号(135)的情况下求取(215)控制信号(140)用于操控至少一个车辆部件(145)。本发明还涉及一种设备和一种机器可读的存储介质。
Description
技术领域
本发明从一种用于车辆控制的方法和设备出发。本发明也提出一种计算机程序。
现有技术
车辆可以具有基于单摄像机的传感器装置,用于自动化或部分自动化的行驶***,例如用于车道保持辅助功能或跟随行驶功能。在此,借助对象识别例如可以识别其他车辆和车道标记。在此,对象识别可以取决于行驶车辆的环境条件,例如大雨或逆光。
发明内容
在该背景下,本发明提出一种用于车辆控制的方法,还提出一种使用该方法的设备,以及最后提出一种相应的计算机程序。由优选实施方式列出的措施能实现本发明的有利扩展方案和改进。
在这里所提出的方案基于以下认知,通过借助语义分割分析评价图像可以改进基于分析评价光学感测图像的车辆控制。有利地,借助语义分割分析评价使得能根据图像确定由在内容上相关联的图像点组成的区域,以便识别可行驶车道区段。有利地,这即使在环境条件恶劣的情况下也能快速且可靠地实现,因为能省去可能被环境条件限制的传统对象识别,例如在大雨或逆光时受限制的传统对象识别。基于借助语义分割所识别的车道区段,可以求取控制信号以操控车辆在可行驶车道区段上的行驶。
提出一种用于车辆控制的方法。该方法包括至少一个读入摄像机信号的步骤、实施语义分割的步骤和求取控制信号的步骤。在读入步骤中所读入的摄像机信号代表要由车辆驶过的车道的光学感测图像。在实施步骤中,对由摄像机信号所代表的图像实施语义分割,以便从图像中识别在车辆前方的空闲区域作为可行驶车道区段。此外,在实施步骤中,提供车道信号。该车道信号代表语义分割的结果、即所识别的可行驶车道区段。在求取步骤中,在使用该车道信号的情况下求取控制信号以操控至少一个车辆部件。
所述车辆可以是机动车、载重车、公共汽车、摩托车或地面运输工具。车辆可以具有部分自动化或全自动化的行驶运行。例如,摄像机信号可以由车辆的光学环境感测装置提供。在实施语义分割时,可以由相邻图像点、例如像素的集合形成在内容上相关联的区域,以便将车道的可行驶区域分割为封闭区域并且将该封闭区域作为所识别的可行驶车道区段来提供。在此,该区域为空闲区域,因为在该区域内没有其他潜在损害车辆安全行驶的对象,例如其他车辆或位于该车道上的其他对象。用于操控至少一个车辆部件的控制信号例如可以被提供给车辆的控制器或车辆部件。例如,该车辆部件是驾驶辅助***,例如车道保持辅助或距离识别,或者是制动装置、加速装置或转向装置。例如,控制信号构造为用于改变车辆部件的设定,或用于激活或停用行驶***。
根据一个实施方式,在求取步骤中附加地在使用标记信号的情况下求取控制信号。标记信号代表所识别的车道标记。在此,所识别的车道标记例如基于借助传统对象识别对摄像机信号进行的分析评价。有利地,因此能将所识别的车道标记的信息和借助语义分割所识别的可行驶车道区段的信息相组合,以操控车辆部件。
根据一个实施方式,在求取步骤中附加地在使用车辆识别信号的情况下求取控制信号。车辆识别信号代表所识别的在前行驶车辆。有利地,由此能将位于光学图像区域中的对所识别的可行驶车道区段例如在长度或宽度方面进行限制的对象识别为在前行驶车辆,例如以便实现跟随行驶功能。
根据一个实施方式,可以重复实施语义分割的实施步骤,以便识别可行驶车道区段的延伸出现改变。在此,例如可以连续地或以确定时间间隔来比较至少两个所识别的可行驶车道区段的长度并且附加地或替代地比较宽度,以便例如在其他车辆驶入到车道中时或在前行驶车辆驶出时识别出现的改变识别出现的改变,例如突然出现的改变,例如与车辆行驶速度和在前行驶车辆有关地突然出现的车道区段缩短。所识别的可行驶车道区段的所识别的延伸改变可以在实施步骤中以延伸信号的形式提供。在求取步骤中,可以在使用延伸信号的情况下求取控制信号。
根据一个实施方式,在求取步骤中,可以求取控制信号以操控车辆在所识别的可行驶车道区段内的横向引导。例如,控制信号可以构造为用于在驶过所识别的可行驶车道区段时例如借助操控车辆转向装置来调设车辆在该车道区段上的定向。
此外,根据一个实施方式,在求取步骤中求取控制信号以操控车辆关于所识别的可行驶车道区段的所识别的端部的纵向引导。这使得能够有利地利用控制信号,例如用于用以自动保持距离的驾驶辅助***或用于距离巡航控制。控制信号例如可以构造为用于操控车辆的速度或加速度。
此外,根据一个实施方式,在求取步骤中可以根据阈值来求取控制信号。例如,阈值可以代表为了车辆在所识别的可行驶车道区段的区域中安全行驶所需的最小宽度或长度。为此,可以预设定或读入阈值,以便例如视车辆类型或视待行驶地面性质或车辆的环境条件或车辆速度来确定阈值。
根据一个实施方式,在求取步骤中,根据阈值可以附加地求取警告信号以将可听觉地和附加地或替代地视觉地感知的警告输出给驾驶员。例如,如果出现所识别的可行驶车道区段的缩短,例如在另一车辆从相邻车道突然驶入到所识别的可行驶车道区段上时,可以提供警告信号。
根据一个实施方式,在求取步骤中,也可以在使用读入的行驶参数的情况下来求取控制信号,以便调设行驶参数。读入的行驶参数例如可以代表车辆的速度或方向盘位态。所求取的控制信号可以构造为用于操控所调设的行驶参数的改变,例如也以便根据读入的行驶参数来操控对车辆纵向引导或横向引导的调设。
根据一个实施方式,该方法还可以包括在使用单目摄像机传感器装置的情况下光学感测要由车辆驶过的车道的步骤,以便提供摄像机信号。单目摄像机传感器装置例如可以包括单眼摄像机***。为了感测要由车辆行驶的车道,单目摄像机传感器装置例如可以具有沿行驶方向定向的感测区域。
例如,该方法可以以软件或硬件形式或以软件和硬件的混合形式例如在控制器中实现。
本发明还提出一种设备,该设备构造为用于在相应的装置中实施、操控或实现在这里所提出的方法的变型方案的步骤。通过本发明的呈设备形式的这个实施变型方案也可以快速且有效地解决本发明所基于的任务。
为此,该设备可以具有:至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储器单元、至少一个与传感器的接口用于从传感器读入传感器信号或与促动器的接口用于向促动器输出数据或控制信号,和/或至少一个用于读入或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器或类似装置,其中,存储器单元可以是闪存、EEPROM或磁存储器单元。通信接口可以构造为用于无线和/或有线地读入或输出数据,其中,能够读入或输出有线数据的通信接口例如能够电或光学地从相应数据传输线路读入这些数据或将这些数据输出到相应的数据传输线路中。
当前,设备应理解为处理传感器信号并且据此输出控制和/或数据信号的电气设备。该设备可以具有接口,该接口可以按照硬件和/或软件方式构造。在按照硬件方式构造的情况下,所述接口例如可以是所谓的***ASIC的包含该设备的各种不同功能的部分。然而也可行的是,该接口是自身的集成回路或至少部分地由分立的结构元件组成。在按照软件构造的情况下,接口可以是例如与其他软件模块并存在微控制器上的软件模块。
有利地,也提出一种计算机程序产品或具有程序代码的计算机程序,该程序代码可以存储在机器可读的载体或存储介质上,例如半导体存储器、硬盘存储器或光存储器上,并且尤其当该程序产品或程序在计算机或设备上执行时用于实施、实现和/或操控根据前述实施方式中任一项所述的方法的步骤。
附图说明
在附图中示出并且在下面的说明中详细阐述本发明的实施例。附图示出:
图1根据一个实施例的具有用于车辆控制的设备的车辆的示意图;
图2根据一个实施例的用于车辆控制的方法的流程图;
图3借助语义分割所识别的可行驶车道区段的图示;
图4借助语义分割所识别的可行驶车道区段的图示;
图5借助语义分割所识别的可行驶车道区段的图示;
图6借助语义分割所识别的可行驶车道区段的图示;以及
图7用于车辆控制的方法的根据一个实施例的信号流程图。
具体实施方式
在下面对本发明的有利实施例的说明中,对在不同附图中所示出且作用相似的元件使用相同或相似的附图标记,其中,省去对这些元件的重复说明。
图1根据一个实施例示出具有用于车辆控制的设备105的车辆100的示意图。该设备105包括读入接口110、实施装置115和求取装置120。该设备105构造为用于,经由读入接口110读入摄像机信号125。摄像机信号125代表要由车辆100驶过的车道的光学感测图像。在这里,摄像机信号125例如由车辆100的单目摄像机传感器装置130提供。实施装置115构造为用于对由摄像机信号125代表的图像实施语义分割,以便从该图像中识别在车辆100前方的空闲区域作为可行驶车道区段。此外,实施装置115构造为用于提供代表所识别的可行驶车道区段的车道信号135。车道信号135在这里被提供给求取装置120。求取装置120构造为用于,在使用车道信号135的情况下求取控制信号140,以操控车辆100的至少一个车辆部件145。车辆的车辆部件145例如是车辆100的控制器、转向装置、制动装置或加速装置。因此,在使用控制信号140的情况下例如能调设车辆100在所识别的待行驶车道区段中的行驶速度并且附加地或替代地调设行驶方向。
根据在这里所示出的实施例,求取装置120构造为用于,附加地在使用标记信号150的情况下求取控制信号135。标记信号150代表所识别的车道标记。标记信号150例如由车辆100的车道标记识别装置155提供。所识别的车道标记例如是在使用摄像机信号125的情况下借助传统的对象识别所识别的标记。因此,有利地,与借助语义分割识别车道区段互补地,能使用例如基于对象识别的车道识别。
根据在这里所示出的实施例,求取装置120还构造为用于,附加地在使用车辆识别信号160的情况下求取控制信号140。车辆识别信号160代表所识别的在前行驶车辆。在这里,车辆识别信号160示例性地由车辆100的探测装置165提供。探测装置165例如包括激光雷达传感器装置或雷达传感器装置用于探测在前行驶车辆,或者探测装置165构造为于在使用摄像机信号125和对象识别的情况下来识别在前行驶车辆。
根据一个实施例,实施装置115构造为用于,重复实施语义分割,以便识别可行驶车道区段的延伸出现改变。在这种情况下,实施装置115还构造为用于,提供延伸信号170,所述延伸信号代表所识别的可行驶车道区段的所识别的延伸改变。求取装置120构造为用于,在使用延伸信号170的情况下来求取控制信号140。有利地,因此能快速且可靠地感测在前行驶车辆的驶入或驶出,以便识别可行驶车道区段的改变。
此外,根据一个实施例,求取装置120构造为用于求取控制信号140,用于操控车辆100在所识别的可行驶车道区段内的横向引导。车道信号135例如包括关于所识别的可行驶车道区段的长度和宽度的信息。为了操控车辆100的横向引导,控制信号140例如构造为用于,操控对车辆100的转向装置的转向角度的调设。
此外,根据一个实施例,求取装置120还构造为用于求取控制信号140以关于所识别的可行驶车道区段的所识别的端部来操控车辆的纵向引导。为了操控车辆100的纵向引导,控制信号140例如构造为用于,操控对车辆10的速度或加速度的调设。这是有利的,以便在使用控制信号140的情况下例如能够实现车辆100的辅助功能以自动地保持相对于在前行驶车辆的距离。
根据一个实施例,求取装置120也构造为用于根据在所识别的可行驶车道区段的最小宽度或长度方面的阈值来求取控制信号140。该阈值例如是预设定的,或者该阈值经由读入接口110读入,例如以便根据待行驶车道区段上的所识别的速度限制来使用阈值。
根据在这里所示出的实施例,求取装置120也构造为用于,根据阈值附加地提供警告信号175,用于向驾驶员输出能听觉地和附加地或替代地能视觉地感知的警告。在这里,警告信号175例如被提供给车辆100的输出装置180。
为了调设至少一个行驶参数,例如车辆100的速度或车辆100的行驶方向或轨迹,根据在这里所示出的实施例,求取装置120构造为用于在使用读入的行驶参数185的情况下来求取控制信号140,以便调设行驶参数。为此,例如,经由读入接口110以行驶参数信号的形式读入至少一个经调设的行驶参数185,并且在使用该行驶参数信号的情况下求取控制信号140,以便操控行驶参数185的改变并且附加地或替代地操控另一行驶参数的改变。
在这里,摄像机信号125由车辆100的单目摄像机传感器装置130提供。替代于此,设备100也可以包括感测装置,例如单目光学感测装置,该感测装置构造为用于光学地感测要由车辆100驶过的车道,以便提供摄像机信号125。
图2根据一个实施例示出用于车辆控制的方法200的流程图。该方法200例如在使用上述用于车辆控制的设备的一个实施例的情况下可实施。该方法200包括至少一个读入步骤205、实施步骤210和求取步骤215。在读入步骤205中,读入摄像机信号,该摄像机信号代表要由车辆驶过的车道的光学感测图像。在实施步骤210中,对由摄像机信号所代表的图像实施语义分割,以便从图像中识别在车辆前方的空闲区域作为可行驶车道区段。此外,在实施步骤210中,提供车道信号,该车道信号代表所识别的可行驶车道区段。在求取步骤215中,在使用车道信号的情况下求取控制信号以操控至少一个车辆部件。
根据在这里所示出的实施例,该方法200还包括可选的光学感测步骤220。在光学感测步骤220中,在使用单目摄像机传感器装置的情况下,光学地感测要由车辆驶过的车道,以便提供摄像机信号。该步骤220可选地在步骤205之前实施。
图3示出借助语义分割所识别的可行驶车道区段305的图示。所示出的是,车辆的本车道在雨天序列中在本车道的车道标记较差可见的情况下由语义分割所识别的车道区段305。在这里所示出的行驶状况中,使用用于车辆控制的设备的一个实施例是有利的,以便在车道标记较差可见的情况下辅助或代替由状况决定地碰到***边界车辆的横向引导。利用借助前述附图所说明的方案能有利地实现,为了改进车辆的纵向和横向引导可以将经由语义分割所识别的本车道识别为可行驶车道区段305。
使用语义分割以识别可行驶车道区段305并且用以根据所识别的可行驶车道区段305来操控车辆部件,尤其在车辆利用基于单目摄像机的传感器解决方案进行车辆控制时也是有利的,例如,使得能够在(部分)自动化行驶***操控时纳入基于机器学习地识别可行驶车道区段305,即“整体本车道(Holistic Egolane)”。例如在逆光和下雨之后道路表面反光的情况下,在单传感器***例如基于单视频的车道保持辅助的情况下、不能使用或仅能受限制地使用传统对象识别方法以识别车道标记和车辆。在这种情况下有利的是,互补或替代于传统的对象识别地使用语义分割,以便即使在这种挑战性状况中也能给车辆驾驶员提供自动化辅助。
为此,例如,语义分割作为机器学习方法能被用作对于模型辅助的传统方法的互补路径,例如为了附加的鲁棒性。在语义分割时,可行驶面或由本车辆使用的车道在像素图像中被分割为封闭区域,以便将该区域作为可行驶车道区段305来感测。
尤其在逆光和表面反光的情况下,使用语义分割是有利的,因为这种网络也总是利用整个场景内容用于感知任务。因此,在分割本车道时也总是利用关于在前行驶车辆的信息,而不是像在传统方法中那样仅利用纯车道标记。基于以这种方式所识别的可行驶车道区段305能操控车辆的纵向和横向引导。因此,在逆光强烈和车道反光的情况下传统车道标记识别和传统车辆识别可能受限制,即使在这种情况下例如能通过场景的整体内容(包含在前行驶者)使用经由语义分割所识别的可行驶车道区段305的边缘,以便以此实现车辆的横向调节。在条件有利的情况下,至少互补地使用在这里所提出的基于机器学习的语义分割方法是有利的,或者说融合地使用传统对象识别和语义分割是有利的,如下文参照图7所说明的那样。
图4示出借助语义分割所识别的可行驶车道区段305的图示。示出一种示例性场景,在该场景中,语义分割用于识别可行驶车道区段305是有利的,例如以便在使用所识别的可行驶车道区段305的情况下来操控或辅助车辆跟随引导。在所示出的场景中,在阳光强烈的情况下在车辆棱边处可能会反光,这种反光可能导致强度差大。原则上,强度差是在传统的用于对象分类的方法中使用的典型特征。然而,反光可能引起在这些特征的位置和强度方面的不规则并因此引起与在正常照明时的对象特征不同的特征。典型地,也使用特征的强度归一化,这种强度归一化可能引起典型的对象特征在阳光强烈时更可能受抑制,由此,对象的可信性检验可能延迟或不能实现。因此,在这里所示出的场景中,在这里所提出的在使用借助语义分割所识别的可行驶车道区段305的情况下的车辆控制方法是有利的:如果可行驶车道区段305突然很靠近车辆地终止并且没有识别到在前行驶者405,则推测,车辆、即在前行驶者405处于被识别为可行驶车道区段305的端部。在这种情况下有利的是,对于车辆的纵向调节,按照本车道端部、即所识别的可行驶车道区段305的端部来调节。
图5示出借助语义分割所识别的可行驶车道区段305的图示。示出的是,一种示例性场景,在该场景中,语义分割用于识别可行驶车道区段305是有利的,在这里是具有雨且对象、在前行驶车辆405即将驶入到车辆的车道上的状况。有利的是,借助在这里所提出的实施语义分割的方法,能可靠且及早地识别对象,例如在这里是驶入的在前行驶车辆405:如果出现所识别的可行驶车道区段305突然缩短,则可以认为有驶入过程并且能借助控制信号来适配自动纵向调节。同样的方法也可用于及早地识别驶出过程。在这种情况下,能操控车辆的自动纵向引导及早地加速,这将引起动态可感知性提高并且被驾驶员感觉是类似人类的行为。
此外可行的是,将本车道、即所识别的可行驶车道区段305基于机器学习的改变或变形用于异常探测,例如对应于伸入到该车道中的车辆,该车辆借助传统方法可能不被识别为与纵向调节相关的对象的情况;或者在所识别的可行驶车道区段305的区域中有对象的情况下,例如在车道上有遗失货物的情况。
在这些情况下,在使用控制信号的情况下能求取驾驶员警告并且附加地或替代地进行自动的纵向或横向干预。即使在车辆具有多个传感器的情况下,例如在车辆具有多传感器辅助***的情况下,在这里所提出的借助由语义分割所识别的可行驶车道区段305进行的车辆控制方法是有利的,例如作为附加保障或在其他传感器装置,例如雷达传感器装置/或激光雷达传感器装置被损害或失效的情况下的或所谓的“应变解决方案”。在这种情况下,例如也能操控或辅助具有受限的功能范围(例如没有车道变换、以受限的速度)的行驶模式。此外,在高度自动化***中能度过一段时间,直到在识别到传感器失效之后驾驶员可以再次承担驾驶任务。
图6示出借助语义分割所识别的可行驶车道区段的图示。所示出的是参照图5所说明的应用状况的后续场景:在前行驶车辆405在这里在驶入到先前被识别为可行驶车道区段305的区域中期间被示出。由于在前行驶车辆405驶入,被识别为可行驶的车道区段305缩短,并且该对象被识别为在前行驶车辆405。
图7根据一个实施例示出用于车辆控制的方法的信号流程图。所示出的是,示例性地纳入基于机器学习的本路径,即示例性地应用在这里所提出的借助语义分割识别可行驶车道区段并且基于所识别的可行驶车道区段控制车辆的方法。
在这里所示出的信号流程图中,用于横向引导的传统感知方法即基于模型的车道标记识别,和用于纵向引导的传统感知方法,即借助图案识别例如维奥拉-琼斯(ViolaJones)或“支持向量机”(SVM)进行的对象分类,由尽可能互补的、基于机器学习的路径,即本车道的语义分割,来补充。
在这里所示出的实施例中,摄像机信号125由单目视频传感器、即单目摄像机传感器装置130提供。在这里,将摄像机信号125示例性地提供给车道标记识别装置155、实施装置115、探测装置165和检查装置705。车道标记识别装置155实施传统车道标记识别并且将标记信号150提供给求取装置120。实施装置115实施本车道的语义分割并且提供车道信号135。探测装置165实施传统车辆识别并且提供车辆识别信号160。检查装置705实施传统方法的可用性检查并且提供调制信号710。在这里,求取装置120包括横向引导数据融合装置715和纵向引导数据融合装置720。为了对数据融合产生调制性影响,调制信号710被提供给横向引导数据融合装置715和纵向引导数据融合装置720。此外,标记信号150和车道信号135被提供给横向引导数据融合装置715。根据在这里所示出的实施例,横向引导数据融合装置715构造为用于在使用标记信号150、车道信号135和调制信号710的情况下求取用于横向引导的控制信号140,并且将用于横向引导的控制信号140提供给作为车辆部件145的车辆调节器。车辆识别信号160和车道信号135被提供给纵向引导数据融合装置720。根据在这里所示出的实施例,纵向引导数据融合装置720构造为用于,在使用车辆识别信号160、车道信号135和调制信号710的情况下求取用于纵向引导的控制信号140并且将用于纵向引导的控制信号140提供给作为车辆部件145的车辆调节器。
在此例如能实现,在对于传统方法有挑战性的场景中,在数据融合的意义中更强烈地依靠于机器学习方法。在良好情况下,如果传统方法已经可以良好地描绘驾驶员期望,则在数据融合的意义上优选所述传统方法。
如果实施例包括第一特征和第二特征之间的“和/或”连接,则这应解读为该实施例根据一个实施方式不但具有第一特征而且具有第二特征并且根据另一实施方式或者仅具有第一特征或者仅具有第二特征。
Claims (13)
1.一种用于车辆控制的方法(200),其中,所述方法(200)具有以下步骤:
-读入(205)摄像机信号(125),所述摄像机信号代表要由车辆(100)驶过的车道的光学感测图像;
-对由所述摄像机信号(125)所代表的图像实施(210)语义分割,以便从图像中识别在所述车辆(100)前方的空闲区域作为可行驶车道区段(305),并且提供代表所识别的可行驶车道区段(305)的车道信号(135);以及
-在使用所述车道信号(135)的情况下求取(215)控制信号(140)用于操控至少一个车辆部件(145)。
2.根据权利要求1所述的方法(200),其中,在所述求取(215)的步骤中,附加地在使用标记信号(150)的情况下求取控制信号(140),其中,所述标记信号(150)代表所识别的车道标记。
3.根据前述权利要求中任一项所述的方法(200),其中,在所述求取(215)的步骤中,附加地在使用车辆识别信号(160)的情况下求取所述控制信号(140),其中,所述车辆识别信号(160)代表所识别的在前行驶车辆(405)。
4.根据前述权利要求中任一项所述的方法(200),其中,重复地实施所述实施(210)语义分割的步骤,以便识别所述可行驶车道区段(305)的延伸出现改变,并且提供延伸信号(170),该延伸信号代表所识别的可行驶车道区段(305)的所识别的延伸改变,其中,在所述求取(215)的步骤中,在使用所述延伸信号(170)的情况下求取所述控制信号(140)。
5.根据前述权利要求中任一项所述的方法(200),其中,在所述求取(215)的步骤中,求取所述控制信号(140)以操控所述车辆(100)在所识别的可行驶车道区段(305)内的横向引导。
6.根据前述权利要求中任一项所述的方法(200),其中,在所述求取(215)的步骤中,求取所述控制信号(140)以操控所述车辆(100)关于所识别的可行驶车道区段(305)的所识别的端部的纵向引导。
7.根据前述权利要求中任一项所述的方法(200),其中,在所述求取(215)的步骤中,根据在所识别的可行驶车道区段(305)的最小宽度或长度方面的阈值求取所述控制信号(140)。
8.根据权利要求7所述的方法(200),其中,在所述求取(215)的步骤中,根据所述阈值附加地求取警告信号(175)用于向驾驶员输出能声学地和/或视觉地感知的警告。
9.根据前述权利要求中任一项所述的方法(200),其中,在所述求取(215)的步骤中,在使用读入的行驶参数(185)的情况下求取所述控制信号(140)以便调设行驶参数。
10.根据前述权利要求中任一项所述的方法(200),其中,具有在使用单目摄像机传感器装置(130)的情况下对要由所述车辆(100)驶过的车道进行光学感测(220)的步骤,以便提供所述摄像机信号(125)。
11.一种设备(105),所述设备设置为用于在相应的单元(110、115、120)中实施和/或操控根据前述权利要求中任一项所述的方法(200)的步骤。
12.一种计算机程序,所述计算机程序设置为用于,实施和/或操控根据前述权利要求中任一项所述的方法(200)的步骤。
13.一种机器可读的存储介质,在所述机器可读的存储介质上存储根据权利要求12所述的计算机程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020202811.7A DE102020202811A1 (de) | 2020-03-05 | 2020-03-05 | Verfahren und Vorrichtung zur Fahrzeugsteuerung |
DE102020202811.7 | 2020-03-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113353084A true CN113353084A (zh) | 2021-09-07 |
Family
ID=77388624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110245870.5A Pending CN113353084A (zh) | 2020-03-05 | 2021-03-05 | 用于车辆控制的方法及设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11679767B2 (zh) |
CN (1) | CN113353084A (zh) |
DE (1) | DE102020202811A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022212709A1 (de) | 2022-11-28 | 2024-05-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Korridorbasierte Fahrzeugsteuerung |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4730406B2 (ja) * | 2008-07-11 | 2011-07-20 | トヨタ自動車株式会社 | 走行支援制御装置 |
US9091558B2 (en) * | 2013-12-23 | 2015-07-28 | Automotive Research & Testing Center | Autonomous driver assistance system and autonomous driving method thereof |
US10303956B2 (en) * | 2017-08-23 | 2019-05-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
DE102018213257A1 (de) * | 2018-05-09 | 2019-11-14 | Conti Temic Microelectronic Gmbh | Verfahren zur Detektion von Fahrspuren |
US11488395B2 (en) * | 2019-10-01 | 2022-11-01 | Toyota Research Institute, Inc. | Systems and methods for vehicular navigation |
-
2020
- 2020-03-05 DE DE102020202811.7A patent/DE102020202811A1/de active Pending
-
2021
- 2021-02-17 US US17/177,475 patent/US11679767B2/en active Active
- 2021-03-05 CN CN202110245870.5A patent/CN113353084A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102020202811A1 (de) | 2021-09-09 |
US11679767B2 (en) | 2023-06-20 |
US20210276549A1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107226088B (zh) | 控制器、驾驶控制方法以及程序 | |
CN107590768B (zh) | 用于对用于运输工具的位置和/或方向的传感器数据进行处理的方法 | |
CN109844843B (zh) | 用于检查超车可能性条件的方法 | |
US10703363B2 (en) | In-vehicle traffic assist | |
US9360332B2 (en) | Method for determining a course of a traffic lane for a vehicle | |
US10127460B2 (en) | Lane boundary line information acquiring device | |
CN110865374A (zh) | 定位*** | |
KR102452546B1 (ko) | 차량의 주행 경로 생성장치 및 그 방법 | |
US20100141476A1 (en) | Driver assistance system for traffic sign recognition | |
CN110167813B (zh) | 行驶路径识别装置及行驶路径识别方法 | |
US9792509B2 (en) | Method and device for determining a lane course of a vehicle | |
CN111923914B (zh) | 机动车的路肩行驶的识别 | |
CN108162963A (zh) | 用于控制被超车车辆的方法和*** | |
CN109478065A (zh) | 用于车辆的自主驾驶方法 | |
US10040449B2 (en) | Method for avoiding a rear-end collision between a first vehicle and a second vehicle and control unit | |
CN114194196A (zh) | 使用基于深度学习的道路情况判断模型控制地形模式的方法和装置 | |
JP4951481B2 (ja) | 路面標示認識装置 | |
SE541589C2 (en) | Method and system for controlling driving of a vehicle along a road | |
CN111352414A (zh) | 用于车辆的假目标移除装置和方法及包括该装置的车辆 | |
CN113353084A (zh) | 用于车辆控制的方法及设备 | |
JP2015221636A (ja) | 車線維持支援装置 | |
EP3287940A1 (en) | Intersection detection system for a vehicle | |
US20220332328A1 (en) | Device for determining a length of a vehicle combination | |
KR102673140B1 (ko) | 주변 차량을 활용한 곡률 정보 보정 시스템 및 방법 | |
KR20210057897A (ko) | 자율주행차량의 안전주행 제어 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |