CN113661111A - 用于自动驾驶的车辆的交互需求的识别、分类和预测的控制单元和方法 - Google Patents
用于自动驾驶的车辆的交互需求的识别、分类和预测的控制单元和方法 Download PDFInfo
- Publication number
- CN113661111A CN113661111A CN202080027899.XA CN202080027899A CN113661111A CN 113661111 A CN113661111 A CN 113661111A CN 202080027899 A CN202080027899 A CN 202080027899A CN 113661111 A CN113661111 A CN 113661111A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driving situation
- interaction
- control unit
- current driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000007257 malfunction Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种用于自动驾驶的车辆(100)的运行的控制单元(121),该控制单元被设置为:检测车辆(100)的当前驾驶情况,在当前驾驶情况中存在车辆(100)与车辆外部单元(110)的交互需求,并且为前驾驶情况的交互需求分配多个不同的交互类别中的一个交互类别。然后,能够根据所分配的交互类别,与车辆外部单元(110)执行关于当前驾驶情况的交互。此外,控制单元(121)还被设置为预测自动驾驶车辆在未来时段可能发生的可能驾驶情况,在可能驾驶情况中存在车辆(100)与车辆外部单元(110)的交互需求。然后,能够启动一个或多个措施,以避免可能驾驶情况,和/或改变可能驾驶情况的交互需求。
Description
技术领域
本发明涉及一种用于支持自动驾驶的车辆应对特定驾驶情况的方法和相应的控制单元。
背景技术
自动驾驶或自主驾驶的车辆可能会处于如下驾驶情况中,在该驾驶情况中能够进行安全可靠的自主驾驶运行,并且在该驾驶情况中自动驾驶车辆的所有子***都正常运行,但其仍然可能妨碍车辆的驾驶运行。例如,自动驾驶的车辆在当前所行驶的车道上可能被困在障碍物(例如停放的搬运车辆)后面,因为必须违反交通规则才能避开障碍物(例如因为必须穿过实线才能行驶到另一车道上)。这种驾驶情况可能会导致自动驾驶的车辆长时间处于阻塞状态,从而会影响自动驾驶的车辆的可靠性和舒适性。
发明内容
本申请涉及提高自动驾驶的车辆的运行的可靠性和/或舒适性的技术目的。
该目的通过每个独立权利要求实现。尤其在从属权利要求中说明了有利的实施方式。需要指出的是,从属于独立专利权利要求的专利权利要求的附加特征在没有独立专利权利要求的特征的情况下或仅在与独立专利权利要求的特征子集组合的情况下可形成独立于独立专利权利要求的所有特征组合的单独发明,其可成为独立权利要求、分案申请或后续申请的主题。这同样适用于说明书中所述的技术理论,其可形成独立于独立专利权利要求的特征的发明。
根据一个方面,说明了一种用于自动驾驶的车辆(特别是机动车)的运行的控制单元。车辆可以具有根据SAE 3级或更高级(特别是根据SAE 4级或更高级)的自动化程度。
控制单元可以被设置为检测车辆的(实际)当前驾驶情况,在当前驾驶情况中存在车辆与车辆外部单元之间的交互需求。换言之,可以检测具有车辆交互需求的实际当前驾驶情况。在此,交互需求可以包括车辆与车辆外部单元处的人(例如与远程操作员)的交互。
在此,(实际)当前驾驶情况会导致车辆的至少暂时的阻塞(从而车辆无法继续行驶)。替代地或附加地,(实际的)当前驾驶情况可以是如下情况,即该驾驶情况可以通过违反交通规则来解决(在此尽管该违反不可以由车辆独立地执行和/或发起)。替代地或附加地,(实际的)当前驾驶情况可以是如下情况,即该驾驶情况不会引起自动驾驶车辆的(特别是任何)子***的错误消息。另一方面, (实际的)当前驾驶情况可以包括自动驾驶的车辆的事故和/或技术故障。
此外,控制单元可以被设置为:为(实际)当前驾驶情况的交互需求分配多个不同的交互类别中的一个交互类别。换言之,可以进行交互需求和/或当前驾驶情况的分类。多个不同的交互类别可能需要与至少部分不同的车辆外部单元的交互。由此,在分类的范畴中,可以从多个不同的车辆外部单元中选择一个特定的车辆外部单元(例如特定的服务器,必要时具有特定类型的对口联系人员)(例如用于车辆的远程操作、用于车辆服务等)。替代地或附加地,多个不同的交互类别可能需要将至少部分不同的数据发送到车辆外部单元。由此,在分类的范畴中可以确定哪些数据必须与车辆外部单元交换和/或哪些数据必须发送到车辆外部单元(例如与当前驾驶情况有关的哪些传感器数据)。
此外,控制单元可以被设置为:根据所分配的交互类别,与车辆外部单元进行关于当前驾驶情况的交互。控制单元特别是可以被设置为:对于所分配的交互类别与(所选择的)车辆外部单元进行关于(实际)当前驾驶情况的交互,和/或利用所分配的交互类别所需的数据进行关于(实际)当前驾驶情况的交互。由此,可以高效且可靠地消除或解决自动驾驶车辆的实际当前驾驶情况。
此外,控制单元还可以被设置为:预测自动驾驶的车辆在未来时段可能发生的可能驾驶情况,在可能驾驶情况中存在车辆与车辆外部单元的交互需求。换言之,甚至在具有交互需求的驾驶情况出现之前就可以***自动驾驶的车辆将在特定未来时段内进入到具有交互需求的驾驶情况。
相应于(实际)当前驾驶情况,(预测的)可能驾驶情况可能导致车辆的至少暂时的阻塞。替代地或附加地,可能驾驶情况可以通过违反交通规则来解决。替代地或附加地,可能驾驶情况可以是如下情况,即不存在自动驾驶车辆的(特别是任何)子***的错误消息。另一方面,可能驾驶情况可以包括自动驾驶车辆的事故和/或技术故障。
然后(即当识别出具有交互需求的未来可能的驾驶情况时)控制单元可以被设置为:启动一个或多个措施,以避免可能驾驶情况和/或改变在可能驾驶情况的范畴中的交互需求,特别是减少在可能驾驶情况的范畴中的交互需求。一个或多个措施例如可以包括:调整自动驾驶的车辆的驾驶策略;引起自动驾驶的车辆的变道;和/或在可能驾驶情况发生之前,开始与车辆外部单元的交互。
通过控制单元可以提高自动驾驶车辆的运行的舒适性和可靠性。
控制单元可以被设置为基于一个或多个机器学习模型、特别是基于一个或多个经学习的神经网络来检测当前驾驶情况。替代地或附加地,控制单元可以被设置为基于一个或多个机器学习模型、特别是基于一个或多个经学习的神经网络来确定交互类别。替代地或附加地,控制单元可以被设置为基于一个或多个机器学习模型、特别是基于一个或多个经学习的神经网络来预测可能驾驶情况。机器学习模型可以分别预先针对特定任务进行学习。通过机器学习模型的使用可以精确且有效地实施本文档中所述的措施。
控制单元可以被设置为借助于至少一个机器学习的预测器(具有一个或多个模型或神经网络)来预测所预测的可能驾驶情况。在此,预测器可以基于与(所检测的)当前驾驶情况相关的数据和/或基于与为当前驾驶情况的交互需求所分配的交互类别相关的数据来进行学习。用于预测器的学习的数据可以至少部分地包括在(实际) 当前驾驶情况的范畴中所采集的传感器数据。由此,可以进一步提高自动驾驶车辆的运行的可靠性和舒适性。
车辆可以包括一个或多个周围环境传感器(例如摄像机、雷达传感器、激光雷达传感器等),其被设置用于确定与车辆附近环境相关的周围环境数据。控制单元可以被设置为基于周围环境数据检测当前驾驶情况、确定交互类别和/或预测可能驾驶情况。
替代地或附加地,车辆可以包括位置传感器,其被设置用于确定与车辆位置相关的位置数据。控制单元可以被设置为基于位置数据并且基于与车辆所行驶的道路网络相关的数字地图信息来检测当前驾驶情况、确定交互类别和/或预测可能驾驶情况。
替代地或附加地,车辆可以包括一个或多个车辆传感器,其被设置为确定与车辆的至少一个状态变量(例如行驶速度)相关的车辆数据。控制单元可以被设置为基于车辆数据检测当前驾驶情况、确定交互类别和/或预测可能驾驶情况。
控制单元特别是可以被设置为基于车辆的一个或多个周围环境传感器的周围环境数据、基于车辆的一个或多个车辆传感器的车辆数据、基于车辆的位置传感器的位置数据、基于与车辆所行驶的道路网络中的交通相关的交通数据和/或基于与道路网络相关的数字地图信息,确定多个特征的特征值。此外,控制单元可以被设置为基于特征值并且借助于机器学习模型,检测当前驾驶情况、确定交互类别和/或预测可能驾驶情况。
通过使用车辆的一个或多个不同传感器的传感器数据可以特别鲁棒的方式提高自动驾驶车辆的舒适性和可靠性。
根据另一方面,说明了一种包括在本文件中所述的控制单元的 (道路)机动车(特别是乘用车或载重汽车或公共汽车)。
根据另一方面,说明了一种用于自动驾驶的车辆的运行的(计算机实现的)方法。该方法包括检测车辆的(实际)当前驾驶情况,在当前驾驶情况中存在车辆与车辆外部单元的交互需求。此外,该方法还包括为当前驾驶情况的交互需求分配多个不同的交互类别中的一个交互类别。此外,该方法还包括根据所分配的交互类别与车辆外部单元进行关于当前驾驶情况的交互。此外,该方法还包括预测自动驾驶的车辆在未来时段可能发生的可能驾驶情况,在可能驾驶情况中存在车辆与车辆外部单元的交互需求。此外,该方法还包括执行一种或多种措施,以避免可能驾驶情况和/或改变可能驾驶情况的交互需求,特别是减少可能驾驶情况的交互需求。
根据另一方面,说明了一种软件程序。该软件程序可以被设置为在处理器上(例如在车辆的控制单元上)运行,从而执行本文件中所述的方法。
根据另一方面,说明了一种存储介质。该存储介质可以包括软件程序,该软件程序被设置为在处理器上运行从而执行在本文中所述的方法。
在本文件的范畴中,术语“自动驾驶”可以被理解为具有自动纵向或横向控制的驾驶或者具有自动纵向和横向控制的自主驾驶。例如,自动驾驶可以在高速公路上较长时间的行驶或者在泊车或调整车辆的情况中时间有限的行驶。术语“自动驾驶”包括具有任意自动化程度的自动驾驶。示例性的自动化程度为辅助驾驶、部分自动驾驶、高度自动驾驶或者全自动驾驶。自动化程度由联邦公路研究所(BASt)定义(请参阅BASt出版物“研究报告”,版本11/2012)。在辅助驾驶中,驾驶员持续执行纵向或横向控制,而***在一定限制范围内接管相应的其他功能。在部分自动驾驶(TAF)中,***在一定时间段内和/或在特定情况下接管纵向和横向控制,其中驾驶员必须如在辅助驾驶中一样持续地监控***。在高度自动驾驶(HAF)中,***在一定时间段内接管纵向和横向控制,而无需驾驶员持续地监控***;然而驾驶员必须在一定时间内能够接管车辆控制。在全自动驾驶(VAF)中,***可对于特定应用场合在所有情况下自动管理驾驶;该应用场合不再需要驾驶员。上述四个自动化程度相应于SAE J3016标准(SAE-美国汽车工程师协会)的SAE 级别1至4。例如,高度自动驾驶(HAF)相应于SAE J3016标准的 3级。此外,在SAE J3016中还规定了SAE 5级作为最高自动化程度,其未包含在BASt的定义中。SAE 5级相应于无人驾驶,其中***可在整个行驶期间如人类驾驶员一样自动处理所有情况;一般不再需要驾驶员。本文件中所述的方面特别是涉及到符合SAE 3级及更高级别的车辆。
值得注意的是,本文中所述的方法、装置和***既可以单独使用,也可以与本文中所述的其他方法、装置和***结合使用。此外,本文中所述的方法、装置和***的任何方面都可以多种方式相互组合。特别是权利要求的特征可以多种方式相互组合。
附图说明
下面借助于实施例更详细地说明本发明。其中:
图1a示出了自动驾驶车辆的示例性驾驶情况;
图1b示出了车辆的示例性部件;
图2a示出了示例性的神经网络;
图2b示出了示例性神经元;并且
图3示出了用于运行自动驾驶车辆的示例性方法的流程图。
具体实施方式
如开头所述,本申请涉及提高自动驾驶的车辆的舒适性和/或可靠性的技术目的。就此而言,图1a示出了自动驾驶车辆100的示例性驾驶情况,其在多车道道路的第一车道101上行驶并且受到障碍物104(例如停放的车辆)的阻碍。
为了解决这种情况,自动驾驶的车辆100将不得不驶入相邻的第二车道102(由弯曲的箭头示出),然而该第二车道在所示的示例中与第一车道101通过实线103分开。因为为了变换车道必须违反交通规则,所以自动驾驶的车辆100会停在障碍物104后面从而被阻挡。
图1b示出了车辆100的示例性部件。车辆100包括一个或多个周围环境传感器122(例如摄像机、雷达传感器、激光雷达传感器、超声波传感器、麦克风等),其被设置用于采集与车辆100的周围环境有关的传感器数据(在本申请中也称为周围环境数据)。此外,车辆100还包括位置传感器123,其被设置为确定与车辆100的当前位置相关的位置数据(例如GPS坐标)。位置数据可以与关于车辆100所行驶的道路网络的数字地图信息结合使用,以确定车辆100 在道路网络内的准确位置。此外,车辆100还可以包括一个或多个车辆传感器124,其被设置为确定与车辆100的状态变量相关的传感器数据(在本文中也称为车辆数据)。示例性的状态变量为车辆的行驶速度、车辆的横摆率等。
车辆100包括控制单元121,其被设置为基于周围环境数据、车辆数据、位置数据和/或数字地图信息对车辆100进行自动纵向和/ 或横向控制。此外,控制单元121被设置为基于上述数据识别出需要与车辆外部单元110(特别是与车辆外部单元110处的人)进行交互来解决驾驶情况的驾驶情况。由此,控制单元121可以被设置为在第一步骤中识别交互需求。
此外,控制单元121可以被设置为对交互需求进行分类。例如可以定义多个交互类别,其中不同的交互类别必要时分别与不同的交互伙伴或不同的外部单元110相关联。
车辆100可以包括通信单元125,其被设置为通过(无线)通信链路111(例如WLAN、3G、4G、5G等)与一个或多个外部单元 110通信。特别是可以通过通信单元125向外部单元110发送如下消息,即存在交互需求以应对当前驾驶情况。然后,外部单元110可以与车辆100交换数据以应对驾驶情况。例如,可以由外部单元110 (例如由在外部单元110处的人)引发车辆100的远程控制,以应对当前的驾驶情况。
此外,控制单元121还可以被设置为使用在所检测的驾驶情况的范畴中所采集的数据来进行(机器学习的)预测器的学习,以便预知或预测具有可能的交互需求的未来驾驶情况。机器学习的预测器特别是可以使得提早识别出车辆100将进入到需要交互的驾驶情况中。然后,该信息可以用于调整自动驾驶车辆100的驾驶策略,以避免具有交互需求的驾驶情况。由此可以提高自动驾驶的车辆100 的可靠性。
具有交互需求的驾驶情况的识别、交互需要的分类和/或具有交互需求的驾驶情况的预测可以分别通过经学习的神经网络来实现。
图2a示出了示例性的神经网络200,特别是前馈网络。在所示的示例中,网络200包括两个输入神经元或输入节点202,其在特定的时间点分别接收测量变量的或特征的当前值作为输入值201。示例性输入值201为车辆数据、周围环境数据、位置数据和/或数字地图信息或从中导出的数据(特别是从中导出的一个或多个特征的值)。一个或多个输入节点202为输入层211的一部分。
此外,神经网络200还包括在神经网络200的一个或多个隐藏层212中的神经元220。每个神经元220具有前一层212、211的神经元的各个输出值作为输入值。在每个神经元220中进行处理,以根据输入值确定神经元220的输出值。可以在输出层213的输出神经元或输出节点220中处理最后一个隐藏层212的神经元220的输出值,以确定神经网络200的输出值203。神经网络200的示例性输出值203例如表明了存在具有交互需求的驾驶情况、存在哪个交互类别和/或车辆100正进入到具有交互需求的驾驶情况中。
图2b示出了在神经元220内、特别是在一个或多个隐藏层212 和/或输出层213的神经元202内的示例性信号处理。神经元220的输入值221以单独的权重222进行加权,以便在求和单元223中确定输入值221的加权和224(必要时考虑到偏差或偏移230)。通过激活函数225可将加权和224映射到神经元220的输出值226。在此,可以通过激活函数225例如进行值域的限制。对于神经元220,例如可使用S形函数或双曲正切(tanh)函数或整流线性单元(ReLU) 作为激活函数225,例如f(x)=max(0,x)。必要时,激活函数225 可以通过偏移230改变加权和224的值。
由此,神经元220具有权重222和/或偏移230作为神经元参数。可以在训练阶段中学习神经网络200的神经元220的神经元参数,以便使得神经网络200执行特定功能,例如具有交互需求的驾驶情况的识别、交互需求的分类和/或即将到来的具有交互需求的驾驶情况的预测。
例如,可以借助于反向传播算法来进行神经网络200的学习。为此,在学习算法的第q个时期的第一阶段为在神经网络200的一个或多个输入节点202处的输入值201确定在一个或多个输出神经元220的输出端处的相应输出值203。输入值201可以取自训练数据(即实际车辆数据、周围环境数据、位置数据和/或数字地图信息),训练数据也表明了相应的目标输出值(即具有交互需求的驾驶情况的存在与否、交互需求的交互类别和/或具有交互需求的未来驾驶情况的存在与否)。由神经网络200确定或预测的实际输出值可以与来自训练数据的目标输出值进行比较,以确定优化函数的值。
在学习算法的第q个时期的第二阶段进行误差从神经网络的输出端到输入端的反向传播,以便逐层地改变神经元220的神经元参数。在此,可在输出端处部分地根据神经网络200的每个单个神经元参数导出所确定的优化函数,以便确定调整各个神经元参数的程度。该学习算法可迭代地重复多个时期,直到达到预定义的收敛标准。在此,在不同的时期可以使用至少部分不同的训练数据。
由此说明了一种用于自动驾驶车辆100的***,其回答以下问题:1)车辆100是否需要辅助、支持和/或与外部单元110和/或人的交互?2)需要何种形式或类别的辅助、支持和/或交互?和/或3) 车辆100在前方的时间段内需要辅助、支持和/或与外部单元110和/或人的交互的可能性有多大?
由此特别是说明了一种三阶段***:1.检测交互需求(例如车辆100的远程操作或另一(远程)服务交互);2.对交互需求进行分类,以便有针对性地触发或访问多个不同的外部单元110中的一个外部单元110(例如触发远程操作或服务或拖车服务或公共机构); 3.预测未来的交互需求,以避免未来的问题或更快地解决可能出现的问题。
交互需求的检测可以通过具有不同输入或输入值201的异常检测来映射。其优点在于,***必要时可在没有或具有相对较少问题案例的情况下进行学习(与其他形式的机器学习相反,后者通常需要相对大量的训练数据(也对于错误情况))。
通信需求的分类可由另一训练模型提供。在此,已识别的具有交互需求的驾驶情况的触发可用作输入值201。此外,用于识别具有交互需求的驾驶情况的模型中的输入值201可用于对通信需求进行分类的模型。
在用于预测具有交互需求的驾驶情况的模型的范畴中,可以使用来自用于识别具有交互需求的驾驶情况的模型和/或来自用于对交互需求进行分类的模型的上级数据。
上面提到的三个阶段或步骤分别可以实现为(机器学习)模型的级联。每个子模型都明确地处理一项特定任务。一个子模型的输出203可以是另一子模型的输入值201(或特征)。用于识别具有交互需求的驾驶情况的模型的示例性输入值201为:
·车辆100的摄像机的图像数据;
·在车辆100周围环境中的一个或多个对象104的对象分类;
·车辆100静止的持续时间;
·车辆100已被超车的次数;
·喇叭信号的识别;
·提高的行人注意力;
·车辆100的乘员的手势的识别;
·车辆100的乘员的乘员状况(例如紧张);该信息可由车辆 100的内部传感器(例如内部摄像机)采集;
·地点和/或一天中的时间;
·导致当前驾驶情况的历史记录;和/或
·车辆100的状态。
各个输入值201和/或特征可利用概率密度函数进行建模,例如在多个特征的多维概率密度函数中和/或作为单个特征的单个概率密度函数。然后,在此基础上可执行异常检测,以便识别出(与人) 存在交互需求的驾驶情况作为初始触发。
为了对交互需求进行分类,使用车辆100的摄像机的图像数据和已识别出具有交互需求的驾驶情况的事实作为输入值201。然后例如可识别驾驶情况的类型或类别(例如车辆100的事故、停放的搬运车辆、车道上的人和/或动物等)。然后可发起与所识别的外部单元110的通信。在此,可以将有针对性的与当前驾驶情况相关的信息发送到外部单元110。
用于预测尚未发生的具有交互需求的驾驶情况的预测器可以与上述阶段并行运行。在此,所识别的具有交互需求的驾驶情况和/或所识别的驾驶情况的交互类别可用于预测器的进一步学习。所预测的(可能的)具有交互需求的驾驶情况可用于调整车辆100的驾驶策略,以避免所预测的驾驶情况的实际发生。
通过不同阶段或步骤的组合,可在特定程度上提高自动驾驶车辆100的可靠性。在此,单独的机器学习模型(特别是神经网络200) 可在车辆100和/或后端服务器上在本地执行。
图3示出了用于运行自动驾驶车辆100的示例性方法300的流程图。方法300可以由车辆100的控制单元121执行。方法300包括:检测301车辆100的(实际)当前驾驶情况,在当前驾驶情况中存在车辆100与车辆外部单元110(特别是与车辆外部单元110 处的人工代理)的交互需求的。
此外,方法300包括:为当前驾驶情况的交互需求分配302多个不同的交互类别中的一个交互类别。在此,特别是可以确定与多个不同的车辆外部单元110中的哪个车辆外部单元110存在交互需求。替代地或补充地,可以确定在交互的范畴中应传输哪些数据。
此外,方法300还包括:根据所分配的交互类别,与车辆外部单元110执行303关于当前驾驶情况的交互。特别是可以与对于所分配的交互等级相关的车辆外部单元110和/或利用与所分配的交互类别相关的数据进行交互。在此,在交互的范畴中可以使得解决驾驶情况(其例如会导致车辆100的阻塞和/或静止),从而车辆100 可以继续行驶。
此外,方法300还包括:预测304自动驾驶的车辆100在未来时段可能发生的可能驾驶情况,在可能驾驶情况中存在车辆100与车辆外部单元110的交互需求。由此可以预先检验车辆100是否会进入具有交互需求的可能的驾驶情况。为此目的,可以使用机器学习的预测器(其必要时基于一个或多个具有交互需求的实际当前驾驶情况的数据进行学习或已经进行学习)。
此外,方法300还包括:执行305一个或多个措施,以避免该可能驾驶情况,和/或改变该可能驾驶情况的交互需求,特别是减少该可能驾驶情况的交互需求(以减少交互需求所需的时间)。例如,可以提早调整车辆100的驾驶策略,和/或可以在可能驾驶情况发生之前就已经发起与车辆外部单元110的交互。
总之,由此可以提高自动驾驶的车辆100关于具有交互需求的驾驶情况的可靠性和舒适性。
本发明并不限于所示的实施例。特别应注意的是,说明和附图仅旨在说明所提出的方法、装置和***的原理。
Claims (12)
1.一种用于自动驾驶的车辆(100)的运行的控制单元(121);其中所述控制单元(121)被设置为:
-检测所述车辆(100)的当前驾驶情况,在所述当前驾驶情况中存在所述车辆(100)与车辆外部单元(110)的交互需求;
-为所述当前驾驶情况的交互需求分配多个不同的交互类别中的一个交互类别;
-根据所分配的交互类别,与车辆外部单元(110)执行关于所述当前驾驶情况的交互;
-预测自动驾驶的所述车辆(100)在未来时段可能发生的可能驾驶情况,在所述可能驾驶情况中存在所述车辆(100)与车辆外部单元(110)的交互需求;并且
-启动一个或多个措施,以避免所述可能驾驶情况,和/或改变所述可能驾驶情况的交互需求,特别是减少所述可能驾驶情况的交互需求。
2.根据权利要求1所述的控制单元(121),其中所述控制单元(121)被设置为:
-基于一个或多个机器学习模型、特别是基于一个或多个经学习的神经网络(200)来检测所述当前驾驶情况;和/或
-基于一个或多个机器学习模型、特别是基于一个或多个经学习的神经网络(200)来确定所述交互类别;和/或
-基于一个或多个机器学习模型、特别是基于一个或多个经学习的神经网络(200)来预测所述可能驾驶情况。
3.根据前述权利要求中任一项所述的控制单元(121),其中所述控制单元(121)被设置为:
-借助于至少一个机器学习的预测器来预测所述可能驾驶情况;并且,
-基于与所述当前驾驶情况相关的数据和/或基于与为所述当前驾驶情况的交互需求所分配的交互类别相关的数据,进行所述预测器的学习。
4.根据前述权利要求中任一项所述的控制单元(121),其中所述交互需求包括与在车辆外部单元(110)处的人的交互。
5.根据前述权利要求中任一项所述的控制单元(121),其中所述当前驾驶情况和/或所述可能驾驶情况
-导致所述车辆(100)的至少暂时的阻塞;
-能够通过违反交通规则来解决;
-不引起自动驾驶的所述车辆(100)的子***的错误消息;和/或
-包括自动驾驶的所述车辆(100)的事故和/或技术故障。
6.根据前述权利要求中任一项所述的控制单元(121),其中所述一个或多个措施包括:
-调整自动驾驶的所述车辆(100)的驾驶策略;
-引起自动驾驶的所述车辆(100)的变道;和/或
-在所述可能驾驶情况发生之前,开始与车辆外部单元(110)的交互。
7.根据前述权利要求中任一项所述的控制单元(121),其中
-所述多个不同的交互类别需要与至少部分不同的车辆外部单元(110)的交互;和/或
-所述多个不同的交互类别需要将至少部分不同的数据发送到车辆外部单元(110);并且
-所述控制单元(121)被设置为:对于所分配的交互类别与所述车辆外部单元(110)进行关于所述当前驾驶情况的交互,和/或利用所分配的交互类别所需的数据进行关于所述当前驾驶情况的交互。
8.根据前述权利要求中任一项所述的控制单元(121),其中所述控制单元(121)被设置为:
-基于所述车辆(100)的一个或多个周围环境传感器(122)的周围环境数据、基于所述车辆(100)的一个或多个车辆传感器(124)的车辆数据、基于所述车辆(100)的位置传感器(123)的位置数据、基于与所述车辆(100)所行驶的道路网络中的交通相关的交通数据和/或基于与所述道路网络相关的数字地图信息,确定多个特征的特征值(201);并且
-基于所述特征值(201)并且借助于机器学习模型,检测所述当前驾驶情况、确定所述交互类别和/或预测所述可能驾驶情况。
9.根据前述权利要求中任一项所述的控制单元(121),其中
-所述车辆(100)包括一个或多个周围环境传感器(122),所述一个或多个周围环境传感器(122)被设置用于确定与所述车辆(100)的周围环境相关的周围环境数据;并且
-所述控制单元(121)被设置为:基于所述周围环境数据,检测所述当前驾驶情况、确定所述交互类别和/或预测所述可能驾驶情况。
10.根据前述权利要求中任一项所述的控制单元(121),其中
-所述车辆(100)包括位置传感器(123),所述位置传感器(123)被设置用于确定与所述车辆(100)的位置相关的位置数据;并且
-所述控制单元(121)被设置为:基于所述位置数据并且基于与所述车辆(100)所行驶的道路网络相关的数字地图信息,检测所述当前驾驶情况、确定所述交互类别和/或预测所述可能驾驶情况。
11.根据前述权利要求中任一项所述的控制单元(121),其中
-所述车辆(100)包括一个或多个车辆传感器(123),所述一个或多个车辆传感器被设置用于确定与所述车辆(100)的状态变量相关的车辆数据;并且
-所述控制单元(121)被设置为:基于所述车辆数据,检测所述当前驾驶情况、确定所述交互类别和/或预测所述可能驾驶情况。
12.一种用于自动驾驶的车辆(100)的运行的方法(300);其中所述方法(300)包括:
-检测(301)所述车辆(100)的当前驾驶情况,在所述当前驾驶情况中存在所述车辆(100)与车辆外部单元(110)的交互需求;
-为所述当前驾驶情况的交互需求分配(302)多个不同的交互类别中的一个交互类别;
-根据所分配的交互类别,与车辆外部单元(110)执行(303)关于所述当前驾驶情况的交互;
-预测(304)自动驾驶的所述车辆(100)在未来时段可能发生的可能驾驶情况,在所述可能驾驶情况中存在所述车辆(100)与车辆外部单元(110)的交互需求;并且
-执行(305)一个或多个措施,以避免所述可能驾驶情况,和/或改变所述可能驾驶情况的交互需求,特别是减少所述可能驾驶情况的交互需求。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019110040.2 | 2019-04-16 | ||
DE102019110040.2A DE102019110040A1 (de) | 2019-04-16 | 2019-04-16 | Steuereinheit und Verfahren zur Erkennung, Klassifizierung und Prädiktion eines Interaktionsbedarfs eines automatisiert fahrenden Fahrzeugs |
PCT/EP2020/055439 WO2020212007A1 (de) | 2019-04-16 | 2020-03-02 | Steuereinheit und verfahren zur erkennung, klassifizierung und prädiktion eines interaktionsbedarfs eines automatisiert fahrenden fahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113661111A true CN113661111A (zh) | 2021-11-16 |
Family
ID=69804839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080027899.XA Pending CN113661111A (zh) | 2019-04-16 | 2020-03-02 | 用于自动驾驶的车辆的交互需求的识别、分类和预测的控制单元和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220153301A1 (zh) |
CN (1) | CN113661111A (zh) |
DE (1) | DE102019110040A1 (zh) |
WO (1) | WO2020212007A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63150710A (ja) * | 1986-12-16 | 1988-06-23 | Shinko Electric Co Ltd | 自立型無人車システムにおける衝突回避方法 |
DE19856732A1 (de) * | 1998-12-09 | 2000-06-15 | Bayerische Motoren Werke Ag | Übersetzungswechselsteuerung für ein stufenloses Automatikgetriebe in Kraftfahrzeugen mit einem eletronischen Steuergerät |
DE102015223481A1 (de) * | 2015-11-26 | 2017-06-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Anpassung einer Lenkunterstützung eines Fahrzeugs |
US20170192423A1 (en) * | 2016-01-04 | 2017-07-06 | Cruise Automation, Inc. | System and method for remotely assisting autonomous vehicle operation |
DE102016215314A1 (de) * | 2016-08-17 | 2018-02-22 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem, Fortbewegungsmittel und Verfahren zur Prädiktion einer Verkehrssituation |
US10042359B1 (en) * | 2016-01-22 | 2018-08-07 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle refueling |
CN108510771A (zh) * | 2017-02-27 | 2018-09-07 | 奥迪股份公司 | 驾驶辅助***及包括该驾驶辅助***的车辆 |
US20190065869A1 (en) * | 2017-08-26 | 2019-02-28 | Here Global B.V. | Predicting features on a road network with repeating geometry patterns |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9082239B2 (en) * | 2012-03-14 | 2015-07-14 | Flextronics Ap, Llc | Intelligent vehicle for assisting vehicle occupants |
DE102014111023A1 (de) * | 2014-08-04 | 2016-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges |
DE102015220481B4 (de) * | 2015-10-21 | 2024-05-29 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung in einer Verkehrseinheit zum kooperativen Abstimmen von Fahrmanövern von mindestens zwei Kraftfahrzeugen |
US9983591B2 (en) * | 2015-11-05 | 2018-05-29 | Ford Global Technologies, Llc | Autonomous driving at intersections based on perception data |
US9952056B2 (en) * | 2016-03-11 | 2018-04-24 | Route4Me, Inc. | Methods and systems for detecting and verifying route deviations |
DE102016205972A1 (de) * | 2016-04-11 | 2017-11-09 | Volkswagen Aktiengesellschaft | Verfahren zur autonomen oder teilautonomen Durchführung eines kooperativen Fahrmanövers |
DE102016210760A1 (de) * | 2016-06-16 | 2017-12-21 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Interaktion zwischen einem Fahrzeug und Verkehrsteilnehmer |
US10775783B2 (en) * | 2016-08-04 | 2020-09-15 | Kevin Lawler | System for asymmetric just-in-time human intervention in automated vehicle fleets |
DE102016216680A1 (de) * | 2016-09-02 | 2018-03-08 | Bayerische Motoren Werke Aktiengesellschaft | Kommunikation der Intention eines Fahrzeugs an einen weiteren Verkehrsteilnehmer |
DE102017205230A1 (de) * | 2017-03-28 | 2018-10-04 | Continental Teves Ag & Co. Ohg | Verfahren zum Ermitteln eines Kooperationspartners zur Ausführung eines Fahrmanövers und System |
EP3457382A1 (en) * | 2017-09-15 | 2019-03-20 | Volkswagen Aktiengesellschaft | Method for planning a collision avoidance maneuver, corresponding control unit and vehicle equipped with a control unit as well as computer program |
US10745006B2 (en) * | 2018-02-01 | 2020-08-18 | GM Global Technology Operations LLC | Managing automated driving complexity of the forward path using perception system measures |
-
2019
- 2019-04-16 DE DE102019110040.2A patent/DE102019110040A1/de active Pending
-
2020
- 2020-03-02 US US17/433,319 patent/US20220153301A1/en active Pending
- 2020-03-02 CN CN202080027899.XA patent/CN113661111A/zh active Pending
- 2020-03-02 WO PCT/EP2020/055439 patent/WO2020212007A1/de active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63150710A (ja) * | 1986-12-16 | 1988-06-23 | Shinko Electric Co Ltd | 自立型無人車システムにおける衝突回避方法 |
DE19856732A1 (de) * | 1998-12-09 | 2000-06-15 | Bayerische Motoren Werke Ag | Übersetzungswechselsteuerung für ein stufenloses Automatikgetriebe in Kraftfahrzeugen mit einem eletronischen Steuergerät |
DE102015223481A1 (de) * | 2015-11-26 | 2017-06-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Anpassung einer Lenkunterstützung eines Fahrzeugs |
US20170192423A1 (en) * | 2016-01-04 | 2017-07-06 | Cruise Automation, Inc. | System and method for remotely assisting autonomous vehicle operation |
US10042359B1 (en) * | 2016-01-22 | 2018-08-07 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle refueling |
DE102016215314A1 (de) * | 2016-08-17 | 2018-02-22 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem, Fortbewegungsmittel und Verfahren zur Prädiktion einer Verkehrssituation |
CN108510771A (zh) * | 2017-02-27 | 2018-09-07 | 奥迪股份公司 | 驾驶辅助***及包括该驾驶辅助***的车辆 |
US20190065869A1 (en) * | 2017-08-26 | 2019-02-28 | Here Global B.V. | Predicting features on a road network with repeating geometry patterns |
Also Published As
Publication number | Publication date |
---|---|
DE102019110040A1 (de) | 2020-10-22 |
WO2020212007A1 (de) | 2020-10-22 |
US20220153301A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10921814B2 (en) | Vehicle control system and method, and travel assist server | |
US10037036B2 (en) | Method and arrangement for determining safe vehicle trajectories | |
US20190023208A1 (en) | Brake prediction and engagement | |
US11587329B2 (en) | Method and apparatus for predicting intent of vulnerable road users | |
CN116209611B (zh) | 在自动驾驶中使用其他道路使用者对自我交通工具行为的反应的方法和*** | |
US11753048B2 (en) | Monitoring of neural-network-based driving functions | |
US11691634B1 (en) | On-vehicle driving behavior modelling | |
EP3674972A1 (en) | Methods and systems for generating training data for neural network | |
US20230111354A1 (en) | Method and system for determining a mover model for motion forecasting in autonomous vehicle control | |
CN116507541A (zh) | 用于在自动驾驶中预测其他道路使用者的反应的方法和*** | |
CN113460083A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
JP6796679B2 (ja) | 車両制御システム及び方法、並びに走行支援サーバ | |
CN117087685A (zh) | 用于车辆中的环境感知的方法、计算机程序以及设备 | |
CN113661111A (zh) | 用于自动驾驶的车辆的交互需求的识别、分类和预测的控制单元和方法 | |
US11760388B2 (en) | Assessing present intentions of an actor perceived by an autonomous vehicle | |
US11697435B1 (en) | Hierarchical vehicle action prediction | |
US12033399B1 (en) | Turn and brake action prediction using vehicle light detection | |
US20230073933A1 (en) | Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components | |
EP4292900A1 (en) | Method for operating a vehicle and vehicle | |
US20230368541A1 (en) | Object attention network | |
US20230294717A1 (en) | Method for Determining a Trajectory for Controlling a Vehicle | |
Bezerra et al. | Machine Learning in Connected Vehicle Environments | |
CN118053321A (zh) | 车辆碰撞威胁评估 | |
CN117022262A (zh) | 无人车速度规划控制方法、装置、电子设备及存储介质 | |
CN117302215A (zh) | 用于执行最小危险操纵的车辆和操作该车辆的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |