CN113905938B - 用于改进多个自动驾驶车辆与其所在驾驶环境间交互的***和方法 - Google Patents

用于改进多个自动驾驶车辆与其所在驾驶环境间交互的***和方法 Download PDF

Info

Publication number
CN113905938B
CN113905938B CN201980097119.6A CN201980097119A CN113905938B CN 113905938 B CN113905938 B CN 113905938B CN 201980097119 A CN201980097119 A CN 201980097119A CN 113905938 B CN113905938 B CN 113905938B
Authority
CN
China
Prior art keywords
vehicle
autonomous vehicle
vei
autonomous
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980097119.6A
Other languages
English (en)
Other versions
CN113905938A (zh
Inventor
路易斯·比尔
杨磊
贾程程
于海
黄为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113905938A publication Critical patent/CN113905938A/zh
Application granted granted Critical
Publication of CN113905938B publication Critical patent/CN113905938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4046—Behavior, e.g. aggressive or erratic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于确定驾驶环境中自动驾驶车辆的车辆环境交互度量和/或乘客行为度量的技术。一组一个或多个自动驾驶车辆独立地确定在所述一组一个或多个车辆的预定义附近内目标车辆的VEI分数。目标车辆可以根据所述目标车辆内的乘客确定VPB分数。为目标车辆确定的VEI分数和/或VPB分数可以被所述目标车辆用于强化和/或纠正所述目标车辆的驾驶动作。

Description

用于改进多个自动驾驶车辆与其所在驾驶环境间交互的*** 和方法
技术领域
本发明大体上涉及车辆，更具体涉及一种自动驾驶车辆中可以使自动驾驶车辆识别和响应乘客和附近车辆的行为的***。
背景技术
自动驾驶车辆将在不久的将来彻底改变我们的交通***，在自动驾驶车辆中，传感器和软件取代人类驾驶员控制、导航和驾驶车辆。科学家们已经基本上能够量化和解决自动驾驶(self-driving/autonomous)车辆在障碍物检测和避让方面的问题。但是，开发能够像人类一样了解车辆行驶环境的计算机控制***仍然是一个尚待解决的问题。具体地，自动驾驶车辆不仅需要了解环境何时在变化，还需要了解环境为什么在变化。
情绪行为是影响人类驾驶风格的一个重要方面，也是在试图充分了解环境时的一个重要方面。一个或多个车辆乘客的情绪行为(例如激动、愤怒、紧张、恐惧、消极、放松)通常可能会对车辆的驾驶方式以及其它驾驶员对该车辆的感知产生影响。因此，在自动驾驶车辆中实现检测和响应周围车辆行为的***，可以帮助车辆更好地了解其环境，并了解其驾驶行为对环境的影响。
发明内容
一种用于改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的***，所述***包括：所述多个自动驾驶车辆中的第一自动驾驶车辆；所述第一自动驾驶车辆上的一个或多个传感器，所述一个或多个传感器用于记录第二自动驾驶车辆的与所述第二自动驾驶车辆与所述驾驶环境交互的方式相关的环境交互度量，所述第一自动驾驶车辆用于将所述环境交互度量的指标发送到所述第二自动驾驶车辆，以供所述第二自动驾驶车辆用于强化和/或纠正所述第二车辆的驾驶方式。
可选地，在上述任一方面中，所述环境交互度量是基于所述第二自动驾驶车辆与所述驾驶环境交互的礼貌程度和/或安全程度。
可选地，在上述任一方面中，所述环境交互度量包括以下各项中的一个或多个：
·所述第二自动驾驶车辆的标识，包括例如所述第二自动驾驶车辆的年份、品牌和型号以及所述第二自动驾驶车辆的登记信息；
·所述第二自动驾驶车辆的当前行驶速度；
·所述第二自动驾驶车辆的位置；
·所述第二自动驾驶车辆的动作，包括所述第二自动驾驶车辆的变道频率；
·所述第二自动驾驶车辆的乘客人数；
·所述第二自动驾驶车辆的动力；
·所述第二自动驾驶车辆的驾驶和/或事故历史；
·所述第二自动驾驶车辆的里程；
·所述第二自动驾驶车辆中使用的传感器类型。
可选地，在上述任一方面中，所述环境交互度量存储在数据管中，并通过算法处理以获得所述指标。
可选地，在上述任一方面中，所述指标包括第一指标，所述第一自动驾驶车辆还根据所述第一自动驾驶车辆中的一个或多个乘客的行为特征生成第二指标，所述第一自动驾驶车辆使用所述第二指标来强化和/或纠正所述第一自动驾驶车辆的驾驶方式。
可选地，在上述任一方面中，所述行为特征由所述第一自动驾驶车辆内部的第二组传感器捕获。
可选地，在上述任一方面中，所述第二组传感器捕获所述第一自动驾驶车辆中的所述一个或多个乘客的面部表情、身体姿势、动作、手势和话语中的至少一种。
可选地，在上述任一方面中，所述第一自动驾驶车辆和所述第二自动驾驶车辆在彼此的预定义距离内。
可选地，在上述任一方面中，所述预定义距离由所述第一自动驾驶车辆根据所述驾驶环境改变。
根据本发明的另一方面，提供了一种用于改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的***，所述***包括：所述多个自动驾驶车辆中的第一自动驾驶车辆，所述第一自动驾驶车辆包括：第一组一个或多个传感器，用于捕获与在所述驾驶环境中行驶的第二自动驾驶车辆的特征相关的第一数据集；第二组一个或多个传感器，用于捕获与所述第一自动驾驶车辆内的一个或多个乘客的行为相关的第二数据集；执行第一算法和第二算法中的至少一种的计算机；所述第一算法和所述第二算法中的所述第一算法指示所述计算机进行以下操作：接收从所述第一组一个或多个传感器捕获的所述第一数据集，根据所述捕获的第一数据集计算VEI分数，所述VEI分数与所述第二自动驾驶车辆的驾驶方式相关，将所述VEI分数从所述第一自动驾驶车辆传送到所述第二自动驾驶车辆，以供所述第二自动驾驶车辆用于强化和/或纠正所述第二自动驾驶车辆的驾驶方式；所述第一算法和所述第二算法中的所述第二算法指示所述计算机进行以下操作：接收从所述第二组一个或多个传感器捕获的所述第二数据集，根据所述捕获的第二数据集计算VPB分数，所述VPB分数与所述第一自动驾驶车辆中的所述一个或多个乘客的感知情绪相关，使用所述计算出的VPB分数来强化和/或纠正所述第一自动驾驶车辆的驾驶方式。
可选地，在上述任一方面中，所述计算机还确定围绕所述第一自动驾驶车辆的VEI半径，所述第二自动驾驶车辆在所述第一自动驾驶车辆的所述VEI半径内。
可选地，在上述任一方面中，所述VEI半径的大小是根据所述驾驶环境和/或正在使用的所述车辆传感器，和/或车辆制造商设置，和/或驾驶员/一个或多个授权乘客设置而变化的。
可选地，在上述任一方面中，所述VEI分数与由所述第一自动驾驶车辆测量的所述第二自动驾驶车辆与所述驾驶环境交互的礼貌程度和/或安全程度相关。
可选地，在上述任一方面中，所述VPB分数与由所述一个或多个乘客的所述感知情绪测量的所述第一自动驾驶车辆与所述驾驶环境交互的礼貌程度和/或安全程度相关。
可选地，在上述任一方面中，所述技术还包括云服务，所述云服务用于存储与所述第二自动驾驶车辆相关的信息，所述计算机还从所述云服务接收用于确定所述VEI分数的信息。
可选地，在上述任一方面中，所述技术还包括第三车辆，所述第三车辆接收来自所述第二车辆的信息，所述信息基于所述VEI分数和所述VPB分数中的至少一个，所述信息供所述第三车辆用于强化和/或纠正所述第三自动驾驶车辆的驾驶方式。
根据本发明的另一方面，提供了一种改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的方法，所述方法包括：所述多个自动驾驶车辆中的一组一个或多个主题车辆中的每个车辆测量与所述多个自动驾驶车辆中的目标车辆驾驶方式相关的属性集；存储所述测得的属性集；计算由所述一组一个或多个主题车辆中的每个车辆测得的每个属性集的VEI分数，所述一个或多个VEI分数表示所述目标车辆与所述一组一个或多个车辆和所述驾驶环境交互的程度；将所述一个或多个VEI分数传送给所述目标车辆，以便所述目标车辆根据所述一个或多个接收到的VEI分数确认和/或调整所述目标车辆的驾驶动作。
可选地，在上述任一方面中，所述存储所述测得的属性的步骤包括将所述测得的属性存储在VEI管中的步骤。
可选地，在上述任一方面中，所述计算所述VEI分数的步骤包括使用例如神经网络计算所述VEI分数的步骤，所述神经网络将来自所述VEI管的数据作为输入。
根据本发明的另一方面，提供了一种改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的方法，所述方法包括：测量指示所述多个自动驾驶车辆中的一个自动驾驶车辆中的一个或多个乘客的情绪状态的属性集；存储所述测得的属性集；计算所述测得的属性集的VPB分数，所述VPB分数表示所述一个或多个乘客中的至少一个乘客的情绪状态的度量；根据所述一个或多个确定的VPB分数调整所述车辆的驾驶动作。
可选地，在上述任一方面中，所述存储所述测得的属性的步骤包括将所述测得的属性存储在VPB管中的步骤。
可选地，在上述任一方面中，所述计算所述VPB分数的步骤包括使用例如神经网络计算所述VPB分数的步骤，所述神经网络将来自所述VPB管的数据作为输入。
本发明内容简单介绍了一系列概念，在具体实施方式中会进一步描述这些概念。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中提到的任何或所有缺点的实现方式。
附图说明
本发明的各方面以示例方式说明，不受附图的限制，其中，相同附图标记指示元件。
图1是可以实现本技术的实施例的驾驶环境的示意性俯视图；
图2是可以实现本技术的实施例的网络环境的示意图；
图3是自动驾驶车辆的外部的透视图，包括用于检测车辆与该驾驶环境的交互的多个传感器；
图4是自动驾驶车辆的内部的侧视图，包括用于感测车辆内乘客的身体和/或听觉属性的多个传感器；
图5是本技术的实施例提供的确定车辆环境交互分数的步骤的流程图；
图6是本技术的实施例提供的车辆环境交互数据管的图示；
图7示出了本技术的实施例提供的车辆环境交互分数从低到高的标尺；
图8是本技术的实施例提供的反馈环路的示意性图示，在该反馈环路中，车辆的车辆环境交互分数可以反馈到环境交互策略中，以强化和/或改进车辆的驾驶；
图9是本技术的实施例提供的确定车辆乘客行为分数的步骤的流程图；
图10是本技术的实施例提供的车辆乘客行为数据管的图示；
图11示出了本技术的实施例提供的车辆乘客行为分数从低到高的标尺；
图12是本技术的实施例提供的反馈环路的示意性图示，在该反馈环路中，车辆的乘客行为分数可以反馈到环境交互策略中，以强化和/或改进车辆的驾驶。
具体实施方式
现在将参考附图描述本发明，本发明大体上涉及确定自动驾驶车辆如何与其环境交互的行为度量的***和方法。根据本技术的第一方面，一组一个或多个自动驾驶车辆独立地为确定一组一个或多个车辆的预定义附近内目标车辆确定指标，本文中称为“车辆环境交互分数”或简称为“VEI分数”。在实施例中，VEI分数是指目标车辆驾驶方式的客观可测量或确定的属性和特征，例如目标车辆与其它车辆及其驾驶环境交互的礼貌程度和/或安全程度。由目标车辆周围的其它车辆为该目标车辆确定的VEI分数可以被传送到该目标车辆，以强化和/或纠正该目标车辆的驾驶动作。
根据本技术的第二方面，自动驾驶车辆还可以为主题车辆内的乘客确定指标，本文中称为“车辆乘客行为分数”或简称为“VPB分数”。在实施例中，“车辆乘客行为”是指自动驾驶车辆内乘客的客观可观察的行为特征，例如基于他们对给定车辆与其它车辆及其驾驶环境交互的礼貌程度和/或安全程度的感知。使用VEI分数和/或VPB分数，目前的技术使车辆更容易相互学习，并更好地了解如何与驾驶环境交互。
图1是驾驶环境100的俯视示意图。所示的环境100仅作为示例，并且本技术可以用于自动驾驶车辆行驶或可以驾驶自动驾驶车辆的任何环境中。图1示出了许多自动驾驶车辆102，可以包括自动驾驶汽车、卡车、公共汽车、面包车和可能的其它机动车辆。所示的自动驾驶车辆的相应位置、类型和数量仅作为示例，并且在另外的实施例中可以变化。虽然下文参考陆基自动驾驶车辆描述本技术，但本技术的原理也可以应用于各式船舶等水基自动驾驶车辆，或飞机、直升机和飞行车等空基自动驾驶车辆。
图1示出了突出显示的自动驾驶车辆102a，本文中称为主题车辆。如下文所述，主题车辆102a确定关于预定义半径内的车辆和主题车辆内的乘客的某些交互和/或行为度量，然后与预定义半径内的其它自动驾驶车辆102共享这些度量。但是，应当理解，驾驶环境100内的每个车辆可以确定这些交互和/或行为度量，并在预定义半径内与每个其它自动驾驶车辆102共享这些度量，如下所述。
预定义半径(本文中称为车辆环境交互半径，或VEI半径)104的大小可以根据许多因素变化，并且可以由自动驾驶车辆(实时)或授权乘客调整，或者可以是车辆制造商提供的预设设置。VEI半径也可以根据许多因素定义，这些因素包括但不限于车辆实时位置、一天中的时间(无论是否为高峰时间)、天气状况(潮湿的道路、暴雨等)，无论是白天或是夜间，或周围的其它车辆是快或是慢，等等。所有这些因素都可以对VEI半径的具体大小的计算产生影响。
图1示出了在主题车辆102a的VEI半径104内的多个自动驾驶车辆102。主题车辆102a可以确定哪些其它自动驾驶车辆在其VEI半径104内。例如，主题车辆102a可以包含传感器，例如可用于物体检测的面向外部的图像传感器和雷达传感器。面向外部的图像传感器可以包括但不限于彩色摄像机、NIR摄像机、飞行时间摄像机或任何其它可用并适用于***的摄像机或成像传感器。***还可以利用各种其它传感器，例如激光雷达传感器、深度传感器、雷达传感器、声音传感器、超声波传感器，以及可适用于物体检测的其它传感器。***还可以利用GPS来检测其它车辆是否位于VEI半径内。
VEI半径104与主题车辆102a一起移动。因此，其它自动驾驶车辆102可以在主题车辆102a的VEI半径104内部和外部移动。尽管仅关于主题车辆102a进行描述，但每个自动驾驶车辆都具有其自己的VEI半径，在该半径内，每个自动驾驶车辆都跟踪其它车辆。
图2是通信网络110的示意性图示，该通信网络110使主题车辆102a(和其它自动驾驶车辆102)能够确定环境交互和行为度量，并与其它自动驾驶车辆共享这些度量。车辆102中的每一个可以包括车载计算机112，该车载计算机112能够确定环境交互和行为度量，并与VEI半径104内的其它自动驾驶车辆共享这些度量。自动驾驶车辆102的车载计算机112例如可以是内置在自动驾驶车辆102中的计算***，并且可以负责车辆102的自动驾驶功能。在另外的实施例中，车载计算机112可以与车辆102中负责车辆102的自动驾驶功能的另一计算机***通信。下面参考图13阐述了车载计算机的示例性实现。
在实施例中，每个自动驾驶车辆102中的车载计算机112可以用于与VEI半径104内的每个其它车辆102的车载计算机112进行对等通信。或者或另外，每个自动驾驶车辆102的车载计算机112可以用于通过无线协议和/或通过移动电话网络与网络114无线通信。移动电话网络可以包括基站116(示出了其中一个)，用于在自动驾驶车辆102与移动网络主干线118之间传输数据和软件。主干线118又可以具有到网络114的网络连接。
图2还示出了云服务120。如下文所述，当计算当前VEI和/或VPB分数时，主题车辆102的车载计算机112可以使用其自身和其它车辆的历史VEI分数和/或VPB分数以及其它历史信息。该历史VEI分数、VPB分数和其它数据可以来自云服务120。云服务120可以包括一个或多个服务器122(包括Web服务器)和用于存储历史VEI分数、VPB分数和其它数据的数据存储器126。
图3示出了自动驾驶车辆102(例如主题车辆102a)的示例，该自动驾驶车辆102包括各种传感器302，用于收集关于其它自动驾驶车辆的数据，以确定这些车辆的VEI分数。如上所述，这些传感器302可以包括但不限于一种或多种彩色摄像机、NIR摄像机、飞行时间摄像机或其它摄像机，和/或其它传感器，例如激光雷达传感器、深度传感器、雷达传感器、声音传感器、超声波传感器或适用于物体检测的其它传感器。所示的特定传感器302仅作为示例，并且在另外的实施例中，自动驾驶车辆102可以包括位于其它位置的其它传感器。
图4示出了自动驾驶车辆102(例如主题车辆102a)的内部的示例，该自动驾驶车辆102包括各种传感器402，用于收集关于自动驾驶车辆内乘客的数据，以用于确定VPB分数。这些传感器402可以包括但不限于一种或多种彩色摄像机、NIR摄像机、飞行时间摄像机或其它摄像机，和/或其它传感器，例如深度传感器、声音传感器或适用于乘客检测的其它传感器。所示的特定传感器402仅作为示例，并且在另外的实施例中，自动驾驶车辆102的内部可以包括位于其它位置的其它传感器。
如上所述，本技术使用由主题车辆102a为VEI半径104中的每个其它自动驾驶车辆102制定的VEI分数。例如，主题车辆102a可以收集数据并为VEI半径内的目标车辆确定VEI分数。然后，目标车辆可以根据由主题车辆为目标车辆确定的VEI分数接收反馈。然后，目标车辆可以使用该反馈来更好地了解如何与图1中所示的驾驶环境100交互以及如何在图1中所示的驾驶环境100中提供导航。在实施例中，用于确定VEI分数的车辆环境交互度量是根据目标车辆的客观可观察特性确定的。这些度量例如可以与目标车辆与其它车辆及其驾驶环境交互的礼貌程度和/或安全程度相关。图5是主题车辆102a的车载计算机112为其VEI半径104内的自动驾驶车辆102制定VEI分数的实施例的流程图500。
在步骤502中，设置VEI半径104，并且在步骤504中，如上所述检测VEI半径104内的自动驾驶车辆。在步骤506中，车载计算机112收集关于VEI半径104中的其它自动驾驶车辆的数据。由主题车辆收集的关于目标车辆的数据可以包括例如以下各项中的部分或全部：
·目标车辆标识，包括例如年份、车辆的品牌和型号以及车辆的登记信息；
·目标车辆当前行驶速度；
·目标车辆位置；
·目标车辆动作(例如目标车辆是否频繁变道)；
·目标车辆乘客人数；
·目标车辆动力；
·目标车辆制造商用于训练车辆自动驾驶能力的训练数据；
·目标车辆VEI分数历史；
·目标车辆驾驶和/或事故历史；
·目标车辆里程；
·目标车辆中使用的传感器类型；
·在手动模式下，人类驾驶员是否更喜欢快速驾驶(例如，车辆是否是运动汽车)；
·目标车辆的用途，可分为特殊用途车辆(救护车、消防车、警车等)和通用车辆(例如通勤车)；
·目标车辆的类型，可以分为从弱(例如摩托车)到强(例如运动汽车和卡车)。
这些目标车辆属性仅作为示例，并且除了或代替上述一个或多个这些属性之外，主题车辆可以收集其它属性。上述目标车辆数据可以由主题车辆中的传感器感测。或者或另外，在建立对等(或其它)网络连接后，可以将目标车辆数据从目标车辆发送到主题车辆。或者或另外，在接收到目标车辆的标识后，可以从云服务120获得目标车辆数据。
在收集了VEI数据后，在步骤508中，将信息存储在数据结构(本文中称为VEI数据管，或简称为VEI管)中，该数据结构的示例如图6所示。在VEI管600中，每个列602可以与车辆102相关联。每个行604与在上述步骤506中收集的不同参数或特征相关。VEI管600的深度606表示收集数据的每个时间步长的帧数。例如，可以以图3和图4中所示的外部传感器和内部传感器中的至少一个的帧率收集数据。VEI管600具有列、行和深度，可以是3D体积数据结构，存储随时间推移关于在VEI半径内的每个车辆的信息。
VEI管600可以使***组织在VEI半径104内的每个车辆102的属性和特性。更轻松地组织数据使***能够更好地了解每辆车的行为。VEI管600还可以使***并行处理关于周围车辆的信息，因为VEI管本质上是并发数据结构。
此外，组织VEI管600中的数据还可以用于了解在VEI半径104中的自动驾驶车辆102之间是否存在任何交互。例如，如果有汽车追逐(即警车与另一辆车之间)，则两辆车很可能会彼此靠近，并以类似的高速度行驶。从存储在VEI管600中的数据中可以很容易地看出两个(或更多)车辆正在交互的信息。该相关数据可用于向主题车辆指示远离交互的车辆。
在收集的数据被存储在VEI管数据结构600中后，车载计算机112可以使用VEI管数据执行分类器算法，以在步骤510中确定VEI分数。在一个实施例中，分类器算法可以在神经网络中实现，该神经网络包括例如卷积神经网络、递归神经网络或两者的组合。这种神经网络可以使用VEI管中的测试数据以及VEI管中随时间推移的实时数据来训练。通过这种方式，神经网络可以随时间推移学***)。
应当理解，也可以使用除使用神经网络的算法之外的算法计算VEI分数。一种此类其它算法是深度强化学习算法。深度强化学习算法可以使车辆使用VEI分数(以及其它关于环境的观察)从其驾驶性能中不断学习。通过使用强化学习，主题车辆和/或目标车辆可以观察环境对目标车辆采取的动作做出的反应。根据所采取的动作，目标车辆将获得奖励，该奖励可以作为输入反馈给***。在这种情况下，奖励是更高的VEI分数。***的目标是学习提高其驾驶性能，以便最大限度地提高VEI分数。目标车辆可以使用但不限于神经网络，作为可以使车辆采取特定操作以最大限度地提高其VEI分数的策略的一部分。
VEI水平可用于解释车辆遵守驾驶规则的程度，以及车辆与环境的交互的程度。图7示出了从低到高变化的VEI分数700范围的示例。由主题车辆102a为目标车辆确定的低VEI分数可以表示目标车辆驾驶不佳或以高风险方式驾驶，并且表示与遇到具有更高VEI分数的其它车辆相比，主题车辆102在遇到目标车辆时应该更加小心。相反，高VEI分数可以表示目标车辆驾驶良好，并与驾驶环境交互良好。
在步骤512中，由主题车辆102a的车载计算机112为目标车辆计算的VEI分数可以从主题车辆传送到VEI半径104中的目标车辆和其它自动驾驶车辆102。计算出的VEI分数也可以上传至云服务120。
目标车辆可以使用主题车辆(和其它自动驾驶车辆)为其计算的VEI分数，以强化其驾驶和与驾驶环境的交互，和/或改进其驾驶和与驾驶环境的交互。具体地，每个自动驾驶车辆可以根据预定义的策略驾驶并与其驾驶环境交互。本文中称为环境交互策略的策略可以通过例如在神经网络中实现的算法实时训练和更新。该神经网络例如可以是卷积神经网络或递归神经网络。
图8示意性地示出了神经网络环境交互策略802，用于车辆A在闭环反馈***中根据从其驾驶环境804中的其它车辆(例如车辆B和车辆C)接收的VEI分数进行学习。车辆A的驾驶动作(以及其它可能的属性)使其它车辆生成车辆A的VEI分数。这些分数由车辆A接收，并反馈到车辆A的环境交互策略802中，使得车辆A可以改进其驾驶动作并更好地与驾驶环境804交互。
VEI分数通过如上所述的车辆-车辆交互生成。根据本技术的另一个方面，车辆乘客行为分数或VPB分数也可以通过车辆-乘客交互生成。通常，VPB分数表示车辆102中乘客的情绪状态的度量。VPB分数可以被反馈到如下所述的环境交互策略中，以便车辆102了解它是否应当改变其驾驶风格，以及如果需要改变，应如何改变。VPB分数也可以传送给其它车辆，如下所述。
图9是示出本技术生成VPB分数的总体操作的流程图。一般来说，VPB分数是基于以下观察：人类情绪状态是通过各种客观观察到的非语言和语言行为来传达的。传递信息的语言和非语言行为的范围非常广。乘客的情绪状态，无论是兴奋或是平静、快乐或是悲伤等，都可以通过一些容易观察到的身体特征来表示。例如，一个人的情绪状态-快乐、悲伤、愤怒、惊讶、困惑等，都可以从不同的面部表情中辨别出来。情绪状态也可以从身体姿势(例如，趴下、坐起来、向前坐)或身体手势(例如，挥舞手臂、耸肩、手放在脸上)以及执行这些手势的紧迫性隐含地表示。情绪状态也可以从各种各样的听觉提示中辨别出来。这种听觉提示可以例如包括口语、歌唱、表情和/或其它话语，以及话语的音调、高音和/或音量。
在步骤902中，车载计算机112收集关于主题车辆内乘客的数据。如上文参考图4所指出，车辆的内部可以包含各种传感器，包括例如各种摄像机和麦克风中的任何一种。这些传感器被设置为检测各种身体和/或听觉属性，从这些身体和/或听觉属性可以推断一个或多个乘客的情绪状态。例如，一个或多个彩色摄像机、深度摄像机或其它摄像机可用于检测一个或多个乘客的面部特征的位置和表情，以及头部姿势和凝视方向。内部传感器还可用于检测身体姿势和运动，例如手和其它手势以及乘客之间的交互(例如，他们因害怕而牵手)。内部传感器可用于检测各种其它身体数据。众所周知，人的成像可用于形成代表给定时刻的身体姿势和/或在一段时间内执行的身体手势的骨骼姿势数据。传感器还可以包括一个或多个麦克风，用于检测语音、歌唱和其它话语，以及话语的音调、高音和/或音量。
除了提供情绪状态信息外，传感器捕获的身体和/或听觉数据还可用于识别车辆内的一个或多个乘客。在乘客被识别后，车载计算机可以在步骤902中进一步从云服务120收集关于该乘客的历史数据。这些历史数据可以包括为已识别乘客捕获的过去身体和听觉特征，以及已识别乘客的历史VPB分数。
在收集VPB数据之后，在步骤904中，将信息存储在数据结构中。如上所述，用于存储VPB数据的数据结构可以是VPB数据管，或者简称为VPB管，其示例如图10所示。如在上述VEI管600中，图10的VPB管1000可以包括与车辆102中的一个或多个乘客相关联的列1002。行1004与在上述步骤902中收集的不同参数或特征相关。并且，VPB管1000的深度1006表示收集数据的每个时间步长的帧数。因此，VPB管1000可以是3D体积数据结构，存储随时间推移关于在VEI半径内的每个车辆的信息。
VPB管1000可以使***组织在VEI半径104内的每个车辆102中的每个乘客的属性和特性。更轻松地组织数据使***能够更好地了解车辆102中的各个乘客的行为。VPB管1000还可以使***并行处理关于每个车辆中的一个或多个乘客的信息，因为VPB管本质上是并发数据结构。
在收集的数据被存储在VPB管数据结构1000中之后，车载计算机112可以使用VPB管数据执行分类器算法，以在步骤908中确定车辆中的一个或多个乘客中的每一个乘客的VPB分数，以及车辆中所有乘客的平均总VPB分数。具体地，面部表情数据、姿势和手势数据、听觉提示数据和历史数据都可以用于识别车辆中的一个或多个乘客的情绪状态。例如，一个人的嘴、眼睛、睫毛、眉毛等的形状和位置可以以已知的方式映射为不同的情绪状态。身体姿势(例如，无精打采、坐起来、坐向前)可以以已知的方式映射为不同的情绪状态。身体运动的时序可以与存储在手势库中的预定义手势中的身体姿势进行比较，以识别由一个或多个乘客执行的一个或多个已知手势。这种手势(例如，挥舞手臂、耸肩、手放在脸上)以及执行这些手势的紧迫性可以以已知的方式映射为不同的情绪状态。情绪状态也可以从各种各样的听觉提示中辨别出来。这种听觉提示可以例如包括口语、歌唱、表情和/或其它话语，以及话语的音调、高音和/或音量。
使用身体和听觉数据，以及其与已知情绪状态的联系，分类器算法可用于计算车辆中每个人的VPB分数，以及车辆中所有乘客的平均总VPB分数。在一个实施例中，分类器算法可以在神经网络中实现，该神经网络包括例如卷积神经网络、递归神经网络或两者的组合。这种神经网络可以使用VPB管中的测试数据以及VPB管中随时间推移的实时数据来训练。通过这种方式，神经网络可以随时间推移学***)。
应当理解，分类器算法可以使用除神经网络之外的其它方案来计算VPB分数。一种此类其它算法是深度强化学习算法。深度强化学习算法可以使车辆使用VPB分数(和对环境的其它观察)从其一个或多个乘客的一种或多种情绪状态中持续学习，以可能地纠正驾驶性能。通过使用强化学习，目标车辆可以观察乘客对目标车辆采取的动作做出的反应。根据所采取的动作，目标车辆将获得奖励，该奖励可以作为输入反馈给***。在这种情况下，奖励是高VPB分数。***的目标是进行学习以提高其驾驶性能，以便最大限度地提高VPB分数。目标车辆可以使用但不限于神经网络，作为可以使车辆采取特定操作以最大限度地提高其VPB分数的策略的一部分。
乘客情绪状态和VPB水平可用于解释车辆遵守驾驶规则的程度，以及车辆与其驾驶环境的交互的程度。具体地，当车辆与其驾驶环境良好交互时，可以推断一个或多个乘客处于快乐和/或放松状态。当车辆与其驾驶环境交互不佳时，可以推断其一个或多个乘客处于不安、不高兴或惊讶状态。图11示出了从低到高变化的VPB分数1100范围的示例。为车辆中的一个或多个乘客确定的低平均VPB分数可以表示一个或多个乘客正在经历不愉快的情绪，进而表示车辆驾驶不佳或以高风险方式驾驶。相反，为车辆中的一个或多个乘客确定的高平均VPB分数可以表示乘客正在经历愉快的情绪，进而表示目标车辆驾驶良好，并与驾驶环境交互良好。
在步骤910中，由车载计算机112为车辆中的一个或多个乘客计算的平均VPB分数可以从车辆传送到VEI半径104中的其它自动驾驶车辆102。计算出的VPB分数也可以上传至云服务120。
车辆可以使用为其乘客计算的VPB分数，以强化其驾驶和与驾驶环境的交互，和/或改进其驾驶和与驾驶环境的交互。具体地，如上所述，每个自动驾驶车辆可以根据预定义的环境交互策略驾驶和与其驾驶环境交互，所述预定义的环境交互策略可以通过例如在如上所述的神经网络中实现的算法实时训练和更新。
图12示意性地示出了神经网络环境交互策略1202，用于车辆102在闭环反馈***中根据从车辆102内的一个或多个乘客1204接收的VPB分数进行学习。车辆102的驾驶动作(以及其它可能的属性)产生乘客1204的情绪反应，该情绪反应用于生成乘客1204的VEI分数。这些分数由车辆102的车载计算机112接收，并反馈回车辆102的环境交互策略1202中，以便车辆102可以改进其驾驶动作并更好地与驾驶环境交互。
VPB水平可以使***在安全标准范围内找出最佳驾驶行为，使乘客能够达到足够的情绪状态(例如，如何避免使乘客生气或害怕)。
如上所述，本技术的实施例可以形成车辆-车辆VEI分数，该分数可用于表征、强化和/或纠正车辆与其驾驶环境的交互。本技术的实施例还可以形成车辆-乘客VPB分数，该分数也可以用于表征、强化和/或纠正车辆与其驾驶环境的交互。在实施例中，本技术可以仅使用车辆-车辆VEI分数来实现。在另外的实施例中，本技术可以仅使用车辆-乘客VPB分数来实现。
在另一个实施例中，本技术可以使用VEI和VPB分数来实现。在此类实施例中，环境交互策略802/1202可以接收VEI分数和VPB分数两者作为用于强化和/或纠正驾驶动作以及与驾驶环境的交互的神经网络的输入。应当理解，在另外的实施例中，环境交互策略802/1202可以接收其它输入。例如，在另一个此类实施例中，VEI半径内所有车辆的VEI分数可以与给定车辆的VEI分数和该车辆中乘客的VPB分数一起用作输入。
使用车辆-车辆VEI分数和车辆-乘客VPB分数来强化和/或纠正车辆驾驶行为以及与环境的交互提供了许多好处。首先，通过量化和考虑车辆的驾驶性能以及对车辆驾驶性能的情绪反应，本技术提高了车辆在驾驶环境中的机动能力和与驾驶环境的交互能力。目前的技术还实现了更安全的驾驶，因为该***暴露了车辆的不稳定行为，如果这些不稳定行为不暴露出来，则可能会导致事故。本技术的另一个好处是，它可以使用给定车辆内的乘客和给定车辆周围的乘客(即，在周围车辆中)的情绪反应来强化和/或改进给定车辆与其驾驶环境的交互。
在上述实施例中，车辆根据其驾驶动作的反馈和车辆中的一个或多个乘客的一种或多种情绪状态学习如何与其驾驶环境交互。在另外的实施例中，第一车辆可以将学习到的信息传递给其它车辆，以便这些其它车辆可以从第一车辆的学习到的驾驶经验中受益。在实施例中，学习到的驾驶经验从第一车辆传递给与第一车辆具有相同或相似的品牌、商标、年份和/或相似特征的一个或多个其它车辆，尽管在另外的实施例中不必如此。
因此，作为许多示例中的一个，第一车辆可以使用如上所述的VEI分数和/或VPB分数获得用于改进该第一车辆在繁忙交通区域中(例如，在大城市中)的驾驶的信息。然后，该信息可以被上传到云服务120并存储，以便其它车辆(也许是与第一车辆具有相同的品牌、型号和/或年份的车辆)当在相同或类似的交通区域中行驶时，可以访问该信息。或者或另外，该信息可以使用上面描述的对等网络传递。该信息可以用于当其它车辆在从未去过的环境中行驶时，提高这些车辆的适应速度。
图13是网络处理设备1301的框图，该网络处理设备1301可用于实现本技术提供的车载计算机112的各种实施例。特定网络处理设备可以使用所有示出的组件或仅使用所述组件的子集，且设备之间的集成程度可能不同。此外，网络处理设备1301可以包含组件的多个实例，例如多个处理单元、处理器、存储器、发送器、接收器等。网络处理设备1301可以包括配备有一个或多个输入/输出设备，例如网络接口、存储接口等。处理单元1301可以包括中央处理单元(central processing unit，CPU)1310、存储器1320、大容量存储设备1330，以及连接到总线1370的I/O接口1360。总线1370可以是任何类型的几种总线架构中的一种或多种，包括存储器总线或存储器控制器、***设备总线等。
CPU 1310可以包括任何类型的电子数据处理器。存储器1320可以包括任何类型的***存储器，例如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、只读存储器(read-only memory，ROM)，或其组合等。在一个实施例中，存储器1320可以包括在开机时使用的ROM以及在执行程序时使用的存储程序和数据的DRAM。在一个实施例中，存储器1320是非瞬时性存储器。大容量存储设备1330可以包括任何类型的存储设备，所述存储设备用于存储数据、程序和其它信息，并使数据、程序和其它信息可通过总线1370访问。大容量存储设备1330可以包括例如固态硬盘、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一种或多种。
处理单元1301还包括一个或多个网络接口1350，所述网络接口1350可以包括例如以太网线等有线链路，和/或用于访问节点或一个或多个网络1380的无线链路。网络接口1350可以使处理单元1301通过网络1380与远程单元通信。例如，网络接口1350可以通过一个或多个发射器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一个实施例中，处理单元1301耦合到局域网或广域网以用于数据处理以及与远程设备通信，所述远程设备例如其它处理单元、互联网、远程存储设施等。
应当理解，本主题可以通过许多不同的形式体现且不应解释为仅限于本文所阐述的实施例。相反，提供这些实施例是为了使本主题透彻和完整，并将本发明充分传达给本领域的技术人员。事实上，本主题旨在涵盖包括在由所附权利要求书限定的本主题的范围和精神内的这些实施例的替代物、修改和等同物。另外，在本主题的以下详细描述中，阐述了许多具体细节，以便提供对本主题的透彻理解。但是，本领域的普通技术人员将清楚，可以在没有这些具体细节的情况下实践本主题。
本文结合本发明实施例提供的方法、装置(***)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以形成机器，使得通过计算机或其它可编程指令执行装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的机制。
非瞬时性计算机可读介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质和固态存储介质，具体不包括信号。应当理解，软件可以安装在设备中并随设备一同出售。可选地，可以获取软件并将其装载到设备中，包括通过光盘介质或任何形式的网络或分配***获取软件，包括(例如)从软件创作者拥有的服务器或从软件创作者未拥有但使用的服务器获取软件。例如，可以将软件存储在服务器上，以便通过互联网分布。
一个或多个计算机可读存储介质不包括传播的信号本身，可以由计算机和/或一个或多个处理器访问，并包括可移动和/或不可移动的易失性和非易失性内部和/或外部介质。对于计算机，各种类型的存储介质适于以任何适当的数字格式存储数据。本领域技术人员应当理解，可以使用其它类型的计算机可读介质，例如zip驱动器、固态驱动器、磁带、闪存卡、闪存驱动器、盒式磁带等，用于存储用于执行所公开架构的新方法(行为)的计算机可执行指令。
本文中所用的术语仅仅是出于描述特定方面的目的，并且并不意图限制本发明。除非上下文清楚说明，否则本文所用的单数形式“一”和“所述”也旨在包括复数形式。应进一步理解，本说明书中所用的术语“包括”说明存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组合。
出于说明和描述的目的呈现对本发明的描述，但不旨在按照所公开形式对本发明穷举或限于本发明。在不偏离本发明的范围和精神的情况下，许多修改和改变对本领域的普通技术人员而言是显而易见的。选择和描述本发明的各个方面以便更好地解释本发明的原理和实际应用，并且使本领域的普通技术人员能够以适合于预期的特定用途的各种修改来理解本发明。
出于本文档的目的，与所公开的技术相关联的每个过程可以连续地且由一个或多个计算设备执行。过程中的每个步骤可以由与其它步骤中使用的计算设备相同或不同的计算设备执行，并且每个步骤不一定由单个计算设备执行。
尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于上文描述的具体特征或动作。实际上，公开上述具体特征和动作作为实现权利要求的示例形式。

Claims (22)

1.一种用于改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的***，其特征在于，所述***包括：
所述多个自动驾驶车辆中的第一自动驾驶车辆；
所述第一自动驾驶车辆上的一个或多个传感器，所述一个或多个传感器用于记录第二自动驾驶车辆的与所述第二自动驾驶车辆与所述驾驶环境交互的方式相关的环境交互度量，所述第一自动驾驶车辆用于将所述环境交互度量的指标发送到所述第二自动驾驶车辆，以供所述第二自动驾驶车辆用于强化和/或纠正所述第二自动驾驶车辆的驾驶方式；
其中，所述环境交互度量存储在数据管中，所述数据管具有列、行和深度；每个列与自动驾驶车辆相关联，每个行与收集的不同参数或特性相关，所述深度表示收集数据的每个时间步长的帧数。
2.根据权利要求1所述的***，其特征在于，所述环境交互度量是基于所述第二自动驾驶车辆与所述驾驶环境交互的礼貌程度和/或安全程度。
3.根据权利要求1所述的***，其特征在于，所述环境交互度量包括以下各项中的一个或多个：
（a）所述第二自动驾驶车辆的标识，包括所述第二自动驾驶车辆的年份、品牌和型号以及所述第二自动驾驶车辆的登记信息；
（b）所述第二自动驾驶车辆的当前行驶速度；
（c）所述第二自动驾驶车辆的位置；
（d）所述第二自动驾驶车辆的动作，包括所述第二自动驾驶车辆的变道频率；
（e）所述第二自动驾驶车辆的乘客人数；
（f）所述第二自动驾驶车辆中使用的传感器类型。
4.根据权利要求1至3中任一项所述的***，其特征在于，所述环境交互度量通过算法处理以获得所述指标。
5.根据权利要求4所述的***，其特征在于，所述指标包括第一指标，所述第一自动驾驶车辆还根据所述第一自动驾驶车辆中的一个或多个乘客的行为特征生成第二指标，所述第一自动驾驶车辆使用所述第二指标来强化和/或纠正所述第一自动驾驶车辆的驾驶方式。
6.根据权利要求5所述的***，其特征在于，所述行为特征由所述第一自动驾驶车辆内部的第二组传感器捕获。
7.根据权利要求6所述的***，其特征在于，所述第二组传感器捕获所述第一自动驾驶车辆中的所述一个或多个乘客的面部表情、身体姿势和话语中的至少一种。
8.根据权利要求1至3、或5至7中任一项所述的***，其特征在于，所述第一自动驾驶车辆和所述第二自动驾驶车辆在彼此的预定义距离内。
9.根据权利要求8所述的***，其特征在于，所述预定义距离由所述第一自动驾驶车辆根据所述驾驶环境改变。
10.一种用于改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的***，其特征在于，所述***包括：
所述多个自动驾驶车辆中的第一自动驾驶车辆，所述第一自动驾驶车辆包括：
第一组一个或多个传感器，用于捕获与在所述驾驶环境中行驶的第二自动驾驶车辆的特征相关的第一数据集；
第二组一个或多个传感器，用于捕获与所述第一自动驾驶车辆内的一个或多个乘客的行为相关的第二数据集；
执行第一算法和第二算法中的至少一种的计算机；
所述第一算法和所述第二算法中的所述第一算法指示所述计算机进行以下操作：
接收从所述第一组一个或多个传感器捕获的所述第一数据集，其中，所述第一数据集存储在数据管中，所述数据管具有列、行和深度；每个列与自动驾驶车辆相关联，每个行与收集的不同参数或特性相关，所述深度表示收集数据的每个时间步长的帧数；
根据所述捕获的第一数据集计算车辆环境交互VEI分数，所述VEI分数与所述第二自动驾驶车辆的驾驶方式相关，
将所述VEI分数从所述第一自动驾驶车辆传送到所述第二自动驾驶车辆，以供所述第二自动驾驶车辆用于强化和/或纠正所述第二自动驾驶车辆的驾驶方式；
所述第一算法和所述第二算法中的所述第二算法指示所述计算机进行以下操作：
接收从所述第二组一个或多个传感器捕获的所述第二数据集，
根据所述捕获的第二数据集计算车辆乘客行为VPB分数，所述VPB分数与所述第一自动驾驶车辆中的所述一个或多个乘客的感知情绪相关，
使用所述计算出的VPB分数来强化和/或纠正所述第一自动驾驶车辆的驾驶方式。
11.根据权利要求10所述的***，其特征在于，所述计算机还确定围绕所述第一自动驾驶车辆的VEI半径，所述第二自动驾驶车辆在所述第一自动驾驶车辆的所述VEI半径内。
12.根据权利要求11所述的***，其特征在于，所述VEI半径的大小是根据所述驾驶环境而变化的。
13.根据权利要求10至12中任一项所述的***，其特征在于，所述VEI分数与由所述第一自动驾驶车辆测量的所述第二自动驾驶车辆与所述驾驶环境交互的礼貌程度和/或安全程度相关。
14.根据权利要求10至12中任一项所述的***，其特征在于，所述VPB分数与由所述一个或多个乘客的所述感知情绪测量的所述第一自动驾驶车辆与所述驾驶环境交互的礼貌程度和/或安全程度相关。
15.根据权利要求10至12中任一项所述的***，其特征在于，还包括云服务，所述云服务用于存储与所述第二自动驾驶车辆相关的信息，所述计算机还从所述云服务接收用于确定所述VEI分数的信息。
16.根据权利要求10至12中任一项所述的***，其特征在于，还包括第三车辆，所述第三车辆接收来自所述第二自动驾驶车辆的信息，所述信息基于所述VEI分数和所述VPB分数中的至少一个，所述信息供所述第三车辆用于强化和/或纠正所述第三车辆的驾驶方式。
17.一种改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的方法，其特征在于，所述方法包括：
所述多个自动驾驶车辆中的一组一个或多个主题车辆中的每个车辆测量与所述多个自动驾驶车辆中的目标车辆驾驶方式相关的属性集；
存储测得的属性集；其中，所述属性集存储在数据管中，所述数据管具有列、行和深度；每个列与自动驾驶车辆相关联，每个行与收集的不同参数或特性相关，所述深度表示收集数据的每个时间步长的帧数；
计算由所述一组一个或多个主题车辆中的每个车辆测得的每个属性集的车辆环境交互VEI分数，一个或多个VEI分数表示所述目标车辆与所述一组一个或多个车辆和所述驾驶环境交互的程度；
将一个或多个VEI分数传送给所述目标车辆，以便所述目标车辆根据所述一个或多个接收到的VEI分数确认和/或调整所述目标车辆的驾驶动作。
18.根据权利要求17所述的方法，其特征在于，所述存储所述测得的属性集的步骤包括将所述测得的属性集存储在VEI数据管中的步骤。
19.根据权利要求18所述的方法，其特征在于，所述计算所述VEI分数的步骤包括使用神经网络计算所述VEI分数的步骤，所述神经网络将来自所述VEI数据管的数据作为输入。
20.一种改进多个自动驾驶车辆与包括所述自动驾驶车辆的驾驶环境间交互的方法，其特征在于，所述方法包括：
测量指示所述多个自动驾驶车辆中的一个自动驾驶车辆中的一个或多个乘客的情绪状态的属性集；
存储测得的属性集；其中，所述属性集存储在数据管中，所述数据管具有列、行和深度；每个列与自动驾驶车辆相关联，每个行与收集的不同参数或特性相关，所述深度表示收集数据的每个时间步长的帧数；
计算所述测得的属性集的车辆乘客行为VPB分数，所述VPB分数表示所述一个或多个乘客中的至少一个乘客的情绪状态的度量；
根据所述一个或多个确定的VPB分数调整所述自动驾驶车辆的驾驶动作。
21.根据权利要求20所述的方法，其特征在于，所述存储所述测得的属性集的步骤包括将所述测得的属性集存储在VPB数据管中的步骤。
22.根据权利要求21所述的方法，其特征在于，所述计算所述VPB分数的步骤包括使用神经网络计算所述VPB分数的步骤，所述神经网络将来自所述VPB数据管的数据作为输入。
CN201980097119.6A 2019-07-08 2019-07-08 用于改进多个自动驾驶车辆与其所在驾驶环境间交互的***和方法 Active CN113905938B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/040879 WO2020117319A1 (en) 2019-07-08 2019-07-08 System and method for improving interaction of a plurality of autonomous vehicles with a driving environment including said vehicles

Publications (2)

Publication Number Publication Date
CN113905938A CN113905938A (zh) 2022-01-07
CN113905938B true CN113905938B (zh) 2023-11-28

Family

ID=67587941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980097119.6A Active CN113905938B (zh) 2019-07-08 2019-07-08 用于改进多个自动驾驶车辆与其所在驾驶环境间交互的***和方法

Country Status (4)

Country Link
US (1) US11964671B2 (zh)
EP (1) EP3969344A1 (zh)
CN (1) CN113905938B (zh)
WO (1) WO2020117319A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3143234A1 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
US11912311B2 (en) * 2021-08-10 2024-02-27 GM Global Technology Operations LLC System and method of detecting and mitigating erratic on-road vehicles
US20230192118A1 (en) * 2021-12-20 2023-06-22 GM Global Technology Operations LLC Automated driving system with desired level of driving aggressiveness
US12036996B2 (en) * 2021-12-21 2024-07-16 Gm Cruise Holdings Llc Automated method to detect road user frustration due to autonomous vehicle driving behavior
CN114379585A (zh) * 2021-12-24 2022-04-22 阿波罗智联(北京)科技有限公司 显示车辆信息的方法、装置、设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104271420A (zh) * 2012-03-15 2015-01-07 谷歌公司 基于其他车辆的预测行为修改自主车辆的行为
CN104812645A (zh) * 2012-09-27 2015-07-29 谷歌公司 基于车辆行为确定驾驶环境的改变
CN107943016A (zh) * 2016-10-13 2018-04-20 百度（美国）有限责任公司 用于自主车辆的群体驾驶风格学习框架
WO2018094384A1 (en) * 2016-11-21 2018-05-24 Nio Usa, Inc. Optimal route selection for autonomous vehicles
CN108216219A (zh) * 2016-12-15 2018-06-29 现代自动车株式会社 车辆及其控制方法
US10037699B1 (en) * 2017-05-05 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for motivating a driver according to behaviors of nearby vehicles
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和***
US10254759B1 (en) * 2017-09-14 2019-04-09 Waymo Llc Interactive autonomous vehicle agent
WO2019112501A1 (en) * 2017-12-08 2019-06-13 Telefonaktiebolaget Lm Ericsson (Publ) Determining an undesired action of a vehicle

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164051B2 (en) 2005-04-06 2015-10-20 Bioscale, Inc. Electrically responsive device
CA2799714C (en) * 2010-05-17 2017-08-22 The Travelers Indemnity Company Monitoring customer-selected vehicle parameters
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US10318828B2 (en) * 2013-12-19 2019-06-11 Harman International Industries, Incorporated Vehicle behavior analysis
US10393704B2 (en) 2015-10-30 2019-08-27 Qorvo Us, Inc. Multi-frequency BAW mixing and sensing system and method
US10249194B2 (en) 2016-08-30 2019-04-02 International Business Machines Corporation Modifying behavior of autonomous vehicle based on advanced predicted behavior analysis of nearby drivers
CN109863396B (zh) 2016-10-05 2021-11-05 雅培实验室 用于样品分析的装置和方法
US11299149B2 (en) * 2018-07-23 2022-04-12 Denso International America, Inc. Considerate driving system
US11285963B2 (en) * 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11150099B2 (en) * 2019-03-18 2021-10-19 International Business Machines Corporation Detecting vehicular deviation from a specified path
US11315427B2 (en) * 2019-06-11 2022-04-26 Toyota Motor North America, Inc. Vehicle-to-vehicle sensor data sharing
US10769953B1 (en) * 2019-06-11 2020-09-08 Toyota Motor North America, Inc. Vehicle-to-vehicle sensor data sharing
US11802959B2 (en) * 2020-01-22 2023-10-31 Preact Technologies, Inc. Vehicle driver behavior data collection and reporting
US11447147B2 (en) * 2020-02-11 2022-09-20 Dish Network L.L.C. System and method to detect driver behavior and employ driver incentives
US11772659B2 (en) * 2021-05-13 2023-10-03 Ford Global Technologies, Llc Vehicular anomaly detection, reporting, and dynamic response
US20220375348A1 (en) * 2021-05-24 2022-11-24 Toyota Motor Engineering & Manufacturing North America, Inc. Multivariate Hierarchical Anomaly Detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104271420A (zh) * 2012-03-15 2015-01-07 谷歌公司 基于其他车辆的预测行为修改自主车辆的行为
CN104812645A (zh) * 2012-09-27 2015-07-29 谷歌公司 基于车辆行为确定驾驶环境的改变
CN107943016A (zh) * 2016-10-13 2018-04-20 百度（美国）有限责任公司 用于自主车辆的群体驾驶风格学习框架
WO2018094384A1 (en) * 2016-11-21 2018-05-24 Nio Usa, Inc. Optimal route selection for autonomous vehicles
CN108216219A (zh) * 2016-12-15 2018-06-29 现代自动车株式会社 车辆及其控制方法
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和***
US10037699B1 (en) * 2017-05-05 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for motivating a driver according to behaviors of nearby vehicles
US10254759B1 (en) * 2017-09-14 2019-04-09 Waymo Llc Interactive autonomous vehicle agent
WO2019112501A1 (en) * 2017-12-08 2019-06-13 Telefonaktiebolaget Lm Ericsson (Publ) Determining an undesired action of a vehicle

Also Published As

Publication number Publication date
US11964671B2 (en) 2024-04-23
US20210354726A1 (en) 2021-11-18
CN113905938A (zh) 2022-01-07
EP3969344A1 (en) 2022-03-23
WO2020117319A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
CN113905938B (zh) 用于改进多个自动驾驶车辆与其所在驾驶环境间交互的***和方法
US11938953B2 (en) Systems and methods for controlling actuators based on load characteristics and passenger comfort
EP3759700B1 (en) Method for determining driving policy
US11485284B2 (en) System and method for driver distraction determination
US11055544B2 (en) Electronic device and control method thereof
US20200216094A1 (en) Personal driving style learning for autonomous driving
CN110214107B (zh) 提供驾驶员教育的自主车辆
CN104730949B (zh) 自主车辆中的情感型用户界面
CN111295699B (zh) 辅助方法以及利用该辅助方法的辅助***、辅助装置
EP3436783A1 (en) Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
KR102553053B1 (ko) 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
KR20210037790A (ko) 자율 주행 장치 및 방법
US11697431B2 (en) Automated driving assistance apparatus
Michalke et al. The narrow road assistant-next generation advanced driver assistance in inner-city
KR20150044199A (ko) 운전자 주행특성을 고려한 차량 주행위치 선정 시스템 및 그 방법
EP3648001B1 (en) Systems and methods for controlling actuators based on load characteristics and passenger comfort
KR102616971B1 (ko) 자율 주행 장치 및 방법
KR20200133443A (ko) 자율 주행 장치 및 방법
KR20240050729A (ko) 탑승자 행동 분석에 기반한 안전 관련 정보 전송 방법
US20180251136A1 (en) Enhanced lane behavior detection
KR20200133442A (ko) 자율 주행 장치 및 방법
DK201970133A1 (en) SYSTEMS AND METHODS FOR CONTROLLING ACTUATORS BASED ON LOAD CHARACTERISTICS AND PASSENGER COMFORT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant