CN111527014A - 确定载运工具的非期望动作 - Google Patents

确定载运工具的非期望动作 Download PDF

Info

Publication number
CN111527014A
CN111527014A CN201780097561.XA CN201780097561A CN111527014A CN 111527014 A CN111527014 A CN 111527014A CN 201780097561 A CN201780097561 A CN 201780097561A CN 111527014 A CN111527014 A CN 111527014A
Authority
CN
China
Prior art keywords
vehicle
action
user
undesired
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780097561.XA
Other languages
English (en)
Other versions
CN111527014B (zh
Inventor
若泽·阿里约
索马·塔亚门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN111527014A publication Critical patent/CN111527014A/zh
Application granted granted Critical
Publication of CN111527014B publication Critical patent/CN111527014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

提出了一种在载运工具动作确定器(1)中执行的用于确定第一载运工具(2，2a‑d)的非期望动作和结果性动作的方法。该方法包括：检测(40)第一用户(5)正在关注第一载运工具(2，2a‑d)；获取(42)第一用户(5)的大脑活动数据；基于大脑活动数据，确定(44)第一用户(5)的负面反应；基于第一用户(5)关注第一载运工具(2，2a‑d)以及第一用户(5)的负面反应，确定(46)第一载运工具(2，2a‑d)何时正在执行非期望动作；基于第一载运工具(2，2a‑d)执行非期望动作，确定(48)自主载运工具(2，2a‑d)要进行的结果性动作；以及触发(49)自主载运工具(2，2a‑d)执行结果性动作。

Description

确定载运工具的非期望动作
技术领域
本发明涉及一种用于确定载运工具的非期望动作的方法、载运工具动作确定器、计算机程序和计算机程序产品。
背景技术
如今，在具备自主推进能力的载运工具的领域中进行了大量的研究和开发。应用范围从诸如公共汽车和出租车服务之类的客运运输到由重型载运工具执行的货物运输。近年来，许多公司已经在真实道路上验证了其自主驾驶重型载运工具。自2012年以来，谷歌的无人驾驶汽车已经在美国若干地区投入了运营。在2014年，谷歌报告显示，在加利福尼亚州，他们的汽车已经在自主模式下行驶了总共110万公里。此外，诸如无人机之类的飞行器也可以是自主载运工具。
为了提高随时间推移的驾驶能力，机器学习被用在许多自主载运工具中。这种机器学习模型的性能受益于反馈的数量及质量。然而，反馈的数量总是有限的，任何新的反馈源都将极大地改善基于机器学习的驾驶性能。
发明内容
本文提出的实施例的目的在于：基于载运工具在执行非期望动作，向自主载运工具提供改进的反馈。
根据第一方面，提出了一种用于确定第一载运工具的非期望动作和结果性动作的方法。该方法在载运工具动作确定器中执行并且包括以下步骤：通过检测第一用户正在关注第一载运工具来检测用户关注；获取第一用户的大脑活动数据；基于大脑活动数据，确定第一用户的负面反应；基于第一用户关注第一载运工具以及第一用户的负面反应，确定第一载运工具何时正在执行非期望动作；基于第一载运工具执行非期望动作，确定自主载运工具要进行的结果性动作；以及触发自主载运工具执行结果性动作。
可以针对第二用户重复检测用户关注、获取大脑活动数据的步骤。在这种情况下，确定第一载运工具何时正在执行非期望动作的步骤还基于第二用户关注第一载运工具以及第二用户的负面反应。
该方法还可以包括以下步骤：获取第一载运工具的控制参数。在这种情况下，确定第一载运工具何时正在执行非期望动作的步骤还基于第一载运工具的控制参数。
控制参数可以包括描述第一载运工具的当前运动的至少一个参数。
控制参数可以包括与第一载运工具所行驶的道路的道路特性有关的至少一个参数。
确定结果性动作的步骤可以包括考虑第一载运工具的控制参数。
检测用户关注的步骤可以基于注视跟踪。
在获取大脑活动数据的步骡中，大脑活动数据可以基于脑电图EEG。
检测用户关注的步骤可以包括仅考虑距第一用户在特定距离内的第一载运工具。
确定第一载运工具何时正在执行非期望动作的步骤还可以基于第一载运工具的当前地理位置。
确定第一载运工具何时正在执行非期望动作的步骤还可以基于第一载运工具的历史行驶数据。
在确定结果性动作的步骤中，结果性动作可以是自主载运工具的校正性控制动作。
该方法还可以包括以下步骤：当第一载运工具未在执行非期望动作时，向第一用户提供反馈，该反馈指示第一载运工具未在执行非期望动作。
根据第二方面，提出了一种用于确定第一载运工具的非期望动作和结果性动作的载运工具动作确定器。该载运工具动作确定器包括：处理器；以及存储指令的存储器，该指令在由处理器执行时使得载运工具动作确定器：通过检测第一用户正在关注第一载运工具来检测用户关注；获取第一用户的大脑活动数据；基于大脑活动数据，确定第一用户的负面反应；基于第一用户关注第一载运工具以及第一用户的负面反应，确定第一载运工具何时正在执行非期望动作；基于第一载运工具执行非期望动作，确定自主载运工具要进行的结果性动作；以及触发自主载运工具执行结果性动作。
可以针对第二用户重复检测用户关注、获取大脑活动数据的指令。在这种情况下，确定第一载运工具何时正在执行非期望动作的指令还可以基于第二用户关注第一载运工具以及第二用户的负面反应。
该载运工具动作确定器还可以包括在由处理器执行时使得载运工具动作确定器进行以下动作的指令：获取第一载运工具的控制参数。在这种情况下，确定第一载运工具何时正在执行非期望动作的指令还基于第一载运工具的控制参数。
控制参数可以包括描述第一载运工具的当前运动的至少一个参数。
控制参数可以包括与第一载运工具所行驶的道路的道路特性有关的至少一个参数。
确定结果性动作的指令可以包括在由处理器执行时使得载运工具动作确定器考虑第一载运工具的控制参数的指令。
检测用户关注的指令可以包括在由处理器执行时使得载运工具动作确定器基于注视跟踪来检测用户关注的指令。
在获取大脑活动数据的指令中，大脑活动数据可以基于脑电图EEG。
检测用户关注的指令可以包括在由处理器执行时使得载运工具动作确定器仅考虑距第一用户特定距离内的第一载运工具的指令。
确定第一载运工具何时正在执行非期望动作的指令可以包括在由处理器执行时使得载运工具动作确定器还基于第一载运工具的当前地理位置确定第一载运工具何时正在执行非期望动作的指令。
确定第一载运工具何时正在执行非期望动作的指令可以包括在由处理器执行时使得载运工具动作确定器还基于第一载运工具的历史行驶数据确定第一载运工具何时正在执行非期望动作的指令。
在确定结果性动作的指令中，结果性动作可以是自主载运工具的校正性控制动作。
该载运工具动作确定器还可以包括在由处理器执行时使得载运工具动作确定器进行以下动作的指令：当第一载运工具未在执行非期望动作时，向第一用户提供反馈，该反馈指示第一载运工具未在执行非期望动作。
根据第三方面，提出了一种载运工具动作确定器，该载运工具动作确定器包括：用于通过检测第一用户正在关注第一载运工具来检测用户关注的装置；用于获取第一用户的大脑活动数据的装置；用于基于大脑活动数据确定第一用户的负面反应的装置；用于基于第一用户关注第一载运工具以及第一用户的负面反应确定第一载运工具何时正在执行非期望动作的装置；用于基于第一载运工具执行非期望动作确定自主载运工具要进行的结果性动作的装置；以及用于触发自主载运工具执行结果性动作的装置。
根据第四方面，提出了一种用于确定第一载运工具的非期望动作和结果性动作的计算机程序。该计算机程序包括计算机程序代码，该计算机程序代码在载运工具动作确定器上运行时使得该载运工具动作确定器：通过检测第一用户正在关注第一载运工具来检测用户关注；获取第一用户的大脑活动数据；基于大脑活动数据，确定第一用户的负面反应；基于第一用户关注第一载运工具以及第一用户的负面反应，确定第一载运工具何时正在执行非期望动作；基于第一载运工具执行非期望动作，确定自主载运工具要进行的结果性动作；以及触发自主载运工具执行结果性动作。
根据第五方面，提出了一种计算机程序产品，该计算机程序产品包括根据第四方面的计算机程序和其上存储有该计算机程序的计算机可读装置。
一般情况下，除非本文另有明确定义，否则权利要求中使用的所有术语将依据其在技术领域中的通常含义来加以解释。除非另有明确指出，否则所有对“一/一个/该元件、设备、组件、装置、步骤等”的提及应被解释为是指元件、设备、组件、装置、步骤等的至少一个实例。除非明确说明，否则不必按照所公开的确切顺序来执行本文所公开的任何方法的步骤。
附图说明
现在参考附图通过示例的方式描述本发明，在附图中：
图1A至图1B是示出了可以应用本文提出的实施例的环境的示意图；
图2A至图2B是示出了根据可以在图1A至图1B的环境中应用的两个实施例的大脑活动感测的示意图；
图3是示出了可以在图1A至图1B的环境中使用的载运工具动作确定器的组件的示意图；
图4A至图4D是示出了如何可以实现图3的载运工具动作确定器的实施例的示意图；
图5A至图5C是示出了用于确定第一载运工具的非期望动作和结果性动作的方法的流程图，该方法在图3的载运工具动作确定器中执行；
图6是示出了根据一个实施例的图3的载运工具动作确定器的功能模块的示意图；以及
图7示出了包括计算机可读装置的计算机程序产品的一个示例。
具体实施方式
现在将在下文中参考附图更全面地描述本发明，在附图中示出了本发明的某些实施例。然而，本发明可以以许多不同的形式来体现，不应被解释为局限于本文阐述的实施例；相反，以示例的方式提供这些实施例，以使本公开透彻和完整，并且这些实施例将本发明的范围充分地传达给本领域技术人员。在整个说明书中，相似的附图标记表示相似的元件。
本文提出的实施例基于以下认识：可以利用用户的反应来提供关于载运工具动作的反馈。具体而言，反馈基于对来自用户的大脑活动数据进行检测，以明确用户何时具有负面反应。这与用户所关注的载运工具联系在一起，由此为自主载运工具提供消极反馈，进而从该情况学习。由于反馈是基于大脑感测的，用户无需使用用户接口来提供任何反馈，由此***可以在没有用户输入的情况下工作，为自主载运工具的性能积累大量非常有价值的反馈数据。
图1A至图1B是示出了可以应用本文提出的实施例的环境的示意图。在此有四个载运工具2a-2d(图1A中示出了其中的三个)。至少第一载运工具2a和第四载运工具2d是自主载运工具，能够在至少一部分时间内自主推进。第二载运工具2b和第三载运工具2c也可以是自主载运工具，或者可以是人工控制的载运工具。例如，自主载运工具可以是具备自主驾驶能力的汽车或具有自主飞行能力的飞行器(例如，无人机)。自主载运工具包括一个或多个相机和其他传感器，它们用于分析载运工具的环境并相应地控制载运工具。载运工具的这种控制可以基于机器学习模型。可以通过向该模型馈送适当的反馈(包括结果性动作)来改进机器学习模型。可用于训练机器学习模型的反馈越多，性能就越好。换言之，作为输入的一组特定特征(例如，下面提到的一个或多个控制参数)的每个实例和已知输出(比如，根据非期望动作而确定的结果性动作)可以用来进一步训练机器学习模型。当大量地积累了输入和输出的这种组合时(由于不需要用户交互，本文提出的实施例可以实现)，这导致对机器学习模型的持续改进。载运工具2a-2c还可以包括附加传感器，其用于获取与载运工具控制有关的控制参数，例如音频、载运工具运动、载运工具速度、路况、航空路线状况等。载运工具2a-2c还可以通过与邻近载运工具和/或服务器进行通信来获取外部控制参数，例如交通状况、道路事故/施工区域、天气状况等。载运工具2a-2c包含控制单元，该控制单元定义了载运工具应如何例如基于机器学习模型在自主模式下操作。
在本文的场景中，当地法规规定的是靠右行驶。在图1A的场景中，用户5正在第一自主载运工具2a中行驶。第二自主载运工具2b沿相反方向行驶。然而，第三载运工具2c正以给第一自主载运工具2a并因此给用户5带来危险的方式超越第二自主载运工具2b。第三载运工具2c可以是自主载运工具或传统的人工控制载运工具。根据本文提出的实施例，用户5会注意到自主载运工具2c的动作，大脑活动获取器将捕获来自用户5的大脑的数据，根据该数据可以推断出用户5具有负面反应。负面反应是可以检测到的用户的消极情绪反应。当人们观察到其他人正在犯错时，他们的大脑会响应于这些错误而表现出特定的激活模式，例如，这种特定的激活模式可以反映出诸如恐惧、愤怒、厌恶之类的感觉。这用来允许***从情况学习，并降低自主载运工具在这种场景下以与第三载运工具2c相同的方式动作的风险。
在图1B中，示出了如下场景：第四自主载运工具2d的用户5也注意到了第三载运工具2c的非期望动作，由此给予该情况更多权重(weight)。
图2A至图2B是示出了根据可以在图1A至图1B的环境中应用的两个实施例的大脑活动感测的示意图。
在图2A中，示出了用户5坐在自主载运工具(例如，图1A至图1B的第一自主载运工具2a)的座椅上。用户佩戴着头戴式传感器装置形式的大脑活动获取器7。如在本领域本身所已知的，相机4指向用户的眼睛，以允许注视跟踪。使用注视跟踪可以确定用户5正看向何处，例如看向特定载运工具。
现在转向大脑传感器设备7。大脑传感器设备(也称为大脑计算机接口(BCI))是能够测量用户的大脑活动(通常是通过脑电图(EEG))的设备。这些大脑传感器设备7的形式可以是安装在外部的头戴式设备、外耳或内耳安装式设备，这些设备可以被认为是可佩戴的大脑传感器设备7。大脑传感器设备7也可以是用户头部中的嵌入式设备。
大脑传感器设备7可以用于检测用户大脑活动的各个方面。一种这样的活动是检测用户何时体验到负面反应。与大脑活动检测的其他设想用途相比，使用由目前可用的大脑传感器设备7提供的数据进行负面反应检测更为直接和可行。例如，在提交本申请时，在Welke等人的“BrainResponses During Robot-Error Observation(机器人错误观察期间的大脑响应)”(可从https://arxiv.org/ftp/arxiv/papers/1708/1708.01465.pdf获得)中披露了如何使用EEG对人类观察到机器人的正确动作与错误动作时进行区分。
在图2B中，大脑传感器设备7实现为用户5的座位头枕的一部分。这样，用户就无需佩戴任何设备。
图3是示出了可以在图1A至图1B的环境中使用的载运工具动作确定器1的组件的示意图。当载运工具动作确定器实现为主机设备的一部分时(参见图4A至图4C以及下文描述)，这些组件中的一个或多个组件可以与主机设备共享。使用合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)、专用集成电路等中的一个或多个的任意组合来提供处理器60，其能够执行存储在存储器64中的软件指令67，其因此可以是计算机程序产品。处理器60可以配置为执行下面参考图5A至图5C描述的方法。
存储器64可以是随机存取存储器(RAM)和只读存储器(ROM)的任何组合。存储器64还包括永久性(即，非暂时性)存储装置，该存储装置例如可以是磁性存储器、光学存储器、固态存储器或者甚至远程安装式存储器中的任何一个或其组合。
还提供了数据存储器66，用于在处理器60中执行软件指令期间读取和/或存储数据。数据存储器66可以是随机存取存储器(RAM)和只读存储器(ROM)的任何组合。
载运工具动作确定器1还包括用于与其他外部实体进行通信的I/O接口62。可选地，I/O接口62还包括用户接口。
为了不让本文提出的概念变得难以理解，省略了载运工具动作确定器1的其他组件。
载运工具动作确定器1可以连接到大脑传感器设备7，大脑传感器设备7可以分别是图2A至图2B的大脑传感器设备7中的任何一个。载运工具动作确定器1还可以连接到服务器8。
此外，载运工具动作确定器1可以连接到自主载运工具2，自主载运工具2可以是用户正在其中驾驶的自主载运工具。载运工具动作确定器1还可以连接到相机4，以允许对用户的注视跟踪。
图4A至图4D是示出了如何可以实现图3的载运工具动作确定器1的实施例的示意图。载运工具动作确定器1可以实现为独立设备，或者可以形成主机设备的一部分，如图4A至图4C所示。
在图4A中，示出了在自主载运工具2中实现的载运工具动作确定器1。因此，自主载运工具2是用于载运工具动作确定器1的主机设备。在这种情况下，自主载运工具可以是(但不需要是)用户此时正在其中驾驶的自主载运工具。
在图4B中，示出了在大脑传感器设备7中实现的载运工具动作确定器1。因此，大脑传感器设备7是用于载运工具动作确定器1的主机设备。在本实施例中，大脑传感器设备获取位于可以检测到用户关注的任何地方的用户的大脑数据。例如，用户可以位于路边，同时外部相机用于检测用户关注。替代地，大脑传感器设备还包括用于检测用户的视线的相机。然后，大脑传感器设备7使用用户的大脑数据和用户的视线来确定是否发生了所观察的载运工具的非期望动作。
在图4C中，示出了在服务器8中实现的载运工具动作确定器1。因此，服务器8是载运工具动作确定器1的主机设备。在本实施例中，服务器8可以连接到大脑活动获取器，其用于获取位于可以检测到用户关注的任何地方的用户的大脑数据。例如，用户可以位于路边，同时外部相机用来检测用户的关注。然后，服务器使用用户的大脑数据和用户的视线来确定是否发生了所观察的载运工具的非期望动作。
在图4D中，示出了实现为独立设备的载运工具动作确定器1。在本实施例中，没有用于载运工具动作确定器1的主机设备。
图5A至图5C是示出了用于确定第一载运工具的非期望动作和用于自主载运工具的结果性动作的方法的流程图，该方法在图3的载运工具动作确定器中执行。用户正在自主载运工具中驾驶。第一载运工具可以与用户正在其中驾驶的自主载运工具相同。替代地，第一载运工具位于用户正在其中驾驶的自主载运工具的外部。第一载运工具可以是自主载运工具或传统的人工控制的载运工具。
在检测用户关注步骤40中，载运工具动作确定器通过检测第一用户正在关注第一载运工具来检测用户关注。此处的术语“第一”仅用于在以下文本中引述第一载运工具。术语“第一”不以任何方式暗示任何顺序或优先级。用户对第一载运工具的关注可以例如是基于注视跟踪(使用图2A至图2B所示的相机4)。还可以确定用户何时关注其自己的自主载运工具，也就是用户正在其中驾驶的自主载运工具。
可选地，由于用户难以对距离较远的载运工具进行正确分析，因此，仅将距第一用户特定距离内的载运工具视为潜在的第一载运工具。
用户所在载运工具的另一相机(例如，仪表板相机)、靠近用户的用户设备上的相机(例如，自主载运工具所使用的头戴式显示器)。替代地或另外地，可以利用载运工具外部的相机。通过如下方式在相机所获取的图像中识别用户视线：知晓相机与当前用户位置之间的相对位置，该相对位置可以是已知的(例如，用户坐在座椅上并具有高度X)或者可以通过与服务器8通信的在线方式来检测到(例如，面向汽车内部的另一相机检测用户的头部和眼睛所处的位置，并计算出用户眼睛位置与相机之间的位置和方向的变换)。
在获取大脑活动数据步骤42中，载运工具动作确定器获取第一用户的大脑活动数据。这可以使用图2A至图2B所示的大脑传感器设备7来执行。例如，大脑活动数据可以基于脑电图(EEG)。
在确定负面反应步骤44中，载运工具动作确定器基于大脑活动数据来确定第一用户的负面反应。如上所述，与大脑活动检测的其他设想用途相比，使用由目前可用的大脑传感器设备提供的数据进行负面反应检测更为直接和可行。例如，负面反应的确定可以基于机器学习。
在条件性的非期望动作步骤46中，载运工具动作确定器基于第一用户关注第一载运工具以及第一用户的负面反应来确定第一载运工具是否正在执行非期望动作。换言之，当用户关注特定载运工具并且脑电波指示该用户具有负面反应时，这被解释为第一载运工具在执行非期望动作。
这种确定可以可选地基于第一载运工具(或自主载运工具)的当前地理位置。在不同国家之间，可接受的驾驶行为可能会存在着相当大的差异，在确定动作是否是非期望动作时可以将这一点考虑在内。
此外，该确定可选地基于第一载运工具的历史行驶数据。例如，如果历史数据指示许多类似的动作在数万公里的行程中都没有与任何非期望行为相关联，那么这将使动作的权重变为不被视为非期望动作。
当发生非期望动作时，该方法前进到确定结果性动作步骤48。否则，该方法结束。
在确定结果性动作步骤48中，载运工具动作确定器基于第一载运工具执行非期望动作来确定自主载运工具要采取的结果性动作。结果性动作可以用于训练自主载运工具的机器学习模型，其中模型的输入包含一个或多个控制参数，而输出包含结果性动作或其结果。机器学习模型的这种训练可以用作共享学习的一部分，扩展以改进若干载运工具的机器学习模型。例如，其所有者允许向其他载运工具学习的所有自主载运工具将来都可以采用这种共享学习来进行学习并避免类似环境下的非期望行为。这样的共享学习可以经由服务器传送或者直接从载运工具动作确定器传送到所讨论的自主载运工具。
结果性动作可以是自主载运工具的校正性控制动作。该校正性控制动作可以是在当前情况下对自主载运工具的行为产生影响的实时控制动作，而该行为被确定为是非期望的。例如，可以在第一载运工具(即，所观察载运工具)也是被训练的载运工具时应用这样的实时校正性控制动作。替代地或另外地，校正性控制动作存储在自主载运工具的存储器中，这样，将来在类似环境下可以避免对应的非期望动作。
在一个实施例中，结果性动作是自主载运工具向人类驾驶员请求附加信息以针对将来的类似情况学习。人类驾驶员可以位于自主载运工具内部或位于远处，在非期望动作的情况下向机器学习模型提供输入。自主载运工具提供与先前记录的非期望动作的情况相对应的数据。这允许自主载运工具学习如何校正这种动作。
在一个实施例中，结果性动作是要求自主载运工具接受附加训练，例如，从对发生了非期望动作的情况进行模拟的模拟器接受附加训练。可选地，仅当这样的非期望动作的数量超过某个阈值时才可以触发这种训练。这种结果性动作降低了执行非期望动作的自主载运工具在将来发生类似情况时执行这种动作的风险。
在一个实施例中，结果性动作是自主载运工具在将来发生与非期望动作类似的情况时向人类驾驶员请求附加信息以获得帮助。于是，自主载运工具将让人类驾驶员(在自主载运工具内或在远处)接管并驾驶载运工具，使得自主载运工具可以向驾驶员学习。
在一个实施例中，结果性动作是当自主载运工具在将来再次遇到非期望动作的情况时使得自主载运工具执行非期望动作的替代性动作。例如，自主载运工具可以具有可以在该情况下执行的两个潜在动作，即动作A和动作B，并且如果动作A已经被报告为是非期望的，则自主载运工具将会使用动作B。
在一个实施例中，结果性动作是自主载运工具累积非期望动作的发生，并且如果非期望动作的发生次数超过了给定阈值，则自主载运工具决定通过请求附加信息或者通过改变将要在非期望动作的情况下执行的动作来对情况进行动作。类似地，当由一组自主载运工具针对相同情况下的动作执行的非期望动作的发生累积到了超过预定阈值的非期望动作的发生时，相同品牌、所有者的其余自主载运工具或者特定地理位置内的自主载运工具在该情况下也会改变其行为。
在一个实施例中，结果性动作是自主载运工具执行以自主载运工具的性能目标加权的以上提及的结果性动作中的至少一个。作为示例，可以确定载运工具在交通信号灯变成红灯之前没有加速通过黄色交通信号灯是非期望的。然而，这种加速将花费载运工具更多的能量消耗(而所有者或制造商已经将载运工具设定为优化这种能量消耗)，或者这种加速将超过所有者或制造商对载运工具设置的最大加速限制。类似地，自主载运工具还可能希望优化其物理条件(例如，发动机条件)、制动器等。因此，在决定是否应该执行对结果性动作的修改时，可以采用将所有这些因素考虑在内的加权函数。
当结果性动作使得自主载运工具从经验中学习时，可以将结果性动作的反馈共享给更多的自主载运工具，以允许训练它们各自的机器学习模型。
在触发结果性动作步骤49中，载运工具动作确定器触发自主载运工具执行结果性动作。
通过使用大脑活动数据，无需明确的用户输入即可实现对非期望动作的识别。这可以用于自主载运工具从非期望动作学习。来自用户的反馈可以容易地与自主载运工具正在执行的当前活动相关。
本文提出的实施例允许反馈给若干自主载运工具，而不仅是用户正在其中驾驶的自主载运工具。实施例使得能够快速且鲁棒地确定载运工具的任何非期望动作。由于可以在没有用户交互的情况下发生反馈，因此，可以收集到大量的反馈数据，从而极大地改善自主载运工具的性能。
现在转向图5B，将仅描述与图5A的步骤相比新的步骤的或有所修改的步骤。
在可选的获取控制参数步骤45中，载运工具动作确定器获取第一载运工具的控制参数。
控制参数包括描述第一载运工具的当前运动的至少一个参数。当前运动在此应解释为速度、加速度、方向等中的任何一个或多个。
替代地或另外地，控制参数包括与第一载运工具所行驶的道路的道路特性有关的至少一个参数。例如，道路特性不仅可以与道路的性质(例如，曲率、倾斜度、车道数量、宽度、速度限制、交通法规、沿行驶方向的加速/减速限制、横向加速度等)有关，而且还与道路的临时状况(例如，交通状况、道路封闭情况、雪、冰或树叶的量和/或天气状况(如温度、雨、雪、晴和太阳角度等)有关。此外，第一载运工具的活动标识可以形成控制参数的一部分，例如，直线行驶、超过另一载运工具并返回原车道、行驶通过黄色交通信号灯等。可选地，控制参数还包括与周围环境有关的信息，例如其他载运工具、行人、自行车等，该信息是可以由自主载运工具收集的数据。
当控制参数可用时，条件性的非期望动作步骤46还可以基于第一载运工具的任何一个或多个控制参数。
当控制参数可用时，确定结果性动作步骤48也可以基于第一载运工具的一个或多个控制参数。
在可选的提供反馈步骤54中，当在步骤46中确定没有非期望动作时，载运工具动作确定器向第一用户提供反馈，以指示第一载运工具未在执行非期望动作。
现在转向图5C，在此示出的方法类似于图5A的方法，但是基于至少两个用户。
在此，步骤40、42和44在两个单独的路径中执行，一个路径针对的是第一用户，一个路径针对的是第二用户。在此，两个用户都关注相同的第一载运工具。在步骤44的每个实例中，关于是否有负面反应，存在二元分类。如上文更详细描述地，在步骤44的每个实例中确定是否有负面反应。
在条件性的非期望动作步骤46中，将来自两个用户的负面反应和用户关注用于确定第一载运工具是否正在执行非期望动作。
因此，分析了至少两个用户的大脑活动数据，得到步骤44中是否是负面反应的二元分类。在第一载运工具是否正在执行非期望动作的确定中，在步骤46中将这些二元分类进行组合。二元分类可以以若干不同的方式进行组合。
在一个实施例中，该确定是基于从当前关注第一载运工具的所有用户获得的二元分类的平均值。
在一个实施例中，该确定是基于从比特定距离更靠近第一载运工具的且当前关注第一载运工具的所有用户获得的分类的平均值。
在一个实施例中，该确定是基于从当前关注第一载运工具的用户获得的分类的平均值，但是仅考虑那些是当前地理区域中的本地用户的用户。这考虑到了非期望动作的文化性(例如，欧洲人与亚洲人与美国人，南欧人与北欧人)和地理性解释，其中某个行为在一个国家可能被认为是非期望的，而在另一个国家则不是这样。
在一个实施例中，该确定是基于从当前关注第一载运工具的所有用户获得的分类的平均值，并且还基于已经存储的相同动作的先前分类。作为示例，可以在各个用户之间共享第一载运工具，其中各个用户先前已经对第一载运工具当前正在执行的相同动作进行了分类，并且存储的结果用于确定非期望行为。
在一个实施例中，该确定是基于从当前关注第一载运工具的所有用户获得的分类的平均值，并且还基于来自第一载运工具的关于动作的先前知识。例如，这种关于动作的先前知识可以是通过先前的培训(人类驾驶员的真实培训或模拟培训)获得和/或通过驾驶员手册获得。作为示例，由于先前的知识，第一载运工具可以坚定地认为，这样的动作不是非期望的。
在一个实施例中，该确定是基于从关注第一载运工具的所有用户获得的分类的平均值，以及可以从驾驶法规中获取的道路规定。
因此，给定来自至少两个用户的EEG记录，由多辆载运工具执行的当前动作被分类为非期望的。例如，如果非期望动作涉及多个载运工具(例如，关注载运工具A和载运工具B这两者的用户报告非期望动作)，则可能不会简单地将非期望动作分配给特定载运工具。因此，必须考虑来自多个用户的分类。作为示例，考虑非期望动作中涉及到载运工具A和B。例如，考虑来自关注载运工具A或载运工具B的用户的分类，以区分是否向载运工具A分配了比载运工具B更多数量的非期望分类，反之亦然。本实施例可以在服务器(图3和图4C的8)中实现。
在步骤46之后，该方法以类似于图5A和图5B所示的方式执行。
图6是示出了根据一个实施例的图3的载运工具动作确定器1的功能模块的示意图。使用软件指令(例如，在载运工具动作确定器1中执行的计算机程序)来实现模块。替代地或另外地，使用硬件(例如，ASIC(专用集成电路)、FPGA(现场可编程门阵列)或离散逻辑电路中的任何一个或多个)来实现模块。这些模块对应于图5A至图5C所示的方法中的步骤。
用户关注检测器70对应于步骤40。大脑活动数据获取器72对应于步骤42。负面反应确定器74对应于步骤44。控制数据获取器75对应于步骤45。非期望动作确定器76对应于步骤46。结果性动作确定器78对应于步骤48。动作触发器79对应于步骤49。反馈提供器84对应于步骤54。
图7示出了包括计算机可读装置的计算机程序产品90的一个示例。在该计算机可读装置上可以存储计算机程序91，计算机程序91可以使得处理器执行根据本文描述的实施例的方法。在本示例中，计算机程序产品是光盘，例如CD(压缩光盘)或DVD(数字多功能光盘)或蓝光光盘。如上所述，计算机程序产品也可以体现在设备的存储器中，例如图3的计算机程序产品67。尽管计算机程序91在这里被示意性地示为所描绘的光盘上的轨道，但是，计算机程序仍可以以适合计算机程序产品的任何方式进行存储，比如，可移动固态存储器，例如通用串行总线(USB)驱动器。
上面主要参考一些实施例描述了本发明。然而，如本领域技术人员容易理解的那样，在所附专利权利要求书所限定的本发明的范围内，除了以上公开的实施例以外的其他实施例同样是可能的。

Claims (29)

1.一种用于确定第一载运工具(2，2a-d)的非期望动作和结果性动作的方法，所述方法在载运工具动作确定器(1)中执行并且包括以下步骤：
通过检测第一用户(5)正在关注所述第一载运工具(2，2a-d)来检测(40)用户关注；
获取(42)所述第一用户(5)的大脑活动数据；
基于所述大脑活动数据，确定(44)所述第一用户(5)的负面反应；
基于所述第一用户(5)关注所述第一载运工具(2，2a-d)以及所述第一用户(5)的所述负面反应，确定(46)所述第一载运工具(2，2a-d)何时正在执行非期望动作；
基于所述第一载运工具(2，2a-d)执行所述非期望动作，确定(48)自主载运工具(2，2a-d)要进行的所述结果性动作；以及
触发(49)所述自主载运工具(2，2a-d)执行所述结果性动作。
2.根据权利要求1所述的方法，其中针对第二用户重复检测(40)用户关注、获取(42)大脑活动数据的步骤，并且其中确定(46)所述第一载运工具(2，2a-d)何时正在执行非期望动作的步骤还基于所述第二用户关注所述第一载运工具(2，2a-d)以及所述第二用户的负面反应。
3.根据权利要求1或2所述的方法，还包括以下步骤：
获取(45)所述第一载运工具(2，2a-d)的控制参数；以及
其中确定(46)所述第一载运工具(2，2a-d)何时正在执行非期望动作的步骤还基于所述第一载运工具(2，2a-d)的所述控制参数。
4.根据权利要求3所述的方法，其中所述控制参数包括描述所述第一载运工具(2，2a-d)的当前运动的至少一个参数。
5.根据权利要求3或4所述的方法，其中所述控制参数包括与所述第一载运工具(2，2a-d)所行驶的道路的道路特性有关的至少一个参数。
6.根据权利要求3至5中任一项所述的方法，其中确定(48)结果性动作的步骤包括考虑所述第一载运工具(2，2a-d)的控制参数。
7.根据前述权利要求中任一项所述的方法，其中检测(40)用户关注的步骤基于注视跟踪。
8.根据前述权利要求中任一项所述的方法，其中在获取(42)大脑活动数据的步骤中，所述大脑活动数据基于脑电图EEG。
9.根据前述权利要求中任一项所述的方法，其中检测(40)用户关注的步骤包括仅考虑距所述第一用户(5)在特定距离内的第一载运工具。
10.根据前述权利要求中任一项所述的方法，其中确定(46)所述第一载运工具(2，2a-d)何时正在执行非期望动作的步骤还基于所述第一载运工具(2，2a-d)的当前地理位置。
11.根据前述权利要求中任一项所述的方法，其中确定(46)所述第一载运工具(2，2a-d)何时正在执行非期望动作的步骤还基于所述第一载运工具(2，2a-d)的历史行驶数据。
12.根据前述权利要求中任一项所述的方法，其中在确定(48)结果性动作的步骤中，所述结果性动作是所述自主载运工具(2，2a-d)的校正性控制动作。
13.根据前述权利要求中任一项所述的方法，还包括以下步骤：
当所述第一载运工具未在执行非期望动作时，向所述第一用户(5)提供(54)反馈，所述反馈指示所述第一载运工具(2，2a-d)未在执行非期望动作。
14.一种用于确定第一载运工具(2，2a-d)的非期望动作和结果性动作的载运工具动作确定器(1)，所述载运工具动作确定器包括：
处理器(60)；以及
存储指令(67)的存储器(64)，所述指令在由所述处理器执行时使得所述载运工具动作确定器(1)：
通过检测第一用户(5)正在关注所述第一载运工具(2，2a-d)来检测用户关注；
获取所述第一用户(5)的大脑活动数据；
基于所述大脑活动数据，确定所述第一用户(5)的负面反应；
基于所述第一用户(5)关注所述第一载运工具(2，2a-d)以及所述第一用户(5)的所述负面反应，确定所述第一载运工具(2，2a-d)何时正在执行非期望动作；
基于所述第一载运工具(2，2a-d)执行所述非期望动作，确定自主载运工具(2，2a-d)要进行的所述结果性动作；以及
触发所述自主载运工具(2，2a-d)执行所述结果性动作。
15.根据权利要求14所述的载运工具动作确定器(1)，其中针对第二用户重复检测用户关注以及获取大脑活动数据的所述指令，并且其中确定所述第一载运工具(2，2a-d)何时正在执行非期望动作的所述指令还基于所述第二用户关注所述第一载运工具(2，2a-d)以及所述第二用户的负面反应。
16.根据权利要求14或15所述的载运工具动作确定器(1)，还包括在由所述处理器执行时使得所述载运工具动作确定器(1)执行以下动作的指令(67)：
获取所述第一载运工具(2，2a-d)的控制参数；以及
其中确定所述第一载运工具(2，2a-d)何时正在执行非期望动作的所述指令还基于所述第一载运工具(2，2a-d)的所述控制参数。
17.根据权利要求16所述的载运工具动作确定器(1)，其中所述控制参数包括描述所述第一载运工具(2，2a-d)的当前运动的至少一个参数。
18.根据权利要求16或17所述的载运工具动作确定器(1)，其中所述控制参数包括与所述第一载运工具(2，2a-d)所行驶的道路的道路特性有关的至少一个参数。
19.根据权利要求16至18中任一项所述的载运工具动作确定器(1)，其中确定结果性动作的所述指令包括在由所述处理器执行时使得所述载运工具动作确定器(1)考虑所述第一载运工具(2，2a-d)的控制参数的指令(67)。
20.根据权利要求14至19中任一项所述的载运工具动作确定器(1)，其中检测用户关注的所述指令包括在由所述处理器执行时使得所述载运工具动作确定器(1)基于注视跟踪来检测用户关注的指令(67)。
21.根据权利要求14至20中任一项所述的载运工具动作确定器(1)，其中在获取大脑活动数据的所述指令中，所述大脑活动数据基于脑电图EEG。
22.根据权利要求14至21中任一项所述的载运工具动作确定器(1)，其中检测用户关注的所述指令包括在由所述处理器执行时使得所述载运工具动作确定器(1)仅考虑距所述第一用户(5)在特定距离内的第一载运工具的指令(67)。
23.根据权利要求14至22中任一项所述的载运工具动作确定器(1)，其中确定所述第一载运工具(2，2a-d)何时正在执行非期望动作的所述指令包括在由所述处理器执行时使得所述载运工具动作确定器(1)还基于所述第一载运工具(2，2a-d)的当前地理位置来确定所述第一载运工具(2，2a-d)何时正在执行非期望动作的指令(67)。
24.根据权利要求14至23中任一项所述的载运工具动作确定器(1)，其中确定(46)所述第一载运工具(2，2a-d)何时正在执行非期望动作的所述指令包括在由所述处理器执行时使得所述载运工具动作确定器(1)还基于所述第一载运工具(2，2a-d)的历史行驶数据来确定所述第一载运工具(2，2a-d)何时正在执行非期望动作的指令(67)。
25.根据权利要求14至24中任一项所述的载运工具动作确定器(1)，其中在确定结果性动作的所述指令中，所述结果性动作是所述自主载运工具(2，2a-d)的校正性控制动作。
26.根据权利要求14至25中任一项所述的载运工具动作确定器(1)，还包括在由所述处理器执行时使得所述载运工具动作确定器(1)进行以下动作的指令(67)：当所述第一载运工具未在执行非期望动作时，向所述第一用户(5)提供反馈，所述反馈指示所述第一载运工具(2，2a-d)未在执行非期望动作。
27.一种载运工具动作确定器(1)，包括：
用于通过检测第一用户(5)正在关注第一载运工具(2，2a-d)来检测用户关注的装置；
用于获取所述第一用户(5)的大脑活动数据的装置；
用于基于所述大脑活动数据来确定所述第一用户(5)的负面反应的装置；
用于基于所述第一用户(5)关注所述第一载运工具(2，2a-d)以及所述第一用户(5)的所述负面反应来确定所述第一载运工具(2，2a-d)何时正在执行非期望动作的装置；
用于基于所述第一载运工具(2，2a-d)执行所述非期望动作来确定自主载运工具(2，2a-d)要进行的所述结果性动作的装置；以及
用于触发所述自主载运工具(2，2a-d)执行所述结果性动作的装置。
28.一种用于确定第一载运工具(2，2a-d)的非期望动作和结果性动作的计算机程序(67，91)，所述计算机程序包括计算机程序代码，所述计算机程序代码在载运工具动作确定器(1)上运行时使得所述载运工具动作确定器(1)：
通过检测第一用户(5)正在关注所述第一载运工具(2，2a-d)来检测用户关注；
获取所述第一用户(5)的大脑活动数据；
基于所述大脑活动数据，确定所述第一用户(5)的负面反应；
基于所述第一用户(5)关注所述第一载运工具(2，2a-d)以及所述第一用户(5)的所述负面反应，确定所述第一载运工具(2，2a-d)何时正在执行非期望动作；
基于所述第一载运工具(2，2a-d)执行所述非期望动作，确定自主载运工具(2，2a-d)要进行的所述结果性动作；以及
触发所述自主载运工具(2，2a-d)执行所述结果性动作。
29.一种计算机程序产品(64，90)，包括根据权利要求28所述的计算机程序和其上存储有所述计算机程序的计算机可读装置。
CN201780097561.XA 2017-12-08 2017-12-08 确定载运工具的非期望动作 Active CN111527014B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2017/051235 WO2019112501A1 (en) 2017-12-08 2017-12-08 Determining an undesired action of a vehicle

Publications (2)

Publication Number Publication Date
CN111527014A true CN111527014A (zh) 2020-08-11
CN111527014B CN111527014B (zh) 2024-04-16

Family

ID=66751114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097561.XA Active CN111527014B (zh) 2017-12-08 2017-12-08 确定载运工具的非期望动作

Country Status (5)

Country Link
US (1) US11634159B2 (zh)
EP (1) EP3720748A4 (zh)
JP (1) JP7223758B2 (zh)
CN (1) CN111527014B (zh)
WO (1) WO2019112501A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020117319A1 (en) * 2019-07-08 2020-06-11 Futurewei Technologies, Inc. System and method for improving interaction of a plurality of autonomous vehicles with a driving environment including said vehicles
KR102664123B1 (ko) * 2019-09-09 2024-05-09 현대자동차주식회사 차량 데이터 생성 장치 및 방법, 그리고 시스템
US11635758B2 (en) * 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US20230166765A1 (en) * 2021-12-01 2023-06-01 Waymo Llc Operational Response Model based on Operational Parameters
US20240010230A1 (en) * 2022-07-05 2024-01-11 GM Global Technology Operations LLC Method of determining a continuous driving path in the absence of a navigational route for autonomous vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性***
CN103448719A (zh) * 2012-06-01 2013-12-18 通用汽车环球科技运作有限责任公司 神经认知驾驶员状态处理
US20160362111A1 (en) * 2015-06-12 2016-12-15 Jaguar Land Rover Limited Driver awareness sensing and indicator control
WO2017052493A1 (en) * 2015-09-21 2017-03-30 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
US20170225677A1 (en) * 2014-09-03 2017-08-10 Denso Corporation Vehicular driving control system
WO2017177128A1 (en) * 2016-04-08 2017-10-12 The Trustees Of Columbia University In The City Of New York Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4114485B2 (ja) 2003-01-15 2008-07-09 日産自動車株式会社 車両走行状態検出装置及び車両走行制御装置
JP2011198247A (ja) * 2010-03-23 2011-10-06 Toyota Motor Corp 運転支援装置
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
WO2013101044A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
JP6287728B2 (ja) * 2014-09-25 2018-03-07 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
US10046618B2 (en) * 2014-10-15 2018-08-14 Honda Motor Co., Ltd. System and method for vehicle control integrating environmental conditions
US9399430B2 (en) 2014-12-02 2016-07-26 Honda Motor Co., Ltd. System and method for vehicle control integrating health priority alerts of vehicle occupants
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
JP6699831B2 (ja) 2016-04-28 2020-05-27 トヨタ自動車株式会社 運転意識推定装置
JP2017204015A (ja) 2016-05-09 2017-11-16 株式会社東海理化電機製作所 運転支援装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712317A (zh) * 2010-01-14 2012-10-03 丰田自动车工程及制造北美公司 使驾驶员与环境感测结合的车辆安全性***
CN103448719A (zh) * 2012-06-01 2013-12-18 通用汽车环球科技运作有限责任公司 神经认知驾驶员状态处理
US20170225677A1 (en) * 2014-09-03 2017-08-10 Denso Corporation Vehicular driving control system
US20160362111A1 (en) * 2015-06-12 2016-12-15 Jaguar Land Rover Limited Driver awareness sensing and indicator control
WO2017052493A1 (en) * 2015-09-21 2017-03-30 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
WO2017177128A1 (en) * 2016-04-08 2017-10-12 The Trustees Of Columbia University In The City Of New York Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface

Also Published As

Publication number Publication date
EP3720748A1 (en) 2020-10-14
CN111527014B (zh) 2024-04-16
JP2021506011A (ja) 2021-02-18
JP7223758B2 (ja) 2023-02-16
EP3720748A4 (en) 2020-12-16
US11634159B2 (en) 2023-04-25
WO2019112501A1 (en) 2019-06-13
US20200346665A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US11878720B2 (en) Method and system for risk modeling in autonomous vehicles
EP3759700B1 (en) Method for determining driving policy
US10791979B2 (en) Apparatus and method to train autonomous driving model, and autonomous driving apparatus
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
CN111527014B (zh) 确定载运工具的非期望动作
JP2020187754A (ja) 課せられる責任の制約を伴うナビゲーションシステム
US7974748B2 (en) Driver assistance system with vehicle states, environment and driver intention
CN110312633B (zh) 图像显示***、图像显示方法以及程序
US10875537B1 (en) Systems and methods for monitoring the situational awareness of a vehicle according to reactions of a vehicle occupant
CN110654396A (zh) 用于生成用于自主道路车辆的控制命令的方法和装置
CN112105537B (zh) 驾驶风险计算装置和方法
CN111527013A (zh) 车辆变道预测
EP2884424A1 (en) Method of programming a neural network computer
WO2021090897A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11713046B2 (en) Driving assistance apparatus and data collection system
Rodemerk et al. Predicting the driver's turn intentions at urban intersections using context-based indicators
KR20230069940A (ko) 운전자 보조 시스템을 테스트하기 위한 방법 및 시스템
CN110741424A (zh) 危险信息收集装置
JP7207227B2 (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
Huang et al. Combining low-cost inertial measurement unit (IMU) and deep learning algorithm for predicting vehicle attitude
US11157756B2 (en) System and method for detecting errors and improving reliability of perception systems using logical scaffolds
Sharkawy et al. Comprehensive evaluation of emerging technologies of advanced driver assistance systems: An overview
US20230391366A1 (en) System and method for detecting a perceived level of driver discomfort in an automated vehicle
JP2024523199A (ja) 車両の安全に関連する物体を認識する方法
CN117396854A (zh) 自主车辆规划器性能测试工具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant