CN107867242A - 用于在车辆中使用物体显示装置的方法、***和车辆 - Google Patents

用于在车辆中使用物体显示装置的方法、***和车辆 Download PDF

Info

Publication number
CN107867242A
CN107867242A CN201710810577.2A CN201710810577A CN107867242A CN 107867242 A CN107867242 A CN 107867242A CN 201710810577 A CN201710810577 A CN 201710810577A CN 107867242 A CN107867242 A CN 107867242A
Authority
CN
China
Prior art keywords
driver
display device
vehicle
possibility
object display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710810577.2A
Other languages
English (en)
Other versions
CN107867242B (zh
Inventor
P·兰德弗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN107867242A publication Critical patent/CN107867242A/zh
Application granted granted Critical
Publication of CN107867242B publication Critical patent/CN107867242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J50/00—Arrangements specially adapted for use on cycles not provided for in main groups B62J1/00 - B62J45/00
    • B62J50/20—Information-providing devices
    • B62J50/21—Information-providing devices intended to provide information to rider or passenger
    • B62J50/22—Information-providing devices intended to provide information to rider or passenger electronic, e.g. displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B60W2050/0025—Transfer function weighting factor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文的实施例涉及一种用于处理驾驶员(103)对包括在车辆(100)中的物体显示装置(105)的使用的方法。监视驾驶员(103)对物体显示装置(105)的使用。基于监视确定当使用物体显示装置(105)时驾驶员(103)已经检测到物体(110)的表示的可能性。物体(110)的表示在物体显示装置(105)中对驾驶员(103)可见，并且物体(110)位于车辆(100)的周围。

Description

用于在车辆中使用物体显示装置的方法、***和车辆
技术领域
本文的实施例总体涉及方法、***和车辆。更特别地，本文的实施例涉及包括在车辆中的物体显示装置的使用。
背景技术
当今，高级驾驶员辅助***(例如自动制动、自适应巡航控制和半/完全自主停车功能)不考虑驾驶员是否观察到潜在威胁，例如即将到来或迎面而来的车辆或行人。如果***已有该信息，则可以调整阈值(例如距前车的时间间隙、自动制动和前部碰撞警告的时机)以使得不太可能发生事故和/或错误或过早警报/干预的妨害被最小化。如果驾驶员已经观察到潜在威胁，甚至可以排除警告和干预，这也导致更多的信赖和***中更少的妨害。
可用于理解驾驶员是否已经观察到例如从碰撞角度来说相关的潜在威胁(例如即将到来或迎面而来的车辆或行人)的一个信息源是监视驾驶员对镜子的使用，例如侧视镜和后视镜及其它视觉辅助例如环绕视野摄像机或放置在车辆周围的其它摄像机。
为了降低卷入事故的可能性，还需要帮助驾驶员改进他/她对车辆的物体显示装置的使用行为。
当今的车辆配备有能够通过利用例如观察驾驶员头部和眼睛的技术来检测驾驶员是否疲惫或疏忽的***。这些***在实现上述目的中起作用。
发明内容
本文实施例的目的是因此消除至少一个上述缺点并且提供车辆中改进的安全性。
根据第一方面，通过一种用于处理驾驶员对包括在车辆中的物体显示装置的使用的方法实现该目的。监视驾驶员对物体显示装置的使用。基于所述监视确定当使用物体显示装置时驾驶员已经检测到物体的表示的可能性。物体的表示在物体显示装置中对于驾驶员可见。物***于车辆周围。
根据第二方面，通过一种用于处理驾驶员对包括在车辆中的物体显示装置的使用的***实现该目的。所述***适用于监视驾驶员对物体显示装置的使用。所述***适用于基于所述监视确定当使用物体显示装置时驾驶员已经检测到物体的表示的可能性。物体的表示在物体显示装置中对于驾驶员可见。物***于车辆周围。
由于确定了当使用物体显示装置时驾驶员已经检测到物体的表示的可能性，所以改进了车辆安全性。
本文的实施例提供了很多优点，以下列出非穷尽的示例：
本文实施例的一个优点是可以获得有关确定的可能性的信息的***能够调整其阈值，以便例如选择距前车的至少一个更好的时间间隙，选择更好的自动制动和前部碰撞警告的时机。这例如导致发生事故的可能性降低并且错误或过早警报/干预的妨害被最小化。如果驾驶员已经观察到潜在威胁，甚至可以排除警告和干预，这也导致更多的信赖和***中更少的妨害。
本文实施例的一个优点在于它们改进了驾驶员对物体显示装置例如镜子和其它视觉辅助的使用。由于改进的使用，视觉可识别的威胁被识别并且提高了安全性。例如，如果有驾驶员尚未看见高威胁/严重性水平的相关物体的风险，则可以提醒驾驶员再查看或更仔细地查看一个或若干物体显示装置。
基于随时间推移的使用行为，驾驶员能够得到如何改变他/她使用物体显示装置的方式的建议。
本文的实施例不局限于上述特征和优点。在阅读以下详细说明之后所属技术领域的技术人员将认识到附加特征和优点。
附图说明
现在将进一步在下文的详细说明中参照示出实施例的附图更详细地描述本文的实施例，其中：
图1是车辆的示意图。
图2是示出方法的实施例的流程图。
图3是示出***的示意性框图。
附图不一定按比例并且某些特征的尺寸可能为了清楚起见已被夸大。重点反而应当放在示出本文实施例的原理上。
具体实施方式
图1示出车辆100。车辆100可以是任何任意车辆，例如小汽车、卡车、运货汽车、客货车、巴士、摩托车等等。车辆100可以是至少部分自主或自驾驶的，它可为非自主的等等。
车辆100可被驾驶员103使用和驾驶。驾驶员103也可被称为车辆100的使用者、司机等等。车辆100可包括适用于向驾驶员103显示物体110或物体110的表示的至少一个物体显示装置105。在一个示例中，车辆100包括多个物体显示装置105。因而，车辆100可包括一个或多个物体显示装置105。物体110可能位于车辆100和驾驶员103周围。
物体显示装置103可以是镜子或显示器。物体显示装置105可位于车辆100内侧和外侧上的不同位置处。
物体110例如可以是动物、其它车辆、建筑物等等。物体110可能成为车辆100的例如碰撞的形式的风险。
车辆100可包括驾驶员监视装置(图1未示出)，例如驾驶员监视摄像机。驾驶员监视装置可位于车辆100内的任何适宜位置处。驾驶员监视装置适用于监视驾驶员，例如驾驶员头部的移动、驾驶员的目光方向等等。
车辆100可以包括接口，例如触摸接口(图1中未示出)，其可以使得驾驶员103能够指示他/她实际上正在监视显示器上发生了什么。例如，驾驶员103可以点击触摸接口上的按钮以确认他/她已经通过查看物体显示装置105检测到其它车道内的其它车辆。换句话说，驾驶员103将风险情况控制住。这例如在自主停车期间是有用的。所述接口可包括一个或多个麦克风，使得驾驶员103能够口头提供指示。
车辆100可以包括例如碰撞警告***、自主停车***、盲点信息***以及安全和驾驶员支持***的***。
现在将参照图2所示的流程图描述根据某些实施例的用于处理驾驶员103对包括在车辆100中的物体显示装置105的使用的方法。当物体显示装置105被例示为镜子时，所述方法可被称为镜子行为检测(MBD)功能或***。图2所示的方法包括以下步骤中的至少一些，步骤也可以按如下所述之外的其它适宜顺序进行。
步骤201
监视驾驶员103对物体显示装置的使用。当监视对物体显示装置105的使用时，其涉及监视驾驶员103是否用他的眼睛查看物体显示装置105。不必监视驾驶员103正在查看物体显示装置105的什么地方，而仅监视他/她正在查看装置105。
可以通过驾驶员监视装置(图1未示出)(例如驾驶员监视摄像机)执行监视。驾驶员监视装置可位于车辆100内的任何适宜位置处。驾驶员监视装置可连续地监视驾驶员103或它可以定期地监视。
如上所述，物体显示装置105可以是镜子和显示器中的至少一个，所述显示器使得当驾驶员103查看物体显示装置105时物体110或物体110的表示对于他/她可见。
监视可以提供以下中的至少一种：扫视时间信息、头部方向信息、注视方向信息和眼开程度信息等等。扫视时间信息可以指示驾驶员103扫视物体显示装置105的扫视时间。头部方向信息可以指示驾驶员103相对于物体显示装置105的头部方向。眼开程度信息可以指示当扫视物体显示装置105时驾驶员103眼睛的张开程度。注视方向提供了有关驾驶员103眼睛指向的信息。头部方向信息是驾驶员103观看方向的较粗略的估计(比注视方向信息粗略)。因此如果可得到注视方向信息(并且如果它可信)，则使用注视方向信息替代头部方向信息或在头部方向信息之外还使用注视方向信息。
步骤202
基于所述监视，确定当使用物体显示装置105时驾驶员103已经检测到物体110的表示的可能性。更详细地说，驾驶员103已经检测到物体100的表示的可能性可以包括驾驶员103意识到物体110、物体110是什么并且物体110如何与车辆100相关(例如物体110是否以及如何接近车辆100)的可能性。物体110的表示在物体显示装置105中对于驾驶员103可见。物体110位于车辆100周围。
检测到的物体110可以是目前在物理上可见的物体110或它可以在不久的将来对于驾驶员103在物理上可见。
物体110的表示可以是物体110的图片或视频，它可以是表示物体110的符号或图形，或指示在车辆100周围存在驾驶员103应当要注意的东西的任何适宜的表示。
如前所述，车辆100可以包括一个或多个物体显示装置105。物体110的表示可以在这些物体显示装置105的至少两个中可见，即在一个或多个物体显示装置105的至少两个中可见。
在可能性确定中，权重参数可以与至少两个物体显示装置105中的每个相关联。权重参数可以基于以下至少一个：物体110与车辆100之间的距离，物体大小，物体显示装置105大小等等。例如，大尺寸物体显示装置可以与大权重参数相关联。
可能性确定可以进一步基于以下至少一个：物体110的大小，物体110与车辆100之间的距离，物体110相对于车辆周围的对比度，照明状态，太阳相对于车辆100的角度，物体的运动(加速度、速度、急推等等)。可以例如通过来自包括在车辆100内的雷达、激光雷达、摄像机和超声波传感器的传感器数据来确定指示物体110的大小、距物体110的距离及其运动(加速度、速度、急推等等)的信息。可以通过摄像机传感器确定或至少部分地确定物体显示装置105中的物体110的对比度。可以通过光或摄像机传感器确定外部和内部照明状态以及太阳角度。例如，物体110与车辆100之间的长距离意味着物体110的表示在物体显示装置105中具有小尺寸(小于物体110的实际大小)。因此，物体110的表示的小尺寸可能导致驾驶员103已经检测到物体110的低可能性。照明状态可能是车辆100外部或内部的状态。如果车辆100内部点亮灯，则当外面很黑时由于车辆100窗户的镜面效应可能较难看见车辆100周围的物体110。因而，车辆100外部很黑与当外面有亮光时相比，所述可能性较低。至于物体110的运动，一个示例可以是如果物体110的表示被视为在物体显示显示器105中移动，则所述驾驶员103已经看见物体110的可能性大于如果物体110不移动的可能性(人类驾驶员103擅长检测移动，即使物体110的尺寸小)。
如上所述，可能性确定例如可以基于物体110的大小。在物体显示装置105是显示器的示例中，可以通过有关物体110在显示器中具有的像素数量(面积)的信息(即显示器中物体110的表示的大小)代替物体110的大小。在物体显示装置105是镜子的示例中，不可能测量像素数量。在这种镜子的示例中，可通过利用来自摄像机和雷达***的信息估计镜子中物体的大小。能够通过摄像机报告指示物体110类型的信息(物体类型可以相当于物体110的近似正面区域)，并且经由例如包括在车辆100中或车载在车辆100上的雷达、激光雷达或超声波装置获得车辆100与物体110之间的距离。
可进一步基于是否在车辆100内启动触觉反馈装置或声学反馈装置中至少一个来确定所述可能性。触觉反馈装置和声学反馈装置可以向驾驶员103指示物体110位于车辆100周围。例如，触觉反馈(例如方向盘中的振动)可以向驾驶员103指示物体110在车辆100周围。甚至声学信息——典型地为倒挡警告——可以指示车辆100周围有物体110。如果在车辆100中启动触觉反馈或声音信息之一，则已经识别物体110的可能性高于它们没有被启动的可能性。
可以向以下至少一个提供确定的可能性：包括在车辆100中的碰撞警告***，自主停车***，盲点信息***以及安全和驾驶员支持***。
确定的可能性可被称为即时或瞬间可能性，其暗示确定的可能性是驾驶员103已经检测到当前位于车辆100周围或在不久的将来将位于车辆100周围的物体110的表示的可能性。确定的可能性与统计信息相比是即时的。将参照以下的步骤205更详细地描述统计信息。
概括而言，驾驶员103已经检测并识别特定物体110的可能性是基于驾驶员扫视时间、头部方向(朝向可用的镜子和/或显示器)、眼开程度、物体110的大小、距物体110的距离、物体110相对于周围的对比度、照明状态、太阳角度等等。基于物体110相对于车辆100的位置、其大小等等，不同的镜子105和显示器105在可能性评估中权重可以不同。驾驶员监视摄像机可用于检测眼睛注视、头部方向/旋转和眼开程度等等。
步骤203
步骤203是一个可选步骤。可以获得当使用物体显示装置105时驾驶员103已经检测到物体110的表示的确认。当驾驶员103例如按压确认按钮、输入语音确认命令等等时，可从他/她获得确认。
如果驾驶员103已经确认他/她已经看见物体110，则该确认信息可用作到车辆100中其它***的输入。例如，以便容许某些车辆功能(例如与自主驾驶或停车相关的不同功能)或调适安全或驾驶员支持功能。
步骤204
如上所述的步骤203对于步骤204的执行不是必需。因此，可以在步骤202之后或步骤203之后执行步骤204。基于确定的可能性，可以向驾驶员103提供有关其对物体显示装置105的使用的反馈。例如，如果驾驶员103已经使用物体显示装置105的可能性较低，则反馈可以包括向驾驶员103指示他/她应当增加物体显示装置105使用的音频警报。在另一个示例中，向驾驶员103指示他/她应当增加他/她对物体显示装置105的使用的反馈可以是出现在驾驶员103前面的显示器上的消息或符号。
当提供反馈时，确定的可能性可以与阈值进行比较。例如，如果确定的可能性低于或等于阈值，则其可能是驾驶员103已经在物体显示装置105中看见物体110的表示的低可能性。如果确定的可能性高于阈值，则其可能是驾驶员103已经在物体显示装置105中看见物体110的表示的高可能性。
步骤205
可以例如在存储器单元中存储指示随时间推移驾驶员103对物体显示装置105的使用的监视信息。这种存储的监视信息可提供驾驶员103在多大程度上随时间推移使用物体显示装置105的统计。
步骤206
可以基于来自步骤202的确定的可能性且可能还基于来自步骤205的存储的信息调适包括在车辆100中的安全和驾驶员支持***。换句话说，可以基于即时的可能性信息并且还可能基于统计的可能性信息进行所述调适。例如，可基于可能性(即时和统计的可能性)调适安全和驾驶员支持***中警告的阈值和时机。安全和驾驶员支持***可被称为主动安全和驾驶员支持***或被动安全和驾驶员支持***。主动安全***可被描述为辅助驾驶员103避免事故(例如辅助转向和制动)的安全***。被动安全***可被描述为有助于减少事故影响的特征，例如安全带、安全气囊等等。安全和驾驶员支持***也被称为安全和驾驶员支持功能。安全和驾驶员支持***是适用于有助于避免事故和辅助驾驶员103安全驾驶车辆100的***。安全和驾驶员支持***可以是一个***，或者它可以是其中一个***负责安全而另一***负责驾驶员支持的若干***。驾驶员支持***和安全***可以以同样的方式使用所述可能性。
除了步骤202中确定的即时可能性之外，还可以在各种情形下使用(例如物体显示装置随时间推移的使用)驾驶员103在多大程度上使用物体显示装置105来检测周围物体110的统计(来自步骤205)。例如，统计可用于估计随时间推移驾驶员103多么安全地驾驶车辆100。其可以由防撞功能(例如前部碰撞警告和车道保持辅助)使用从而例如调整阈值。其可以由驾驶员支持功能(例如自适应巡航控制或其它自主驾驶功能)使用从而例如使时间间隙和其它余裕适应于其它车辆和物体。其可用于自动启动之前未启动的主动安全和/或驾驶员支持功能。其可用于提供物体显示装置使用行为的改变的建议，例如更长的扫视时间、使用一个或若干镜子和/或显示器的提示等等。
有多种例如可以在停车情景中、超车情景中、驾驶员反馈等等中使用确定的可能性的方式。确定的可能性也可以与每个物体110的威胁/严重性水平一同使用。例如在停车情景中，可能启动车辆100的碰撞警告功能和或可以调整其阈值。如果物体110是对车辆100的威胁，例如以高速从后方靠近的另一个车辆(即高威胁/严重性水平)，则重要的是驾驶员103已经检测到物体110。这意味着车辆100中的***和功能不仅虑及确定的可能性，而且还虑及物体110的威胁/严重性水平。如果物体110不是威胁，则驾驶员103已经检测到物体110的可能性不那么重要(例如当选择安全和驾驶员支持***中的功能阈值时)。此外，在停车情景中，如果驾驶员103未观察到一个或若干周围物体110(即当确定可能性低时)，则禁用自主停车。如果显示周围的良好的总体观察(即确定的可能性高)，则启用自主停车。
在超车情景中并且如果驾驶员103没有观察到即将到来的车辆(即当确定的可能性较低时)，车辆100如果试图驶出进入相邻车道则其可以转回车道中。另一示例是如果驾驶员103非常可能已经在物体显示装置105中看见物体110(即当确定的可能性高时)，则抑制或减少盲点信息***警告的侵扰。当驾驶员103变更车道而不使用镜子105时(即当确定的可能性低时)，可以提醒他/她使用镜子105。
如前所述，驾驶员103可能被提供关于他/她对镜子和显示器使用的反馈。换句话说，如果存在驾驶员103没看见带有高威胁/严重性水平的相关物体110的风险(即当确定的可能性低时)，则可以提醒驾驶员103再查看或更仔细地查看一个或若干镜子105或显示器105。威胁评价算法可以连续地运行在车辆100的控制单元中的一个中。算法可以虑及来自车辆100的传感器(例如摄像机、雷达、激光雷达、超声波传感器等等)的输入。可以通过威胁评价算法得到与周围物体有关的碰撞可能性。
可通过***执行图2所示的方法步骤。***的至少一部分可以在车辆100中实施。
为了执行图2中所示的用于处理驾驶员103对包括在车辆100中的物体显示装置105的使用的方法步骤，***可包括如图3所示的装置。
用于处理驾驶员103对包括在车辆100中的物体显示装置105的使用的***适用于例如经由监视单元301来监视驾驶员103对物体显示装置105的使用。监视单元301例如可以是驾驶员监视装置。监视单元301也可以被称为监视模块、监视工具、监视电路、用于监视的工具等等。监视单元301可以是***的处理器303。监视单元301可以是驾驶员监视装置。
所述***进一步适用于例如经由确定单元305基于所述监视来确定当使用物体显示装置105时驾驶员103已经检测到物体110的表示的可能性。物体110的表示在物体显示装置105中对驾驶员103可见，并且其中物体110位于车辆100周围。确定单元305也可被称为确定模块、确定工具、确定电路、用于确定的工具等等。确定单元305可以是***的处理器303。
车辆100可包括一个或多个物体显示装置105。物体110的表示可能在多个物体显示装置中的至少两个物体显示装置105中可见。在可能性确定中，权重参数可以与至少两个物体显示装置105中的每个相关联。
权重参数可以基于以下至少一项：物体110与车辆100之间的距离以及物体大小。
所述监视可以提供以下至少一项：扫视时间信息、头部方向信息、注视方向信息和眼开程度信息。扫视时间信息可以指示驾驶员103扫视物体显示装置105的扫视时间。头部方向信息可以指示驾驶员103相对于物体显示装置105的头部方向，并且眼开程度信息可以指示当扫视物体显示装置105时驾驶员103眼睛的张开程度。
可能性确定进一步基于以下至少一个：物体110的大小，物体110与车辆100之间的距离，物体110相对于车辆100周围的对比度，照明状态，相对于车辆100的太阳角度和物体运动。
所述***可进一步适用于例如经由获得单元308获得当使用物体显示装置105时驾驶员103已经检测到物体110的表示的确认。获得单元308也被称为获得模块、获得工具、获得电路、用于获得的工具等等。获得单元308可以是***的处理器303。
所述***可进一步适用于例如经由供给单元310基于确定的可能性向驾驶员103提供有关其对物体显示装置105的使用的反馈。供给单元310也被称为供给模块、供给工具、供给电路、用于供给的工具等等。供给单元310可以是***的处理器303。
可进一步基于触觉反馈装置或声学反馈装置中的至少一个是否被启动来确定所述可能性。触觉反馈装置和声学反馈装置可向驾驶员103指示物体110位于车辆100周围。
所述***可进一步适用于例如经由存储单元313存储驾驶员103随时间推移对物体显示装置的使用的监视信息。存储单元313也被称为存储模块、存储工具、存储电路、用于存储的工具等等。存储单元313可以是存储器。
可通过驾驶员监视摄像机来监视驾驶员103对物体显示装置105的使用。
物体显示装置105可以是使得物体110或物体110的表示对驾驶员103可见的镜子和显示器中的至少一个。
所述***可进一步适用于例如经由调适单元314基于确定的可能性调适安全和驾驶员支持***。调适单元314也被称为调适模块、调适工具、调适电路、用于调适的工具等等。调适单元314可以是***的处理器303。
车辆100包括如上所述***的至少一部分。
在某些实施例中，所述***包括处理器303和存储器315。存储器315包括能够由处理器303执行的指令。存储器315包括一个或多个存储器单元。存储器315被设置为用于存储数据、接收的数据流、监视的信息、确定的可能性、统计、权重参数、确认信息、反馈信息、监视信息、阈值、时段、配置、排程和应用，从而当在***中被执行时完成本文的方法。存储器315可以与存储单元313相同，或存储单元313可以是在存储器315中存储信息的单元。
计算机程序可包括当在至少一个处理器上执行时使得至少一个处理器执行根据图2中任何步骤所述方法的指令。载体可包括计算机程序，并且载体可以是电子信号、光信号、无线电信号或计算机可读存储介质之一。
可通过一个或多个处理器(例如图3所示***设备中的处理器303)连同用于执行本文实施例的功能的计算机程序代码来实现用于处理驾驶员103对包括在车辆100中的物体显示装置105的使用的本机构。处理器例如可以是数字信号处理器(DSP)、专用集成电路(ASIC)处理器、现场可编程门阵列(FPGA)处理器或微处理器。上述程序代码也可被设置为计算机程序产品，例如承载有当载入***时用于执行本文实施例的计算机程序代码的数据载体的形式。一种这样的载体可以是CD ROM盘的形式。但是其它数据载体例如记忆棒也是可行的。计算机程序代码还可被设置为服务器上且被下载至***的纯程序代码。
本领域技术人员将同样理解，如上所述的监视单元301、确定单元305、获得单元308、供给单元310、存储单元313和调适单元314可以指模拟数字电路和/或配置有例如存储在存储器中的软件和/或固件的一个或多个处理器的组合，当通过一个或多个处理器例如处理器303执行所述软件和/或固件时执行如上所述动作。这些处理器中的一个或多个以及其它数字硬件可包括在单个ASIC中，或者若干处理器和各种数字硬件可以分布在若干单独部件之间，不管它们是单独包装或组装在芯片上***(SoC)内。
本文的实施例不局限于上述实施例。可使用各种可选方案、改进和等价物。因此，上述实施例不应当理解为限制实施例的范围，所述范围受到所附权利要求的限定。
应当强调，当用于本说明书中时，术语“包括/包含”被理解为指定所列特征、整数、步骤或部件存在，但不排除一个或多个其它特征、整数、步骤、部件或其群组的存在或添加。还应当注意，元件前面的词“一个”不排除存在多个这种元件。
本文使用的术语“适用于”也被称为“被设置为”、“被配置为”、“能够”或“操作为”。
还应当强调，所附权利要求中限定的方法步骤在不背离本文的实施例的情况下可以以不同于权利要求中显示的其它顺序执行。

Claims (15)

1.一种用于处理驾驶员(103)对包括在车辆(100)中的物体显示装置(105)的使用的方法，所述方法包括：
监视(201)所述驾驶员(103)对所述物体显示装置(105)的使用；并且
基于所述监视，确定(202)当使用所述物体显示装置(105)时所述驾驶员(103)已经检测到所述物体(110)的表示的可能性，其中，所述物体(110)的所述表示在所述物体显示装置(105)中对所述驾驶员(103)可见，并且其中所述物体(110)位于所述车辆(100)的周围。
2.根据权利要求1所述的方法，进一步包括：
基于确定的可能性，调适(206)安全和驾驶员支持***。
3.根据权利要求1-2中任意一项所述的方法，其中，所述车辆(100)包括多个物体显示装置(105)，
其中，所述物体(110)的所述表示在所述多个物体显示装置(105)中的至少两个中可见，并且
其中，在可能性确定中将权重参数与所述至少两个物体显示装置(105)的每个相关联。
4.根据权利要求3所述的方法，其中，所述权重参数基于以下至少一项：所述物体(110)与所述车辆(100)之间的距离以及物体大小。
5.根据权利要求1-4中任意一项所述的方法，其中，所述监视(201)提供扫视时间信息、头部方向信息、注视方向信息和眼开程度信息中的至少一种，
其中，所述扫视时间信息指示所述驾驶员(103)扫视所述物体显示装置(105)的扫视时间，
其中，所述头部方向信息指示所述驾驶员(103)相对于所述物体显示装置(105)的头部方向，并且
其中，所述眼开程度信息指示当扫视所述物体显示装置(105)时所述驾驶员(103)的眼睛的张开程度。
6.根据权利要求1-5中任意一项所述的方法，其中，所述可能性确定进一步基于以下至少一个：所述物体(110)的大小、所述物体(110)与所述车辆(100)之间的距离、所述物体(110)相对于所述车辆(100)的周围的对比度、照明状态、相对于所述车辆(100)的太阳角度和物体运动。
7.根据权利要求1-6中任意一项所述的方法，进一步包括：
获得(203)当使用所述物体显示装置(105)时所述驾驶员(103)已经检测到所述物体(110)的所述表示的确认。
8.根据权利要求1-7中任意一项所述的方法，进一步包括：
基于所述确定的可能性，向所述驾驶员(103)提供(204)有关所述驾驶员(103)对所述物体显示装置(105)的使用的反馈。
9.根据权利要求8所述的方法，其中，进一步基于触觉反馈装置或声学反馈装置中的至少一个是否被启动来确定所述可能性，并且其中，所述触觉反馈装置和所述声学反馈装置向所述驾驶员(103)指示所述物体(110)位于所述车辆(100)的周围。
10.根据权利要求1-9中任意一项所述的方法，进一步包括：
存储(205)随时间推移所述驾驶员(103)对所述物体显示装置(105)的使用的监视信息。
11.根据权利要求1-10任意一项所述的方法，其中所述物体显示装置(105)是使得所述物体(110)或所述物体(110)的表示对所述驾驶员(103)可见的镜子和显示器中的至少一个。
12.一种用于处理驾驶员(103)对包括在车辆(100)中的物体显示装置(105)的使用的***，所述***适用于：
监视所述驾驶员(103)对所述物体显示装置(105)的使用；并且
基于所述监视，确定当使用所述物体显示装置(105)时所述驾驶员(103)已经检测到所述物体(110)的表示的可能性，其中，所述物体(110)的所述表示在所述物体显示装置(105)中对所述驾驶员(103)可见，并且其中，所述物体(110)位于所述车辆(100)的周围。
13.一种包括根据权利要求12所述的***的车辆(100)。
14.一种计算机程序，包括当在至少一个处理器上被执行时使得所述至少一个处理器执行根据权利要求1-11中任意一项所述的方法的指令。
15.一种包括权利要求14所述的计算机程序的载体，其中，所述载体是电子信号、光信号、无线电信号或计算机可读存储介质中的至少一种。
CN201710810577.2A 2016-09-26 2017-09-11 用于在车辆中使用物体显示装置的方法、***和车辆 Active CN107867242B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16190588.0A EP3299241B1 (en) 2016-09-26 2016-09-26 Method, system and vehicle for use of an object displaying device in a vehicle
EP16190588.0 2016-09-26

Publications (2)

Publication Number Publication Date
CN107867242A true CN107867242A (zh) 2018-04-03
CN107867242B CN107867242B (zh) 2021-07-27

Family

ID=57178209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710810577.2A Active CN107867242B (zh) 2016-09-26 2017-09-11 用于在车辆中使用物体显示装置的方法、***和车辆

Country Status (3)

Country Link
US (1) US11279371B2 (zh)
EP (1) EP3299241B1 (zh)
CN (1) CN107867242B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448409A (zh) * 2018-10-30 2019-03-08 百度在线网络技术（北京）有限公司 交通信息交互的方法、装置、设备和计算机存储介质
WO2023178613A1 (zh) * 2022-03-24 2023-09-28 华为技术有限公司 控制显示装置的方法、装置及车辆

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018111983A1 (de) * 2018-05-18 2019-11-21 Knorr-Bremse Systeme für Schienenfahrzeuge GmbH Kollisionsvermeidungssystem für ein Fahrzeug und Verfahren hierzu
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
CN111907407B (zh) * 2020-07-20 2022-07-01 珠海市极太人工智能有限公司 一种车载热成像检测针对不同危险等级目标的预警***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178890A1 (en) * 2003-02-27 2004-09-16 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
CN102407776A (zh) * 2010-09-21 2012-04-11 通用汽车环球科技运作有限责任公司 信息显示设备
GB2500690A (en) * 2012-03-30 2013-10-02 Jaguar Cars Driver monitoring and vehicle control system
US20130314503A1 (en) * 2012-05-18 2013-11-28 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
CN103661374A (zh) * 2012-09-07 2014-03-26 通用汽车环球科技运作有限责任公司 用于监测驾驶员对象检测的方法和***
CN105313780A (zh) * 2014-07-21 2016-02-10 罗伯特·博世有限公司 车辆中的驾驶员信息***
EP3040809A1 (en) * 2015-01-02 2016-07-06 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
CA2779923A1 (en) * 2009-12-18 2011-06-23 Honda Motor Co., Ltd. A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
DE102010041961B4 (de) * 2010-10-05 2022-08-04 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zur Beeinflussung der Blickrichtung des Fahrers
US9575946B2 (en) * 2011-05-23 2017-02-21 Nuance Communications, Inc. Text browsing, editing and correction methods for automotive applications
US9517776B2 (en) * 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
EP2752730B1 (en) * 2013-01-08 2019-04-03 Volvo Car Corporation Vehicle display arrangement and vehicle comprising a vehicle display arrangement
CN105682973B (zh) * 2013-10-22 2018-06-19 日本精机株式会社 车辆信息投影***和投影装置
US9244532B2 (en) * 2013-12-31 2016-01-26 Immersion Corporation Systems and methods for controlling multiple displays with single controller and haptic enabled user interface
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
US9626866B2 (en) * 2014-08-12 2017-04-18 Continental Automotive Systems, Inc. Active warning system using the detection of driver awareness of traffic signs
US9834141B2 (en) * 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
KR101712399B1 (ko) * 2014-11-25 2017-03-06 현대모비스 주식회사 차량의 후방 장애물 표시 방법
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
US9168869B1 (en) * 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
KR101714515B1 (ko) * 2015-01-21 2017-03-22 현대자동차주식회사 웨어러블 기기를 이용한 안전운전 알림 시스템 및 그 방법
GB2535544B (en) * 2015-02-23 2018-10-03 Jaguar Land Rover Ltd Display control apparatus and method
KR102043060B1 (ko) * 2015-05-08 2019-11-11 엘지전자 주식회사 자율 주행 장치 및 이를 구비한 차량
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
US20180257565A1 (en) * 2015-09-30 2018-09-13 Aisin Seiki Kabushiki Kaisha Drive assist apparatus
US10318831B2 (en) * 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
US10248196B2 (en) * 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
US20180070388A1 (en) * 2016-09-02 2018-03-08 Hyundai America Technical Center, Inc System and method for vehicular and mobile communication device connectivity
KR101737737B1 (ko) * 2016-09-06 2017-05-18 덴소코리아일렉트로닉스 주식회사 차량용 카메라 hud 통합 클러스터 시스템
JP2018177064A (ja) * 2017-04-17 2018-11-15 株式会社デンソーテン コンテンツ再生装置及びコンテンツ再生方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178890A1 (en) * 2003-02-27 2004-09-16 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
CN102407776A (zh) * 2010-09-21 2012-04-11 通用汽车环球科技运作有限责任公司 信息显示设备
GB2500690A (en) * 2012-03-30 2013-10-02 Jaguar Cars Driver monitoring and vehicle control system
US20130314503A1 (en) * 2012-05-18 2013-11-28 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
CN103661374A (zh) * 2012-09-07 2014-03-26 通用汽车环球科技运作有限责任公司 用于监测驾驶员对象检测的方法和***
CN105313780A (zh) * 2014-07-21 2016-02-10 罗伯特·博世有限公司 车辆中的驾驶员信息***
EP3040809A1 (en) * 2015-01-02 2016-07-06 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448409A (zh) * 2018-10-30 2019-03-08 百度在线网络技术（北京）有限公司 交通信息交互的方法、装置、设备和计算机存储介质
US11322022B2 (en) 2018-10-30 2022-05-03 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for interacting traffic information, device and computer storage medium
WO2023178613A1 (zh) * 2022-03-24 2023-09-28 华为技术有限公司 控制显示装置的方法、装置及车辆

Also Published As

Publication number Publication date
EP3299241B1 (en) 2021-11-10
US11279371B2 (en) 2022-03-22
US20180086265A1 (en) 2018-03-29
EP3299241A1 (en) 2018-03-28
CN107867242B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN107867242A (zh) 用于在车辆中使用物体显示装置的方法、***和车辆
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
JP4400624B2 (ja) 居眠り防止装置及び方法
EP1878604B1 (en) Method of mitigating driver distraction
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
JP6341055B2 (ja) 車載制御装置
EP3016815B1 (en) Operator drowsiness detection in surface mines
US20150238087A1 (en) Biological information measurement device and input device utilizing same
EP2549751A1 (en) Device for monitoring surroundings of vehicle and method for monitoring surroundings of vehicle
US9981598B2 (en) Alighting notification device
US20160171319A1 (en) Driver check apparatus
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
TWI522257B (zh) 車用安全系統及其運作方法
US11267486B2 (en) Vehicle driving control system and vehicle driving control method
KR101546893B1 (ko) 졸음 운전 방지 시스템
EP3324378A1 (en) Electronic safety system and method for detecting a vehicle driver's attention
EP3857442A1 (en) Driver attention state estimation
JP5187215B2 (ja) ドライバ状態監視装置、及び衝突制御システム
JP4297155B2 (ja) 車載警告装置
US11881054B2 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
JPH11139229A (ja) 走行環境監視警報装置
JP2005284975A (ja) 走行安全装置
JP4397719B2 (ja) 視線検出装置
US20240087458A1 (en) Systems and method for integrating driver facing imaging device with a vehicle blind spot detection system
US20240010204A1 (en) Vehicle assistance device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant