CN111132886B - 乘员监测***与车辆控制***的集成 - Google Patents

乘员监测***与车辆控制***的集成 Download PDF

Info

Publication number
CN111132886B
CN111132886B CN201880045641.5A CN201880045641A CN111132886B CN 111132886 B CN111132886 B CN 111132886B CN 201880045641 A CN201880045641 A CN 201880045641A CN 111132886 B CN111132886 B CN 111132886B
Authority
CN
China
Prior art keywords
occupant
signal
oms
automatic
driving mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880045641.5A
Other languages
English (en)
Other versions
CN111132886A (zh
Inventor
詹森·卡尔·利斯曼
伦恩·切赫
布莱恩·多尔切蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joyson Security Systems Acquires LLC
Original Assignee
Joyson Security Systems Acquires LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joyson Security Systems Acquires LLC filed Critical Joyson Security Systems Acquires LLC
Publication of CN111132886A publication Critical patent/CN111132886A/zh
Application granted granted Critical
Publication of CN111132886B publication Critical patent/CN111132886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0226User interfaces specially adapted for seat adjustment
    • B60N2/0233Touchscreens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0226User interfaces specially adapted for seat adjustment
    • B60N2/0235Joysticks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0226User interfaces specially adapted for seat adjustment
    • B60N2/0239User interfaces specially adapted for seat adjustment using movement detection or gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0273Non-manual adjustments, e.g. with electrical operation with logic circuits taking into account user data, e.g. knee height or physical state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0278Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors external to the seat for measurements in relation to the seat adjustment, e.g. for identifying the presence of obstacles or the appropriateness of the occupants position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/16Steering columns
    • B62D1/18Steering columns yieldable or adjustable, e.g. tiltable
    • B62D1/181Steering columns yieldable or adjustable, e.g. tiltable with power actuated adjustment, e.g. with position memory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10Field detection presence sensors
    • B60N2210/16Electromagnetic waves
    • B60N2210/22Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24Cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00Computerised treatment of data for controlling of seats
    • B60N2220/10Computerised treatment of data for controlling of seats using a database
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2220/00Computerised treatment of data for controlling of seats
    • B60N2220/20Computerised treatment of data for controlling of seats using a deterministic algorithm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00Communication or electronic aspects
    • B60N2230/10Wired data transmission
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00Communication or electronic aspects
    • B60N2230/30Signal processing of sensor data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

所公开的方法被存储为计算机可读指令,并且由作为所公开的乘员监测***(OMS)的一部分的处理器来执行。方法开始于处理器接收外部信号。外部信号可以是车辆发动机的启动、半自动或自动驾驶模式的指示,或者乘员就座、与方向盘接触和/或与至少一个仪表板控件接触的指示。外部信号的接收促使处理器捕获图像,分析图像以确定是否满足至少一个监测条件,如果不满足监测条件则生成调整信号,并将调整信号传送到至少一个VCS,并重复监测循环。在一些实施方式中,在监测循环的循环期间捕获并分析多个图像。

Description

乘员监测***与车辆控制***的集成
相关申请的交叉引用
本申请享有2017年5月8日提交的美国临时申请No.62/502,874的权益。本申请还享有2017年11月29日提交的美国临时申请No.62/591,896的权益。这些申请的每一个的全部内容通过引用并入本文以用于所有目的。
技术领域
本公开总体上涉及一种乘员监测***。更具体地,本公开涉及一种包括乘员监测***的车辆转向总成。
背景技术
各种先进的驾驶员辅助***均包含视觉、听觉和/或传感器警报。这些警报中有许多是对外部危险(例如,靠近另一个物体)的响应。然而,近来,对驾驶室内的驾驶员或其他乘员的可能干扰的数量增加了(例如,移动电话、mp3播放器、内部显示器等)。因此,在本领域中需要在检测到驾驶员或其他乘员处于非警惕状态时提醒或预警驾驶员或其他乘员。
发明内容
本文公开了用于监测至少一个车辆乘员的方法和***。该方法存储为计算机可读指令,并由作为乘员监测***(OMS)一部分的处理器执行。该方法开始于处理器接收外部信号。处理器与设置在车辆内的成像单元、存储器以及一个或多个车辆控制***通信。处理器执行存储在存储器中的计算机可读指令,该指令促使处理器捕获成像单元视场内的图像,分析图像以确定是否满足至少一个监测条件,并且如果不满足监测条件,则生成调整信号。外部信号例如可以是车辆发动机的启动。备选地,外部信号可以来自车辆控制***(VCS),该外部信号指明车辆正在半自动或自动驾驶模式下操作。在一些实施方式中,外部信号指明乘员在座椅上,与方向盘接触和/或与至少一个仪表板控件接触。在一些实施方式中,外部信号的接收会启动或引起监测循环的持续循环。监测循环经历以下步骤:在成像单元的视场(FOV)中捕获图像,分析图像以确定是否满足至少一个监测条件,如果不满足监测条件则生成调整信号,并重复监测循环。在一些实施方式中,监测循环可以连续地重复而无需来自乘员的输入。
监测条件可以包括以下准则中的至少一项:FOV中乘员的存在、FOV中乘员的位置、乘员对成像单元的接近度、乘员面部的面积和/或乘员面部的角度。在一些实施方式中,可以基于所捕获的图像来生成乘员数据集,其中乘员数据集的数据包括与乘员在FOV中的存在、FOV内乘员的位置、乘员对成像单元的接近度、乘员面部的面积和/或乘员面部的角度有关的至少一个值。处理器可以将乘员数据集与监测条件数据集进行比较,并基于与监测条件数据集的偏差来生成调整信号。在一些实施方式中,调整信号可以被传送到至少一个VCS。在一些实施方式中,处理器可以将带有时间戳的乘员数据集存储到存储器中,使得可以将较新的乘员数据集值与较旧的乘员数据集值进行比较。
在一些实施方式中,外部信号可以与车辆发动机的启动相关联。在启动车辆发动机时,如果不满足监测条件,则处理器可以基于单个图像的分析,或者在分析来自预定数量的监测循环的多个图像之后,生成警报信号并将其传送给乘员。该警报信号可以例如是座椅或安全带振动。在一些实施方式中,外部信号可以是检查至少一个监测条件以与半自动或自动驾驶模式兼容的请求。如果满足监测条件,则处理器可以生成授权信号并将其传送到VCS,以启动半自动或自动驾驶模式。如果不满足监测条件,则处理器可以生成禁止信号并将其传送到VCS,以禁止半自动或自动驾驶模式。如果不满足监测条件,则计算机可读指令可以使处理器生成限制信号并将限制信号发送给VCS,该限制信号会降低乘员调整座椅和/或方向盘的能力。
在一些实施方式中,车辆发动机的启动引发了用于设置转向总成位置边界的方法。基于在可能的转向总成位置的范围内是否满足至少一个监测条件来设置边界。在这种方法中,接收到发动机已启动的信号会使处理器基于一个或多个图像分析(例如,在重复监测循环期间获取的图像分析)来计算转向总成位置边界。然后将转向总成的运动限制在转向总成位置边界内的位置。在一些实施方式中,限制转向总成的运动发生在使车辆运动之前。
在一些实施方式中,外部信号来自VCS,并指明车辆当前正在以半自动或自动驾驶模式运行。处理器可以将与半自动或自动驾驶模式相关联的乘员优选位置相关联的乘员优选位置信号传送至座椅定位***和/或转向总成定位***。座椅定位***和/或转向总成定位***可以将座椅和/或转向单元的位置调整到与半自动或自动驾驶模式相关联的乘员优选位置信号相关联的乘员优选位置。在半自动或自动驾驶模式期间,处理器还可以确定是否满足监测条件,如果在分析在预定数量的监测循环中捕获的单个图像或多个图像后不满足监测条件,则生成警报信号并将其传送给乘员。
当车辆以半自动或自动驾驶模式运行时,处理器可以从至少一个车辆控制***接收指明该车辆正在进入乘员控制驾驶模式的信号,并响应于接收到乘员控制驾驶模式信号而结束监测循环。在一些实施方式中,处理器可以检测来自车辆控制***的半自动或自动驾驶模式信号的中止,并且响应于检测到半自动或自动驾驶模式信号的中止而结束监测循环。响应于接收到车辆正在进入乘员控制驾驶模式的信号,处理器可以产生乘员控制驾驶信号,并且将与乘员控制驾驶模式相关联的乘员优选位置信号传送至座椅定位***和/或转向总成定位***。座椅定位***和/或转向总成定位***可以将座椅和/或转向单元的位置调整到与乘员优选位置信号相关联的乘员优选位置。
在一些实施方式中,处理器可以从乘员接收信号以中止半自动或自动驾驶模式信号。来自乘员的用于中止半自动或自动驾驶模式的信号可以从VCS或用户界面发送到处理器。处理器可以配置为接收来自用户界面的乘员输入。乘员输入可以包括用户身份信号、乘员身高、乘员体重和/或乘员对车辆进入半自动或自动驾驶模式的期望,和/或乘员对车辆进入乘员控制驾驶模式的期望。处理器可以在接收到这些输入后生成调整信号并将调整信号传送到VCS,例如座椅定位***或转向总成定位***。在一些实施方式中,用户界面配置为生成外部信号并将外部信号传送到处理器。外部信号例如可以是检查监测条件以与半自动驾驶或自动驾驶模式兼容的请求,或者中止半自动驾驶模式或自动驾驶模式的请求。
在一些实施方式中,外部信号指明乘员在座椅上。外部信号可以例如指明乘员与方向盘接触,或者乘员与至少一个仪表板控件接触。
在一些实施方式中,成像单元可以固定至方向盘、转向柱或仪表板中的一个。为了最大化在视场中捕获的面积,成像单元可以包括广角镜头或链接式镜头,或者可以固定到链接式相机安装结构。
在随附的附图和下面的描述中阐述了本发明的一种或多种实施方式的细节。通过说明书和附图以及权利要求书,本发明的其他特征、目的和优点将变得显而易见。
附图说明
在以下附图中更详细地说明了该设备。附图仅是示例性的,以示出优选设备的结构和可以单独使用或与其他特征结合使用的某些特征。本发明不应限于所示的示例。
图1A和图1B是示例性乘员监测***的示意图。
图2A-图2F是示例性成像单元的示意图。
图3A和图3B是示例性乘员监测***的示意图。
图4A-图4D是示例性乘员监测***的示意图。
图5是示例性处理单元的示意图。
图6是根据一种实施方式的方向盘的前视图。
图7是沿C-C线所观看的图4所示的时钟弹簧的侧面剖视图。
图8是根据一种实施方式的线带的立体图。
图9是根据另一实施方式的时钟弹簧的侧面剖视图。
图10是根据一种实施方式的OMS的各种组件的示意图。
图11A和图11B示出了根据一种实施方式的滑环。
图12是根据一种实施方式的包括组装在一起的镜头的OMS的各种组件的立体图。
图13A是图12中所示的OMS的分解立体前视图。
图13B是图12中所示的OMS的分解立体后试图。
图14是图12所示的OMS没有镜头的立体组装前视图。
图15是图12中所示的OMS的某些组件的示意性俯视图。
图16是根据一种实施方式的光谱透射曲线,其中示出了以各种波长透射穿过聚丙烯酸脂塑料镜头的光的百分比。
图17A和图17B分别是根据一种实施方式的壳体的前立体图和后视图。
图18A和图18B分别是根据另一实施方式的壳体的前立体图和后视图。
图19A和图19B分别是根据又一实施方式的壳体的前立体图和后视图。
图20是根据一种实施方式的方向盘总成和连接到其上的图12所示的壳体的俯视图。
图21是示出处理器与车辆的其他方面和乘员监测***的相互作用的示意图。
图22示出了监测车辆乘员的方法。
图23示出了分析捕获图像的方法。
图24示出了监测和预警车辆乘员的方法。
图25示出了进入自动或半自动驾驶模式的方法。
图26示出了切换到乘员控制式驾驶模式的方法。
图27示出了处理用户界面输入的方法。
图28示出了设置转向总成位置边界的方法。
各个附图中相似的附图标记指示相似的元件。
具体实施方式
现在将参考附图描述本发明的某些示例性实施方式。总体来说,这些实施方式涉及一种用于经由一个或多个成像单元来监测车辆中的乘员的乘员监测***(OMS)。例如,在各种实施方式中,OMS包括成像单元(例如相机),其连接到方向盘总成的旋转部分,例如中央轮毂部分。成像单元具有指向车辆中一个或多个乘员的视场,并且配置为捕获与该视场中的成像区域相对应的图像信号。成像区域可以配置为例如囊括乘员的期望位置。OMS还包括与成像单元电通信的一个或多个处理单元,该处理单元接收和处理来自成像单元的图像信号以确定乘员状态,并且在一些实施方式中,基于所确定的乘员状态提供反馈(例如,输出)。在一些实施方式中,监测循环连续监测驾驶员或其他乘员。例如,当车辆以半自动或自动驾驶模式运行时,该监测循环特别有用。处理单元使用在监测循环中收集的信息将调整信号发送到车辆控制***,例如座椅定位***或转向总成定位***,以确保将乘员连续定位在供OMS监测的最佳空间区域中。
图1A是用于监测车辆中的驾驶员102或其他乘员的示例性乘员监测***(OMS)100的示意图。在该实施方式中,OMS 100可以连接到车辆的方向盘总成104。OMS 100和/或方向盘总成104可以配置为相对于车辆的转向柱106旋转。方向盘总成104可以连接到车辆的转向输入轴107、转向柱106或用于将驾驶员输入转换为车辆控制指令的任何其他车辆组件(例如,包括线控驱动技术)。例如,如图1A所示,方向盘总成104可以连接到车辆的转向输入轴107,而转向输入轴107又连接到车辆的转向柱106。转向柱106可以是车辆内的非旋转组件。在一些实施方式中,转向柱106可以包括倾斜和/或延伸机构(例如,伸缩机构),倾斜和/或延伸机构允许相对于驾驶员或其他乘员将方向盘总成104靠近、远离或以不同角度进行调整。倾斜/延伸机构例如可以称为“倾斜并伸缩”或“伸展并倾斜”。
在一些实施方式中,转向柱106可以接收转向轴107,转向轴107沿转向轴线延伸并且用于将方向盘总成104的旋转运动转移到车辆的车轮上。方向盘总成104的旋转运动可以通过机械和/或电气方式传送到车轮。
如图1B所示的示例性***中所示,方向盘总成104包括轮辋114和轮毂116。方向盘总成104还可包括将轮辋114连接到轮毂116的至少一个辐条118。轮辋114可包括单个连续部分或可被驾驶员抓握的任意数量的独特部分,以助于控制车辆。例如,轮辋114可以包括具有大致上为圆形的外部轮廓的轮状环形状。在备选实施方式中,轮辋114可以限定任何合适的形状,例如包括圆形、椭圆形、正方形、矩形、半圆形、半椭圆形或任何其他规则或不规则形状。另外,在一些实施方式中,轮辋可包括联接至轮毂的两个或更多个半圆形、半椭圆形、半矩形或其他规则或不规则形状的部分。例如,在一种实施方式中,轮辋可以包括联接到轮毂(例如,类似于飞行轭)的两个半圆形轮辋部分。轮毂116可以设置在轮辋114的中央。轮毂116可以在方向盘总成104和车辆的转向轴107/转向柱106之间提供连接点。
如在图1A和图1B所示的实施方式中,OMS 100联接到方向盘总成104的中央部分112。中央部分112可以例如包括辐条118、轮毂116和/或方向盘总成104的相对于轮辋114居中定位的任何其他部分。如本文所用,“和/或”包括具有单独的元件A的实施方式,具有单独的元件B的实施方式,或一起具有元件A和B的实施方式。例如,中央部分112可包括辐条118和/或轮毂116旨在包括:中央部分112包括辐条118,包括轮毂116,或包括辐条118和轮毂116的实施方式。
OMS 100与方向盘总成104的中央部分112的联接和集成可以允许驾驶员102和/或其他车辆乘员通过OMS 100的成像单元108而与方向盘总成104的旋转无关地增加视角并改善成像区域的分辨率。例如,如果OMS 100安装在非旋转组件(例如转向柱106)上,那么驾驶员102或乘员的OMS 100视线当方向盘总成104旋转时可能会被辐条118遮挡,或者当轮辋114连同方向盘总成104向后定位时会被轮辋114遮挡。此外,将OMS 100安装到车辆的非旋转组件上会增加成像单元108和车辆中的乘员之间的距离。然而,在一些实施方式中,成像单元108安装在转向柱106上。在其他实施方式中,成像单元108安装到车辆的仪表板或车辆的其他固定部分。
另外,车辆中方向盘总成104的中央部分112也可以包含安全气囊。通常,为了安全气囊带来的安全性,驾驶员将他/她的手和/或身体相对于方向盘总成104定位在某些位置。将OMS 100联接到方向盘总成104的中央部分112还可以利用这种条件下的驾驶员位置,并最小化驾驶员102遮挡OMS 100的可能性。
此外,在一些实施方式中,OMS 100的一个或多个组件可以安装到轮辋114。例如,如下面更详细地描述的,用于照亮成像单元108的视场的至少一部分的光源可以被包括布置在轮辋114上的灯条***中。然而,通过将OMS 100的组件安装在中央部分112处,在车辆的正常操作期间,OMS 100组件就不太可能被驾驶员的手遮挡。
此外,方向盘总成104在车辆中的三维位置(例如,高度、角度、倾斜度等)通常是可调整的,以适应各种各样的驾驶员和/或其他乘员(例如,身高、体重、比例、年龄、种族、性别、经验等不同的驾驶员或乘员)。将OMS 100结合到方向盘总成104中可以允许OMS 100利用该调整,并因此适应各种各样的驾驶员和/或其他车辆乘员以及宽泛范围的驾驶员和/或乘员位置。
如上所述,OMS 100包括至少一个成像单元108,成像单元108配置为捕获与车辆中的成像区域110相对应的图像信号。成像区域110可以包括成像单元108的视场或其一部分的视场。例如,图像信号可以包括成像区域110的瞬时值的光学表征。图像可以是二维或三维图像。在一些实施方式中,成像区域110可以配置为囊括驾驶员102和/或其他车辆乘员的期望位置。成像单元108可以配置为与车辆的方向盘总成104一起旋转。在各种实施方式中,成像单元108可以设置在方向盘总成104的中央部分112的任何部分上。
成像单元108可以包括能够捕获与成像区域110相对应的图像信号的仪器。例如,成像单元108可以包括光谱仪、光度计、相机或其组合。在一些实施方式中,例如在图2A中,成像单元108包括相机120。相机120可以是符合本文所述的***和方法的任何类型的相机。在一些实施方式中,相机可以具有高分辨率、低分辨率、能够捕获静止和/或运动图像。在一些实施方式中,相机120可以是能够捕获与成像区域相对应的图像信号的任何合适的数字相机。合适的相机平台在本领域中是已知的,并且可以从诸如蔡司、佳能、实用光谱影像等公司购得,并且这些平台易于适用于本文所述的***和方法。在一种实施方式中,相机120可以包括鱼眼相机。相机120可以使用相机120内的嵌入式光学滤光片或外部滤光片来同时抓拍或连续捕获一个或多个波长。在一些实施方式中,相机120可以包括镜头(例如,广角镜头、鱼眼镜头等)、自适应光学器件、其他演进光学器件或它们的组合。在一些实施方式中,该镜头是铰接式镜头。
在一些实施方式中,成像单元108可以是作为OMS 100的一部分的车辆乘员成像***109的一部分。车辆乘员成像***109还可以包括至少一个光源122。光源122可以是至少能够照亮成像单元108的视场和/或成像区域110的一部分的任何类型的光源。成像单元108可以包括单个光源122或任何数量的光源122。此外,可以实施多种类型的光源122。在一些实施方式中,一个或多个光源122可以用不同波长的光来照亮成像区域110(例如,一个光源122可以用与其他光源122不同的波长或波长范围进行照亮)。合适的光源122的示例包括人造光源,例如白炽灯泡、发光二极管等。此外,光源可以是连续光源(例如,白炽灯泡、发光二极管、连续波激光器等)、脉冲光源(例如,脉冲激光器)或其组合。另外,在包括了被配置为以不同波长来进行照亮的光源122(例如,配置为用于照亮红外光的第一光源和配置为用于照亮可见光的第二光源)的实施方式中,具有不同波长的光源122可以配置为执行不同的功能。例如,红外光源可以配置用于照亮成像单元108的视场的至少一部分,并且可见光源可以配置用于将信息传送给驾驶员或其他乘员。
在一些实施例中,光源122可以是发射300至2500nm之间的一个或多个波长的任何光源。在一些实施例中,光源122发射宽范围的波长,并且可以使用滤光器来选择感兴趣的波长。在一些实施例中,选择波长范围。可以使用与本文所述的***和方法符合的任何类型的滤光器。例如,滤光器可以是吸收性滤光器、分色滤光器、单色滤光器、长通滤光器、带通滤光器、短通滤光器或其组合。在一些实施例中,滤光器是外部滤光器。在一些实施例中,滤光器嵌入在光源122中。在一些实施例中,滤光器嵌入在车辆乘员成像***109中和/或可以包括至少一个光学膜。在一些实施方式中,光源122可以发射感兴趣的波长或波长范围。在一些实施方式中,光源122可以发射从800nm到1000nm范围的波长。在一些实施方式中,光源122可以包括红外光源(例如,发射从750nm到1,000,000nm的一个或多个波长的光源),诸如近红外光源、中红外光源、远红外光源或其组合。
在某些实施方式中,处理单元可以配置用于基于成像单元108的视场中的环境照亮条件来调整光源122的强度。例如,根据一种实施方式,从光源122发射的光的强度可以由处理单元基于从成像单元108接收的图像信号来确定。
在一些实施方式中,光源122可包括灯条124。例如,灯条124可包括液晶显示器(LCD)、薄膜晶体管显示器、有源矩阵显示器、分段显示器(例如,改进的黑色向列(INB)、超扭曲向列(STN)等)、一个或多个发光二极管(LED)、液晶显示器、激光器、卤素灯、荧光灯、红外(IR)LED照亮器或任何其他合适的发光元件。例如,在一些实施方案中,灯条124可包含发射可见范围内(例如,350nm到750nm)的一个或多个波长的一个或多个LED。在另一实施方式中,灯条124可以包括发射红外光的一个或多个LED。并且,在又一实施方式中,灯条124可包括发射在可见范围内的一个或多个波长的第一组LED和发射在红外范围内的一个或多个波长的第二组LED。例如,在各种实施方式中,灯条124包括发射可见光的LED的至少第一部分和发射红外光的LED的至少第二部分。第二部分中的LED可以配置为照亮成像单元108的视场的至少一部分,并且第一部分中的LED可以配置为将信息传送给驾驶员或其他乘员。例如,在一个实施方式中,第一部分中的LED配置为响应于OMS处于操作模式或非操作模式中的一种而点亮可见光。在另一实施方式中,第一部分中的LED可以配置为在车辆操作期间点亮,以向驾驶员或其他乘员提供警报。并且,在又一个实施方式中,第一部分中的LED可配置为在车辆启动时闪烁一次或多次,以指示OMS处于操作模式,然后在车辆操作期间点亮,以向驾驶员或其他乘员提供警报。
在一些示例中,车辆乘员成像***109可以使用外部光源来附加于光源122或代替光源122。如本文中所使用的,外部光源包括不属于OMS 100的一部分的任何光源。外部光源可以包括自然光源,例如太阳。外部光源的其他示例包括环境光,例如来自路灯、来自其他车辆的前灯和/或尾灯、车厢内的电子显示器、车厢灯的光等。在一些示例中,车辆乘员成像***109可以使用电联接到车辆乘员成像***109的外部光源(未示出),使得外部光源配置为照亮成像单元108的视场和/或成像区域110。
在一些实施方式中,光源122可以包括灯条124、诸如上述的另一种光源或其组合。
应当理解,如本文所使用的,单数形式“一”和“该”包括复数指代物,除非上下文另外明确指出。因此,例如,提及“相机”、“光源”或“灯条”均包括两个或更多个这样的相机、光源或灯条等的组合。可以以与本文所述的***和方法符合的任何方式来配置包括车辆乘员成像***109的组件。
图2A-图2F中示出了车辆乘员成像***109的一些示例性配置。在图2A所示的实施方式中,车辆乘员成像***109包括相机120。外部光源(未示出),例如人造光源、太阳或其他可用环境光,用于照亮相机120的视场和/或成像区域。
在图2B所示的实施方式中,车辆乘员成像***109包括相机120和设置在相机120附近上方的一个或多个光源122。在图2C所示的实施方式中,车辆乘员成像***109包括相机120和设置在相机120附近上方的灯条124。
在其他实施方式中,一个或多个单独的光源122或灯条124(或其组合)可以设置在相机120的下方和/或侧面或设置在方向盘总成104、车辆或车辆乘员成像***109上的相邻的其他位置。例如,在图2D所示的实施方式中,车辆乘员成像***109包括相机120、布置在相机120附近上方的独立光源122以及布置在相机120附近下方的灯条124。作为另一示例,图2E所示的车辆乘员成像***109包括相机120、布置在相机120的侧面并靠近相机120的侧面的两个单独的光源122以及布置在相机120的附近上方的灯条124。在另一示例中,如图2F所示,车辆乘员成像***109可包括相机120、两个单独的光源122a,122b以及两个灯条124a,124b。第一光源122a布置为靠近相机120的右侧,第二光源122b布置为靠近相机120的左侧,第一灯条124a布置为靠近第一灯源122a的右侧,第二灯条124b设置在第二光源122b的左侧附近。
可以设想任何数量的相机120、光源122和/或灯条124的组合或配置。
在车辆的正常操作期间,驾驶员102可以容易地观察到方向盘总成104的中央部分112。为了使OMS 100的存在不改变驾驶员的车辆正常操作,OMS 100可以联接到方向盘总成104,从而对于驾驶员102是不可见的或不引人注意的。例如,OMS 100可以针对驾驶员102或其他乘员隐藏在装饰元件后面。此外,为了驾驶员或其他乘员的眼睛的安全,也可以对乘员成像***109的位置进行优化。
例如,OMS 100的一个或多个组件,例如成像单元108和/或光源122,可以布置在壳体内。壳体可以固定地和/或可移除地联接到方向盘总成104。此外,根据各种实施方式,壳体可以与方向盘总成104一体地形成或独立地形成并安装到方向盘总成104。例如,在一些实施方式中,壳体可以与轮毂116的后盖126一体地形成,并且OMS 100的一个或多个组件可以布置在由后盖126形成的壳体中。在一个这样的实施方式中,设置在后盖126中的OMS 100组件随方向盘总成104一起旋转。在其他实施方式中,壳体可以与轮毂116的与驾驶员安全气囊或开关组件相邻的部分或包括了轮毂116的与驾驶员安全气囊或开关组件的部分一体形成。并且,在其他实施方式中,壳体可以与方向盘总成104单独地形成,并使用任何合适的紧固技术(例如,螺钉、钩子、夹子,粘合剂(例如,胶水)、焊合或焊接)与方向盘总成104联接。壳体可以直接联接到方向盘总成104或联接到安装支架,例如下面相对于图12至图15描述的安装支架301或其他与方向盘总成104相连的结构。
图3A至图3B示出了联接到方向盘总成104的车辆乘员成像***109的壳体的各种实施方式。例如,在图3A所示的实施方式中,用于车辆乘员成像***109的壳体联接到方向盘总成104的轮毂116的上部。车辆乘员成像***109的组件设置在壳体内。图3B示出了图3A所示的车辆乘员成像***109的壳体的侧视图。壳体所联接上的后盖126是轮毂116的一部分。
图4A至图4D示出了邻近方向盘总成104联接的车辆乘员成像***109的组件的各种实施方式。特别地,图4A提供了方向盘总成104的前视图,其中车辆乘员成像***109的组件邻近后盖126进行联接。例如,在一些实施方式中,这些组件可以直接联接到方向盘总成和/或以上图3A和图3B所指出的壳体。在其他实施方式中,组件可以联接至至少一个安装支架上,或联接至与方向盘总成和/或壳体直接联接的其他中间结构上。图4B提供了方向盘总成104的成角度的前视图,其中车辆乘员成像***109的组件邻近后盖126进行联接。图4C提供了方向盘总成104的俯视图,其中车辆乘员成像***109的组件邻近后盖126进行联接。图4D提供了在图4A中标记为“4D”的部分的特写视图,示出了与后盖126相邻地联接的车辆乘员成像***109的组件。在这些或其他实施方式中,OMS100的其他组件,例如一个或多个处理单元,也可以邻近方向盘总成布置,例如,布置在与后盖126联接的壳体内。备选地,OMS100的其他组件可以设置在方向盘总成104的其他部分上或车辆内的方向盘总成104的外部。
在一些实施方式中,可能期望将OMS 100或其某些部分热联接到后盖126上和/或方向盘总成104的其他部分上,以将热量从OMS 100的部分消散并允许改善热交换。例如,根据某些实施方式,布置有车辆乘员成像***109的组件的壳体可以由导热材料形成,并且可以使用导热“间隙垫”或其他导热粘合剂或机械散热器而联接至后盖126。例如,壳体、后盖126以及方向盘总成104可以由具有高导热率的材料构成,材料包括例如镁合金(压铸件)(1.575W/cm·℃)、铝合金(压铸件)(2.165W/cm·℃)和钢(低碳)(0.669W/cm·℃)。
在一些实施方式中,可以使用安装支架将壳体联接至后盖126上或方向盘总成104的其他部分上,诸如下面相对于图12至图20所示和所描述的那样,或者壳体可以直接联接至后盖126上或方向盘总成104的其他部分上。来自布置在壳体内的OMS 100组件的热量从壳体直接传导至后盖126和/或方向盘总成104,或通过安装支架传导至后盖126和/或方向盘总成104,以便使后盖126和/或方向盘总成104充当OMS 100的散热器。
在一些实施方式中,如图3B所示,OMS 100还可包括转向角传感器128。转向角传感器128可以安装在方向盘总成104附近,并且可以提供关于方向盘总成104的位置、角度、旋转速率和/或定向的主动反馈。转向角传感器128可以设置在方向盘总成104的非旋转和旋转元件之间。例如,如图3B所示,转向角传感器128可以联接至不旋转的转向柱106。备选地(未示出),转向角传感器128可以联接至转向轴107,转向轴107相对于转向柱106旋转。在另一示例中,如图6所示,转向角传感器128设置在汽车时钟弹簧的定子中。备选地(未示出),转向角传感器128可以布置在汽车时钟弹簧的转子中。
转向角传感器128可以是模拟装置、数字装置或其组合。例如,转向角传感器128可以包括旋转的槽盘、LED灯以及探测器。LED灯定位成能使光穿过槽盘,然后由探测器收集。探测器可以基于是否根据狭缝位置而检测到任何光来输出信号。通过知道狭缝位置并计数检测到的光/无光的次数,可以确定旋转速度和方向。OMS 100可以利用专用转向角传感器128,或者OMS 100可以利用集成在方向盘总成104和/或其他车辆组件中的现有传感器。
在各种实施方式中,OMS 100与用于控制其操作的控制电路相关联。例如,OMS 100可以与用于控制车辆乘员成像***109的操作的电路相关联,该操作例如包括对相机120和/或光源122的操作。在示例性实施方式中,OMS 100可以直接接线到方向盘总成104的控制电路。例如,光源122可以通过串联电阻器连接到方向盘总成电源(未示出)。
在一些实施方式中,如图5所示,OMS 100包括处理单元200。处理单元200可以配置为向/从车辆和各种OMS 100组件提供操作指令。处理单元200可以配置为指导OMS 100的操作。处理单元200可以是车辆乘员成像***109的一部分并且邻近车辆乘员成像***109设置和/或安置在车辆的电子控制单元(ECU)上或与之相关联。在进一步的实施方式中,处理单元200可以位于另一车辆***上或与另一车辆***相关联。在处理单元200与除OMS 100之外的***相关联的情况下,可以在该备选***和OMS 100之间提供通信线路(即,数据线路和/或电源线)。例如,可以将OMS 100通过在ECU单元和OMS 100的车辆乘员成像***109之间延伸的一根或多根电线来连接到车辆的电子控制单元(ECU)。此外,在某些实施方式中,转向角传感器128电连接到处理单元200。
当本文描述的逻辑操作在软件中实施时,该过程可以在任何类型的计算架构或平台上执行。例如,OMS 100的功能可以在任何类型的计算架构或平台上实施。
在图5中所示的实施方式示出了计算设备/处理单元200,本文公开的实施方式可以在其上实现。处理单元200可以包括用于在处理单元200的各个组件之间传送信息的总线或其他通信机制。在其最基本的配置中,处理单元200通常包括至少一个处理器202和***存储器204。根据计算设备的确切配置和类型,***存储器204可以是易失性的(例如随机存取存储器(RAM))、非易失性的(例如只读存储器(ROM)、闪存等),或两者的某种组合。通过虚线206在图5中示出了这种最基本的配置。处理器202可以是标准可编程处理器,该标准可编程处理器执行处理单元200的操作所必需的算术和逻辑运算。
处理单元200可以具有附加的特征/功能。例如,处理单元200可以包括附加存储器,例如可移动存储器208和不可移动存储器210,包括但不限于磁盘、光盘或磁带。例如,处理单元200可以配置为用于将接收到的图像信号的一部分至少存储到存储器208、210中的一个或多个中。在一种实施方式中,图像信号(或其一部分)可以存储在不可移动存储器210,以保持图像信号安全。另外,图像信号可以完整形式进行存储和/或传送,或作为与图像信号(例如与以下描述的乘员信息参数有关的数据)的各部分有关的一组数据来进行存储和/或传送。
另外,处理单元200可以配置为用于存储与在即将关闭车辆之前捕获的至少一个车辆乘员的图像信号有关的特征信息。该特征信息可以例如存储在作为存储器210的一部分或与存储器210分离的临时存储区域中。当车辆再次启动时,特征信息可以由处理单元200重新获取以加速OMS 100的启动。在一些实施方式中,可以存储针对一个或多个先前车辆停车的特征信息。在一种实施方式中,存储针对多个先前车辆停车的特征信息增加了“存储的特征信息包括与下次启动时车辆中的至少一个乘员有关的信息”的可能性。
处理单元200还可以包含经由网络接口控制器216的网络连接,该网络接口控制器216允许本设备与其他设备进行通信。处理单元200还可以具有输入设备214,例如键盘、鼠标、触摸屏、天线或配置为与在上述***等中的OMS 100、成像单元108、光源122和/或转向角传感器128通信的其他***。也可以包括输出设备212,例如显示器、扬声器、打印机等。可以将附加设备连接到总线,以便于在处理单元200的各个组件之间进行数据通信。
处理器202可以配置为执行在有形的计算机可读介质中编码的程序代码。计算机可读介质是指能够提供使处理单元200(即,机器)以特定方式操作的数据的任何介质。可以利用各种计算机可读介质来向处理器202提供指令以供执行。计算机可读介质的常见形式例如包括,磁性介质、光学介质、物理介质、存储芯片或磁带盒、载波或计算机可从中读取的任何其他介质。示例计算机可读介质可以包括但不限于易失性介质、非易失性介质以及传输介质。可以使用用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术来实现易失性和非易失性介质,并且下面将详细讨论常见形式。传输介质可以包括同轴电缆、铜线和/或光纤电缆,以及声波或光波,例如在无线电波和红外数据通信期间生成的声波或光波。示例性有形计算机可读记录介质包括但不限于集成电路(例如,现场可编程门阵列或专用IC)、硬盘、光盘、磁光盘、软盘磁盘、磁带、全息存储介质、固态设备、RAM、ROM、电可擦除程序只读存储器(EEPROM)、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光学存储设备、盒式磁带、磁带、磁盘存储设备或其他磁性存储设备。
在示例性实施方式中,处理器202可以执行存储在***存储器204中的程序代码。例如,总线可以将数据传送到***存储器204,处理器202从该***存储器204接收指令并执行指令。由***存储器204接收的数据可以可选地在处理器202执行之前或之后存储在可移动存储器208或不可移动存储器210上。
处理单元200通常包括各种计算机可读介质。计算机可读介质可以是处理单元(200)可以访问的任何可用介质,并且包括易失性和非易失性介质、可移动和不可移动介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性以及可移动和不可移动介质。***存储器204、可移动存储器208以及不可移动存储器210都是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、电可擦除程序只读存储器(EEPROM)、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备,或可用于存储所需信息并可由处理单元200访问的任何其他介质。任何此类计算机存储介质都可以是处理单元200的一部分。
应当理解,本文描述的各种技术可以结合硬件或软件或者在适当时结合其组合来实现。因此,当前公开的主题的方法、***和相关的信号处理或其某些方面或部分可以采取包含在有形介质(例如软盘、CD-ROM、硬磁盘)中的程序代码(即指令)的形式或任何其他机器可读存储介质,其中,当程序代码被加载到诸如计算设备之类的机器中并由其执行时,该机器成为用于实践本公开主题的设备。在可编程计算机上执行程序代码的情况下,计算设备通常包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。一个或多个程序可以例如通过使用应用程序编程接口(API)、可重用控件等来实现或利用结合当前公开的主题描述的过程。可以以高级过程或面向对象的编程语言来实现这样的程序,以与计算机***进行通信。但是,如果需要,可以用汇编语言或机器语言来实现程序。在任何情况下,该语言都可以是编译的或解释的语言,并且可以与硬件实现组合。
在一些实施方式中,***存储器204包括存储在其上的计算机可执行指令,当由处理器202执行时,该计算机可执行指令可用于指导OMS 100的操作以监测驾驶员或其他乘员(例如,捕获驾驶员或其他乘员的图像),确定驾驶员或其他乘员的状态,并根据确定的状态提供输出信号。例如,处理器202可以指导成像单元108和/或光源122的操作。特别地,可以指导成像单元108捕获成像区域110的图像并将捕获的图像信号输出到处理器202。成像单元108还可以配置为用于将与图像信号相关联的数据传送给处理器202。处理器202可以分析来自成像单元108的图像信号,以确定关于操作者状态的信息和/或识别图像信号的可提供关于操作者状态的信息的部分。
在其他实施方式中,处理器202可以将全部或一部分图像信号和/或基于全部或一部分图像信号的计算出的数据传送到远离处理器202布置的另一处理器。另一处理器可以配置为用于使用接收到的图像信号(或其部分)或数据确定驾驶员或乘员状态。
例如,处理器202可以从成像单元108接收图像信号并处理该图像信号以识别出分析区域。分析区域可以是与驾驶员、非驾驶车辆乘员相关联的成像区域110的区域和/或车辆内或车辆外的其他感兴趣区域。识别出分析区域可以包括确定驾驶员或其他乘员的头部和/或眼睛的位置和/或方向。分析区域可以包括驾驶员或其他乘员的头部和/或眼睛的确定位置。
可以由处理器202(或另一处理器)分析该分析区域以确定乘员信息参数。乘员信息参数可以例如包括与乘员的机敏性和/或注意力相对应的乘员信息,或可能阻止成像单元108捕获与乘员相关的相关数据的乘员或车辆的状态。乘员信息参数可以包括:乘员头部的位置和/或方向(例如,偏航、俯仰、侧倾),乘员头部的移动速率,乘员头部的尺寸,确定乘员是否穿着某种特定的会影响图像信号的物品(例如帽子、眼镜、太阳镜、隐形眼镜、化妆品、珠宝等),乘员的嘴巴运动(例如确定乘员是否在说话、打哈欠、唱歌、打喷嚏等),乘员鼻子的移动(例如,确定乘员是否在呼吸、打喷嚏等),乘员眼睛的移动(例如,斜眼、眨眼、眨眼率、扫视运动、平稳的追逐运动、发散运动,前庭-眼动等),乘员眼睑的运动和/或位置,凝视矢量,心率,工作量,乘员识别特征,乘员年龄估计,面部肌肉运动(例如与表情、疼痛、斜视、眨眼、说话、打喷嚏、唱歌、睡觉、身体受损等有关的运动)和/或乘员眼睛的位置和/或方向。因此,可以对分析区域进行分析以确定乘员的头部和/或眼睛的位置和/或方向与预定位置的偏差。
可以分析一个或多个乘员信息参数以确定乘员状态。乘员状态可以例如包括:乘员的眼睛是睁着还是闭着,乘员是否在看着道路、中控台或其他地方,乘员是否分心,乘员的相对机敏性,乘员的情绪(例如,愤怒、悲伤、快乐、兴奋、紧张、恐惧等),乘员的身体状况(例如,困倦、饥饿、生病、损伤等)和/或乘员的举止(例如姿势、进食、饮水、发出口头命令、完成手动任务、视线方向、兴趣等)等。因此,分析乘员信息参数以确定乘员状态可以包括:确定乘员头部和/或眼睛的位置和/或方向偏离了预定位置。分析乘员信息参数还可以包括:确定乘员头部和/或眼睛的位置和/或方向偏离了预定位置至少预定时间量。其他示例包括通过监测乘员相对于挡风玻璃位置的眼/瞳孔矢量(例如乘员信息参数)来评估乘员的视觉分散程度(例如乘员状态)。可以监测嘴部的特征,例如嘴角以及嘴唇间的平均间隔,以确定特定乘员何时说话,并且可以通过语音识别***将车辆中捕获的音频信号与嘴部特征相关联(例如在免提处理***中使用),以过滤掉来自意外乘员和/或背景噪音的语音。监测噪声和/或嘴部的运动可用于推断呼吸速率的估计值,例如,该值可用于评估乘员是否已中止呼吸,或呼吸速率是否升高,这在情绪状态不佳或紧急医疗情况下可能发生。监测面部的亮度可用于评估汗珠的表象,该汗珠可用于评估乘员的舒适度(例如,确定是否应调整气候控制)和/或身体状况(例如,乘员生病和/或经历医疗事件)。另外,可以改变光源122的强度以补偿环境光,以使光源122的可见度最小化,和/或调整乘员在成像区域内的肤色。从相机收集的信号的频谱分析可用于得出和/或估计生理反应,例如皮肤升温/冷却和/或心电活动和速率。可以监测广泛的乘员信息参数,以得出或估计广泛的乘员状态,例如,可以将其用于为各个乘员建立特定的健康和行为特征,从而增强驾驶员和其他乘员的安全性、健康性、舒适性以及便利性。
在某些实施方式中,处理器202可以基于乘员状态输出信号。在一些实施方式中,输出信号可以是针对方向盘总成104的旋转角度和/或方向盘总成104的角旋转速率校正的图像信号。如上所述,输出信号也可以是调整成像单元108的指令,以校正方向盘总成104的旋转角度和/或方向盘总成104的角旋转速率。输出信号也可以由其他车辆***用来建立基准乘员特征(例如健康、注意力、行为),建立用于启动其他车辆***(例如控制***、警报***)的阈值,并提供可以与启动阈值进行比较的实时乘员状态特征。
输出信号可以包括电信号、wifi信号等。可以将输出信号输出到另一车辆***,以向该车辆***提供关于乘员状态的信息。在一些实施方式中,可以将输出信号提供给另一车辆***,该另一车辆***可以例如基于驾驶员或其他乘员的状态来改变车辆参数(例如,调整方向盘、制动器和/或加速器的灵敏度,打开或关闭音乐,调整音乐的音量,更改音乐的类型,打开/关闭室内灯,调整车厢温度,注入气味,调整光源122发出的光的波长和/或强度,减少或取消驾驶员操作车辆的自由度,通知紧急服务,修改自动化阈值等)。
并且,在一些实施方式中,输出信号可以包括用于OMS 100或另一车辆***的如下指令:点亮或改变光源的强度,播放声音,和/或经由触觉反馈设备向驾驶员或其他乘员反馈触觉反馈(例如,振动、热、凉爽等)。例如,光、声音和/或触觉反馈可用于提醒驾驶员或其他乘员。在一个实施方式中,待点亮的灯可包括灯条***,灯条***可以是上述相同的灯条124或其一部分,或者是设置在方向盘总成的另一部分上或车辆中其他地方的单独的灯条。在2013年10月23日提交的、名称为“方向盘灯条”的共同待决的美国专利申请No.14/061,397,于2013年10月23日提交的名称为“方向盘灯条”的No.14/061,383,于2013年10月23日提交的名称为“方向盘灯条”的No.14/061,408和2014年7月23日提交的标题为“转向把手灯条***”的美国临时专利申请No.62/027,969中描述了示例性的灯条***。在此通过引用将这四个申请整体并入本文。触觉反馈设备可以例如包括设置在方向盘总成的轮辋周围的加热垫或设置在方向盘总成的轮辋或轮毂内的振动激励器(例如,扬声器)。
在分析从成像单元108接收的图像信号之前、之后和/或期间,处理器202可用于基于方向盘总成104的状态来调整成像单元108和/或接收的图像信号。处理器202也可以用于基于方向盘总成104的状态来调整光源122。如将在下面更详细地描述的,处理器202可以分析来自转向角传感器128的电信号以获得关于方向盘总成104的旋转角度和/或方向盘总成104的角旋转速率的信息,并基于该信息调整成像单元108的图像信号。例如,处理器202可以从转向角传感器128接收电信号并且处理该电信号以识别方向盘总成的定向/旋转角度和/或方向盘总成的角旋转速率。可以分析从转向角传感器128接收到的信号以调整成像单元108和/或图像信号,从而补偿方向盘总成104的旋转角度和/或方向盘总成的角旋转速率104。例如,可以基于来自转向角传感器128的信号将成像单元108调整为旋转或放大或缩小。在另一个示例中,可以调整与成像区域110对应的捕获图像信号以校正方向盘总成104的旋转角度和/或方向盘总成104的角旋转速率。
调整成像单元108和/或光源122以校正方向盘总成104的旋转角度和/或方向盘总成104的角旋转速率可以例如包括:考虑成像单元108和乘员(例如驾驶员)之间的几何形状,调整相机120的快门速度和/或帧率,调整从光源122发射的光的强度,调整在给定时间激活哪个光源122,调整相机镜头的角度,调整相机120的增益、焦点和/或光学滤光片,调整从光源122发出的光的波长或波长范围等,或者其组合。
还可以调整捕获的与成像区域110相对应的图像信号以校正方向盘总成104的旋转角度和/或方向盘总成104的角旋转速率。调整图像信号可以例如包括:调整图像信号的对比度、调整图像信号的方向、调整图像信号的增益、考虑成像单元与驾驶员或其他乘员之间几何形状的变化(例如,变换图像信号的坐标系)、解决图像信号的失真和/或模糊等。
上面描述了由处理器202对来自成像单元108的图像信号和/或从转向角传感器128输出的电信号进行分析。然而,在其他实施方式中,上述功能可以全部或部分在一个或多个附加处理器和/或处理单元处理器202中执行。例如,OMS 100可以包括一个或多个附加处理单元和/或处理器。
在一些实施方式中,OMS 100可以还包括禁用单元,该禁用单元配置为当接收到驾驶员信号时暂时禁用所有或一些OMS 100操作。驾驶员信号可以指明驾驶员执行了某些将会阻碍OMS 100正常操作的操作。驾驶员信号可以例如包括在车辆的方向盘总成104旋转了至少预定的量和/或预定的时间量时的输出信号。例如,当驾驶员旋转方向盘总成104以使车辆转向时,可以输出驾驶员信号。可以例如从方向盘总成角度传感器128获得指明了方向盘总成104的旋转的信号。在一些实施方式中,当方向盘返回到大致中心位置至少预定时间量时,驾驶员信号可以中止输出。例如,当驾驶员完成转弯并恢复正常驾驶时,驾驶员信号可以中止输出。
方向盘总成的旋转速率和/或旋转角度也可以通过分析来自相机的顺序信号来确定,以监测成像区域110内的车辆可靠、固定特征的位置变化(例如,车门的位置、窗户位置、车顶位置)。此外,可以在成像区域内将此类可靠的固定特征添加到车辆中,以用作OMS 100使用的参考特征。例如,可以在处于先验模式的车辆座椅、车顶衬里和/或安全带上放置光学透明但IR可见的符号或形状,OMS100可以使用它来得出方向盘总成的旋转角度。
在一些实施方式中,OMS 100可以通过汽车时钟弹簧,例如关于图6-图9描述的汽车时钟弹簧50,来传送数据。示例性汽车时钟弹簧包括旋转型电连接,该旋转型电连接允许方向盘总成104的可旋转部分旋转,同时保持设置在方向盘总成104的旋转部分上的车辆***组件与设置在旋转部分外部的组件之间的电连接。在某些实施方式中,汽车时钟弹簧可以用于在方向盘总成104的旋转期间将成像单元108电联接至至少一个其他车辆***。此外,时钟弹簧还可以将成像单元108,光源122以及转向角传感器128电联接到诸如车辆电池之类的电源,和/或布置在方向盘总成的旋转部分外部的处理单元200。
图6-图10示出了可以电联接到车辆乘员成像***109的汽车时钟弹簧50的各种实施方式。特别地,图6示出了汽车时钟弹簧50的前视图。时钟弹簧50包括转子54和定子52。转子54相对于方向盘总成104的可旋转部分是固定的。在图6所示的实施方式中,转子54包括中心孔55,用于接收转向轴107以将转子54联接到转向轴107。转向轴107和转子54构造成绕轴线B一起旋转,轴线B延伸穿过孔55。定子52设置在转子54的径向外侧,并且静态地联接到转向柱106或转向总成104的另一非旋转部分。
时钟弹簧50还包括设置在转子54中的处理器202a,设置在定子52中的处理器202b,设置在定子52中的转向角传感器128,在处理器202a和202b之间延伸并电联接的一组电线58,布置在转子54的壳体的表面上的电连接器56a、56b,分别在电连接器56a,56b之间延伸电线62a、62b,以及布置在定子52的壳体的表面上的电连接器60。
在图6所示的实施方式中,转向角传感器128设置在定子52的壳体中。转向角传感器128电连接至与处理器202a和202b电连接的的一组电线58。因此,由转向角传感器128捕获的旋转角度或角旋转速率可以经由电线58电传送至处理器202a或处理器202b。根据其他实现方式(未示出),如上所述,转向角传感器128可设置在转子54的壳体中或方向盘总成的另一组非旋转和旋转组件之间。
图6中的实施方式还包括设置在转子54的壳体的表面上的电连接器56a,56b。连接器56a,56b配置用于接收来自成像单元108和光源122的匹配连接器,如上所述,它们设置在方向盘总成104的旋转部分。在一个实施方式中,来自成像单元108和光源122的电线可以通过转向轴107被路由到电连接器56a,56b,以使电线隐藏起来,并避开车辆操作员。连接器56a,56b允许将成像单元108和光源122更有效地安装到方向盘总成104上。此外,尽管在图6中仅示出了两个连接器56a,56b,但是可以有一个或两个以上的连接器。参照图6,在其他实施方式中,可以存在一个或两个以上连接器。例如,对于OMS 100的成像单元108和光源122可以分别存在电连接器。
在一些实施方式中,诸如在图9中所示,连接器56a,56b通过一段绝缘的电线86a,86b联接到处理器202a,电线的一部分从转子54的壳体的表面(例如,光纤头)朝方向盘总成104的旋转部分延伸。
一组电线58可以经由平坦带59彼此相邻地联接,该平坦带59包括由介电材料57分开的电线58。电气带59构造成在方向盘总成的旋转期间围绕转子54缠绕和解绕,而不会失去与处理器202a,202b之间的连接,并且不会破坏带58内的电线。通过带59的电线58电通信的图像信号或计算数据也可以经由布置在定子52的壳体上电连接器60,被通信到设置在时钟弹簧50外部的OMS 100的另一处理单元200或设置在时钟弹簧50外部的另一车辆***。定子连接器60和带59的导线58还可以用于在安装在方向盘的旋转部分上的部件与其他车辆***(例如巡航控制、安全气囊和车辆安全性***、转向加热控制器、音频和用户通信***以及动态稳定性控制***)之间电通信数据和/或信号。此外,处理器202a和/或202b可以将处理后的图像信号和/或与其相关的数据传送到其他车辆***,例如车辆安全***、用户通信***、车载和外部无源传感器(例如,乘员/驾驶员乘员传感器、后乘员传感器、倒车相机、外部雷达等)和车辆控制***(例如,座椅定位***、转向总成定位***、半自动或自动驾驶***、镜子定位***、窗户定位***、灯光***、扶手定位***和/或安全带定位***)。并且,在进一步的实施方式中,处理器202a和/或202b可以从这些其他车辆***接收数据。由处理器202a和/或202b接收的数据可以由处理器202a,202b使用以识别图像信号的哪些部分应被被选择和进一步处理和/或传送到这些***或其他车辆***。
根据某些实施方式,与传统的时钟弹簧相比,可以增加时钟弹簧50的深度,以适应将处理器202a,202b中的一个或多个添加到时钟弹簧50中。例如,在一种实施方式中,在平行于转子54的旋转轴线的方向上延伸的时钟弹簧50的深度从约30毫米增加到约60毫米至约70毫米。时钟弹簧50的直径大致保持与常规时钟弹簧相同的直径,以便装配在车辆的转向柱106内。
在一个实施方式中,带59可以包括并排布置并由电介质材料57分开的八根线58或迹线。电介质材料57对线58进行屏蔽以免彼此相互电干扰以及与时钟弹簧50和转向柱106中的其他组件电干扰。带59紧紧地缠绕在转子54上约3.5匝,以允许方向盘总成104旋转,并且允许带59随着方向盘总成104的旋转而展开和缠绕。然而,在其他实施方式中,取决于方向盘总成104的预期旋转运动,带59可以包括多于或少于八根的线58,并且可以绕转子54缠绕一匝或更多匝。另外,可以有多于一根的带59延伸在转子54和定子52之间。通常,布线的数量和性质取决于线规格和/或安装在方向盘总成104的可旋转部分上的组件的类型,例如OMS 100组件、驾驶员安全气囊***、方向盘加热***、人机界面***(例如,配置为接收用户输入的开关和/或触敏表面)、灯条反馈***以及喇叭。
处理器202a和202b各自包括多个堆叠的弓形印刷电路板。处理器202a,202b的弧形形状允许它们装配在时钟弹簧50的转子54和定子52内,而不会干扰转子54的旋转以及导线58在转子54和定子52之间的运动。并且,堆叠印刷电路板为处理器202a,202b提供了足够的表面积以执行本文所述的功能。然而,在其他实施方式中,可能仅存在一个弓形的印刷电路板,或者印刷电路板可以是平坦的和/或不堆叠。
根据各种实施方式,处理器202a和202b类似于处理器202,并且可以单独地或一起执行上述处理器202的一个或多个功能。可以基于几个因素来选择要由每个处理器202a,202b执行的功能,这些因素例如包括:图像信号被捕获的速率,图像信号的大小、设置在方向盘总成104的旋转部分上的成像单元108和光源122的数量,以及壳体和/或方向盘总成104散发来自发热组件的热能的能力。例如,在某些实施方式中,处理器202a可以配置为电接收由成像单元108捕获的图像信号,并选择图像信号的至少一部分以传送给处理器202b;从转向角传感器128电接收方向盘总成104的旋转角或角旋转率中的至少一个,并基于接收到的旋转角或角旋转率来调整图像信号的方向;从转向角传感器128电接收方向盘总成104的旋转角或角旋转率中的至少一个,并基于接收到的旋转角或角旋转率来调整成像单元108;在将图像信号传送到处理器202b之前,压缩选择的图像信号;控制从光源122发射的光的量;以及,将所选择的图像信号的至少一部分保存到存储器。在一些实施方式中,选择图像信号的至少一部分以传送给处理器202b包括识别和选择与一个或多个乘员信息参数有关的图像信号的一个或多个部分。
此外,在某些实施方式中,存储器可以布置在转子54中的印刷电路板上,转子的其他位置,转子54之外(例如在定子52中或在车辆的另一部分中),或它们的组合。
在其他实施方式中,处理器202a可以配置为选择与乘员信息参数有关的图像信号的至少一部分,从所选择的信号中计算数据,以及将所计算的数据传送至处理器202b。
在图10中示意性地示出的又一实施方式中,处理器202c可以邻近成像单元108设置。该处理器202c可以配置为电接收由成像单元108捕获的图像信号,并选择图像信号的至少一部分用于传送至处理器202a,和/或从所选择的信号计算数据。
另外,在其中处理器202a配置为在将图像信号传送到处理器202b之前压缩图像信号的实施方式中,处理器202b可以配置为对压缩的图像信号进行解压缩。
尽管图6和图9示出了光源122电耦接到处理器202a,但是一个或多个光源122可以替代地经由电线58耦接到处理器202b并由处理器202b控制,或者根据其他实施方式(未示出)耦接到设置在转子54和/或定子中的其他处理器并由其控制。例如,连接器56a,56b之一可以经由电线62b或86b和电线58耦接到处理器202b,使得耦接到连接器56a,56b的光源122电耦接到处理器202b。在这样的实施方式中,处理器202b配置为控制光源122。
如上所述,处理器202a可以配置用于识别和选择与一个或多个乘员信息参数有关的图像信号的至少一部分,用于传送给处理器202b。在某些实施方式中,处理器202b还配置为对接收到的图像信号进行平滑、滤波和/或分析。
处理器202a和202b还可以通过定子连接器60和电线58电耦接到设置在车辆内的电源。根据某些实施方式,来自电源的电力经由一个或多个处理器可用于成像单元108和光源122。在其他实施方式(未示出)中,可以经由耦接到导线58的各个导线直接向成像单元108和光源122提供电力。
在一些实施方式中,如果处理器202a的物理尺寸足以使转子54的旋转失去平衡,则可以在转子54中包括与处理器202a相对的配重,以平衡转子54的旋转动量。
各种实施方式针对车辆内的图像检测***提供了改进的包装解决方案。特别地,通过在布置在时钟弹簧50的转子54内的处理器202a中处理图像信号,来自成像单元108的原始图像信号被更靠近成像单元108地进行接收并处理,这防止了在成像单元108与处理器之间的较长距离上可能发生的信号的丢失或干扰。该布置还允许有效传送用于确定乘员信息参数的图像信号,这改善了乘员监测***100的操作。特别地,如果成像单元108配置为以每帧60帧的速率捕获图像信号,接收图像信号的处理器将需要每10秒处理20兆字节的数据。这些要求可能需要一个物理上太大而无法安装在典型时钟弹簧中的处理器。此外,典型的时钟弹簧内的导线太少,无法胜任该数据传输速率下的传输。因此,各种实施方式通过在转子中包括第一处理单元来克服这些约束,该第一处理单元配置为选择接收到的图像信号的至少一部分并将图像信号的所选部分(或从图像信号的所选部分中计算出的数据)传送到转子外部的第二处理单元进行进一步处理和分析。
根据各种实施方式,图10示出了通过时钟弹簧50在OMS 100的各个部件与其他车辆***之间的信号和/或数据的示意性流程。特别地,光源122和成像单元108设置在方向盘总成104的旋转部分上,并且电耦接到设置在转子54上的处理器202a。其他车辆***,例如人机界面***(例如,触摸板、方向盘总成上的触摸敏感区域和/或用于与一个或多个车辆***(例如HVAC、音频、用户通信等)交互的开关)、用于加热方向盘的加热器***、喇叭激活装置以及驾驶员安全气囊***也可以设置在方向盘总成104的旋转部分上。这些***可以通过在转子54和定子52之间延伸的导线58与设置在转子54外部的其他处理器进行通信或与处理器202a和/或202b通信。此外,如上所述,处理器202a或处理器202b可以进一步配置为用于控制光源122。或者,在如图10中虚线所示的其他实施方式中,可以在转子54或定子52中设置单独的处理器以控制光源122。此外,来自处理器202a,202b或设置在转子54和/或定子52中的其他处理器以及来自设置在方向盘总成104的旋转部分上的其他***的信号和/或数据可被传送到车辆侧处理单元,例如作为OMS 100的处理单元,以进行进一步的分析和/或处理。
尽管上述实施方式将时钟弹簧50描述为与OMS 100的组件一起使用,但是时钟弹簧50可以联接到其他数据采集***和/或采集具有相对较高带宽的信号的***。例如,在各种实施方式中,至少一个数据采集单元可以安装在车辆方向盘总成的可绕转向柱旋转的部分上。布置在转子内的第一处理单元配置为电接收由数据获取单元捕获的信号,并选择信号的至少一部分以传送给第二处理单元。第二处理单元设置在车辆中的转子的外部(例如,在定子中或在定子的外部),并且电耦接于转子和定子之间延伸的一组电线。所选信号通过一组电线进行电通信。
在其他实施方式中,诸如图11A和图11B所示,可以使用滑环SR代替时钟弹簧来引导在方向盘总成104的可旋转部分与方向盘总成和/或转向柱106的不可旋转部分之间延伸的电线。滑环SR包括转子部分R和定子部分S。转子部分R联接到方向盘总成104的旋转部分,并且限定了围绕其旋转轴线C延伸的空心轴Hr。转子部分R接合在定子部分S的空心轴Hs内,使得转子部分R可在定子部分S的空心轴Hs内绕旋转轴线C旋转。定子部分S连接到方向盘总成104或转向柱106的固定部分。转子部分R也可以包括环形唇缘A,该环形唇缘从转子部分R的一端径向向外延伸,并轴向接合定子部分S的轴向外端E,以防止转子部分R相对于定子部分S轴向运动。来自OMS 100组件和其他可设置在方向盘总成的可旋转部分上的***的电线穿过转子部分R的空心轴Hr并构造成随转子部分R旋转。
在一些实施方式中,OMS 100可以构造为单个模块化单元。例如,单个模块化单元可以是包括相机120、光源122和/或处理单元200或其一部分的独立单元。当被构造为单个模块化单元时,OMS 100可以方便地封装并且方便地安装在任何方向盘总成104中。可以使用任何合适的紧固机构,例如螺钉、钩子、夹子或本领域已知的任何其他形式的机械紧固件、或粘合剂(例如,胶合)、钎焊、焊接或本领域已知的任何其他紧固技术,将单个模块化单元联接到方向盘总成104。将OMS 100配置为单个模块化单元可以允许电子设备的通用化(例如,集成),因此可以实现更快的电子通信。
图12-图20示出了OMS 100的各个组件可以如何联接到方向盘总成104的各种实施方式。特别地,根据图12-图15所示的实施方式,OMS 100包括安装支架301、壳体303、镜头305以及成像单元108。安装支架301包括主体355,成像单元108连接主体355上,以及从主体355的下边缘延伸的的安装凸片353、354。每个凸片353、354分别限定了开口351、352,该开口与在方向盘总成104的轮毂116的框架的上部区域中限定的开口对准。每组对准的开口均接收螺钉350,以将安装支架301固定到轮毂116。但是,在其他实施方式中,安装支架301可以附接到方向盘总成104,使得其可以使用其他合适的紧固机构从中心部分112向上延伸,紧固机构例如为钩子、夹子或本领域已知的任何其他形式的机械紧固件,或粘合剂(例如,胶合)、钎焊、焊接或本领域已知的任何其他紧固技术。
安装支架301可以由铝、镁合金、钢或能够支撑OMS 100组件并将从组件产生的热量的至少一部分转移到方向盘总成104的框架的其他合适的材料来形成。安装支架301也可以与方向盘总成104的中央部分112一体形成或模制。
壳体303包括后表面304,其邻近方向盘总成104的后盖126设置,上表面323,其相对于后表面304横向地延伸,以及侧面324,其从上表面323的侧边缘地向下延伸并相对于后表面304横向。后表面304、侧面324以及上表面323在它们之间限定了区域,该区域配置为适配地包围安装支架301的主体355的至少一部分。上表面323可包括翅片325,其在从壳体303的前周边到后表面304的方向上延伸,并且在侧表面324之间的方向上彼此分开且彼此间隔开。这些翅片325提供更大的表面积,从而作为更有效的散热器,并为壳体303的上表面323提供结构加固。
在图17B所示的实施方式中,后表面304与方向盘总成104的后盖126齐平或在同一平面内。然而,如图18B和图19B所示的实施方式中,后表面304’,304”分别与后盖126’,126”不齐平,而是布置在从包括了后盖126’,126’的平面向内(分别朝向组件104’,104”的前部)伸展的平面中。
在图12-图15以及图17A所示的实施方式中,壳体303的上表面323和侧表面324限定了大致矩形的周边。周边沿上表面323可以是稍微弓形的形状和/或在上表面323和侧表面324之间具有圆角,以在美学上与方向盘总成104融合。
然而,在图18A-图18B所示的实施方式中,壳体303’的上表面323’限定了周边,该周边包括从方向盘总成104’向上延伸的圆形的半圆形中心部分380,并且壳体303’的侧表面324’相对于中心部分380成角度或偏斜。该形状可以在美学上与图18A和图18B所示的方向盘总成104’的形状融合。并且,在图19A和19B所示的实施方式中,壳体303'的上表面323’限定了包括从方向盘总成104’向上延伸的梯形中心部分385的周边。壳体303’的侧表面324’相对于中央部分385或彼此成角度或偏斜。该形状可以在美学上与图19A所示的方向盘总成104’的形状融合。
成像单元108邻近安装支架301的主体355的中心部分联接到安装支架301。在图13A-图15所示的实施方式中,成像单元108是相机120,相机120包括镜头320,例如可调整镜头或固定镜头。相机镜头320设置在相机120的远端,并且光经由镜头320进入相机120。如图14所示的实施方式中,使用至少一个侧固定螺钉375将相机镜头320固定到相机120,并且使用螺钉376将相机120连接到安装支架301。但是,如上所述,在其他实施方式中,可以使用其他类型的成像单元并且其他紧固机构可以用于将相机120联接到安装支架301和/或在壳体303内。
另外,在一些实施方式中,光源122联接到安装支架301,并邻近成像单元108设置。例如,在图13A-图15所示的实施方式中,光源122包括两个印刷电路板352,每个印刷电路板具有布置在其上的四对LED 354。印刷电路板352中的一个在成像单元108的右侧联接到安装支架301,另一个印刷电路板在成像单元108的左侧联接到安装支架301。在印刷电路板与安装支架301之间设置有用于在印刷电路板与安装支架301之间传递热量的热耦合材料330。热耦合材料330可以是热耦合垫,例如其内布置有导热材料的泡沫垫或热耦合膏。例如,热耦合垫可以在其两侧上包括用于附接到印刷电路板的后表面和安装支架301的基座355的前表面的粘合剂。除了粘合剂之外,或者作为粘合剂的替代,每一个垫可限定与在印刷电路板和安装支架中限定的开口对准的开口,以容纳螺钉350,从而将垫和印刷电路板352固定到安装支架301。
在各种实施方式中,从光源122发射的光在穿过镜头305之前可能从镜头305内部反射或以其他方式到达相机镜头320或其他类型的成像单元108。为防止来自光源122的光在离开镜头305之前进入成像单元108中,可以在成像单元108的远端与光源122之间设置遮光材料。例如,如在图15中所示,诸如聚合泡沫、硅树脂、橡胶等的可压缩材料的环322可以在相机镜头320的远端与镜头305的后表面307之间延伸。环322是环形的,以对应于相机镜头320的外周,但是在其他实施方式中,环322可以成形为对应于其他类型的成像单元108的周边。可压缩材料允许在保持与可压缩材料接触的同时沿镜头305的方向调节(例如,放大或缩小)相机镜头320。在其他实施方式中,可以将遮光材料设置在印刷电路板352和镜头305之间,以防止来自LED 354的光在离开镜头305之前被接收到成像单元108中。在其他实施方式中,遮光材料可以在成像单元108或安装支架301与OMS镜头305之间延伸。
此外,可以使用各种紧固机构将遮光材料固定在适当的位置,各种紧固机构例如为螺钉、钩子、夹子或本领域已知的任何其他形式的机械紧固件,或者使用粘合剂(例如,胶合)、焊接、焊接或任何其他本领域已知的紧固技术,螺纹(例如DSLR相机滤镜环)和/或其组合。
如图20所示,将光源122和成像单元108耦接到至少一个处理器和/或电源的电线可以从方向盘总成104的中心部分112延伸穿过后盖126中构造成用于联接转向轴106的开口。如上所述,导线可以电耦接到汽车时钟弹簧50的转子54中的处理器202a、汽车时钟弹簧50的定子52中的处理器202b,和/或电耦接到设置在汽车时钟弹簧50外部的一个或多个处理器。此外,在一些实施方式中,导线可以耦接到布置在壳体301内的处理器202c,并且处理器202c可以联接在安装支架301上或以其他方式布置在壳体301中。如上所述,处理器202c可以耦接到汽车时钟弹簧50的转子54中的处理器202a和/或时钟弹簧50的定子52中的处理器202b。并且,在一些实施方式中,处理器20可以将印刷电路板352布置在图14所示的印刷电路板352之一或两个上。另外,在一个实施方式(未示出)中,OMS 100可以包括一个印刷电路板,在该印刷电路板上布置有处理器202c和光源122。
镜头305包括前表面306、与前表面306相对的后表面307、上周边308、下周边310以及在上周边308和下周边310之间延伸的侧周边309。后表面307布置成面向成像单元108,前表面306布置成面向车辆的内部。
在成像单元108检测红外图像信号的实施方式中,镜头305可以配置为光学地阻挡可见光并且允许红外光穿过镜头305。例如,镜头305可以由聚(甲基丙烯酸甲酯)(PMMA)或其他丙烯酸类材料形成。在图12-图13B所示的实施方式中,镜头305由聚丙烯酸脂塑料形成,聚丙烯酸脂塑料是由赢创工业集团制造的PMMA,它是丙烯酸1146-0级的黑色材料。聚丙烯酸脂塑料对可见光是不透射的,但允许透射大约750纳米的红外光。聚丙烯酸脂塑料还可以阻止紫外线的传播。图16示出了以光以各种波长穿过聚丙烯酸脂塑料的百分比。如图所示,大约750纳米以下的光没有穿过聚丙烯酸脂塑料。镜头305可以进一步切割自可见光阻挡材料片或模制成特定形状。
在其他实施方式中,镜头可以由任何聚碳酸酯材料形成,例如,聚碳酸酯(例如,LEXAN)、丙烯腈丁二烯苯乙烯聚碳酸酯(ABS-PC)、PC-ABS、丙烯酸-苯乙烯-丙烯腈三元共聚物聚碳酸酯(ASA-PC)或其他以聚碳酸酯为主要合金元素的塑料。另外,镜头可例如由玻璃、乙酸丁酸纤维素(CAB)或丁酸、二醇改性的聚对苯二甲酸乙二醇酯(PET-G)或其他聚合物形成。
此外,在一些实施方式中,可以将光学膜或涂层/涂料施加到镜头305的后表面307或前表面306中的一个或两个上,以阻挡可见光和/或UV光并允许红外光的透射。
图12-图19B所示的镜头305是平坦的,但是在其他实施方式中,镜头可以是弯曲的。
在图12-图19B所示的实施方式中,装饰件340和镜头支撑件360用于防止镜头305相对于壳体303和方向盘总成104运动。特别地,装饰件340包括上部341和侧部342。上部341的形状设计成遵循壳体303的上部323的前周边的形状,并且侧部342的形状设计成遵循壳体303的侧部324的前周边的形状。镜头305布置在壳体303的前周边与装饰件340之间,以固定镜头305的上周边308和侧周边309,从而免于相对于壳体303移动。此外,镜头支撑件360具有细长的主体并包括上表面361,该上表面361限定了沿细长主体的长度延伸的通道362。镜头支撑件360布置在邻近安装支架301联接到方向盘总成104的位置处,并且在装饰件340的侧部342的前周边之间延伸。镜头305的下周边310的至少一部分与通道362接合以防止镜头305的下周边310相对于壳体303移动。镜头支撑件360还可覆盖方向盘总成104的中心轮毂116和镜头下周边310之间的间隙。然而,在其他实施方式中,可以将镜头305固定在壳体303上而无需任何装饰件或镜头支撑件,可以将镜头305通过单个或多个装饰件固定,或者可以将镜头305通过壳体和镜头支撑件固定而不需要任何装饰件。
装饰件340包括从每个侧部342向内延伸的凸片344。每个凸片344限定开口346,该开口与穿过壳体303限定出的开口348和穿过安装托架301限定出的开口357对准。为了将装饰件340和壳体303固定在安装支架301上,螺钉350通过装饰件340、壳体303以及安装支架301两侧的对准的开口346、348、357进行接合。
装饰件340可以由诸如塑料、金属、玻璃或陶瓷材料的刚性材料形成。另外,在装饰件340中可以被染色、涂覆、电镀或涂上特定的颜色。例如,在图12-图17B所示的实施方式中,装饰件340涂覆、镀覆或涂有铬颜色。然而,在其他实施方式中,装饰件340可以被不同地着色,例如黑色或灰色以匹配壳体或方向盘总成。
类似地,镜头支撑件360可以由类似的刚性材料形成,并且还可以被染色、涂覆、镀覆或涂上特定的颜色。另外,镜头支撑件360可以通过螺钉、夹子、粘合剂或其他合适的紧固机构联接到安装支架301。在图12-图15所示的实施方式中,镜头支撑件360包括从镜头支撑件360的下表面363延伸的凸台364。凸台364限定了与在安装支架301中限定的开口对准的开口。螺钉350接合在镜头支撑件360和安装支架301中的对准的开口中,以将镜头支撑件360固定在安装支架301附近。在图12至图20所示的实施方式中,OMS 100的各种组件联接到方向盘总成的中心部分112。如上所述,通过将成像单元108联接到中央部分112,成像单元108更靠近车厢中的一个或多个乘员,因此与将成像单元放置在车辆中乘员之外的位置(例如转向柱106或车厢内其他位置)相比,这可以接收成像区域的更高分辨率的图像信号。此外,当基于转向角或角旋转速率来调整图像信号时,将成像单元108联接到中央部分112实现更大的视场。另外,通过将成像单元联接到方向盘总成的可旋转部分,当方向盘总成相对于驾驶员或其他乘员的位置向上倾斜或延伸时,成像单元的视野不会被方向盘总成的可旋转部分进一步遮挡。
另外,在以上关于图12至图20描述的实施方式中,成像单元108对于驾驶员或其他乘员不可见,这防止了OMS 100分散驾驶员或使驾驶员或其他乘员分心。此外,以上关于图12至图20描述的实施方式的模块化允许将OMS 100更快速和容易地集成到现有的和新的方向盘总成104中。通过将壳体303和其他组件设置在方向盘总成104的后盖126附近,与将组件联接到更靠近驾驶员安全气囊区域的可展开表面的方式相比,从OMS 100组件布线时更容易,并且允许壳体303联接到不可展开的表面。此外,通过将OMS 100布置在方向盘总成104的轮毂116的上部上,即使在方向盘总成旋转期间,OMS 100也能不受阻碍地看到车辆的乘员,并且OMS 100仅布置在在驾驶员视场范围内的仪表板下方,可减少分心的情况。
如本文所提供的,OMS 100可以用于监测车辆中的驾驶员或其他乘员。使用OMS100来监测驾驶员或其他乘员可以包括将OMS 100提供和/或联接到车辆的方向盘总成104。OMS 100可以包括本文描述的任何/所有OMS 100组件。如上所述,OMS 100可以包括成像单元108,该成像单元108配置为捕获与车辆中的成像区域110相对应的图像信号,其中成像区域110囊括了驾驶员和/或其他乘员。成像单元108可以例如固定至方向盘、转向柱或仪表板。在一些实施例中,成像单元可以固定到铰接式相机安装结构。在其他实施方式中,成像单元108可以配置为与方向盘总成104的中央部分112一起旋转。方向盘总成104可以配置为相对于车辆的转向柱106旋转。
监测驾驶员和/或乘员可以还包括捕获与车辆中的成像区域110相对应的图像信号,并处理该图像信号以识别分析区域。可以对分析区域进行分析以确定乘员信息参数,然后可以对乘员信息参数进行分析以确定乘员状态。然后可以基于所确定的乘员状态来提供输出信号。在一些实施方式中,OMS 100还可以包括处理单元200,以执行OMS 100的处理、分析和输出步骤中的一个或多个。车辆还可以包括与OMS 100分离的处理单元200,其中OMS100的处理、分析以及输出步骤中一个或多个步骤由该(远程)处理单元200执行。
在一些实施方式中,OMS 100用于在半自动或自动驾驶模式期间监测乘员。半自动或自动驾驶模式指示了这样一种驾驶状态:其中车辆在无需特定驾驶员输入的情况下至少部分地运作。例如,半自动或自动驾驶模式包括车辆在不要求驾驶员接触方向盘、加速、制动和/或改变车道的情况下运作的操作模式。在半自动或自动驾驶模式下,乘员在完全操作车辆时所优选的空间位置可能不是监测同一乘员的最佳位置。驾驶员(或其他乘员)设定的空间位置取决于乘员的舒适度和查看车辆周围环境的能力,而在半自动驾驶或自动驾驶模式期间,乘员的最佳定位至少部分地基于OMS在成像单元108的FOV内完全捕获乘员的能力。在一些实施方式中,OMS 100在半自动或自动驾驶模式下监测乘员,以确保乘员处于最佳空间位置、精神状态、物理状态,从而在半自动或自动驾驶***与驾驶员之间交换某种程度的控制。
例如,在一些实施方式中,OMS 100识别乘员是否处于不安全的位置,例如是否太靠近仪表板、挡风玻璃或安全气囊。如果乘员处于不安全位置,则会生成调整信号并将其传送到座椅定位***,以将乘员移动到更安全的位置。
图21是处理器202与成像单元108、存储器204以及用户界面420交互的示意图,其目的是接收外部信号416并将调整信号传送至车辆控制***418。如下面关于图22所描述的,存储在存储器204上的计算机可读指令422促使处理器202启动监测循环。在所示的实施方式中,存储器204存储各种数据集,例如监测条件数据集423,当前和较旧的乘员数据集426、428以及用户标识数据集424,所有这些都将在下面更详细地描述。而图尽管图22示出了包括有监测循环的方法,但是应当理解的是,可以在不需要监测循环的情况下执行某些监测过程(即,通过分析单个图像)。
图22示出了监测车辆乘员的方法400。该方法包括监测循环,在该监测循环中,周期性地使用从OMS 100接收的信息来生成调整信号,以传送至一个或多个车辆控制***(VCS)418。参照图22,方法400开始于步骤402,其中接收到外部信号416。响应于接收到外部信号416,处理器202在成像单元108的视场(FOV)中捕获图像,如步骤404所示。外部信号416可例如包括车辆发动机的启动、车门的解锁(例如,通过无线信号或手动锁)、座椅位置设置的调整、转向总成位置设置的调整、安全带扣的锁定或解锁、来自用户界面的请求和/或来自至少一个VCS 418的车辆以半自动或自动驾驶模式运行的信号。在一些示例中,外部信号可以指明:乘员位于座椅上,或者乘员与方向盘或至少一个仪表板控件接触。因此,即使乘员不在成像单元108的FOV内,外部信号也可以向OMS 100指明乘员仍在车内。接下来,在步骤406,处理器202分析图像以确定是否至少满足了一个监测条件。该分析的决策步骤被显示为步骤408。监测条件是用于确定乘员是否处于能够由OMS 100进行监测的状态或位置的规则。如果不满足监测条件,则计算机可读指令422促使处理器202产生调整信号(步骤410),并将调整信号传送到VCS 418(步骤412)。VCS 418可以包括但不限于座椅定位***、转向总成定位***、后视镜定位***、车窗定位***、扶手定位***、乘员“留守”监测***、半自动或自动驾驶***、灯光***和/或安全带定位***。在一些实施方式中,尤其是在半自动或自动驾驶模式期间,方向盘和转向柱可以被分离并控制为两个单独的车辆控制***。当车辆在半自动或自动驾驶模式下操作时,将方向盘与转向柱解耦可启用辅助非驾驶控制功能(例如,作为信息输入和/或监测的途径;例如工作站)。在这种情况下,如果VCS要求转换回正常驾驶,则方向盘可以提供有关需要驾驶员恢复正常驾驶控制然后提供正常转向功能的信息。无论是否满足监测条件,都在步骤414中重复监测循环。监测循环的重复可以自动进行,而无需来自乘员的输入。备选地,可以捕获并分析单个图像以确定是否满足监测条件。处理器202可以基于该单个图像生成并传送调整信号。
监测条件可以考虑到任何先前描述的乘员信息参数。监测条件可以例如是FOV中的乘员的存在、FOV内的乘员的位置、乘员到成像单元108的接近度、乘员的面部的面积和距离,和/或乘员的面部的角度。例如,如果乘员不存在FOV的中心,会触发调整信号的产生并将其传送到座椅定位***以将乘员移近FOV。附加地或替代地,如果乘员离成像单元108太远,则调整信号可被生成并传送至转向总成定位***以将转向总成移近乘员,或者如果乘员离成像单元太近,则将转向总成移远。在成像单元108位于转向柱或方向盘上的实施方式中,可以调整转向柱和/或方向盘与乘员之间的距离以允许成像单元108更准确地可视化乘员的生物学或情绪状态,例如心率、呼吸频率、面部表情和/或眼球运动。调整信号可以例如包括座椅高度、座椅角度、座椅到成像单元108的接近度、转向柱106的角度和/或长度、转向柱的伸缩设置和/或方向盘总成104低的角度的改变。调整信号也可以引起车辆内一个或多个照明***的变化,以更好地实现OMS 100对乘员的可视化。并且,在一些实施方式中,调整信号可能会影响成像单元108的一部分。例如,可以调整成像单元108的镜头或角度以减少刺眼的眩光,该刺眼会遮盖有关乘员注视的信息。
图23示出了根据一种实施方式的分析捕获的图像的方法430。该方法430提供了执行图22所示的方法400的步骤406的示例性方式。从步骤432开始,生成当前乘员数据集426。当前乘员数据集426是数字描述图像的乘员信息参数的集合。例如,当前乘员数据集426可包括与乘员在FOV中的存在、乘员在FOV内的位置、乘员对成像单元的接近度、乘员的面部的面积、乘员面部的角度和/或乘员其他身体部位(例如颈部、胸部、腹部、手臂、腿、手和/或脚)的位置、面积以及角度有关的至少一个值。
接下来,在步骤434中,将当前乘员数据集426与存储在存储器204中的监测条件数据集423进行比较,以确定是否满足监测条件。监测条件数据集423保存有一个或多个乘员信息参数的可接收数值的范围(关于乘员是否能够被适当监测)。例如,如上所述,一种监测条件可以是乘员是否位于FOV内。对于此特定监测条件,监测条件数据集保存有一组与乘员相对于FOV的中心和/或周边的位置相关的可接收值范围,以允许OMS监测乘员。例如,可以对范围进行设置以确保覆盖区域,使得即使乘员的头部和/或其他乘员身体部位平移和/或旋转,该覆盖区域也能够连续跟踪面部和/或其他乘员身体部位,启用连续主动跟踪功能,以解决乘员的位置偏移(例如,如果乘员随时间逐渐沉入座椅中)。另一个监测条件可以包括乘员的身体部位到成像单元108的距离。监测条件数据集423可以存储能够实现面部特征和/或其他身体部位的特征的可接收分辨率的距离范围。
仍然参考图23,一旦将当前乘员数据集426与监测条件数据集进行比较,则处理器在步骤436中确定是否满足监测条件,这对应于图22的步骤408。如果不满足监测条件,则可以基于当前乘员数据集和监测条件数据集之间的偏差来产生调整信号。然后将调整信号传送到VCS 418,并且在一些实施方式中,可以如图22所示重复监测循环。
参考图23的步骤438,当前乘员数据集426也可以带有时间戳地存储到存储器204(或其他存储器)。存储具有时间戳的当前乘员数据集426使得能够将当前乘员数据集426与一个或多个较早乘员数据集428进行比较,这在步骤440中示出。例如,较早乘员数据集428可以包含关于乘员优选位置值的信息作为用户标识数据集424的一部分。当前乘员数据集426与优选位置值的偏差可能会导致处理器202基于乘员优选位置值生成调整信号,并将该调整信号传送给VCS 418,这在图27中的步骤568和570中示出并在下面描述。
图24示出了监测和预警车辆乘员的方法460。方法460开始于步骤462,其中从成像单元108的视场捕获图像。在步骤464中分析图像,并且在步骤468中,处理器202确定是否满足监测条件。图24的步骤462、464和468分别对应于图22所示的方法400的步骤404、406和408。在步骤470中,处理器202确定监测循环数量是否已经超过预定阈值。如果监测循环数量已经超过预定阈值,则在步骤472中产生警报信号,并在步骤474中将警报信号传送给乘员。与乘员的通信可以例如包括音频警报、灯光或触觉警报。触觉警报可以例如包括乘员座椅、方向盘和/或安全带的振动。在步骤474中警示乘员之后,OMS可以继续在步骤478、480和482中进行调整尝试,或者中止监测并退出半自动或自动驾驶模式,如步骤476所示。在一些实施例中,处理器202可以基于对单个图像的捕获和分析来生成警报信号(即,不需要监测循环)。
图25示出了进入半自动或自动驾驶模式的方法490。该方法开始于步骤492,其中以请求的形式接收外部信号,以检查一个或多个监测条件以与半自动或自动驾驶模式相兼容。然后,在步骤494中在成像单元108的FOV内捕获图像并且在步骤496中对其进行分析。在步骤498,处理器202确定是否满足监测条件。如果满足监测条件,则在步骤510中,处理器202生成授权信号以启动半自动或自动驾驶模式以与VCS 418通信。VCS 418可以例如是半自动或自动驾驶模式***或任何上述车辆控制***。如步骤512中所示,处理器202将乘员优选的位置信号传送到诸如座椅定位和/或转向总成定位***之类的VCS 418。在半自动或自动驾驶模式下,乘员优选的位置信号与乘员优选的位置相关。乘员优选位置信号使车辆控制***418(例如座椅定位***和/或转向总成定位***)将座椅或转向总成调整到其乘员优选位置。
仍然参考图图25,如果在步骤498中不满足监测条件,则处理器202采取另外的支路。在步骤500,处理器202确定监测循环周期的数量是否已经超过预定阈值。如果监测循环周期的数量未超过预定阈值,则处理器继续通过VCS 418进行调整,如步骤506和步骤508所示,并重复监测循环,如步骤514所示,以尝试满足监测条件。如果监测循环周期的数量已经超过预定阈值,则在步骤502,处理器202生成禁止信号以用于与VCS 418通信,该VCS 418例如是半自动或自动驾驶***或上述车辆控制***中的任何一个。禁止信号禁止VCS 418采取半自动或自动驾驶模式。处理器202还可以生成用于与VCS 418(例如座椅定位***和/或转向总成定位***)通信的限制信号。限制信号可能会降低乘员调整转向总成和/或座椅位置的能力,从而当在步骤514中重复执行监测循环时,乘员的移动不会混淆其他调整VCS的尝试(步骤506和步骤508)。在一些实施例中,处理器202可以基于对单个图像的捕获和分析来生成限制信号或禁止信号(即,不需要监测循环)。
图26示出了切换到乘员控制的驾驶模式的方法530。方法530可以由三个开始步骤532、534或536中的任何一个开始。在步骤532中,处理器202从VCS 418接收信号,指明车辆正在进入乘员控制的驾驶模式。发送信号的VCS 418可以是例如半自动或自动驾驶***。备选地或附加地,如步骤534中所示,处理器202可以检测到对指明了车辆正在半自动或自动模式下运行的信号的中止。备选地或附加地,如步骤536所示,处理器202可以接收信号以中止半自主或自主驾驶模式。该信号可以来自VCS 418或例如来自用户界面420,如下面详细讨论的。这些步骤中的任何一个都可以导致监测循环的中止,如步骤538所示。然后,在步骤540中,处理器202生成由乘员控制的驱动信号。乘员控制的驾驶信号与乘员优选位置信号相关联。在步骤542中,处理器202检索与乘员控制的驾驶信号相关联的乘员优选位置信号,并将该乘员优选位置信号传送至VCS 418,例如座椅定位***或转向总成定位***。然后,VCS 418改变一个或多个乘员接口设备的空间位置,以呈现其乘员优选位置。
图27示出了处理用户界面输入的方法560。该方法开始于步骤562,其中处理器202从用户界面420接收用户输入。用户界面可以例如包括屏幕、按钮、摇臂开关、旋转拨盘、操纵杆和/或麦克风以接收语音命令。用户输入也可以经由车辆中被配置为从乘员接收手势的其他部件来接收。利用手势感测,乘员通过对车轮、立柱、中控台、相机或车辆的任何其他可与处理器集成的组件的可识别触摸,将指令传送给OMS 100。感测到的示例性手势包括乘员在仪表板上向右滑动以进入半自动或自动驾驶模式,或者乘员以特定方式与方向盘接触以指示期望进入乘员控制的驾驶模式。例如,与方向盘接触可以包括例如:取决于方向盘是要与转向***耦接还是从转向***解耦而触摸或旋转方向盘。OMS可检测到的手势不限于需要身体接触设备的手势。这些手势可以包括在指定区域内邻近或靠近物理设备的自由空间中的手的运动(例如,将手移向灯光控制)。在一些实施方式中,例如,转向总成控制***配置为向处理器202传达乘员进入乘员控制的驾驶模式的愿望。然后,处理器202将调整信号发送至座椅定位***,以采取乘员控制的驾驶位置。
在一些实施例中,用户输入可以用于创建用户标识(ID)信号。例如,用户输入可以是指纹、脉管***图像、音频标识符(例如语音匹配或密码)、视网膜扫描、触觉信号(例如摩尔斯电码或备选的敲击代码)或数字和/或字母识别码。然而,用户ID信号也可以以其他方式生成。例如,可以分析由成像单元108捕获的图像创建当前乘员数据集,并且将当前乘员数据集与较早存储的图像进行比较以识别乘员。在方法560的步骤564中,将用户ID信号与存储在存储器204中的用户ID数据集424进行匹配。用户ID数据集424包括与先前使用过OMS100的乘员相关联的用户参数。在步骤566,处理器202访问作为特定用户ID数据集424的一部分的乘员优选位置值。在步骤568,处理器202基于乘员优选位置值生成调整信号,并且在步骤570,处理器202将调整信号传送到VCS 418。例如,处理器202可将调整信号传送到座椅定位***和/或转向总成定位***。
备选地,如步骤572所示,可以基于给定的用户输入,例如乘员身高和/或体重,产生调整信号。例如,如果无法在成像单元108的FOV内捕捉到乘员,则可以将调整信号发送到座椅定位***以升高或降低座椅,直到可以捕捉到乘员的面部和/或其他身体部位为止。例如,如果成像单元108位于转向柱106上,则可以调整转向柱的角度或长度以适当地捕获FOV内的乘员的面部和/或其他身体部位。在另一示例中,乘员可以在半自动或自动模式期间手动调整座椅位置以进行放松。OMS 100识别出乘员不再在FOV内,并相应地调整转向总成以将成像单元108带到更好的位置以监测乘员。
在某些情况下,用户输入可以传送进入乘员控制驾驶模式的愿望,如步骤574所示。作为响应,在步骤576中,处理器202移至图26的步骤536(接收到信号以中止半自动或自动驾驶模式)。备选地,用户输入可以传送进入半自动或自动驾驶模式的期望,如步骤578所示。作为响应,在步骤580中,处理器202移动到图25的步骤492。在指示希望进入半自动或自动驾驶模式时,处理器202可以生成反映乘员的优选“放松模式”位置(例如,座椅倾斜、转向总成稍微缩回)的调整信号并传送该信号到OMS 100。OMS 100确保乘员的优选“放松模式”位置继续使乘员能够进行监测并相对于车辆的其他元件保持安全的定位。在一些实施例中,成像单元108可以配备有广角镜头或独立铰接的相机,以使乘员能够在仍被监测的同时在车辆的较大区域中放松。广角镜头或铰接的相机可以减少乘员放松时座椅或转向总成的调整数量。
在一些实施方式中,除非满足监测条件,否则OMS 100可以配置为限制汽车启动。
在一些实施方式中,例如,当成像单元108定位在转向柱上时,方向盘的旋转可以暂时阻碍乘员的视线。在这种情况下,监测循环可能会暂时暂停,直到获得清晰的乘员视图为止。此外,在半自动或自动驾驶模式下,如果辐条挡住了相机,则可能会旋转与转向***解耦的方向盘。
在一些实施方式中,由于驾驶模式的改变,可以更新乘员位置,而无需使用OMS100。这种乘员定位***将用户界面420和/或车辆控制***(VCS)418与处理器202和座椅和/或转向总成定位***集成在一起。例如,来自用户界面420的用户输入和/或来自VCS418的信号可以使处理器202将车辆转换成(或脱离)自动或半自动驾驶模式。在接收到用户请求或VCS 418生成的进入半自动或自动驾驶模式的信号后,处理器202可以生成反映了半自动或自动驾驶模式的乘员优选“放松模式”位置的信号(例如,座椅倾斜、转向总成略微缩回)。与半自动或自动驾驶模式相关的乘员优选位置信号使VCS 418(例如,转向总成定位***和/或座椅定位***)分别移动方向盘和/或座椅的位置,以适应半自动或自动驾驶的乘员优选位置。同样,在接收到用户请求或VCS 418生成的进入乘员控制的驾驶模式的信号后,处理器202可以生成使转向总成定位***和/或座椅定位***分别移位方向盘和/或座椅以适应乘员控制驾驶的乘员优选位置。与乘员控制驾驶模式相关联的乘员优选位置信号使VCS 418(例如,转向总成定位***或座椅定位***)分别转移转向总成或座椅位置,以适应乘员控制驾驶的乘员优选位置。尽管OMS 100可以助于确保乘员也处于持续监测的最佳位置,但对于给定的驾驶模式,不必确保转向总成和/或座椅处于乘员的优选位置。
图28示出了在转向总成的位置上设置边界的方法590。在将成像单元108定位在转向总成上的实施方式中,乘员对转向总成的运动会导致成像单元108处于次佳监测位置。方法590将转向总成的运动限制在能够满足监测条件的位置。为了在转向总成位置上设置边界,处理器202在步骤592中接收车辆发动机已经启动的信号。在步骤594中,从成像单元108的FOV捕获一个或多个图像。在一些实施方式中,转向总成可能会在多次捕获之间自动移动,以从多个转向总成位置获取图像(以便边界计算会利用多个转向总成位置)。在596中分析一个或多个图像。在步骤598,基于图像分析来计算转向总成位置边界。在步骤600中,将转向总成的运动限制在所计算的边界内的位置。因此,乘员不能手动地将转向总成移动到边界范围之外的位置。在一些实施方式中,可以在使车辆运动之前限制转向总成的运动。
尽管前面的描述和附图代表了本发明的优选实施方式,但是应该理解的是,在不脱离所附权利要求所限定的本发明的精神和范围的情况下,可以在其中进行各种添加、修改、组合和/或替换。特别地,对于本领域技术人员将清楚的是,在不脱离本发明的精神或本质特征的情况下,本发明可以以其他特定形式、结构、布置、比例以及其他部件、材料和组件来实施。本领域的技术人员将理解的是,本发明可以在结构、布置、比例、材料以及组件上进行许多修改,并且在本发明的实践中以其他方式使用,这些修改特别适合于特定的环境和操作要求而不会脱离本发明的原理。另外,本文描述的特征可以单独使用或与其他特征结合使用。因此,当前公开的实施方式在所有方面都应被认为是说明性的而不是限制性的,本发明的范围由所附权利要求指明,并且不限于前述描述。
本领域技术人员将理解的是,可以在不脱离各种实施方式广泛的发明构思的情况下对上述实施方式进行改变。因此,应理解的是,本发明不限于所公开的特定实施方式,而是旨在涵盖的本发明的由所附权利要求所限定的精神和范围内的修改。

Claims (162)

1.一种用于监测至少一个车辆乘员的乘员监测***OMS,所述OMS包括:
成像单元,其布置在车辆内,所述成像单元具有指向所述至少一个车辆乘员的视场FOV,以及
处理器,与设置在所述车辆内的所述成像单元、存储器以及一个或多个车辆控制***通信,其中,所述处理器执行存储在所述存储器中的计算机可读指令,所述指令促使所述处理器在收到外部信号时启动监测循环的循环,所述监测循环包括:
在所述成像单元的FOV中捕获图像,
分析所述图像以确定是否满足至少一个监测条件,其中,所述监测条件包括乘员眼睛在所述FOV的分析区域内的位置,所述分析区域限定乘员眼睛相对于FOV中心的相对位置的可接收值范围,以及
如果不满足所述监测条件,则产生对至少一个车辆控制***的调整信号,其中,所述调整信号包括调整座椅定位***或转向总成定位***以使乘员眼睛相对于所述FOV中心处于所述可接收值范围内的指令。
2.根据权利要求1所述的OMS,其中,所述OMS与所述座椅定位***和所述转向总成定位***通信,并且其中,所述计算机可读指令还促使所述处理器将所述调整信号传送至所述座椅定位***或所述转向总成定位***。
3.根据权利要求1所述的OMS,其中,所述调整信号包括关于座椅高度、座椅角度、座椅与所述成像单元的接近度或其组合的信息。
4.根据权利要求1所述的OMS,其中,所述调整信号包括关于转向柱角度、转向柱长度或方向盘角度的信息。
5.根据权利要求1所述的OMS,其中,所述成像单元定位在所述车辆的方向盘、方向盘柱或仪表板上。
6.根据权利要求1所述的OMS,其中,所述计算机可读指令还促使所述处理器重复所述监测循环。
7.根据权利要求6所述的OMS,其中,所述计算机可读指令还促使所述处理器在没有来自乘员的输入的情况下重复所述监测循环。
8.根据权利要求1所述的OMS,其中,所述监测条件包括以下条件中的至少一项:所述FOV中有所述乘员的存在、所述FOV内的所述乘员的位置、所述乘员与所述成像单元的接近度、所述乘员的面部的面积和/或所述乘员的面部的角度。
9.根据权利要求1所述的OMS,其中,所述计算机可读指令还促使所述处理器:
基于捕获的图像生成乘员数据集,其中,所述乘员数据集的数据包括与所述FOV中的所述乘员的存在、所述FOV中的所述乘员的位置、所述乘员与所述成像单元的接近度有关、所述乘员的面部的面积、所述乘员的面部的角度、身体部位的位置、身体部位的面积和/或身体部位的角度相关的至少一个值。
10.根据权利要求9所述的OMS,其中,所述计算机可读指令还促使所述处理器:
将所述乘员数据集与监测条件数据集进行比较,以及
基于与所述监测条件数据集的偏差,产生用于传送至所述至少一个车辆控制***的调整信号。
11.根据权利要求9所述的OMS,其中,所述计算机可读指令还促使所述处理器:
将带有时间戳的所述乘员数据集存储到所述存储器中,以及
将一个或多个较新的乘员数据集值与一个或多个较旧的乘员数据集值进行比较。
12.根据权利要求6所述的OMS,其中,所述外部信号与所述车辆发动机的启动相关联。
13.根据权利要求6或12所述的OMS,其中,所述计算机可读指令还促使所述处理器:
基于在所述监测循环重复期间获得的一个或多个图像分析来计算转向总成位置边界,以及
将转向总成的运动限制在所述转向总成位置边界内的位置。
14.根据权利要求13所述的OMS,其中,限制所述转向总成的运动发送在使所述车辆运动之前。
15.根据权利要求13所述的OMS,其中,所述计算机可读指令还促使所述处理器确定在可能的转向总成位置范围内是否满足至少一个监视条件。
16.根据权利要求15所述的OMS,其中,所述至少一个监测条件是所述FOV内所述乘员的存在。
17.根据权利要求12所述的OMS,其中,所述计算机可读指令还促使所述处理器:
如果在预定数量的监测循环之后尚不满足监测条件,则生成用于传送至乘员的警报信号。
18.根据权利要求17所述的OMS,还包括将所述警报信号传送给所述乘员。
19.根据权利要求17所述的OMS,其中,所述警报信号包括用于使所述乘员就座的座椅振动的信号。
20.根据权利要求17所述的OMS,其中,所述警报信号包括用于使固定在所述乘员上方的安全带振动的信号。
21.根据权利要求1或6中所述的OMS,其中,所述外部信号是检查至少一个监测条件以与半自动或自动驾驶模式兼容的请求。
22.根据权利要求21所述的OMS,其中,如果满足所述监测条件,则所述计算机可读指令还促使所述处理器:
如果满足所述监测条件,则产生用于传送至车辆控制***以启动半自动或自动驾驶模式的授权信号。
23.根据权利要求21所述的OMS,其中,如果在预定数量的监测循环之后尚不满足所述监测条件,则计算机可读指令还促使所述处理器:
产生用于传送至车辆控制***以禁止半自动或自动驾驶模式的禁止信号。
24.根据权利要求21所述的OMS,其中,如果在预定数量的监测循环之后尚不满足所述监测条件,则所述计算机可读指令还促使所述处理器:
产生用于传送至车辆控制***的限制信号,所述限制信号会降低所述乘员的调整座椅和/或方向盘的能力。
25.根据权利要求6所述的OMS,其中,所述外部信号是来自至少一个车辆控制***的半自动或自动驾驶模式信号,所述半自动或自动驾驶模式信号指明所述车辆当前正在以半自动或自动驾驶模式运行。
26.根据权利要求25所述的OMS,其中,所述计算机可读指令还促使所述处理器:
从至少一个车辆控制***接收信号,所述信号指明所述车辆正在进入乘员控制驾驶模式,以及
响应于接收到乘员控制驾驶模式信号而结束监测循环。
27.根据权利要求25所述的OMS,其中,所述计算机可读指令还促使所述处理器:
检测来自所述车辆控制***的所述半自动或自动驾驶模式信号的中止,以及
响应于检测到所述半自动或自动驾驶模式信号的中止而结束所述监测循环。
28.根据权利要求27所述的OMS,其中,所述计算机可读指令还促使所述处理器:
在监测循环中止时生成乘员控制驾驶信号,并将与乘员控制驾驶模式相关的乘员优选位置信号传送到座椅定位***和/或转向总成定位***,其中,所述座椅定位***和/或转向总成定位***将座椅和/或转向单元的位置调整到与所述乘员优选位置信号相关联的乘员优选位置。
29.根据权利要求25所述的OMS,其中,所述计算机可读指令还促使所述处理器:
接收来自所述乘员的信号以中止所述半自动或自动驾驶模式信号。
30.根据权利要求29所述的OMS,其中,来自乘员以中止所述半自动或自动驾驶模式的所述信号从车辆控制***或用户界面发送到所述处理器。
31.根据权利要求25所述的OMS,其中,所述计算机可读指令还促使所述处理器:
将与半自动或自动驾驶模式所关联的乘员优选位置相关联的乘员优选位置信号传送到所述座椅定位***或所述转向总成定位***中至少一者,其中,所述座椅定位***或所述转向总成定位***将所述座椅或所述转向单元中至少一者的位置调整到与所述乘员优选位置信号相关联的所述乘员优选位置。
32.根据权利要求25所述的OMS,其中,所述计算机可读指令还促使所述处理器:
确定是否满足监测条件,以及
如果在预定数量的监测循环之后尚不满足所述监测条件,则生成用于传送至乘员的警报信号。
33.根据权利要求32所述的OMS,还包括将所述警报信号传送给所述乘员。
34.根据权利要求1所述的OMS,其中,所述处理器配置为从用户界面接收乘员输入,其中,所述乘员输入包括用户身份信号、乘员高度、乘员体重和/或乘员对车辆进入半自动或自动驾驶模式的期望,和/或所述乘员对所述车辆进入乘员控制驾驶模式的期望。
35.根据权利要求34所述的OMS,其中,所述用户界面配置为生成用于传送至所述处理器的外部信号,其中,所述外部信号是检查所述监测条件以与半自动或自动驾驶模式兼容的请求。
36.根据权利要求34所述的OMS,其中,所述用户界面配置为生成用于传送至所述处理器的外部信号,其中,所述外部信号将中止半自动或自动驾驶模式。
37.根据权利要求1所述的OMS,其中,所述外部信号指明所述乘员在座椅上。
38.根据权利要求37所述的OMS,其中,所述外部信号指明所述乘员与方向盘接触。
39.根据权利要求37所述的OMS,其中,所述外部信号指明所述乘员与至少一个仪表板控件接触。
40.根据权利要求1所述的OMS,其中,所述成像单元固定到方向盘、转向柱或仪表板中的一个。
41.根据权利要求40所述的OMS,其中,所述成像单元包括广角镜头。
42.根据权利要求40所述的OMS,其中,所述成像单元包括铰接式镜头。
43.根据权利要求1所述的OMS,其中,所述成像单元固定到铰接式相机安装结构。
44.一种监测至少一个车辆乘员的方法,所述方法包括:
接收到外部信号时,启动处理器内的监测循环的循环,其中,所述监测循环的步骤包括:
在成像单元的视场FOV中捕获图像,其中,所述FOV指向车辆乘员;
分析所述图像以确定是否满足至少一个监测条件,其中,所述监测条件包括乘员眼睛在所述FOV的分析区域内的位置,所述分析区域限定乘员眼睛相对于FOV中心的相对位置的可接收值范围;
如果不满足所述监测条件,则生成调整信号,其中,所述调整信号包括调整座椅定位***或转向总成定位***以使乘员眼睛相对于所述FOV中心处于所述可接收值范围内的指令;以及
将所述调整信号传送给所述座椅定位***或所述转向总成定位***中至少一者。
45.根据权利要求44所述的方法,还包括重复所述监测循环。
46.根据权利要求45所述的方法,还包括在没有来自乘员的输入的情况下重复所述监测循环。
47.根据权利要求44所述的方法,还包括:
基于捕获的图像生成乘员数据集,其中,所述乘员数据集的数据包括与所述FOV中的所述乘员的存在、所述FOV中的所述乘员的位置、所述乘员与所述成像单元的接近度有关、所述乘员的面部的面积、所述乘员的面部的角度、身体部位的位置、身体部位的面积和/或身体部位的角度相关的至少一个值。
48.根据权利要求47所述的方法,还包括:
将所述乘员数据集与监测条件数据集进行比较,以及
基于与所述监测条件数据集的偏差,产生用于传送至车辆的座椅定位***和/或转向总成定位***的调整信号。
49.根据权利要求47所述的方法,还包括将所述乘员数据集带有时间戳存储到处理器存储器中,并将一个或多个较新的乘员数据集值与一个或多个较旧的乘员数据集值进行比较。
50.根据权利要求45所述的方法,其中,所述外部信号与所述车辆发动机的启动相关联。
51.根据权利要求50所述的方法,还包括:基于在所述监测循环的重复期间获取的一个或多个图像分析来计算转向总成位置边界,以及将转向总成的运动限制在所述转向总成位置边界内的位置。
52.根据权利要求51所述的方法,其中,限制所述转向总成的运动发生在使所述车辆运动之前。
53.根据权利要求51所述的方法,其中,计算转向总成位置边界还包括评估关于确定在可能的转向总成位置范围内是否满足至少一个监测条件的能力。
54.根据权利要求53所述的方法,其中,所述至少一种监测条件是所述FOV内所述乘员的存在。
55.根据权利要求50所述的方法,还包括:在预定数量的监测循环之后,如果不满足所述监测条件,则生成警报信号,以及将所述警报信号传送给乘员。
56.根据权利要求55所述的方法,其中,产生所述警报信号包括使所述乘员就座的座椅振动。
57.根据权利要求55所述的方法,其中,产生所述警报信号包括使固定在所述乘员上方的安全带振动。
58.根据权利要求45所述的方法,其中,所述外部信号是检查至少一个监测条件以与半自动或自动驾驶模式兼容的请求。
59.根据权利要求58所述的方法,还包括:
如果满足监测条件,则生成授权信号,
将所述授权信号传送给车辆控制***,以及
响应于接收到所述授权信号而启动半自动或自动驾驶模式。
60.根据权利要求58所述的方法,还包括:
在预定数量的监测循环之后,如果尚不满足所述监测条件,则生成禁止信号,以及
将所述禁止信号传送给车辆控制***,其中,所述禁止信号禁止半自动或自动驾驶模式。
61.根据权利要求58所述的方法,还包括:
在预定数量的监测循环之后,如果尚不满足所述监测条件,则生成限制信号以降低乘员调整座椅和/或方向盘的能力,以及
将所述限制信号传送给车辆控制***。
62.根据权利要求45所述的方法,其中,所述外部信号是来自至少一个车辆控制***的半自动或自动驾驶模式信号,所述半自动或自动驾驶模式信号指明所述车辆当前正在以半自动或自动驾驶模式运行。
63.根据权利要求62所述的方法,还包括:
在所述处理器处从所述车辆控制***接收车辆正在进入乘员控制驾驶模式的信号,以及
响应于接收到乘员控制驾驶模式信号而结束监测循环。
64.根据权利要求62所述的方法,还包括:
检测来自所述车辆控制***的所述半自动或自动驾驶模式信号的中止,以及
响应于检测到所述半自动或自动驾驶模式信号的中止而结束监测循环。
65.根据权利要求64所述的方法,还包括:
在监测循环中止时,传送用于乘员控制驾驶模式的乘员优选位置信号,所述乘员优选位置信号被传送到所述座椅定位***或所述转向总成定位***中至少一者,其中,所述座椅定位***或所述转向总成定位***将座椅或转向单元的位置调整到与所述乘员优选位置信号相关联的预定乘员优选位置。
66.根据权利要求65所述的方法,还包括:
接收来自所述乘员的信号以中止所述半自动或自动驾驶模式。
67.根据权利要求66所述的方法,其中,来自乘员以中止所述半自动或自动驾驶模式的所述信号从车辆控制***或用户界面发送到所述处理器。
68.根据权利要求62所述的方法,还包括:
将用于半自动或自动驾驶模式的乘员优选位置信号传送到所述座椅定位***或所述转向总成定位***,其中,所述座椅定位***或转向总成定位***将所述座椅或所述转向单元的位置调整到与所述乘员优选位置信号相关联的预定乘员优选位置。
69.根据权利要求62所述的方法,还包括:
确定是否满足监测条件,以及
在预定数量的监测循环之后,如果尚不满足监测条件,则生成用于传送至乘员的警报信号。
70.根据权利要求69所述的方法,还包括将所述警报信号传送给所述乘员。
71.根据权利要求44所述的方法,还包括从用户界面接收乘员输入,其中,所述乘员输入包括用户身份信号、乘员身高、乘员体重和/或乘员对车辆进入半自动或自动驾驶模式的期望,和/或乘员对车辆进入乘员控制驾驶模式的期望。
72.根据权利要求71所述的方法,还包括:
在所述调整信号的产生中使用所述乘员输入,以及
将所述调整信号传送给至少一个车辆控制***。
73.根据权利要求72所述的方法,其中,所述调整信号包括关于座椅高度、座椅角度、座椅与所述成像单元的接近度或其组合的信息,并且其中,所述调整信号被传送到座椅定位***。
74.根据权利要求72所述的方法,其中,所述调整信号包括关于转向柱角度、转向柱长度或方向盘角度的信息,并且其中,所述调整信号被传送到转向总成定位***。
75.根据权利要求71所述的方法,其中,所述用户界面生成外部信号,并且将所述外部信号传送到所述处理器,其中,所述外部信号是检查监测条件以与半自动或自动驾驶模式兼容的请求。
76.根据权利要求71所述的方法,其中,所述用户界面配置为生成用于传送至所述处理器的外部信号,其中,所述外部信号将中止半自动或自动驾驶模式。
77.根据权利要求45所述的方法,其中,所述外部信号指明所述乘员在座椅上。
78.根据权利要求77所述的方法,其中,所述外部信号指明所述乘员与方向盘接触。
79.根据权利要求78所述的方法,其中,所述外部信号指明所述乘员与至少一个仪表板控件接触。
80.根据权利要求45所述的方法,其中,所述成像单元固定到方向盘、转向柱或仪表板中的一个。
81.根据权利要求80所述的方法,其中,所述成像单元包括广角镜头。
82.根据权利要求80所述的方法,其中,所述成像单元包括铰接式镜头。
83.根据权利要求44所述的方法,其中,所述成像单元固定到铰接式相机安装结构。
84.一种基于驾驶模式的改变来更新乘员位置的方法,所述方法包括:
在接收到外部信号时在处理器内生成位置信号,所述外部信号指明车辆正在进入乘员控制驾驶模式或半自动或自动驾驶模式;
将所述位置信号传送到座椅定位***或转向总成定位***中至少一者;
将座椅或转向单元的位置分别调整到预定的乘员优选位置,其中,所述座椅定位***或所述转向总成定位***调整为使得车辆乘员眼睛相对于成像单元的视场FOV中心处于可接收值范围内。
85.根据权利要求84所述的方法,其中,所述外部信号指明所述车辆正在进入半自动或自动驾驶模式,所述位置信号是针对半自动或自动驾驶模式的乘员优选位置信号,并且所述预定的乘员优选位置是半自动或自动驾驶模式的乘员优选位置。
86.根据权利要求84所述的方法,其中,所述外部信号指明所述车辆正在进入乘员控制驾驶模式,所述位置信号是用于乘员控制驾驶模式的乘员优选位置信号,并且所述预定的乘员优选位置是乘员控制驾驶模式的乘员优选位置。
87.根据权利要求84所述的方法,其中,所述外部信号是由用户输入生成。
88.根据权利要求84所述的方法,其中,所述外部信号由车辆控制***VCS生成。
89.一种用于基于驾驶模式的变化来更新乘员位置的定位***,所述定位***包括:
处理器,与布置在车辆内的存储器、用户界面和/或一个或多个车辆控制***通信,其中,当接收到指明车辆正在进入乘员控制驾驶模式或半自动或自动驾驶模式的外部信号时,所述处理器执行存储在所述存储器中的计算机可读指令,所述计算机可读指令促使处理器:
产生用于传送至座椅定位***和/或转向总成定位***的位置信号;
其中,所述位置信号促使所述座椅定位***和/或转向总成定位***分别将座椅和/或转向单元调整到预定的乘员优选位置,并且
其中,所述座椅定位***或所述转向总成定位***调整为使得车辆乘员眼睛相对于成像单元的视场FOV中心处于可接收值范围内。
90.根据权利要求89所述的定位***,其中,所述外部信号指明所述车辆正在进入半自动或自动驾驶模式,所述位置信号是针对半自动或自动驾驶模式的乘员优选位置信号,并且所述预定的乘员优选位置是半自动或自动驾驶模式的乘员优选位置。
91.根据权利要求89所述的定位***,其中,所述外部信号指明所述车辆正在进入乘员控制的驾驶模式,所述位置信号是针对乘员控制驾驶模式的乘员优选位置信号,并且所述预定的乘员优选位置是乘员控制驾驶模式的乘员优选位置。
92.根据权利要求89所述的定位***,其中,所述外部信号是由用户输入生成。
93.根据权利要求89所述的定位***,其中,所述外部信号由所述车辆控制***生成。
94.一种用于监测至少一个车辆乘员的乘员监测***OMS,所述OMS包括:
成像单元,其布置在车辆内,所述成像单元具有指向车辆乘员的视场FOV,以及
处理器,与设置在所述车辆内的成像单元、存储器以及一个或多个车辆控制***通信,其中,所述处理器执行存储在所述存储器中的计算机可读指令,其中在所述处理器接收到外部信号时,所述指令促使所述处理器:
在所述成像单元的视场中捕获图像,
分析所述图像以确定是否满足至少一个监测条件,其中,所述监测条件包括乘员眼睛在所述FOV的分析区域内的位置,所述分析区域限定乘员眼睛相对于FOV中心的相对位置的可接收值范围,以及
如果不满足所述监测条件,则向至少一个车辆控制***产生调整信号,其中,所述调整信号包括调整座椅定位***或转向总成定位***以使乘员眼睛相对于所述FOV中心处于所述可接收值范围内的指令。
95.根据权利要求94所述的OMS,其中,所述OMS与至少一个车辆控制***通信,并且其中,所述计算机可读指令还促使所述处理器将所述调整信号传送到所述至少一个车辆控制***。
96.根据权利要求94所述的OMS,其中,所述调整信号包括关于座椅高度、座椅角度、座椅与成像单元的接近度或其组合的信息。
97.根据权利要求94所述的OMS,其中,所述调整信号包括关于转向柱角度、转向柱长度或方向盘角度的信息。
98.根据权利要求94所述的OMS,其中,所述成像单元定位在所述车辆的方向盘、方向盘柱或仪表板上。
99.根据权利要求94所述的OMS,其中,所述监测条件包括以下标准中的至少一项:所述FOV中的所述乘员的存在、所述FOV内的所述乘员的位置、所述乘员与所述成像单元的接近度、所述乘员的面部的面积、所述乘员的面部的角度、身体部位的位置、身体部位的面积和/或身体部位的角度。
100.根据权利要求94所述的OMS,其中,所述计算机可读指令还促使所述处理器:
基于捕获的图像生成乘员数据集,其中,所述乘员数据集的数据包括与所述FOV中的所述乘员的存在、所述FOV中的所述乘员的位置、所述乘员与所述成像单元的接近度有关、所述乘员的面部的面积、所述乘员的面部的角度、身体部位的位置、身体部位的面积和/或身体部位的角度相关的至少一个值。
101.根据权利要求100所述的OMS,其中,所述计算机可读指令还促使所述处理器:
将所述乘员数据集与监测条件数据集进行比较,以及
基于与所述监测条件数据集的偏差,产生用于传送至至少一个车辆控制***的调整信号。
102.根据权利要求94所述的OMS,其中,所述外部信号与所述车辆发动机的启动相关联。
103.根据权利要求102所述的OMS,其中,所述计算机可读指令还促使所述处理器:
根据所述图像分析计算转向总成位置边界,以及
将所述转向总成的运动限制在所述转向总成位置边界内的位置。
104.根据权利要求103所述的OMS,其中,限制所述转向总成的运动发生在使所述车辆运动之前。
105.根据权利要求103所述的OMS,其中,所述计算机可读指令还促使所述处理器确定在可能的转向总成位置的范围内是否满足至少一个监测条件。
106.根据权利要求105所述的OMS,其中,所述至少一个监测条件是所述FOV内所述乘员的存在。
107.根据权利要求102所述的OMS,其中,所述计算机可读指令还促使所述处理器:
如果不满足所述监测条件,则生成用于传送至乘员的警报信号。
108.根据权利要求107所述的OMS,还包括将所述警报信号传送给所述乘员。
109.根据权利要求107所述的OMS,其中,所述警报信号包括用于使所述乘员就座的座椅振动的信号。
110.根据权利要求107所述的OMS,其中,所述警报信号包括用于使固定在所述乘员上方的安全带振动的信号。
111.根据权利要求94所述的OMS,其中,所述外部信号是检查至少一个监测条件以与半自动或自动驾驶模式兼容的请求。
112.根据权利要求111所述的OMS,其中,如果满足所述监测条件,则所述计算机可读指令还促使所述处理器:
如果满足监测条件,则产生用于传送至车辆控制***以启动半自动或自动驾驶模式的授权信号。
113.根据权利要求94或111所述的OMS,其中,如果不满足监测条件,则所述计算机可读指令还促使所述处理器:
产生用于传送至车辆控制***以禁止半自动或自动驾驶模式的禁止信号。
114.根据权利要求111所述的OMS,其中,如果不满足所述监测条件,则所述计算机可读指令还促使所述处理器:
产生用于传送至车辆控制***的限制信号,所述限制信号会降低乘员的调整座椅和/或方向盘的能力。
115.根据权利要求94所述的OMS,其中,所述外部信号是来自至少一个车辆控制***的半自动或自动驾驶模式信号,所述半自动或自动驾驶模式信号指明所述车辆当前正在以半自动或自动驾驶模式运行。
116.根据权利要求115所述的OMS,其中,所述计算机可读指令还促使所述处理器:
接收来自所述乘员的信号以中止所述半自动或自动驾驶模式信号。
117.根据权利要求116所述的OMS,其中,来自所述乘员以中止所述半自动或自动驾驶模式的所述信号从车辆控制***或用户界面发送到所述处理器。
118.根据权利要求115所述的OMS,其中,所述计算机可读指令还促使所述处理器:
将与半自动或自动驾驶模式所关联的乘员优选位置相关联的乘员优选位置信号传送到座椅定位***或转向总成定位***中至少一者,其中,所述座椅定位***或所述转向总成定位***将座椅或转向单元中至少一者的位置调整到与所述乘员优选位置信号相关联的所述乘员优选位置。
119.根据权利要求115所述的OMS,其中,所述计算机可读指令还促使所述处理器:
确定是否满足所述监测条件,以及
如果不满足所述监测条件,则生成用于传送至乘员的警报信号。
120.根据权利要求119所述的OMS,还包括将所述警报信号传送给所述乘员。
121.根据权利要求94所述的OMS,其中,所述处理器配置为从用户界面接收乘员的输入,其中,所述乘员的输入包括用户身份信号、乘员的身高、乘员的体重和/或乘员对所述车辆进入半自动或自动驾驶模式的期望,和/或乘员对车辆进入乘员控制的驾驶模式的期望。
122.根据权利要求121所述的OMS,其中,所述用户界面配置为生成用于传送至所述处理器的外部信号,其中,所述外部信号是检查所述监测条件以与半自动或自动驾驶模式兼容的请求。
123.根据权利要求121所述的OMS,其中,所述用户界面配置为生成用于传送至所述处理器的外部信号,其中,所述外部信号将中止半自动或自动驾驶模式。
124.根据权利要求94所述的OMS,其中,所述外部信号指明所述乘员在座椅上。
125.根据权利要求124所述的OMS,其中,所述外部信号指明所述乘员与方向盘接触。
126.根据权利要求124所述的OMS,其中,所述外部信号指明所述乘员与至少一个仪表板控件接触。
127.根据权利要求94所述的OMS,其中,所述成像单元固定到方向盘、转向柱或仪表板中的一个。
128.根据权利要求127所述的OMS,其中,所述成像单元包括广角镜头。
129.根据权利要求127所述的OMS,其中,所述成像单元包括铰接式镜头。
130.根据权利要求94所述的OMS,其中,所述成像单元固定到铰接式相机安装结构。
131.一种监测至少一个车辆乘员的方法,所述方法包括:
在成像单元的视场FOV中捕获图像,其中,所述FOV指向所述至少一个车辆乘员;
分析所述图像以确定是否满足至少一个监测条件,其中,所述监测条件包括乘员眼睛在所述FOV的分析区域内的位置,所述分析区域限定乘员眼睛相对于FOV中心的相对位置的可接收值范围;
如果不满足所述监测条件,则生成调整信号,其中,所述调整信号包括调整座椅定位***或转向总成定位***以使乘员眼睛相对于所述FOV中心处于所述可接收值范围内的指令;以及
将所述调整信号传送给所述座椅定位***或所述转向总成定位***。
132.根据权利要求131所述的方法,还包括:
基于捕获的图像生成乘员数据集,其中,所述乘员数据集的数据包括与所述FOV中的所述乘员的存在、所述FOV中的所述乘员的位置、所述乘员与所述成像单元的接近度有关、所述乘员的面部的面积、所述乘员的面部的角度、身体部位的位置、身体部位的面积和/或身体部位的角度相关的至少一个值。
133.根据权利要求132所述的方法,还包括:
将所述乘员数据集与监测条件数据集进行比较,以及
基于与所述监测条件数据集的偏差,产生用于传送至车辆的座椅定位***和/或转向总成定位***的调整信号。
134.根据权利要求131所述的方法,其中,响应于接收到外部信号而捕捉图像,其中,所述外部信号与车辆发动机的启动相关联。
135.根据权利要求134所述的方法,还包括:基于所述图像分析来计算转向总成位置边界,以及将转向总成的移动限制在所述转向总成位置边界内的位置。
136.根据权利要求135所述的方法,其中,限制所述转向总成的运动发生在使所述车辆运动之前。
137.根据权利要求135所述的方法,其中,计算转向总成位置边界还包括:评估关于确定在可能的转向总成位置范围内是否满足至少一个监测条件的能力。
138.根据权利要求137所述的方法,其中,所述至少一个监测条件是所述FOV内所述乘员的存在。
139.根据权利要求134所述的方法,还包括:如果不满足所述监测条件,则生成警报信号,以及将所述警报信号传送给乘员。
140.根据权利要求139所述的方法,其中,产生所述警报信号包括使所述乘员就座的座椅振动。
141.根据权利要求139所述的方法,其中,产生所述警报信号包括使固定在所述乘员上方的安全带振动。
142.根据权利要求131所述的方法,其中,响应于接收到外部信号而捕捉图像,其中,所述外部信号是检查至少一个监测条件以与半自动或自动驾驶模式兼容的请求。
143.根据权利要求142所述的方法,还包括:
如果满足所述监测条件,则生成授权信号,
将所述授权信号传送给车辆控制***,以及
响应于接收到所述授权信号而启动半自动或自动驾驶模式。
144.根据权利要求142所述的方法,还包括:
如果不满足所述监测条件,则生成禁止信号,以及
将所述禁止信号传送给车辆控制***,其中,所述禁止信号禁止半自动或自动驾驶模式。
145.根据权利要求142所述的方法,还包括:
如果不满足所述监测条件,则产生限制信号,以降低所述乘员的调整座椅和/或方向盘的能力,以及
将所述限制信号传送给车辆控制***。
146.根据权利要求131所述的方法,其中,响应于接收到外部信号而捕捉图像,其中,所述外部信号是来自至少一个车辆控制***的半自动或自动驾驶模式信号,所述半自动或自动驾驶模式信号指明所述车辆当前正在以半自动或自动驾驶模式运行。
147.根据权利要求146所述的方法,还包括:
从乘员接收信号以中止半所述自动或自动驾驶模式。
148.根据权利要求147所述的方法,其中,来自所述乘员以中止所述半自动或自动驾驶模式的所述信号发送至车辆控制***或用户界面。
149.根据权利要求146所述的方法,还包括:
将用于半自动或自动驾驶模式的乘员优选位置信号传送到座椅定位***和/或转向总成定位***,
其中,所述座椅定位***和/或转向总成定位***将座椅和/或转向单元的位置调整到与所述乘员优选位置信号相关联的预定乘员优选位置。
150.根据权利要求146所述的方法,还包括:
确定是否满足所述监测条件,以及
如果不满足所述监测条件,则生成用于传送至乘员的警报信号。
151.根据权利要求150所述的方法,还包括将所述警报信号传送给所述乘员。
152.根据权利要求131所述的方法,还包括从用户界面接收乘员输入,其中,所述乘员输入包括用户身份信号、乘员身高、乘员体重和/或乘员对车辆进入半自动或自动驾驶模式的期望,和/或乘员对车辆进入乘员控制的驾驶模式的期望。
153.根据权利要求152所述的方法,还包括:
在所述调整信号的产生中使用所述乘员输入,以及
将所述调整信号传送给至少一个车辆控制***。
154.根据权利要求152所述的方法,其中,所述用户界面生成外部信号,并将所述外部信号传送到处理器,其中,所述外部信号是检查监测条件以与半自动或自动驾驶模式兼容的请求。
155.根据权利要求152所述的方法,其中,所述用户界面配置为生成用于传送至处理器的外部信号,其中,所述外部信号将中止半自动或自动驾驶模式。
156.根据权利要求131所述的方法,其中,响应于接收到外部信号而捕捉图像,其中,所述外部信号指明所述乘员在座椅上。
157.根据权利要求156所述的方法,其中,响应于接收到外部信号而捕捉图像,其中,所述外部信号指明所述乘员与方向盘接触。
158.根据权利要求157所述的方法,其中,响应于接收到外部信号而捕捉图像,其中,所述外部信号指明所述乘员与至少一个仪表板控件接触。
159.根据权利要求131所述的方法,其中,所述成像单元固定到方向盘、转向柱或仪表板中的一个。
160.根据权利要求159所述的方法,其中,所述成像单元包括广角镜头。
161.根据权利要求159所述的方法,其中,所述成像单元包括铰接式镜头。
162.根据权利要求131所述的方法,其中,所述成像单元固定到铰接式相机安装结构。
CN201880045641.5A 2017-05-08 2018-05-08 乘员监测***与车辆控制***的集成 Active CN111132886B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762502874P 2017-05-08 2017-05-08
US62/502,874 2017-05-08
US201762591896P 2017-11-29 2017-11-29
US62/591,896 2017-11-29
PCT/US2018/031601 WO2018208776A1 (en) 2017-05-08 2018-05-08 Integration of occupant monitoring systems with vehicle control systems

Publications (2)

Publication Number Publication Date
CN111132886A CN111132886A (zh) 2020-05-08
CN111132886B true CN111132886B (zh) 2023-05-16

Family

ID=64013940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880045641.5A Active CN111132886B (zh) 2017-05-08 2018-05-08 乘员监测***与车辆控制***的集成

Country Status (4)

Country Link
US (1) US11713048B2 (zh)
EP (1) EP3609756A4 (zh)
CN (1) CN111132886B (zh)
WO (1) WO2018208776A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180370363A1 (en) * 2017-06-21 2018-12-27 Pavel Vinogradov Vehicle center console that automatically rotates toward driver and console positioning method thereof
US10788829B2 (en) * 2017-12-20 2020-09-29 International Business Machines Corporation Self-driving vehicle passenger management
US10884104B2 (en) * 2017-12-20 2021-01-05 Ecolink Intelligent Technology, Inc. Monitoring device having 360 degree sensing capabilities
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
GB2577270B (en) 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
JP7139908B2 (ja) * 2018-11-19 2022-09-21 トヨタ自動車株式会社 運転者監視装置の取付構造
JP7059910B2 (ja) * 2018-12-10 2022-04-26 トヨタ自動車株式会社 カメラ搭載構造
DE112019006700T5 (de) * 2019-01-21 2021-09-30 Mitsubishi Electric Corporation Vorrichtung zur aufmerksamkeitsbestimmung, system zur aufmerksamkeitsbestimmung, verfahren zur aufmerksamkeitsbestimmung und programm
DE102019004692B3 (de) * 2019-07-03 2020-11-12 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Bilddaten der Augen, von Augenpositionen und/oder einer Blickrichtung eines Fahrzeugnutzers in einem Fahrzeug
JP7230717B2 (ja) * 2019-07-16 2023-03-01 株式会社Soken 車両用通知制御装置及び車両用通知制御方法
CN110509924A (zh) * 2019-08-13 2019-11-29 浙江合众新能源汽车有限公司 一种车内摄像头定位人脸位置的方法及结构
US11310466B2 (en) 2019-11-22 2022-04-19 Guardian Optical Technologies, Ltd. Device for monitoring vehicle occupant(s)
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US11206721B1 (en) * 2020-07-02 2021-12-21 Veoneer Us, Inc. Light emitting diode persistence effect minimization
DE102020212165A1 (de) 2020-09-28 2022-03-31 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Kraftfahrzeugs sowie Kraftfahrzeug
CN112849148B (zh) * 2021-01-11 2023-03-14 重庆长安汽车股份有限公司 一种自动驾驶功能控制方法、自动驾驶***、汽车、控制器及计算机可读存储介质
JP7181959B2 (ja) * 2021-03-26 2022-12-01 本田技研工業株式会社 自動運転車両の操舵装置
KR20220142554A (ko) * 2021-04-13 2022-10-24 한국전자통신연구원 자율주행 교통수단의 승객 자세 제어 방법 및 이를 이용한 장치
US11851084B2 (en) * 2021-04-16 2023-12-26 Toyota Research Institute, Inc. Systems and methods for controlling an autonomous vehicle
CN113320448B (zh) * 2021-06-01 2022-07-29 智己汽车科技有限公司 一种座椅调节方法、装置及计算机可读存储介质
CN113859309B (zh) * 2021-10-27 2024-05-31 湖南润伟智能机器有限公司 车钩状态监测***
US11801858B1 (en) * 2022-08-24 2023-10-31 Bendix Commercial Vehicle Systems Llc System and method for monitoring cervical measurement of a driver and modifying vehicle functions based on changes in the cervical measurement of the driver
WO2024137615A1 (en) * 2022-12-19 2024-06-27 Joyson Safety Systems Acquisition Llc Touch-based alcohol detection and calibration sensor system

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP2002051329A (ja) 2000-08-02 2002-02-15 Hitachi Ltd 多点監視カメラ装置
JP3916240B2 (ja) 2003-08-07 2007-05-16 松下電器産業株式会社 運転支援装置及び運転支援方法
US7380951B2 (en) 2003-11-10 2008-06-03 Morgan Plaster Driver observation system and method therefor
GB2426851B (en) * 2005-05-28 2007-07-18 Martin Charles Adams An occupant monitoring system for homes or offices
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
US9517679B2 (en) * 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US8836491B2 (en) * 2010-04-29 2014-09-16 Ford Global Technologies, Llc Occupant detection
US20120002028A1 (en) 2010-07-05 2012-01-05 Honda Motor Co., Ltd. Face image pick-up apparatus for vehicle
US20120150387A1 (en) * 2010-12-10 2012-06-14 Tk Holdings Inc. System for monitoring a vehicle driver
JP2014515847A (ja) 2011-03-25 2014-07-03 ティーケー ホールディングス インク. 運転者覚醒度判定システム及び方法
JP5692049B2 (ja) 2011-12-26 2015-04-01 株式会社デンソー ステアリング位置制御システム
US8702250B2 (en) 2012-04-02 2014-04-22 GM Global Technology Operations LLC System and method for adjusting vehicle mirrors automatically based on driver head position
US9058706B2 (en) * 2012-04-30 2015-06-16 Convoy Technologies Llc Motor vehicle camera and monitoring system
US9150238B2 (en) * 2012-06-04 2015-10-06 GM Global Technology Operations LLC System and method for automatically adjusting a steering tilt position
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9201424B1 (en) 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US20150156383A1 (en) 2013-12-04 2015-06-04 Magna Electronics Inc. Vehicle vision system with camera having liquid lens optic
JP5992130B2 (ja) * 2014-04-25 2016-09-14 三菱電機株式会社 自動調整装置、自動調整システムおよび自動調整方法
FR3023819B1 (fr) 2014-07-15 2016-07-22 Peugeot Citroen Automobiles Sa Procede de commande de la position angulaire du volant d'un vehicule et vehicule associe
CN107207013B (zh) 2014-12-12 2020-01-21 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US9688271B2 (en) 2015-03-11 2017-06-27 Elwha Llc Occupant based vehicle control
CN104875744B (zh) * 2015-04-28 2017-09-12 奇瑞汽车股份有限公司 驾驶员身体状态监测方法及***
JP6525150B2 (ja) * 2015-08-31 2019-06-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム
US20180093675A1 (en) * 2016-09-30 2018-04-05 Ford Global Technologies, Llc Wake Alarm For Vehicles With An Autonomous Mode
KR101906197B1 (ko) * 2016-11-07 2018-12-05 엘지전자 주식회사 차량 및 그 제어방법
US10421548B2 (en) * 2017-01-24 2019-09-24 The Boeing Company Configurable vehicle seat and method therefor
US11704107B2 (en) * 2021-03-04 2023-07-18 Toyota Motor North America, Inc. Software updates based on transport-related actions

Also Published As

Publication number Publication date
EP3609756A4 (en) 2021-01-27
CN111132886A (zh) 2020-05-08
WO2018208776A1 (en) 2018-11-15
EP3609756A1 (en) 2020-02-19
US11713048B2 (en) 2023-08-01
US20180319407A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN111132886B (zh) 乘员监测***与车辆控制***的集成
US11667318B2 (en) Occupant monitoring systems and methods
US10990838B2 (en) Occupant monitoring systems and methods
CN107111754B (zh) 乘员监视***和方法
US11383721B2 (en) System and method for responding to driver state
JP6184989B2 (ja) 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
EP3683623B1 (en) System and method for responding to driver state
KR20160109243A (ko) 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant