CN107665330B - 在车辆中检测头部姿势的***、方法和计算机可读介质 - Google Patents

在车辆中检测头部姿势的***、方法和计算机可读介质 Download PDF

Info

Publication number
CN107665330B
CN107665330B CN201710327611.0A CN201710327611A CN107665330B CN 107665330 B CN107665330 B CN 107665330B CN 201710327611 A CN201710327611 A CN 201710327611A CN 107665330 B CN107665330 B CN 107665330B
Authority
CN
China
Prior art keywords
head pose
facial feature
feature points
vehicle
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710327611.0A
Other languages
English (en)
Other versions
CN107665330A (zh
Inventor
K·C·冯
P·切帕克
T·J·迪克
D·帕兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107665330A publication Critical patent/CN107665330A/zh
Application granted granted Critical
Publication of CN107665330B publication Critical patent/CN107665330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及在车辆中检测头部姿势的***、方法和计算机可读介质。一种用于在车辆中检测头部姿势的计算机实现的方法包括从成像设备接收位于所述车辆中的车辆乘员的图像，以及从提取自所述图像的多个面部特征点中选择面部特征点。所述方法包括：基于对所述选择的面部特征点进行归一化来计算头部姿势点；基于所述头部姿势点的位置在时间段T内的变化来确定所述头部姿势；以及基于所述头部姿势来控制所述车辆的一个或多个车辆***。

Description

在车辆中检测头部姿势的***、方法和计算机可读介质
技术领域
本发明涉及用于在车辆中检测注意力分散和向下垂直头部姿势的***和方法。
背景技术
新技术和有联系的车辆环境已增加驾驶员在车辆中的注意力分散。具体地，驾驶员与移动设备、车辆控件和车辆接口的交互已增加驾驶员注意力分散的可能性，从而导致驾驶员忽略驾驶的主要任务。
在车辆内已实现各种技术来确定驾驶员的注意力分散。例如，可使用眼睛注视检测、头部姿势检测、对象检测等来确定驾驶员注意力分散。然而，由于人体的动态性质、个人驾驶员特性(例如，身高、面部特征)、个人驾驶习惯和不同的车辆配置，这些技术可能导致驾驶员注意力分散检测的不精确的结果和错误。
发明内容
根据一个方面，一种用于在车辆中检测头部姿势的计算机实现的方法包括：从成像设备接收位于车辆中的车辆乘员的图像，以及从提取自图像的多个面部特征点中选择面部特征点。所述方法包括：基于对所选择的面部特征点进行归一化来计算头部姿势点；基于头部姿势点的位置在时间段T内的变化来确定头部姿势；以及基于头部姿势来控制车辆的一个或多个车辆***。
根据另一方面，一种用于在车辆中检测的头部姿势的***包括成像设备，其被可操作地连接用于与车辆进行计算机通信。成像设备捕获位于车辆中的车辆乘员的面部图像。此外，处理器被可操作地连接用于与成像设备和车辆进行计算机通信。处理器从图像中提取多个面部特征点，并且从多个面部特征点中选择面部特征点。每个所选择的面部特征点具有在图像的平面上的位置。处理器计算头部姿势点作为所选择的面部特征点的位置的垂直归一化，并且基于头部姿势点在时间段T内的位置的变化来确定头部姿势。一个或多个车辆***被可操作地连接用于与处理器和车辆进行计算机通信。处理器基于头部姿势来控制一个或多个车辆***。
根据又一方面，一种用于在车辆中检测头部姿势的非暂时性计算机可读介质包括其上存储的指令，所述指令当由处理器执行时执行方法。所述方法包括从成像设备接收位于车辆中的车辆乘员的图像。所述方法包括通过计算从图像中选择性地识别的面部特征点的归一化质心来计算头部姿势点，基于头部姿势点的位置在时间段T内的变化来确定头部姿势，以及基于头部姿势来控制车辆的一个或多个车辆***的功能。
附图说明
图1A是根据示例性实施方案的用于在车辆中检测驾驶员注意力分散和向下垂直头部姿势的示例性***的示意图；
图1B是根据示例性实施方案的包括车辆乘员和成像设备的图1A所示的车辆的内部的示意图；
图2是根据示例性实施方案的用于在车辆中检测垂直头部姿势的示例性方法的流程图；
图3A是根据示例性实施方案的用于特征点提取的车辆乘员的头部的说明性图像；
图3B是根据示例性实施方案的包括头部姿势点和参考点的图3A所示的图像的简化说明性图像；
图3C是根据示例性实施方案的类似于图3B所示的图像的说明性图像，示出较大的头部姿势变化；
图3D是根据示例性实施方案的类似于图3B所示的图像的说明性图像，示出较小的头部姿势变化；
图3E是根据另一示例性实施方案的类似于图3D所示的图像的说明性图像，示出较小的头部姿势变化；
图4是根据示例性实施方案的用于针对较大头部姿势变化来确定头部姿势的示例性方法的流程图；
图5是根据示例性实施方案的用于针对较小头部姿势变化来确定头部姿势的另一示例性方法的流程图；
图6是根据示例性实施方案的用于在时间段内基于头部姿势点来更新参考点的示例性方法的流程图；并且
图7是根据示例性实施方案的用于基于眼睛注视来验证头部姿势的示例性方法的流程图。
具体实施方式
以下包括本文采用的所选术语的定义。定义包括落在术语范围内并且可用于实现方式的部件的各种示例和/或形式。示例不意图进行限制。另外，本文讨论的部件可被组合、省略或与其他部件组织或组织成不同的架构。
如本文所使用的“总线”是指可操作地连接到计算机内部或计算机之间的其他计算机部件的互连架构。总线可在计算机部件之间传输数据。总线可以是存储器总线、存储器处理器、***总线、外部总线、纵横开关和/或局部总线等。总线还可以是使用诸如面向媒体的***传输(MOST)、处理器局部网(CAN)、本地互连网络(LIN)等的协议来将车辆内部的部件互连的车辆总线。
如本文所使用的“部件”是指计算机相关实体(例如，硬件、固件、执行中的指令、其组合)。计算机部件可包括例如在处理器上运行的进程、处理器、对象、可执行文件、执行线程、和计算机。计算机部件可驻留在进程和/或线程内。计算机部件可位于一个计算机上并且/或者可分布在多个计算机之间。
“计算机通信”，如本文所使用，是指两个或更多个计算设备(例如，计算机、个人数字助理、蜂窝电话、网络设备)之间的通信并且可为例如网络传输、文件传输、小应用程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可通过例如总线、无线***(例如，IEEE 802.11)、以太网***(例如，IEEE 802.3)、令牌环***(例如，IEEE 802.5)、局域网(LAN)、广域网(WAN)、点对点***、电路交换***、分组交换***等发生。
如本文所用，“计算机可读介质”是指存储指令和/或数据的非暂时性介质。计算机可读介质可采取的形式包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘、磁盘等。易失性介质可包括例如半导体存储器、动态存储器等。计算机可读介质的常见形式可包括但不限于软盘、软磁盘、硬盘、磁带、其他磁介质、ASIC、CD、其他光学介质、RAM、ROM、存储器芯片或卡、记忆棒和计算机、处理器或其他电子设备可从其读取的其他介质。
如本文所使用的“数据库”用于指代表格。在其他示例中，“数据库”可用于指代一组表格。在其他示例中，“数据库”可指代用于访问和/或操纵那些数据存储的一组数据存储和方法。数据库可存储在例如磁盘和/或存储器上。
如本文所用，“盘”可以是例如磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存卡和/或记忆棒。此外，所述盘可以是CD-ROM(光盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVD ROM)。所述盘可存储控制或分配计算设备的资源的操作***。
如本文所使用的“输入/输出设备”(I/O设备)可包括用于接收输入的设备和/或用于输出数据的设备。输入和/或输出可用于控制不同的车辆特征，包括各种车辆部件、***和子***。具体地，术语“输入设备”包括但不限于：键盘、麦克风、指向和选择设备、摄像机、成像设备、视频卡、显示器、按钮、旋钮等。术语“输入设备”另外包括在用户界面内发生的图形输入控制，其可由诸如基于软件和硬件的控件、接口或即插即用设备的各种类型的机构来显示。“输出设备”包括但不限于：显示设备，以及用于输出信息和功能的其他设备。
如本文所使用的“电子电路”包括但不限于硬件、固件、存储指令的非暂时性计算机可读介质、在机器上执行的和/或导致(例如，执行)来自另一电子电路的动作的指令、模块、方法和/或***。电子电路可包括和/或是由算法、离散逻辑(例如ASIC)、模拟电路、数字电路、编程逻辑器件、包含指令的存储器设备等控制的处理器的一部分。逻辑可包括一个或多个门、门的组合或其他电路部件。在描述多个逻辑的情况下，可能将多个逻辑并入一个物理逻辑中。类似地，在描述单个逻辑的情况下，可能在多个物理逻辑之间分配此单个逻辑。
如本文所用，“存储器”可包括易失性存储器和/或非易失性存储器。非易失性存储器可包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)和直接RAM总线RAM(DRRAM)。存储器可存储控制或分配计算设备的资源的操作***。
“可操作连接”或实体“可操作地连接”的连接是其中可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作连接可包括无线接口、物理接口、数据接口和/或电接口。
如本文所使用的“便携式设备”是通常具有带有用户输入(例如，触摸、键盘)的显示屏和用于计算的处理器的计算设备。便携式设备包括但不限于手持设备、移动设备、智能电话、膝上型计算机、平板电脑和电子阅读器。
如本文所用，“处理器”处理信号并且执行通用计算和算法功能。由处理器处理的信号可包括数字信号、数据信号、计算机指令、处理器指令、消息、比特、比特流、可被接收、传输和/或检测的那些。通常，处理器可以是各种不同的处理器，包括多个单核和多核处理器和协同处理器以及其他多个单核和多核处理器和协同处理器架构。处理器可包括用于执行动作和/或算法的逻辑电路。
如本文所用，“车辆”是指能够携带一名或多名人类使用者并且由任一种形式的能量提供动力的任一种移动车辆。术语“车辆”包括但不限于汽车、卡车、厢式货车、小型货车、SUV、摩托车、小型摩托车、船、卡丁车、游乐车、铁路运输、个人船只和飞机。在一些情况下，机动车辆包括一个或多个发动机。另外，术语“车辆”可指能够携带一名或多名人类使用者并且完全或部分通过由电池提供动力的一个或多个电动马达提供动力的电动车辆(EV)。EV可包括纯电动车辆(BEV)和插电式混合动力车辆(PHEV)。术语“车辆”还可指由任一种形式的能量提供动力的自主车辆和/或自动驾驶车辆。自主车辆可携带如本文所使用的一个“车辆***”，其可包括但不限于可用于增强车辆、驾驶和/或安全性的任何自动或手动***。示例性车辆***包括但不限于：电子稳定性控制***、防抱死制动***、制动辅助***、自动制动预充***、低速跟随***、巡航控制***、碰撞警告***、碰撞减轻制动***、自动巡航控制***、车道偏离警告***、盲点指示器***、车道保持辅助***、导航***、传动***、制动踏板***、电子动力转向***、视觉设备(例如，摄像机***、接近传感器***)、气候控制***、电子预张紧***、监测***、乘客检测***、车辆悬架***、车辆座椅配置***、车厢照明***、音频***、感觉***、内部或外部摄像机***等。
如本文所使用的“车辆乘员”可包括但不限于位于车辆中的生物有机体。车辆乘员可以是人、婴儿、儿童、宠物等。车辆乘员可以是车辆的驾驶员或车辆的乘客。
如本文所使用的“车辆传感器”可包括但不限于在任何车辆***中使用的用于检测此***的参数的任何传感器。示例性车辆传感器包括但不限于：加速度传感器、速度传感器、制动传感器、接近传感器、视觉传感器、座椅传感器、座椅安全带传感器、门传感器、环境传感器、横摆率传感器、转向传感器、GPS传感器等等。
如本文所使用的“可穿戴计算设备”可包括但不限于具有可佩戴或附接到用户的电路的计算设备部件(例如，处理器)。换句话说，可穿戴计算设备是被包含在用户的个人空间中的计算机。可穿戴计算设备可包括显示器，并且可包括用于感测和确定用户的各种参数的各种传感器。例如，位置、运动和生理参数等。一些可穿戴计算设备具有用户输入和输出功能。示例性可穿戴计算设备可包括但不限于手表、眼镜、衣服、手套、帽子、衬衫、首饰、戒指、耳环、项链、臂章、鞋、耳塞、耳机和个人健康设备。
I.用于检测驾驶员注意力分散和向下垂直头部姿势的***
现参照附图，其中图示是为了示出一个或多个示例性实施方案且并不是为了限制这些实施方案，图1A是根据一个实施方案的用于在车辆中检测驾驶员注意力分散和向下垂直头部姿势的示例性***的示意图。此外，图1B是根据示例性实施方案的包括车辆乘员的图1A所示的车辆的内部的示意图。图1A和图1B中所示的***的部件以及本文讨论的其他***的部件、硬件架构和软件架构可被结合、省略或组织成不同的架构用于各种实施方案，包括在车辆外部利用的实施方案。
如图1A中可看出，用于检测头部姿势的***100可包括车辆102并且可用车辆102来实现。图1B中示出车辆102的示例性内部104。在图1B中，车辆乘员(例如，驾驶员)106位于车辆102中，定位在车辆座椅108上。车辆102可包括处理器110、存储器112、盘114、成像设备116、一个或多个车辆***118和通信接口120。这些部件可通过总线122和/或如由通信接口120促进的其他有线或无线技术而可操作地连接用于计算机通信。通信接口120提供软件和硬件，以有助于车辆102的部件与车辆102外部的其他部件(例如，网络和其他车辆(未示出))之间的数据输入和输出。在一些实施方案中，通信接口120可包括网络接口控制器(未示出)。网络接口控制器可以是管理/监视连接并且控制通信接口120与***100的其他部件之间的双向数据传输的硬件(例如，卡、电路板)。
此外，处理器110可包括电子电路124。如上所述，具有电子电路124的处理器110可包括用于促进利用***100的部件的数据处理的硬件、固件和软件架构框架(例如，内核、库、驱动器、API)。应理解，车辆102可包括未示出的其他计算部件，例如输入/输出设备(例如，车辆显示器、触摸界面、键盘)。此外，所示的计算部件可与另一个设备(例如，通信地耦合到车辆102的便携式设备(未示出))部分地或整体地实现。
通常，图1A和图1B中所示的部件有助于在车辆102中检测头部姿势，并且基于检测到的头部姿势来控制一个或多个车辆***118。如本文所讨论的，头部姿势可以是具有在平面内的向上或向下方向(例如，头部方向)上的取向的垂直头部姿势。因此，头部姿势可由头部定向的方向上的x轴分量和y轴分量表示。因此，具有向上方向上的取向的头部姿势在正y轴方向上具有间距(例如，倾斜)。具有在向下方向上的取向的头部姿势在负y轴方向上具有间距(例如，倾斜)。具有中性取向(例如，中性头部姿势)的头部姿势被一直向前引导(例如，0y轴分量)。在其他实施方案中，头部姿势可由头部定向的方向上的x轴分量、y轴分量和z轴分量表示。应理解，其他坐标、平面或位置***可用于表示头部姿势的取向。如本文所讨论的，垂直头部姿势不包括具有在右方向(即，在正x轴方向)或左方向(即，负x轴方向)上的取向的水平头部姿势。然而，垂直头部姿势可在水平方向上具有一些旋转。此外，如本文所讨论的，头部姿势不包括眼睛注视。
在本文讨论的一些实施方案中，方法和***有助于检测以向下方向定向的头部姿势，并且更具体地是头部向下姿势。头部姿势可从平面上的中性头部姿势和/或一个或多个点/位置(例如，点、0y轴分量)以不同的变化(例如，向下方向上的变化的水平、度数、角度、位置)以向下的方向定向。例如，头部姿势可以以轻微的向下变化，非常小的向下变化，小的向下变化，大的向下变化，非常大的向下变化和极大的变化等来定向。因此，可确定和/或使用数值或其他种类的值(例如，阈值)，以在向下方向上的头部姿势的从一个或多个点/位置的不同变化之间进行区分。
此外，在一些实施方案中，头部姿势可指示驾驶员状态或驾驶员状态水平，例如稍微警觉、有点警觉、警觉、稍微注意力分散、有点注意力分散、注意力分散、非常注意力分散、极度注意力分散等等。作为说明性示例，以非常小的向下变化定向的头部姿势可指示稍微警觉的驾驶员状态。以非常大的向下取向定向的头部姿势可指示非常注意力分散的驾驶员状态。以头部向下姿势定向的头部姿势可指示注意力分散状态。
为了检测并确定头部姿势，成像设备116可捕获车辆乘员106的图像，例如，包括车辆乘员106的面部128的头部126，如图1B所示。在本文中，头部126指向车辆102的前方视野。在图1A中，成像设备116被可操作地连接用于与车辆102的计算机通信。成像设备116可包括一个或多个摄像机或其他成像设备和感测设备。例如，成像设备116可以是一个或多个立体摄像机、三维摄像机、远程感测设备(例如，激光雷达、激光、传感器)等。此外，在一些实施方案中，成像设备116可包括面部识别和跟踪***。在一些实施方案中，处理器110还可有助于面部识别和跟踪。
在图1B中，成像设备116被示出为摄像机130。摄像机130位于方向盘132的上柱盖上。然而，摄像机130可利用其他配置来实现并且位于其他位置。例如，在一个实施方案中，摄像机130可位于方向盘132下方。如本文将讨论的，摄像机130可连续地捕获头部126的图像，包括车辆乘员106的面部128，并且随着时间跟踪头部126。此外，在一些实施方案中，摄像机130可检测并跟踪车辆乘员106的眼睛注视。
II.用于检测向下垂直头部姿势的方法
现将参考若干示例性方法和说明性示例来描述图1A和图1B的部件。如上所述，本文讨论的方法大体上公开在车辆102中检测车辆乘员106的头部姿势，即向下垂直头部姿势(例如，以向下方向定向的头部姿势)。垂直头部姿势的确定(例如，以向上、中性或向下取向定向)可受到不同变量的影响，包括车辆102的构型、车辆座椅108的构型(例如，高度、前/后方向)、车辆乘员106的姿态(例如，懒散、斜靠)以及车辆乘员106的移动等。因此，本文讨论的***和方法考虑这些变量来将以向下方向定向的头部姿势与其他头部姿势取向(例如，向上、中性)进行区分，并且区分以向下方向定向的头部姿势的不同变化(例如，轻微向下变化、较小向下变化、较大向下变化)。
更具体地，本文所讨论的***和方法可从以向下方向定向的头部姿势确定头部向下姿势。头部向下姿势是以向下方向定向的头部姿势，其方式使得车辆乘员106忽略驾驶的主要任务。在另一个实施方案中，头部向下姿势是以向下方向定向的头部姿势移动模式，其方式使得车辆乘员106忽略驾驶的主要任务。因此，头部向下姿势可指示驾驶员状态，例如注意力分散的驾驶员状态。因为上文讨论的动态变量，所以对于不同的车辆乘员，头部向下姿势可以是不同的。因此，以稍微向下变化定向的头部姿势可能不是头部向下姿势。相反，稍微向下的变化可指示车辆乘员正在懒散或者处于低调姿态。因此，本文描述的方法和***考虑这些变量，以提供以可导致驾驶员注意力分散的向下方向定向的头部姿势的确定。
A.图像捕获和处理
在图2中，并且参考图1A和图1B，示出根据一个实施方案的用于在车辆中检测头部姿势的示例性方法200。方法200在方框202处开始，并且可包括对将要在本文描述的所有方法中使用的变量(例如，***/全局变量)进行初始化。在其他实施方案中，可在其他方框处对变量单独地或全局地进行初始化。变量可由处理器110维护并且例如存储在存储器112和/或盘114处。处理器110和车辆102的其他部件可使用变量，以便处理本文描述的功能。在一个实施方案中，变量包括参考点(RefPt)、时间段(T)和参考计数器(Ref_i)。这些变量将在本文中更详细地讨论。最初，将参考点RefPt设置为零(0)的值，将时间段T设置为两(2)秒的默认时间值(例如，秒、分钟)，并且将参考计数器Ref_i设置为零(0)的值。在其他实施方案中，本文讨论的变量可被初始化成离散或连续的其他值。
在方框204处，方法200包括从成像设备接收位于车辆中的车辆乘员的图像。例如，成像设备116(例如，摄像机130)可捕获包括车辆乘员106的面部128的头部126的图像。处理器110可从成像设备116接收图像作为输入。可从成像设备116连续地或以周期性的时间间隔接收图像。图3A是从示出车辆乘员106的成像设备116接收的用于特征提取处理的图像300的示意图。在图3A中，图像300是车辆乘员106的头部126的图像，其示出面部128的正面视图(例如，朝向车辆102的前方视野)。
从成像设备116捕获的图像可由处理器110和/或成像设备116处理，以便进行特征提取和/或面部识别。具体地，在方框206处，方法200包括从提取自图像的多个面部特征点中选择面部特征点。因此，在一些实施方案中，处理器110从图像300中提取多个面部特征点，并且从多个面部特征点中选择面部特征点。可使用已知的特征提取和/或识别技术来处理图像300并从图像中提取多个面部特征点。例如，可通过基于面部几何算法和匹配搜索特征点来从图像300的图像数据中提取多个面部特征点。特征点可具有不同类型，例如区域、界标和轮廓。在图3A中，图像300示出多个提取的面部特征点，即面部特征界标。图3A中示出的提取的面部特征点在表1中描述。
参考标号 检测到的特征点
LB<sub>1</sub> 左眉外角
LB<sub>2</sub> 左眉内角
RB<sub>1</sub> 右眉外角
RB<sub>2</sub> 右眉内角
LE<sub>1</sub> 左眼外角
LE<sub>2</sub> 左眼中心(瞳孔)
LE<sub>3</sub> 左眼内角
RE<sub>1</sub> 右眼外角
RE<sub>2</sub> 右眼中心(瞳孔)
RE<sub>3</sub> 右眼内角
N<sub>1</sub> 鼻梁顶部
N<sub>2</sub> 鼻尖
N<sub>3</sub> 左鼻孔(左鼻孔的左角)
N<sub>4</sub> 鼻小柱(连接鼻尖与鼻底)
N<sub>5</sub> 右鼻孔(右鼻孔的右角)
M<sub>1</sub> 左嘴角
M<sub>2</sub> 丘比特之弓(上嘴唇)
M<sub>3</sub> 右嘴角
M<sub>4</sub> 下嘴唇
表1
每个面部特征点可具有图像300的平面上的位置。在图3A中，图像300具有带有坐标系的二维(2D)像素平面302，所述坐标系具有y轴分量和x轴分量。应理解，在其他实施方案中，图像300可具有带有坐标系的三维(3D)像素平面，所述坐标系具有x轴分量、y轴分量和z轴分量。图像300上的每个面部特征点的位置可以以沿着x轴和/或y轴的像素位置来表示。在图3A中，头部126具有中性姿势并且在x轴和y轴的原点(0，0)处(在点N1处)的平面内居中。此外，在图3A中，面部128处于在松弛肌肉(即，没有活动肌肉运动)的情况下的直接且固定的姿势。头部126在图3A中以这种方式示出是为了简化本文的说明，但是应当显而易见的是，在其他实施方案中，原点可位于图像300的任何位置。
为了确定头部姿势，处理器110可选择性地识别多个面部特征点内的面部特征点。处理器可选择多个面部特征点中的任何数量的面部特征点，例如两个、三个或多于三个面部特征点。再次参考图2，在一些实施方案中，在方框206处，选择面部特征点包括从多个面部特征点中选择固定的面部特征点。固定的面部特征点具有不受其他面部特征点的移动影响的位置。如上所述，在图3A中，头部126具有以中性方向定向的头部姿势，并且面部128以直接固定姿势放松。当面部128的皮肤下方的肌肉运动时，面部特征点可移动。例如，车辆乘员106可交谈或表达导致面部128的皮肤下方的肌肉运动的面部表情。此运动和/或面部表情可传达车辆乘员106的状态，例如幸福、悲伤、厌恶、惊喜、笑声等等。当面部128的肌肉运动时，面部特征点的位置可从它们的原始位置(例如，放松和直接的固定姿势中的位置)移动。
然而，当其他面部特征点移动或正在移动时，某些面部特征点相对于面部128保持其位置或者移动相对小的量。作为说明性示例，当车辆乘员106打呵欠时，面部特征点M1、M2、M3和M4的位置基本上随着嘴巴张开和变宽而改变。然而，当面部特征点M1、M2、M3和M4移动时，面部特征点LE3和RE3的位置保持大致相同。作为另一示例，如果车辆乘员106表达惊讶，那么面部特征点LB2、RB2、M1、M2、M3和M4的位置移动，然而面部特征点N1和N2的位置保持相对相同。因此，当暴露于来自面部表情的移动时，所选择的面部特征点保持稳定的位置。换句话说，当面部特征点暴露于其他面部特征点的移动时，基于面部特征点是否保持稳定的位置来选择性地识别面部特征点。在一个实施方案中，并且在本文讨论的示例中，所选择的面部特征点包括左眼内角(LE3)、右眼内角(RE3)和鼻小柱(N4)。应理解，在其他实施方案中，可选择不同的面部特征点。图3B示出图像304，其是图3A的图像300的简化视图。在图3B中，所选择的面部特征，左眼内角(LE3)、右眼内角(RE3)和鼻小柱(N4)分别被指示为面部特征F1、F2和F3。
再次参考图2的方框206，在一些实施方案中，处理器110可使用车辆乘员106的面部特征点的历史数据来选择面部特征点。例如，当跟踪面部特征点时，可将关于面部特征点的位置的数据(例如，多个面部特征点)存储在存储器112和/或盘114处。可存储面部特征点的位置并使其与车辆乘员106的不同面部表情相关联。例如，可存储处于直接固定位置中的面部特征点的位置和面部表情中的面部特征点的位置。此外，可存储直接固定位置中的面部特征点的位置与面部表情中的面部特征点的位置之间的位移(例如，差异)。因此，在一些实施方案中，处理器110可基于直接固定位置中的面部特征点的位置与面部表情中的面部特征点的位置之间的差异来确定多个面部特征点中的哪些面部特征点使位置位移最小化。
B.确定头部姿势点
再次参考图2，在方框208处，方法200包括计算头部姿势点(HPP)。在一些实施方案中，在方框208处，计算HPP是基于对所选择的面部特征点进行归一化。例如，所选择的面部特征点的每个位置可被归一化成单个值。在一些实施方案中，HPP可被计算为所选择的面部特征点的位置的垂直归一化。例如，所选择的面部特征点的垂直位置分量(例如，y)可被归一化成单个值。因此，所选择的面部特征点之间的位移被归一化成单个值HPP。在一些实施方案中，通过归一化所选择的面部特征点来计算HPP还包括对所选择的面部特征点的位置求平均值。在另一实施方案中，通过归一化所选择的面部特征点来计算HPP还包括基于分配给每个所选择的面部特征点的置信水平来对所选择的面部特征点进行加权。在另一实施方案中，计算HPP包括计算面部特征点的归一化质心。这些实施方案将在本文中进一步详细讨论。
再次参见上文讨论的图3B的示例，所选择的面部特征，左眼内角(LE3)、右眼内角(RE3)和鼻小柱(N4)分别被指示为面部特征F1、F2和F3。所选择的面部特征中的每一个具有在图像304的平面302上的位置，其表示为二维坐标中的像素位置。如上所述，在一个实施方案中，处理器110通过对所选择的面部特征的垂直位置(即，v轴分量)求平均值来计算头部姿势点(HPP)。根据此实施方案，HPP可在数学上表示为：
Figure GDA0003802138710000121
其中i是所选择的面部特征的真实和有限数目。
应理解，在一些实施方案中，HPP可被标准化和/或转换成在0和1之间的范围内的值。在其他实施方案中，所选择的面部特征的位置可在计算HPP之前被标准化。在一些实施方案中，在时间段T内计算HPP。例如，如本文将讨论的，可在时间段T内跟踪所选择的面部特征。当跟踪所选择的面部特征时，可在时间段T内计算HPP，并且其可以以矢量格式表示为：
HPP(T)＝(HPP(ti) … HPP(tT)) (2)
在方框208处，在一些实施方案中，HPP可被计算为初始值(例如，HPP(ti)，i＝1)，其中头部姿势被以朝向车辆102(例如，如图3B)的前方视野的中性方向(例如，直接固定位置)定向。例如，在图3B中，基于面部特征F1、F2和F3示出头部姿势点HPP(ti)。此HPP是面部特征F1、F2和F3的垂直位置的平均值。在一些实施方案中，HPP可在时间段T的结束时(例如，HPP(tT))计算。此实施方案将在本文用图3C更详细地讨论。在其他实施方案中，在时间段T期间以不同的时间间隔计算HPP(例如，其中i表示每个时间间隔)。此外，在本文讨论的一些实施方案中，可针对多于一个时间序列，例如紧接着第二时间段T的第一时间段T来确定HPP。第一时间段T和第二时间段T可具有相同长度。这可以以向量格式表示为：
HPP(T1，T2)＝(HPPti … HPPtT1，HPPtT1+1 … HPPtT2) (3)
尽管本文讨论的示例仅参考如等式(1)中指出的垂直位置，但是在其他实施方案中，可通过使用水平位置(即x轴分量)和垂直位置(即y轴分量)来计算HPP。这可在数学上表示为：
Figure GDA0003802138710000131
其中i是所选择的面部特征的真实和有限数目。
如上所述，在一些实施方案中，通过归一化所选择的面部特征点来计算HPP还包括基于分配给每个所选择的面部特征点的置信水平来对所选择的面部特征点进行加权。在此实施方案中，在特征提取处理期间，可向所选择的面部特征点分配置信水平。计算HPP可基于这些置信水平。例如，处理器110可(例如，通过将置信度水平与预定阈值进行比较)确定与所选择的面部特征点中的每一个相关联的置信水平是低置信度值还是高置信度值。
在一些实施方案中，低置信度值可指示所选择的面部特征点的位置估计不可用，所选择的面部特征点不可见，存在不良照明状况和/或遮挡以及其他状况。因此，基于此确定，处理器110可利用与每个所选择的面部特征点相关联的权重来计算HPP。权重可以是与所选择的面部特征点相关联的置信水平的函数。在一些实施方案中，仅在确定所选择的面部特征点与低置信度值相关联时才实现加权平均。根据此实施方案，等式(1)可重写为：
Figure GDA0003802138710000132
其中i是所选择的面部特征的真实和有限数目并且w指示与所选择的面部特征相关联的加权值。
除了确定HPP之外，方法200还可包括在方框210处计算鼻子面部特征点之间的距离。在其他实施方案中，可确定鼻子面部特征点之间的量值。更具体地，确定两个鼻子面部特征点之间的欧几里得垂直(即，y轴分量)距离。例如，在方框206处，处理器110可识别两个鼻子面部特征点。在图3B中，示出图像304中的鼻子的分解图306。在视图306中示出两个鼻子面部特征点、鼻梁顶部(N1)和鼻尖(N2)。因此，在一个实施方案中，鼻子面部特征点限定鼻子的长度(例如，鼻子的隔膜的长度)。应理解，可使用除了图3B所示的那些之外的不同的鼻子面部特征点。鼻子面部特征点还具有在图像304的平面302内的位置。根据图3B所示的说明性示例的鼻子面部特征点之间的距离可在数学上表示为：
Lns＝N1(t)-N2(y) (6)
鼻子面部特征点之间的距离也可被标准化和/或转换成在0和1的范围内的值。此外，鼻子面部特征点之间的距离也可在时间段T内计算。例如，如本文将讨论的，可在时间段T内跟踪鼻子面部特征点。当跟踪鼻子面部特征点时，可在时间段T内计算Lns，并且其可以以向量格式表示为：
Lns＝(Lns(ti) … Lns(tT)) (7)
类似于如上所述计算HPP，鼻子面部特征点之间的距离可被计算为在时间段T开始时的初始值(例如Lns(ti)，其中i＝1)(例如，其中头部姿势处于朝向车辆102的前方视野的直接固定位置，如图3B所示)。在一些实施方案中，可在时间段T的结束时(例如，Lns(tT))计算Lns。此实施方案将在本文用图3C进行讨论。在其他实施方案中，在时间段T期间以不同的时间间隔计算Lns(例如，其中i表示每个时间间隔)。此外，在本文讨论的一些实施方案中，可针对多于一个时间序列，例如紧接着第二时间段T的第一时间段T来确定Lns。第一时间段T和第二时间段T可具有相同长度。
C.随时间确定头部姿势
如上所述，可在时间段内(例如时间段T内)跟踪面部特征点。此外，头部姿势点(HPP)和/或鼻子面部特征点(Lns)之间的距离可在时间段(例如时间段T)内进行跟踪。因此，再次参考图2，方法200可包括在方框212处跟踪头部姿势点(HPP)和/或鼻子面部特征点之间的距离(Lns)。如上文用图1A所讨论的，成像设备116和/或处理器110可包括跟踪***以跟踪所提取的面部特征点并且因此跟踪HPP和/或Lns。
如将在整个描述中更全面地理解的，在方框212处跟踪头部126和所选择的面部特征时，本文描述的方法的不同成分可并行地发生。例如，在丢失跟踪的情况下，在一些实施方案中，在方框214处可发生错误处理。跟踪误差可包括但不限于硬件(例如，成像设备116)的故障、***100的部件之间的连接性问题以及特征提取误差(例如，遮挡、照明)。在方框214处，确定是否已丢失跟踪(例如，未接收到来自跟踪的数据并且/或者数据不正确)。在一些实施方案中，确定跟踪是否已丢失包括确定跟踪是否丢失预定的时间段，例如五(5)秒。在方框214处，如果跟踪丢失，那么将变量重置为默认值以便进一步处理。具体地，尽管应理解可将变量重置为其他值，但是RefPt被设置为零(0)并且时间段T被设置为两(2)秒。在将变量重置之后，方法200在方框212处继续跟踪。
基于在方框212处的跟踪，可在时间段T内确定头部姿势。具体地，在图2所示的实施方案中，在方框216处，方法200可包括基于头部姿势点的位置在时间段T内的变化来确定头部姿势。在将在本文中讨论的其他实施方案中，确定头部姿势可基于头部姿势点的位置在时间段T内的变化以及鼻子面部特征点之间的距离在时间段T内的变化。
在一些实施方案中，相对于参考点(RefPt)确定头部姿势点(HPP)的位置的变化。RefPt是用于确定头部姿势的基线垂直(即，v轴分量)值。换句话说，RefPt是车辆乘员特定的用于确定头部向下姿势的归一化基准值。如本文将更详细地讨论的，RefPt可以是HPP的学***面302的原点处，其中x轴和y轴相交。然而，在其他实施方案中，可将RefPt初始化为不同的值。例如，RefPt的初始值可由处理器110从存储器112和/或盘114存储并检索。
现参考图4，将描述用于确定头部姿势的详细示例性方法400。在一个实施方案中，确定头部姿势还包括在方框402处计算头部姿势点(HPP)与参考点(RefPt)之间的差异。如上所述，RefPt是用于确定头部姿势的基准值，并且可以是基于HPP的学***面上的垂直(即，y轴分量)位置的值。HPP与RefPt之间的差异指示来自RefPt的位置变化。计算HPP与RefPt之间的差异可在数学上表示为：
Delta(Δ)＝RefPt-HPP (8)
因此，Delta(Δ)基于提取的面部特征的当前归一化值和所述提取的面部特征的实时学习归一化值来提供头部姿势位置的变化的估计。在不考虑车辆102的参考系或成像设备116的参考系的情况下提供并分析这些值(例如，HPP、RefPt和Delta(Δ))。
i.基于较大头部姿势变化来确定头部姿势
如本文所讨论的，可以以不同的变化来区分以向下方向定向的头部姿势。因此，在一些实施方案中，确定头部姿势可包括基于计算头部姿势点(HPP)与参考点(RefPt)之间的差异来识别较大的头部姿势变化或较小的头部姿势变化。在本文所讨论的实施方案中，为了基于较小的头部姿势变化来确定头部姿势，随时间跟踪变化的位置(例如，移动的模式)。相反地，在本文所讨论的一些实施方案中，为了基于较大的头部姿势变化来确定头部姿势，随时间跟踪鼻子面部特征点(Lns)之间的距离。
因此，在如图4所示的一个实施方案中，在方框404处，方法400可包括将头部姿势的位置的变化与姿势变化阈值(POSEVARth)进行比较，以确定头部姿势的位置变化是否为相对于RefPt的较大的头部姿势变化或较小的头部姿势变化。作为说明性示例，可将POSEVARth设置为0.014。在此示例中，在方框404处，如果Delta(Δ)大于0.014，那么头部姿势变化被确定为较大的头部姿势变化。因此，如果在方框404处，Delta(Δ)大于POSEVARth(是)，那么方法400可选地继续到方框405，并且继续到方框406，以基于较大的头部姿势变化来确定头部姿势。
再次参考方框404，如果Delta(Δ)小于POSEVARth(否)，那么方法400继续到方框408，以基于较小的头部姿势变化来确定头部姿势。将参考图3D、图3E和图5在本文进一步详细描述方框408。在一些实施方案中，如果Delta(Δ)等于零或负值，那么方法400可结束(未示出)并在图2的方框212处返回到跟踪。此确定可在方框402和/或在方框404处进行。在此实施方案中，Delta(Δ)可指示以向上方向定向的头部姿势，而不是以向下方向定向的头部姿势。
再次参考较大的头部姿势变化，在一个实施方案中，图4的方法400可包括在方框405处确定车辆乘员106的头部姿势是否旋转。换句话说，确定车辆乘员106的头部126是朝向左方向(例如，负x轴方向)还是右方向(例如，正x轴方向)转动(例如，旋转/倾斜)。当车辆乘员106的头部126旋转时，一些面部特征(例如鼻子面部特征)在由成像设备116捕获的图像中不可见。因此，鼻子面部特征点(Lns)之间的距离的确定可能是曲解的。在一个实施方案中，在方框405处的确定基于来自成像设备116的信息并且/或者基于来自跟踪面部特征点的其他车辆***的信息。例如，方框405处的确定可基于车辆乘员106的头部横摆。在一个实施方案中，在方框405处将头部横摆与预定阈值进行比较。例如，如果头部横摆大于-10并且头部横摆小于10，那么在方框405处确定头部姿势不旋转(否)，并且方法400可前进到方框406，以便确定并分析鼻子面部特征。否则，在方框405处确定头部姿势被旋转(是)，并且方法400前进到方框412，这将在本文进一步详细讨论。
在另一个实施方案中，方框405可包括确定车辆乘员106是否注意。确定车辆乘员106是否注意可基于来自成像设备116的信息和/或来自跟踪面部特征点的其他车辆***118的信息。例如，如上所述，如果车辆乘员106的头部126旋转，那么可确定车辆乘员106未注意。在此实施方案中，如果在方框405处确定车辆乘员106未注意，那么方法400可前进到方框412。否则，如果在方框405处确定车辆乘员106是注意的，那么方法400可前进到方框406，以便确定并分析鼻子面部特征。
在方框406处，方法400包括确定在时间段T内的一个或多个鼻子面部特征点(Lns)之间的距离(例如，量值)的变化。更具体地，在方框410处，通过在时间段T内比较Lns来计算确定。Lns的值可如上文的等式(6)和(7)中所示地计算。具体地，可在时间段T内以不同的间隔计算并跟踪在公式(7)中表示的Lns的值。因此，两个鼻子面部特征点N1、N2之间的欧几里得垂直(即，y轴分量)距离在时间段T内被跟踪。在一个实施方案中，将在时间段T结束时的两个鼻子面部特征点N1、N2之间的距离与(例如，在时间段T的开始)两个鼻子面部特征点N1、N2之间的初始距离进行比较。图3C是示出图像304'的示意图，其以与图3B的图像304中所示的头部姿势相比较大的头部姿势变化来示出头部姿势。在本文，在时间段T结束时的位置处示出面部特征F1、F2和F3。此外，分解图306'以较大头部姿势变化示出鼻子面部特征点N1、N2。如图3C所示，与图3B相比，鼻子面部特征点N1、N2之间的距离变化已增加。
再次参考图4，如果在方框410处，在时间段T结束时两个鼻子面部特征点N1、N2之间的距离大于两个鼻子面部特征点N1、N2之间的初始距离(是)，那么在方框412处确定此头部姿势被以向下方向定向。换句话说，在确定一个或多个鼻子面部特征点的位置变化(例如，距离变化)在时间段T内增加时，确定头部姿势还包括确定头部姿势被以向下方向定向。在一些实施方案中，确定一个或多个鼻子面部特征点的位置的变化可部分地基于成像设备116的位置。例如，如果成像设备116被定位在方向盘132上方(例如，参见摄像机130)，那么可基于确定一个或多个鼻子面部特征点的位置的变化在时间T内减少来确定头部姿势被以向下方向定向。
在方框412处，可将指示头部向下姿势(例如，存储在存储器112或盘114处)的变量设置为真。否则，如果在方框410处，在时间段结束时两个鼻子面部特征点N1、N2之间的距离小于或等于两个鼻子面部特征点N1、N2之间的初始距离(否)，那么在方框414处确定此头部姿势不以向下方向定向。类似于方框412，在方框414处，可将指示头部向下姿势(例如，存储在存储器112或盘114处)的变量设置为假。一旦在方框412和/或414处确定头部姿势，那么方法400可返回到图2的方法200。
在一些实施方案中，在方框412处确定头部姿势是头部向下姿势(即，是)时，方法400可以可选地前进到方框408以确定较小的头部姿势变化。例如，在一些情况下，较大的头部姿势变化后可跟随较小的头部姿势变化。现在将更详细地讨论方框408。
ii.基于较小头部姿势变化来确定头部姿势
如上文参考图4在方框404处所讨论的，在一些实施方案中，基于头部姿势点(HPP)的位置在时间T内的变化来确定头部姿势可包括识别基于较大的头部姿势变化或者较小的头部姿势变化的差异(HPP与参考点(RefPt)之间的Delta(Δ))。因此，在方框408处，方法400可包括确定较小的头部姿势变化。在一个实施方案中，基于较小的头部姿势变化确定头部姿势包括在时间段T内跟踪头部姿势点(HPP)的位置，并且确定位置在时间段T内的变化是否具有周期性模式。换句话说，确定HPP是否在时间段T内重复位置变化。此外，在一些实施方案中，确定位置变化是否具有周期性模式包括在例如第一时间段T和第二时间段T的两个时间段内跟踪HPP。关于确定较小的头部姿势变化，应理解，在图2的方框208处计算的HPP可由以水平(即，x轴分量)和垂直(即，y轴分量)值表示的位置来定义。
现将利用图5所示的示例性方法500来讨论基于较小的头部姿势变化来确定头部姿势的详细解释。在方框502处，方法500包括在时间段T内跟踪HPP。应理解，方框502也可在图2的方框212处执行。在一个实施方案中，跟踪HPP持续第一时间段T。在方框504处，方法500包括将HPP在时间段T内的位移与预定阈值进行比较。换句话说，确定在时间段T内的不同间隔处的HPP的位置的变化，并将其与预定阈值进行比较。因此，在一个实施方案中，处理器110可在时间段T的两个时间间隔处(例如在时间T的开始和时间T的结束处)确定HPP的位置之间的差异和/或位移。这可在数学上表示为：
HPPΔ＝(HPP(ti)-HPP(ti-1)) (9)
可替代地，在包括两个时间段(第一时间段T和第二时间段T)的实施方案中，等式(9)可表示为：
HPPΔT1＝(HPP((tiT1)-HPP(tiT1-1))，， (10)
其中T1等于第一时间段T。
在一些实施方案中，并且如图5所示，预定阈值可以是数值范围。因此，在方框504处，将HPP在时间段T内的位移与两个预定阈值(小阈值(SMALLth)和大阈值(LARGEth))进行比较，以确定位移是否落在两个预定阈值内。在一个说明性实施方案中，数值范围在0.014与0.006之间。
再次参考图5，在方框504处，如果确定为否，那么方法500继续到方框506。在方框506处，确定头部姿势不以向下方向定向。类似于图4的方框414，可将指示头部向下姿势(例如，存储在存储器112或盘114处)的变量设置为假。方法500随后可结束并返回到图2的方法200。
否则，如果方框504处的确定为是，那么方法500继续到方框510，其中(例如，在存储器112或盘114处)存储在时间段T结束时HPP的位置(例如，x、y坐标)作为变量HPPVAL。因此，根据上述等式(9)或(10)，HPPVAL被设置为HPP在(ti)处的位置，如图3D的说明性示例中所示，或者在替代实施方案中，设置为HPP在(tiT1)处的位置。应理解，在一些实施方案中，HPP的位置可以是水平位置值(例如x)、垂直位置值(例如y)和/或水平位置值与垂直位置值(例如，x、y)。
在方框512处，类似于方框502，方法500可包括跟踪HPP持续时间段T。在一些实施方案中，处理器110跟踪HPP持续第二时间段T。第二时间段T可等于与第一时间段T(即，方框502处的时间段T)相同的值。在方框514处，类似于方框504，将HPP在时间段T内的位移与预定阈值进行比较。在此实施方案中，预定阈值是数值范围。因此，在方框514处，将HPP在时间段T内的位移与两个预定阈值(小阈值(SMALLth)和大阈值(LARGEth))进行比较，以确定位移是否落在两个预定阈值内。因此，处理器110可在时间段T的两个时间间隔处(例如在时间T的开始和时间T的结束处)确定HPP的位置之间的差异。这可在数学上表示，类似于等式(9)。可替代地，在包括两个时间段(第一时间段T和第二时间段T)的实施方案中，位移可在数学上表示为：
HPPΔT2＝(HPP(tiT2)-HPP(tiT2-1)) (11)
其中T2等于第一时间段T。
如果方框514处的确定为否，那么方法500继续到方框506。否则，如果方框514处的确定为是，那么方法500继续到方框516。在方框516处，确定HPP的位置在时间段T内的变化是否具有周期性模式。换句话说，确定在第一时间间隔处的HPP的位置是否与在时间段T内的第二时间间隔处的HPP的位置接近。更具体地，在方框516处，确定HPPVAL是否与在时间段T结束时(即，HPP(t+1)或HPP(tiT2))HPP的位置(例如，x、y坐标)近似相等。如果方框516处的确定为否，那么方法500继续到方框506。然而，如果方框516处的确定为是，那么方法500继续到方框518。在方框518处，确定头部姿势以向下方向定向。可将指示头部向下姿势(例如，存储在存储器112或盘114处)的变量设置为真。此外，在方框518处，方法500可结束并返回到图2的方法200。
现将参考图3D和图3E来讨论用于基于较小的头部姿势变化来确定头部姿势的说明性示例。图3D示出类似于图3B的图像304的图像308。图3E示出图像308′，其示出从图像308的较小的姿势变化。在图3D中，HPP(ti-1)被示出为初始HPP。当在时间段T内跟踪HPP时，在图3E中示出在HPP(ti)时头部姿势的较小变化，并且在图3D中再次示出在HPP(ti+1)时头部姿势的较小变化。因此，当在如图3D和图3E所示的时间段T内跟踪HPP的位置时，HPP的位置从HPP(ti-1)、HPP(ti)和HPP(ti+1)表现出周期性模式，其中HPP(ti-1)接近HPP(ti+1)。
iii.更新参考点(RefPt)
如上所述，可相对于头部姿势点(HPP)更新参考点(RefPt)和时间段T。更具体地，可基于HPP动态地学***均值。更新可因某些车辆和/或车辆乘员状况而异，以确保RefPt被正确地更新。
现参考图6，示出用于更新RefPt的示例性方法600。应理解，方法600可与本文所述的其他方法并行地运行。例如，在一些实施方案中，可在图2的方框208处确定HPP之后触发方法600。在其他实施方案中，可在方框212处的跟踪期间定期地触发方法600。也可实现其他实施方案。方法600包括在方框602处确定参考点更新计数器(Ref_i)是否等于零(0)，或者(即在图4的方框402处确定的)Delta(Δ)是否小于POSEVARth。换句话说，在一个实施方案中，仅当RefPt先前未更新或者检测到较小的姿势头部变化(例如，类似于图4的方框404)时才发生更新。
如果方框602处的确定为否，那么方法600结束并且可返回到图2的方法200。在一个实施方案中，如果方框602处的确定为是，那么方法600可以可选地前进到方框604。在方框604处，方法600包括从例如图1的车辆***118接收车辆数据。在方框606处，基于在方框604处接收的车辆数据来确定是否存在正常驾驶状况。如果方框606处的确定为否，那么方法600结束并且可返回到图2的方法200。否则，如果方框606处的确定为是，那么方法600可前进到在方框608处计算RefPt。
在一些实施方案中，正常驾驶状况包括以平均速度(例如，没有转弯、突然操纵、停止和行走)在直线方向上驾驶。在其他实施方案中，正常驾驶状况包括车辆乘员注意力分散的概率较低(例如，车辆未停止、车辆速度高于30kmph(10mph))的状况。在另外的实施方案中，正常驾驶状况排除了可能使特征点提取和/或使头部姿势的归一化基准以中性取向或以向下方向偏斜的任何状况。
现将讨论车辆数据和正常驾驶状况的说明性示例。应理解，方框606可包括专用于不同类型的车辆***和/或车辆数据的阈值比较。用于每种类型的车辆***和/或车辆数据的正常驾驶状况的阈值数据可存储在图1的存储器112和/或盘114处。在一个实施方案中，车辆***118是动力转向***。在此说明性示例中，在方框606处，确定来自动力转向***的转向角(例如，车辆数据)是否大于预定角度(例如20度)，从而指示车辆处于转弯操纵。如果车辆处于转弯操纵中，那么不存在正常驾驶状况，并且不更新RefPt(例如，方法600结束)。
作为另一示例，车辆***118是电子稳定性控制***。在此说明性示例中，在方框606处，确定来自电子稳定性控制***的车辆横摆(例如，车辆数据)是否大于预定角度(例如3度)，从而指示车辆处于突然转弯或操纵。如果车辆处于突然转弯或操纵，那么不存在正常驾驶状况，并且不更新RefPt(例如，方法600结束)。
在另一示例中，车辆***118是防抱死制动***。在此说明性示例中，在方框606处，确定来自防抱死制动***的车辆速度传感器的车辆速度(例如，车辆数据)是否小于预定速度(例如，30kmph(10mph))，从而指示车辆停止或处于停和走的情况。在这些情况下，车辆乘员106未注意道路的概率可能很高。因此，不存在正常驾驶状况，并且不更新RefPt(例如，方法600结束)。
在另一示例中，车辆***118是成像设备116和/或跟踪***。在此说明性示例中，在方框606处，确定头部姿势的横摆是否指示头部姿势以右方向或左方向定向，例如，头部横摆在右方向或左方向上是否大于预定角度(例如，25度)。在左方向或右方向上的头部姿势可使头部姿势的归一化基准在中性取向或向下取向上偏斜。因此，不存在正常驾驶状况，并且不更新RefPt(例如，方法600结束)。
在另一示例中，车辆***118是头部向下警告(例如，光警告***)。在此说明性示例中，在方框606处，确定头部向下警告是否开启(ON)。在此示例中，如果头部姿势被确定以向下方向定向，那么不存在正常驾驶状况，并且不更新RefPt(例如，方法600结束)。在替代实施方案中，可在方框606处检查指示以向下方向定向的头部姿势的变量，以确定头部姿势是否以向下方向定向。
如上所述，如果在方框606处确定存在正常驾驶状况，那么方法600继续到方框608。在本文，确定在时间段T内HPP的平均值和方差。更具体地，在不同于时间段T(例如，当前时间段T)的第二时间段T(例如，时间T新)内的HPP的平均值和方差。将平均值确定为在第二时间段内的HPP的位移的平均值。这可在数学上表示为：
Figure GDA0003802138710000221
此外，在第二时间段内的HPP的位移的方差(VAR)可在数学上表示为：
Figure GDA0003802138710000222
在方框610处，确定方差(VAR)是否在预定标准偏差(STD)内，并且第二时间段是否大于时间段T。如果方框610处的确定为是，那么方法600继续到方框612，其中更新RefPt和时间段T。具体地，将RefPt设置为HPP的平均值，并且将时间段T设置为第二时间段T新。此外，计数器Ref_i递增，从而指示已设置和/或更新变量RefPt。此后，方法600可结束并且/或者返回到图2的方法200以便进行进一步跟踪。类似地，如果方框610处的确定为否，那么方法600可结束并且/或者返回到图2的方法200以便进行进一步跟踪。
iv.验证头部姿势
本文讨论的实施方案基于面部特征点来确定头部姿势是否以向下方向定向，而不考虑眼睛注视。然而，如图2在方框220处所示，在一些实施方案中，眼睛注视可用于验证所确定的头部姿势。现参考图7，示出用于利用眼睛注视来验证在图2的方框216处确定的头部姿势的方法700。在方框702处，方法700包括确定车辆乘员106的眼睛注视方向。在一个实施方案中，成像设备116确定并跟踪车辆乘员106的眼睛注视。在此实施方案中，在具有y轴分量的垂直位置中确定眼睛注视方向。因此，可确定眼睛注视将要在正y轴方向上向上定向(例如，指向)，或者可确定眼睛注视将要在负y轴方向上向下定向(例如，指向)。在方框704处，确定眼睛注视方向是否以向下方向定向。如果方框704处的确定为否(例如，眼睛注视方向被以向上方向定向)，那么验证在图2的方框216处确定的头部姿势。具体地，确定眼睛注视方向是否与所确定的头部姿势匹配。因此，在方框708处，确定头部姿势是否不是头部向下姿势(例如，头部向下姿势＝假)。如果方框708处的确定为是，那么头部姿势被验证为正确(例如，不是向下)，并且方法700继续到方框710，其中进展继续到图2的方法200，以在方框222处控制一个或多个车辆***。否则，如果方框708处的确定为否，那么方法700结束并且/或者进展返回到图2的方法200。具体地，可在图2的方框202处重置用于确定头部姿势的方法。
再次参考图7的方框704，如果确定为是(例如，眼睛注视方向被以向上方向定向)，那么方法700继续验证在图2的方框216处确定的头部姿势。具体地，确定眼睛注视方向是否与所确定的头部姿势匹配。因此，在方框712处，确定头部姿势是否是头部向下姿势(例如，头部向下姿势＝真)。如果方框712处的确定为否，那么方法700结束并且/或者进展返回到图2的方法200。具体地，可在图2的方框202处重置用于确定头部姿势的方法。否则，如果方框712处的确定为是，那么方法700继续到方框710，其中进展继续到图2的方法200，以在方框222处控制一个或多个车辆***。
D.控制车辆***
再次参考图2，在方框216处确定头部姿势时，方法200继续到方框222，其中方法200包括基于头部姿势来控制车辆102的一个或多个车辆***118。在一些实施方案中，仅当确定头部姿势被以向下方向定向并且/或者头部姿势是头部向下姿势时，才控制车辆102的一个或多个车辆***118。在其他实施方案中，车辆102的一个或多个车辆***118基于以向下方向定向的头部姿势的变化水平(例如，较大的向下变化、非常大的向下变化、以及极大的变化)来进行控制。可控制不同的车辆***118和车辆***118的参数。现将关于对可能未在图1A或图1B中示出的特定车辆***的控制来讨论若干说明性示例。
根据第一说明性示例，可基于头部姿势来控制视觉、听觉和/或触觉反馈。例如，如果头部姿势被确定为是以向下方向定向，那么处理器110可控制车辆座椅108振动或摇动。在另一示例中，方向盘132可被控制来摇动或振动。在一些情况下，响应于确定头部姿势被以向下方向定向，可激活一个或多个灯和/或视觉指示器。此外，可激活可听声，例如激活信息娱乐***。
作为另一个说明性示例，可改变自动巡航控制***以基于头部姿势增大或减小车间距离。例如，如果头部姿势被确定为是以向下方向定向，那么自动巡航控制***可将车间距离增大到第二车间距离。作为另一个说明性示例，可基于头部姿势来控制盲点指示器***。例如，可基于头部姿势来修改盲点指示器***检测区域。在其他情况下，可修改盲点指示器***以在头部姿势被确定为是以向下方向定向时能更早地传送警告。
应理解，上文讨论的说明性示例本质上是示例性的，并且可实现其他类型的控制和车辆***。控制车辆***和车辆***参数的另外的示例还可见于于2015年9月11日提交的美国公开号2016/0001781中，所述专利申请的全部内容以引用方式并入本文。
本文所讨论的实施方案还可在存储计算机可执行指令的非暂时性计算机可读存储介质的上下文中描述和实现。非暂时性计算机可读存储介质包括计算机存储介质和通信介质。例如，闪存驱动器、数字通用盘(DVD)、光盘(CD)、软盘和磁带盒。非暂时性计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、模块或其他数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。非暂时性计算机可读存储介质排除暂时的和传播的数据信号。
应理解，可合意地将上文公开的各种实施方案和其他的特征和功能或替代物或它们的变型组合到许多其他不同的***或应用中。另外，本领域技术人员随后可做出本文中目前未可预见或未预料到的各种替代、修改、变化或改进，而这些也旨在由所附权利要求书涵盖。

Claims (23)

1.一种用于在车辆中检测头部姿势的计算机实现的方法，其包括：
从成像设备接收位于所述车辆中的车辆乘员的图像；
从提取自所述图像的多个面部特征点中选择面部特征点；
基于对所述选择的面部特征点进行归一化来计算头部姿势点；
基于所述头部姿势点的位置在时间段T内的变化来确定所述头部姿势；以及
基于所述头部姿势来控制所述车辆的一个或多个车辆***，
其中确定所述头部姿势还包括计算所述头部姿势点与参考点之间的差异，其中所述参考点是所述头部姿势点的学习变体。
2.如权利要求1所述的计算机实现的方法，其中选择所述面部特征点包括从所述多个面部特征点中选择固定的面部特征点，所述固定的面部特征点具有不受其他面部特征点的移动影响的位置。
3.如权利要求1所述的计算机实现的方法，其中通过归一化所述选择的面部特征点来计算所述头部姿势点还包括对所述选择的面部特征点的位置求平均值。
4.如权利要求3所述的计算机实现的方法，其中通过归一化所述选择的面部特征点来计算所述头部姿势点还包括基于分配给每个所述选择的面部特征点的置信水平来对所述选择的面部特征点进行加权。
5.如权利要求4所述的计算机实现的方法，其还包括确定一个或多个鼻子面部特征点的位置在所述时间段T内的变化。
6.如权利要求5所述的计算机实现的方法，其中在确定所述一个或多个鼻子面部特征点的位置变化在所述时间段T内增加时，确定所述头部姿势还包括确定所述头部姿势被以向下方向定向。
7.如权利要求1所述的计算机实现的方法，其还包括基于所述头部姿势点在第二时间段T内的方差来更新所述参考点。
8.如权利要求7所述的计算机实现的方法，其中在确定所述头部姿势点的所述方差在预定标准偏差内时，所述方法包括将所述参考点更新为所述头部姿势点在所述第二时间段T内的平均值。
9.如权利要求1所述的计算机实现的方法，其中在确定所述头部姿势点的位置在所述时间段T内的变化具有周期性模式时，确定所述头部姿势还包括确定所述头部姿势被以向下方向定向。
10.一种用于在车辆中检测头部姿势的***，其包括：
成像设备，其可操作地连接用于与所述车辆进行计算机通信，所述成像设备捕获位于所述车辆中的车辆乘员的面部的图像；
处理器，其可操作地连接用于与所述成像设备和所述车辆进行计算机通信，所述处理器从所述图像中提取多个面部特征点，并且从所述多个面部特征点中选择面部特征点，其中每个所述选择的面部特征点具有在所述图像的平面上的位置，其中所述处理器计算头部姿势点作为所述选择的面部特征点的所述位置的垂直归一化，并且基于所述头部姿势点的位置在时间段T内的变化来确定所述头部姿势；以及
一个或多个车辆***，其可操作地连接用于与所述处理器和所述车辆进行计算机通信，其中所述处理器基于所述头部姿势来控制所述一个或多个车辆***，
其中所述处理器计算所述头部姿势点的位置变化作为所述头部姿势点与参考点之间的位置在所述时间段T内的变化，其中所述参考点是基于所述头部姿势点随时间的平均值的学习值。
11.如权利要求10所述的***，其中当暴露于来自面部表情的移动时，所述选择的面部特征点保持稳定的位置。
12.如权利要求10所述的***，其中所述处理器通过对所述选择的面部特征点的所述位置求平均值来计算所述头部姿势点作为所述选择的面部特征点的所述位置的垂直归一化。
13.如权利要求10所述的***，其中所述处理器基于所述头部姿势点在所述时间段T内的方差和平均值来更新所述参考点。
14.如权利要求10所述的***，其中所述处理器确定两个鼻子面部特征点之间的距离在所述时间段T内的变化。
15.如权利要求14所述的***，其中在确定所述距离的所述变化增加时，所述处理器确定所述头部姿势被以向下方向定向。
16.如权利要求10所述的***，其中所述成像设备跟踪所述头部姿势点持续至少两个连续时间段，所述至少两个连续时间段等于所述时间段T，并且所述处理器针对所述至少两个连续时间段中的每一个确定从第一位置到第二位置的移动模式。
17.如权利要求16所述的***，其中在确定所述至少两个连续时间段中的每一个的所述移动模式近似相同时，所述处理器确定所述头部姿势被以向下方向定向。
18.如权利要求10所述的***，其中所述成像设备跟踪所述车辆乘员的眼睛注视。
19.如权利要求18所述的***，其中确定所述头部姿势还包括所述处理器验证所述眼睛注视被以所述头部姿势的方向定向。
20.一种用于在车辆中检测头部姿势的非暂时性计算机可读介质，所述非暂时性计算机可读介质包括其上存储的指令，所述指令当由处理器执行时执行方法，所述方法包括：
从成像设备接收位于所述车辆中的车辆乘员的图像；
通过计算从所述图像中选择性地识别的面部特征点的归一化质心来计算头部姿势点；
基于所述头部姿势点的位置在时间段T内的变化来确定所述头部姿势；以及
基于所述头部姿势来控制所述车辆的一个或多个车辆***的功能，
其中，所述处理器计算所述头部姿势点的位置变化作为所述头部姿势点与参考点之间的位置在所述时间段T内的变化，其中所述参考点是基于所述头部姿势点随时间的平均值的学习值。
21.如权利要求20所述的非暂时性计算机可读介质，其中当所述面部特征点暴露于其他面部特征点的移动时，基于所述面部特征点是否保持稳定的位置来选择性地识别所述面部特征点。
22.如权利要求20所述的非暂时性计算机可读介质，其还包括在确定所述头部姿势点与所述参考点之间的差异满足头部向下阈值时，确定在一个或多个鼻子面部特征点之间的位移在所述时间段T内的变化。
23.如权利要求22所述的非暂时性计算机可读介质，其中在确定所述一个或多个鼻子面部特征点之间的位移变化在所述时间段T内增加时，确定所述头部姿势包括确定所述头部姿势被以向下方向定向。
CN201710327611.0A 2016-07-29 2017-05-10 在车辆中检测头部姿势的***、方法和计算机可读介质 Active CN107665330B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/224,267 US10089543B2 (en) 2016-07-29 2016-07-29 System and method for detecting distraction and a downward vertical head pose in a vehicle
US15/224,267 2016-07-29

Publications (2)

Publication Number Publication Date
CN107665330A CN107665330A (zh) 2018-02-06
CN107665330B true CN107665330B (zh) 2022-11-11

Family

ID=60951037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710327611.0A Active CN107665330B (zh) 2016-07-29 2017-05-10 在车辆中检测头部姿势的***、方法和计算机可读介质

Country Status (3)

Country Link
US (1) US10089543B2 (zh)
CN (1) CN107665330B (zh)
DE (1) DE102017212935A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728482A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 控制***、控制处理方法及装置
US10759424B2 (en) * 2016-08-16 2020-09-01 Honda Motor Co., Ltd. Vehicle data selection system for modifying automated driving functionalities and method thereof
US11305766B2 (en) * 2016-09-26 2022-04-19 Iprd Group, Llc Combining driver alertness with advanced driver assistance systems (ADAS)
DK3480729T3 (da) * 2017-11-07 2023-04-03 Tata Consultancy Services Ltd System og fremgangsmåde til ansigtspositionssporing og alarmering af en bruger
US10538259B2 (en) * 2018-03-28 2020-01-21 Deuta America Corp Fit-for-duty detection and alerting system for rail and transit
TWI704501B (zh) * 2018-08-09 2020-09-11 宏碁股份有限公司 可由頭部操控的電子裝置與其操作方法
DE102018214935B4 (de) * 2018-09-03 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges
DE102018215969A1 (de) * 2018-09-19 2020-03-19 Robert Bosch Gmbh Verfahren zum Klassifizieren einer fahraufgabenfremden Aktivität eines Fahrers hinsichtlich einer Unterbrechbarkeit der fahraufgabenfremden Aktivität bei einer Übernahmeaufforderung der Fahraufgabe und Verfahren zur Wiederfreigabe einer fahraufgabenfremden Aktivität nach einer Unterbrechung der fahraufgabenfremden Aktivität aufgrund einer Übernahmeaufforderung der Fahraufgabe
JP7232008B2 (ja) * 2018-09-27 2023-03-02 株式会社アイシン 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
US10825196B2 (en) * 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
US11120569B2 (en) * 2019-06-24 2021-09-14 Synaptics Incorporated Head pose estimation
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11312298B2 (en) 2020-01-30 2022-04-26 International Business Machines Corporation Modulating attention of responsible parties to predicted dangers of self-driving cars
CN113456058A (zh) * 2020-03-30 2021-10-01 Oppo广东移动通信有限公司 头部姿态的检测方法、装置、电子设备和可读存储介质
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles
US20220379900A1 (en) * 2021-05-13 2022-12-01 Bendix Commercial Vehicle Systems Llc Online Driver Delay and Frequency Response Model
CN116805308A (zh) * 2021-06-28 2023-09-26 杭州佳量医疗科技有限公司 一种基于磁共振引导的激光消融评估***
GB2621863A (en) 2022-08-25 2024-02-28 Continental Automotive Tech Gmbh Pose classification and in-cabin monitoring methods and associated systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573660A (zh) * 2003-05-30 2005-02-02 微软公司 头部姿势估算方法和***
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测***
WO2015200224A2 (en) * 2014-06-23 2015-12-30 Honda Motor Co., Ltd. System and method for responding to driver state

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570785B2 (en) 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
US9129505B2 (en) 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
US6724920B1 (en) 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
EP1811456B1 (en) * 2004-11-12 2011-09-28 Omron Corporation Face feature point detector and feature point detector
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
WO2008007781A1 (fr) 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
US7970175B2 (en) * 2007-04-30 2011-06-28 Delphi Technologies, Inc. Method and apparatus for assessing head pose of a vehicle driver
US7972266B2 (en) * 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
US9728006B2 (en) 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
GB2518589B (en) 2013-07-30 2019-12-11 Holition Ltd Image processing
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
CN104013414B (zh) 2014-04-30 2015-12-30 深圳佑驾创新科技有限公司 一种基于移动智能手机的驾驶员疲劳检测***
US9547798B2 (en) * 2014-05-20 2017-01-17 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573660A (zh) * 2003-05-30 2005-02-02 微软公司 头部姿势估算方法和***
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测***
WO2015200224A2 (en) * 2014-06-23 2015-12-30 Honda Motor Co., Ltd. System and method for responding to driver state

Also Published As

Publication number Publication date
US10089543B2 (en) 2018-10-02
DE102017212935A1 (de) 2018-02-01
US20180032825A1 (en) 2018-02-01
CN107665330A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
CN107665330B (zh) 在车辆中检测头部姿势的***、方法和计算机可读介质
US11977675B2 (en) Primary preview region and gaze based driver distraction detection
US10217343B2 (en) Alert generation correlating between head mounted imaging data and external device
US10455882B2 (en) Method and system for providing rear collision warning within a helmet
JP6998564B2 (ja) 覚醒度推定装置及び覚醒度推定方法
CN113056390A (zh) 情境驾驶员监控***
US10780890B2 (en) Vehicle systems and methods for detecting and mitigating an incapacitated driver
US11760346B2 (en) Systems and methods for collision avoidance
US11235776B2 (en) Systems and methods for controlling a vehicle based on driver engagement
JP7118136B2 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
CN110641468A (zh) 基于乘客行为控制自主车辆
US11455810B2 (en) Driver attention state estimation
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
JP2016115117A (ja) 判定装置および判定方法
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
US10706301B2 (en) Detection device, learning device, detection method, learning method, and recording medium
KR20200040320A (ko) 차량, 차량의 제어 방법 및 영상 탐색 장치
Srivastava Driver's drowsiness identification using eye aspect ratio with adaptive thresholding
US20230177861A1 (en) Apparatus, method, and computer program for detecting hand region
KR102597068B1 (ko) 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법
Pradhan et al. Driver Drowsiness Detection Model System Using EAR
Hijaz et al. Driver Visual Focus of Attention Estimation in Autonomous Vehicles
Tran Human-Vehicle Collaborative Driving to Improve Transportation Safety
JP2024525153A (ja) 衝突を予測する、交差点での違反を予測する、および／またはカメラ画像内のオブジェクト検出の対象領域を決定するためのデバイスおよび方法
CN118155192A (zh) 疲劳驾驶检测方法、车辆、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant