CN113879321B - 驾驶员监视装置及驾驶员监视方法 - Google Patents

Abstract

一种驾驶员监视装置具有：脸部朝向检测部(31)，所述脸部朝向检测部(31)根据由对车辆(10)的驾驶员进行摄影的照相机(2)获得的各个脸部图像检测出驾驶员的脸部朝向及驾驶员的脸部位置；脸部基准更新部(33)，所述脸部基准更新部(33)基于根据在最近的规定期间获得的各个脸部图像检测出的驾驶员的脸部朝向或者脸部位置，更新驾驶员的脸部朝向的基准方向或者驾驶员的脸部的基准位置；以及戴脱检测部(32)，所述戴脱检测部(32)在各个脸部图像中检测穿戴物相对于驾驶员的脸部的戴、脱。并且，当检测出穿戴物的戴、脱时，脸部基准更新部(33)只基于根据该检测之后获得的脸部图像检测出的驾驶员的脸部朝向或者脸部位置来更新基准方向或者基准位置。

Description

驾驶员监视装置及驾驶员监视方法

技术领域

本发明涉及对车辆的驾驶员进行监视的驾驶员监视装置及驾驶员监视方法。

背景技术

为了确认在驾驶车辆期间的驾驶员的状态，正在研究基于通过对驾驶员摄影获得的图像来检测驾驶员的脸部朝向的技术(例如，参照日本特开2019-87150号公报)。例如，在日本特开2019-87150号公报中公开的驾驶员监视***，当包括车辆的速度在规定速度以上在内的零点设定条件成立时，基于根据由摄像装置摄制的脸部图像识别出的驾驶员的脸部朝向角度，设定驾驶员的脸部的俯仰角、偏转角及滚动角的零点。并且，该驾驶员监视***基于当前的相对于被设定的零点的脸部朝向角度，诊断驾驶员的状态。

发明内容

在上述技术中，基于相对于成为在规定条件下设定的基准的驾驶员的脸部朝向而言的当前的脸部朝向，诊断驾驶员的状态。从而，由于若没有正确地检测出成为基准的驾驶员的脸部朝向，则存在着错误地做出对驾驶员的状态的判断的风险，因此，要求正确地检测出成为基准的脸部朝向。但是，有时，在车辆的行驶中，驾驶员将太阳镜或者口罩这样的穿戴物戴到自己的脸部，或者，从脸部取下穿戴的穿戴物。在这样的情况下，存在着难以正确地求出成为基准的驾驶员的脸部朝向的风险。

因此，本发明的目的在于提供一种驾驶员监视装置，即使进行穿戴物相对于驾驶员的脸部的戴、脱，也能够正确地设定成为基准的驾驶员的脸部朝向或者成为基准的驾驶员的脸部位置。

根据一种实施方式，提供一种驾驶员监视装置。该驾驶员监视装置具有：脸部朝向检测部，所述脸部朝向检测部根据按时序的一系列的脸部图像的每一个，检测出驾驶员的脸部朝向及驾驶员的脸部位置，所述一系列的脸部图像是由搭载于车辆并对车辆的驾驶员进行摄影的照相机获得的，显示出驾驶员的脸部；脸部基准更新部，所述脸部基准更新部，基于根据所述一系列的脸部图像中的在最近的规定期间获得的多个脸部图像的每一幅检测出的驾驶员的脸部朝向，更新驾驶员的脸部朝向的基准方向，或者，基于根据在规定期间获得的多个脸部图像的每一幅检测出的驾驶员的脸部位置，更新驾驶员的脸部的基准位置；以及戴脱检测部，所述戴脱检测部在所述一系列的脸部图像的每一幅中，检测穿戴物向驾驶员的脸部的穿戴、或者穿戴物从驾驶员的脸部的摘脱。并且，当检测出穿戴物的穿戴或者穿戴物的摘脱时，脸部基准更新部只基于根据在该检测之后取得的脸部图像检测出的驾驶员的脸部朝向来更新基准方向，或者，只基于根据在该检测之后取得的脸部图像检测出的驾驶员的脸部位置来更新基准位置。

该驾驶员监视装置优选还具有存储部。并且，当检测出穿戴物相对于驾驶员的脸部的穿戴时，脸部基准更新部将在检测出该穿戴物的穿戴的时刻的驾驶员的脸部的第一基准方向或者驾驶员的脸部的第一基准位置存储于存储部，之后，当检测出穿戴物从驾驶员的脸部的摘脱时，将存储于存储部的第一基准方向作为在检测出穿戴物的摘脱的时刻的驾驶员的脸部基准方向，或者，将存储于存储部的第一基准位置作为在检测出穿戴物的摘脱的时刻的驾驶员的脸部的基准位置。

根据另外的实施方式，提供一种驾驶员监视方法。该驾驶员监视方法包括：根据按时序的一系列的脸部图像的每一幅，检测出驾驶员的脸部朝向及驾驶员的脸部位置，所述一系列的脸部图像是由搭载于车辆的对车辆的驾驶员进行摄影的照相机获得的，显示出驾驶员的脸部；基于根据一系列的脸部图像中的在最近的规定期间获得的多个脸部图像的每一幅检测出的驾驶员的脸部朝向，更新驾驶员的脸部朝向的基准方向，或者，基于根据在该规定期间获得的多个脸部图像的每一幅检测出的驾驶员的脸部位置，更新驾驶员的脸部位置的基准点；在一系列的脸部图像的每一幅中，检测出穿戴物向驾驶员的脸部的穿戴、或者穿戴物从驾驶员的脸部的摘脱。并且，驾驶员的脸部的基准方向或者基准位置的更新包括：当检测出穿戴物相对于驾驶员的脸部的穿戴、或者穿戴物从驾驶员的脸部的摘脱时，只基于根据一系列的脸部图像中的在该检测之后获得的脸部图像检测出的驾驶员的脸部朝向来更新基准方向，或者，只基于根据在该检测之后获得的脸部图像检测出的驾驶员的脸部位置来更新基准位置。

本发明的驾驶员监视装置获得这样的效果：即使进行穿戴物相对于驾驶员的脸部的戴、脱，也能够正确地设定成为基准的驾驶员的脸部朝向或者成为基准的驾驶员的脸部位置。

附图说明

图1是安装有驾驶员监视装置的车辆控制***的概略结构图。

图2是作为驾驶员监视装置的一个实施方式的电子控制装置的硬件结构图。

图3是与驾驶员监视处理相关的电子控制装置的处理器的功能框图。

图4A是表示在最近的规定期间没有穿戴物相对于驾驶员的脸部的戴、脱的情况下的基准方向及基准位置的检测的一个例子的图。

图4B是表示在最近的规定期间中检测出穿戴物相对于驾驶员的脸部的戴、脱的情况下的基准方向及基准位置的检测的一个例子的图。

图5是驾驶员监视处理的动作流程图。

具体实施方式

下面，参照附图，对驾驶员监视装置进行说明。该驾驶员监视装置根据由为了对驾驶员进行摄影而设置的照相机获得的按时序的一系列的图像(下面，为了便于说明，称之为脸部图像)的每一个，检测出驾驶员的脸部朝向及脸部位置。并且，该驾驶员监视装置基于检测出的脸部朝向相对于脸部朝向的基准方向的角度、或者检测出的脸部位置相对于脸部的基准位置的偏离量来判定驾驶员的状态。这时，该驾驶员监视装置基于根据在最近的规定期间获得的多个脸部图像的每一幅检测出的驾驶员的脸部朝向，更新驾驶员的脸部的基准方向，并且，基于根据在该规定期间获得的多个脸部图像的每一幅检测出的驾驶员的脸部位置，更新驾驶员的脸部位置的基准点。但是，该驾驶员监视装置当在任一脸部图像中检测出穿戴物相对于驾驶员的脸部的穿戴或者摘脱时，一度重置脸部的基准方向及脸部的基准位置。并且，该驾驶员监视装置只利用根据在最近的规定期间获得的多个脸部图像之中的在穿戴物的戴、脱的检测之后获得的脸部图像检测出的脸部朝向及脸部位置，更新脸部的基准方向及脸部的基准位置。由此，该驾驶员监视装置能够消除在脸部的基准方向及基准位置的更新中由穿戴物相对于驾驶员的脸部的戴、脱造成的影响，即使进行穿戴物相对于驾驶员的脸部的戴、脱，也能够正确地设定脸部的基准方向及脸部的基准位置。

图1是安装有驾驶员监视装置的车辆控制***的概略结构图。另外，图2是作为车辆控制装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中，搭载于车辆10且控制车辆10的车辆控制***1具有驾驶员监视照相机2、用户界面3、以及作为车辆控制装置的一个例子的电子控制装置(ECU)4。驾驶员监视照相机2及用户界面与ECU4经由以控制器局域网络这样标准为基准的车内网络被能够通信地连接起来。另外，车辆控制***1也可以还具有用于对车辆10的自身位置进行测位的GPS接收机(图中未示出)。另外，车辆控制***1也可以还具有用于对车辆10的周围进行摄影的照相机(图中未示出)、或者激光雷达或者雷达这样的测定从车辆10到存在于车辆10周围的物体的距离的距离传感器(图中未示出)中的至少任一种。进而，车辆控制***1也可以具有用于与其它设备进行无线通信的无线通信终端(图中未示出)。进而，车辆控制***1也可以具有用于搜索车辆10的行驶路径的导航装置(图中未示出)。

驾驶员监视照相机2是照相机或者车内摄像部的一个例子，具有：由CCD或者C-MOS等对可见光或红外光具有敏感度的光电转换元件的阵列构成的二维检测器、以及将成为摄影对象的区域的像成像于该二维检测器上的成像光学***。驾驶员监视照相机2也可以还具有红外LED这样的用于对驾驶员进行照明的光源。并且，驾驶员监视照相机2例如向着驾驶员安装于仪表板或附近，以使得就坐于车辆10的驾驶座上的驾驶员的头部被包含在该摄影对象区域中，即，能够对驾驶员的头部进行摄影。并且，驾驶员监视照相机2每隔规定的摄影周期(例如，1/30秒～1/10秒)对驾驶员的头部进行摄影，生成将驾驶员的脸部的至少一部分照相的脸部图像。由驾驶员监视照相机2获得的脸部图像可以是彩色图像，也可以是黑白图像。驾驶员监视照相机2每当生成脸部图像时，将该生成的脸部图像经由车内网络向ECU4输出。

用户界面3是通知部的一个例子，例如，具有液晶显示器或者有机EL显示器这样的显示装置。用户界面3向着驾驶员设置于车辆10的车厢内，例如，设置于仪表板。并且，用户界面3显示从ECU4经由车内网络接收到的各种信息，由此，向驾驶员通知该信息。用户界面3也可以还具有设置于车厢内的扬声器。在该情况下，用户界面3将从ECU4经由车内网络接收到的各种信息作为声音信号输出，由此，向驾驶员通知该信息。

ECU4基于脸部图像，检测出驾驶员的脸部朝向或者脸部位置，基于该脸部朝向或者脸部位置，判定驾驶员的状态。并且，在驾驶员的状态为驾驶员左顾右盼等不适合驾驶的状态的情况下，ECU4经由用户界面3向驾驶员发出警告。

如图2所示，ECU4具有通信接口21、存储器22和处理器23。通信接口21、存储器22及处理器23可以分别作为单独的电路而构成，或者，也可以作为一个集成电路而一体地构成。

通信接口21具有用于将ECU4连接于车内网络的接口电路。并且，通信接口21每当从驾驶员监视照相机2接收到脸部图像时，将接收到的脸部图像向该处理器23传送。另外，当通信接口21从处理器23接收到要让用户界面3显示的信息时，将该信息向用户界面3输出。

存储器22是存储部的一个例子，例如，具有易失性的半导体存储器及非易失性的半导体存储器。并且，存储器22存储在由ECU4的处理器23实施的驾驶员监视处理中使用的各种算法及各种数据。例如，存储器22存储脸部图像、根据脸部图像对驾驶员的脸部的各部进行的检测、脸部朝向的判定等中采用的各种参数等。进而，存储器22暂时地存储在驾驶员监视处理的中途生成的各种数据。

处理器23具有1个或多个CPU(中央处理器)及其***电路。处理器23也可以还具有逻辑运算单元、数值运算单元或者图像处理单元等其它运算电路。并且，处理器23实施驾驶员监视处理。

图3是与驾驶员监视处理相关的处理器23的功能框图。处理器23具有脸部朝向检测部31、戴脱检测部32、脸部基准更新部33、以及判定部34。处理器23所具有的所述各部例如是由在处理器22中工作的计算机程序实现的功能模块。或者，处理器23所具有的所述各部也可以是设置于处理器23的专用的运算电路。

每当ECU4从驾驶员监视照相机2接收到脸部图像时，脸部朝向检测部31基于接收到的脸部图像，检测驾驶员的脸部朝向。

脸部朝向检测部31，例如，将脸部图像输入给预先学习过的识别器，以便根据图像检测出驾驶员的脸部，由此，检测出在该脸部图像上拍照出驾驶员的脸部的区域(下面，称作脸部区域)。脸部朝向检测部31例如可以采用具有单触发多盒检测器(SSD)或者FasterR-CNN(快速深度学习)等卷积式神经网络型(CNN)的***结构的深度学习神经网络(DNN)来作为这样的识别器。或者，脸部朝向检测部31也可以利用AdaBoost识别器来作为这样的识别器。识别器利用包含有显示脸部的图像以及不显示脸部的图像的训练数据，按照规定的学习方法预先进行学习。并且，将对识别器进行规定的参数组预先存储于存储器22中即可。另外，脸部朝向检测部31也可以按照从图像中检测出脸部区域的其它方法从脸部图像中检测出脸部区域。

脸部朝向检测部31从脸部图像的脸部区域检测出外眼角、大眼角、鼻尖点、嘴角点等驾驶员的脸部的多个特征点。在该情况下，脸部朝向检测部31例如也能够将脸部区域输入到预先学习过的识别器中，以便检测出在图像中显示的脸部的特征点，由此，检测出脸部的特征点。作为这样的识别器，脸部朝向检测部31例如可以采用具有CNN型的***结构的DNN或者AdaBoost识别器。另外，检测脸部区域的识别器也可以预先学习，以便不仅检测出脸部区域，而且检测出脸部的特征点。在该情况下，脸部朝向检测部31通过将脸部图像输入到识别器中，能够将脸部的特征点也与脸部区域一起检测出来。或者，脸部朝向检测部31也可以根据表示脸部的特征点的模板与脸部区域的模板匹配、或者检测脸部的特征点的其它方法，从脸部区域检测出驾驶员的脸部的特征点。

脸部朝向检测部31将检测出的脸部的特征点与表示脸部的三维形状的三维脸部模型进行匹配。并且，脸部朝向检测部31检测出各个特征点与三维脸部模型最匹配时的三维脸部模型的脸部朝向，作为驾驶员的脸部朝向。另外，驾驶员的脸部朝向，例如，由以正对着驾驶员监视照相机2的方向为基准的俯仰角、偏转角及滚动角的组合来表示。这时，脸部朝向检测部31也可以基于以过去获得的脸部图像为基础的穿戴物相对于驾驶员的脸部的戴、脱的判定结果，使脸部穿戴有穿戴物的情况下的三维脸部模型与没有穿戴物的情况下的三维脸部模型不同。即，在判定为穿戴物被从脸部摘下之后，脸部朝向检测部31利用在脸部没有穿戴物的情况下的三维脸部模型对驾驶员的脸部朝向进行检测即可。另一方面，在判定为穿戴物被戴到脸部上之后，脸部朝向检测部31利用在脸部穿戴有穿戴物的情况下的三维脸部模型对驾驶员的脸部朝向进行检测即可。

另外，脸部朝向检测部31也可以按照判定显示于图像中的脸部朝向的其它方法，基于脸部图像检测驾驶员的脸部朝向。例如，脸部朝向检测部31也可以如上述现有技术文献(日本特开2019-87150号公报)中记载的那样，基于脸部的特征点之间的位置关系，检测驾驶员的脸部朝向。在该情况下，脸部朝向检测部31，例如，也可以检测从鼻尖点向连接左右各外眼角的线作出的垂线与连接左右各外眼角的线的交点。并且，脸部朝向检测部31也可以基于从该交点到鼻尖点的距离相对于左右各外眼角之间的距离之比、从该交点到右外眼角的距离相对于从该交点到左外眼角的距离之比、以及连接左右各外眼角的线相对于图像上的水平线的倾斜度，检测驾驶员的脸部朝向(俯仰角、偏转角及滚动角)。或者，脸部朝向检测部31也可以将连接左右各外眼角的中点或者左右各大眼角的中点与左右各嘴角点的中点的线作为脸部的正中线进行检测，基于鼻尖点相对于脸部的正中线的位置关系，检测驾驶员的脸部朝向。或者，脸部朝向检测部31也可以将脸部图像输入到预先学习过的识别器中以检测驾驶员的脸部朝向，由此，检测出驾驶员的脸部朝向。脸部朝向检测部31，例如，可以采用具有CNN型的***结构的DNN来作为这样的识别器。

进而，脸部朝向检测部31也可以基于以过去获得的脸部图像为基础的穿戴物相对于驾驶员的脸部的戴、脱的判定结果，对为了检测驾驶员的脸部朝向而采用的方法进行切换。例如，在判定为穿戴物被从脸部摘下之后，脸部朝向检测部31通过将脸部的特征点与三维脸部模型进行匹配，或者，如上所述基于脸部的特征点之间的位置关系，检测出驾驶员的脸部朝向即可。另一方面，在判定为穿戴物被戴到脸部上之后，脸部朝向检测部31通过将脸部图像输入给识别器，检测出驾驶员的脸部朝向即可。

进而，每当ECU4从驾驶员监视照相机2接收到脸部图像时，脸部朝向检测部31基于接收到的脸部图像，检测驾驶员的脸部位置。例如，脸部朝向检测部31基于检测出的规定的脸部的特征点，检测驾驶员的脸部位置。例如，脸部朝向检测部31将左右大眼角的中点的位置、鼻尖点的位置、或者脸部的各特征点的重心的位置作为脸部的位置进行检测。或者，脸部朝向检测部31也可以将脸部区域的重心位置作为脸部的位置进行检测。另外，脸部朝向检测部31也可以基于以过去获得的脸部图像为基础的穿戴物相对于驾驶员的脸部的戴、脱的判定结果，对为了检测驾驶员的脸部的位置而采用的方法进行切换。例如，在判定为穿戴物被从脸部摘下之后，脸部朝向检测部31将脸部的各特征点的重心位置作为驾驶员的脸部位置进行检测即可。另一方面，在判定为穿戴物被戴到脸部上之后，脸部朝向检测部31将脸部区域的重心作为驾驶员的脸部位置进行检测即可。

另外，脸部朝向检测部31没有必要对于从驾驶员监视照相机2接收到的全部的脸部图像检测驾驶员的脸部朝向及脸部位置，也可以每当从驾驶员监视照相机2接收到规定张数的脸部图像时，根据这些规定张数的脸部图像中的任一个来检测驾驶员的脸部朝向及脸部位置。或者，脸部朝向检测部31也可以只根据当车辆10或者驾驶员的状况变成规定状况时获得的脸部图像来检测驾驶员的脸部朝向及脸部位置。例如，脸部朝向检测部31也可以只根据在车辆10的速度在规定速度以上的情况下获得的脸部图像来检测驾驶员的脸部朝向及脸部位置。即，在检测脸部朝向及脸部位置的按时序的一系列的脸部图像中，也可以只包含有由驾驶员监视照相机2获得的脸部图像中的一部分脸部图像。

脸部朝向检测部31每当检测出驾驶员的脸部朝向及脸部位置时，将表示检测出的脸部朝向及脸部位置的信息向脸部基准更新部33及判定部34输出。另外，每当ECU4从驾驶员监视照相机2取得脸部图像时，脸部朝向检测部31向戴脱检测部32输出表示从该脸部图像检测出的脸部特征点及脸部区域的信息。

每当从脸部朝向检测部31接收到表示检测出的脸部特征点及脸部区域的信息时，戴脱检测部32判定是否对驾驶员的脸部戴上了太阳镜或者口罩等穿戴物、以及是否摘下了戴在驾驶员的脸部上的穿戴物。

例如，当驾驶员戴着太阳镜时，直到戴太阳镜之前检测出的眼睛的特征点(例如，大眼角或者外眼角)在戴上太阳镜之后变得检测不到了。同样地，当驾驶员戴上口罩时，直到戴上口罩之前检测出的嘴或者鼻子的特征点(例如，嘴角点或者鼻尖点)在戴上口罩之后变得检测不到了。相反地，当摘下驾驶员戴着的太阳镜时，直到摘下之前检测不到的眼睛的特征点在摘下之后变为检测得到。同样地，当驾驶员摘下口罩时，直到摘下来之前检测不到的嘴的特征点在摘下来之后变为检测得到。

因此，戴脱检测部32在刚刚之前的脸部图像中检测脸部的规定部位(例如，眼睛、嘴或者鼻子)的特征点，并且，在最新的脸部图像中没有检测出该规定部位的特征点的情况下，检测出相对于脸部戴上了穿戴物。相反，戴脱检测部32在刚刚之前的脸部图像中没有检测出脸部的规定部位的特征点，并且，在最新的脸部图像中检测出该规定部位的特征点的情况下，检测出穿戴物被从脸部摘下。另外，戴脱检测部32在从刚刚之前的脸部图像中检测出的特征点的种类及数目与从最新的脸部图像中检测出的特征点的种类及数目相同的情况下，判定为没有进行穿戴物相对于驾驶员的脸部的戴、脱。

另外，在相对于驾驶员的脸部戴上了具有红外线隔断功能的太阳镜的情况下，来自于作为照明光源的红外线光源的红外光被太阳镜吸收，与脸部图像上的太阳镜相应的区域变得过黑。相反地，在对驾驶员的脸部戴上了口罩的情况下，由于红外光被该口罩反射，因此，与脸部图像上的口罩相应的区域变得过白。

因此，根据变形例，戴脱检测部32每当接收到表示脸部区域的信息时，判定在脸部图像中是否存在有在该脸部区域内辉度成为规定的过黑阈值以下的过黑区域、或者在脸部区域内辉度成为规定的过白阈值以上的过白区域。并且，也可以为，在刚刚之前的脸部图像中，在脸部区域内没有过黑区域及过白区域，并且，在最新的脸部图像中，在脸部区域内检测出过黑区域或者过白区域的情况下，戴脱检测部32检测出对脸部戴上了穿戴物。相反，也可以为，在刚刚之前的脸部图像中，在脸部区域内存在过黑区域或者过白区域，并且，在最新的脸部图像中，在脸部区域内没有检测出过黑区域及过白区域中的任一个的情况下，戴脱检测部32检测出穿戴物被从脸部摘下。在该情况下，戴脱检测部32，例如，将脸部区域分割成多个部分区域，对于多个部分区域的每一个计算辉度平均值，将各个部分区域的辉度平均值与相当于过黑的过黑阈值及相当于过白的过白阈值进行比较即可。并且，在任一部分区域的辉度平均值在过黑阈值以下的情况下，戴脱检测部32将该部分区域作为过黑区域即可。另外，在任一部分区域的辉度平均值在过白阈值以上的情况下，戴脱检测部32将该部分区域作为过白区域即可。另外，由于不认为将太阳镜戴到脸部的下方、以及在驾驶中用口罩遮住眼睛，因此，戴脱检测部32没有必要对于脸部区域内的全部的部分区域对辉度进行调查，例如，只对于位于脸部区域内的中心附近的部分区域，将其辉度平均值与过黑阈值进行比较，判定该部分区域是否为过黑区域即可。另外，戴脱检测部32只对于位于脸部区域内的下方的部分区域(例如，脸部区域的下半部分或者从脸部区域的下端到脸部区域的1/3左右的区域)，将其辉度平均值与过白阈值进行比较，判定该部分区域是否为过白区域即可。

戴脱检测部32每当检测出对驾驶员的脸部戴上了穿戴物时，向脸部朝向检测部31及脸部基准更新部33通知该内容。同样地，戴脱检测部32每当检测出穿戴物从驾驶员的脸部被摘下时，向脸部朝向检测部31及脸部基准更新部33通知该内容。另外，下面，有时将穿戴物相对于驾驶员的脸部被戴上的检测、以及穿戴物从驾驶员的脸部被摘下的检测统称为穿戴物相对于驾驶员的脸部的戴、脱的检测。

脸部基准更新部33基于根据在最近的规定期间(例如，几十秒～1分钟)获得的按时序的多个脸部图像的每一个检测出的驾驶员的脸部朝向，更新驾驶员的脸部的基准方向。另外，脸部基准更新部33基于根据在最近的规定期间获得的该多个脸部图像的每一个检测出的驾驶员的脸部位置，更新驾驶员的脸部基准位置。但是，在该规定期间内，当从戴脱检测部32通知检测出了穿戴物相对于驾驶员的脸部的戴、脱时，脸部基准更新部33基于以在最近的规定期间获得的多个脸部图像中的、在该检测之后获得的脸部图像为基础检测出的驾驶员的脸部朝向及脸部位置，更新基准方向及基准位置。

在驾驶员驾驶车辆10的情况下，尽管存在驾驶员根据需要来确认左右、或者通过车内后视镜来确认后方的情况，但是，设想为驾驶员基本上看着车辆10的行进方向、即车辆10的正面侧。因此，设想为驾驶员的脸部朝向向着车辆10的行进方向的情况较多。因此，脸部基准更新部33计算根据最近的规定期间获得的按时序的多个脸部图像的每一个检测出的驾驶员的脸部朝向的平均值，以作为驾驶员的脸部基准方向。从而，驾驶员的脸部基准方向表示驾驶员看着车辆10的行进方向时的驾驶员的脸部朝向。这样，通过作为最近的规定期间中的脸部朝向的平均值来计算基准方向，即使驾驶员在驾驶中姿势变化等而使得驾驶员的头部的位置相对于驾驶员监视照相机2的相对位置关系发生变化，脸部基准更新部33也总是能够计算出正确的基准方向。

但是，如上所述，在最近的规定期间内，当由戴脱检测部32通知检测出了穿戴物相对于驾驶员的脸部的戴、脱时，脸部基准更新部33一度重置在此之前求出的脸部的基准方向。并且，脸部基准更新部33将根据最近的规定期间中获得的多个脸部图像中的、在该检测之后获得的脸部图像的每一个检测出的驾驶员的脸部朝向的平均值作为驾驶员的脸部基准方向。存在这样的情况：即，当穿戴物相对于驾驶员的脸部被戴上，或者，穿戴物从驾驶员的脸部被摘下时，在该戴、脱之前在脸部图像中显示的脸部的特征点，在该戴、脱之后，在脸部图像中变为不被拍照出来，或者，反之亦然。因此，在穿戴物相对于驾驶员的脸部的戴、脱的前后，即使驾驶员的脸部朝向实际上没有变化，由脸部朝向检测部31产生的脸部朝向的检测结果有时也会发生变化。因此，如上所述，脸部基准更新部33，通过只将根据在穿戴物相对于驾驶员的脸部的戴、脱的检测之后获得的脸部图像得到的脸部朝向用于脸部的基准方向的计算，可以计算出与穿戴物相对于驾驶员的脸部的最新戴、脱状况相应的恰当的基准方向。

同样地，脸部基准更新部33计算根据在最近的规定期间获得的按时序的多个脸部图像的每一个检测出的驾驶员的脸部位置的平均值，以作为驾驶员的脸部的基准位置。但是，在最近的规定期间内，当从戴脱检测部32通知检测出穿戴物相对于驾驶员的脸部的戴、脱时，脸部基准更新部33一度重置到此前为止求出的脸部的基准位置。并且，脸部基准更新部33将根据在最近的规定期间获得的多个脸部图像中的、在该检测之后获得的脸部图像的每一个检测出的驾驶员的脸部位置的平均值作为驾驶员的脸部基准位置即可。

另外，如上所述，驾驶员在车辆10的驾驶中，为了对车辆10的周围进行确认，有时朝向车辆10的正面方向以外的方向。因此，脸部基准更新部33，如上所述，将一度计算出的脸部的基准方向作为暂定的基准方向。并且，脸部基准更新部33也可以对于用于计算暂定的基准方向的多个脸部图像中的每一个，计算出从该脸部图像检测出的脸部的朝向与暂定的基准方向之差的绝对值，对于该差的绝对值脱离规定的允许范围的脸部图像，不用于基准方向的计算。即，脸部基准更新部33也可以对根据在用于计算暂定的基准方向的多个脸部图像中的、被判定为不用于基准方向的计算的脸部图像之外的剩余的脸部图像的每一个检测出的驾驶员的脸部朝向的平均值进行计算，重新作为驾驶员的脸部的基准方向即可。

同样地，脸部基准更新部33，如上所述，将一度计算出的脸部的基准位置作为暂定的基准位置。并且，脸部基准更新部33也可以对于用于计算该暂定的基准位置的多个脸部图像的每一个，计算出从该脸部图像检测出的脸部位置与暂定的基准位置之差的绝对值，对于该差的绝对值脱离规定的允许范围的脸部图像，不用于基准位置的计算。即，脸部基准更新部33对根据用于计算暂定的基准位置的多个脸部图像中的、被判定为不用于基准位置的计算的脸部图像以外的剩余的脸部图像的每一个检测出的驾驶员的脸部位置的平均值进行计算，重新作为驾驶员的脸部的基准位置即可。

图4A是表示在最近的规定期间没有穿戴物相对于驾驶员的脸部的戴、脱的情况下的基准方向及基准位置的检测的一个例子的图。另一方面，图4B是表示在最近的规定期间中检测出穿戴物相对于驾驶员的脸部的戴、脱的情况下的基准方向及基准位置的检测的一个例子的图。在图4A及图4B中，横轴表示时间。

在图4A所示的例子中，在相对于当前时刻t0的最近的规定期间P，没有检测出穿戴物相对于驾驶员的脸部的戴、脱。从而，基于根据在规定期间P内获得的脸部图像401-1～401-n的每一个检测出的驾驶员的脸部朝向及脸部位置，计算驾驶员的脸部的基准方向及基准位置。

另一方面，在图4B所示的例子中，在相对于当前时刻t0的最近的规定期间P内的时刻t1，检测出穿戴物相对于驾驶员的脸部的戴、脱。因此，基于根据在规定期间P内获得的脸部图像402-1～402-n中的、在时刻t1之后获得的脸部图像402-m～402-n的每一个检测出的驾驶员的脸部朝向及脸部位置，计算出驾驶员的脸部基准方向及基准位置。从而，脸部基准更新部33能够消除由穿戴物相对于驾驶员的脸部的戴、脱引起的对于驾驶员的脸部基准方向及基准位置的计算的影响。

脸部基准更新部33每当更新驾驶员的脸部基准方向及驾驶员的脸部基准位置时，向判定部34通知更新后的驾驶员的脸部基准方向及驾驶员的脸部基准位置。

判定部34通过对最新的驾驶员的脸部朝向及驾驶员的脸部位置与驾驶员的脸部基准方向及驾驶员的脸部基准位置进行比较，判定驾驶员的状态是否为适于车辆10的驾驶的状态。

例如，判定部34计算出最新的驾驶员的脸部朝向与驾驶员的脸部基准方向之差的绝对值，将该差的绝对值与规定的脸部朝向允许范围进行比较。并且，在该绝对值脱离脸部朝向的允许范围的情况下，判定部34判定为驾驶员在左顾右盼，即，驾驶员的状态不是适于驾驶车辆10的状态。同样地，判定部34计算出最新的驾驶员的脸部位置与驾驶员的脸部基准位置之差的绝对值，将该差的绝对值与规定的位置允许范围进行比较。并且，在该差的绝对值脱离位置允许范围的情况下，判定部34判定为驾驶员的状态不是适于驾驶车辆10的状态。

另外，如上所述，驾驶员为了确认车辆10的周边状况，有时会朝向车辆10的正面方向以外的方向。但是，即使在这样的情况下，如果驾驶员集中注意力于车辆10的驾驶，则驾驶员不会持续地朝向车辆10的正面方向以外的方向。因此，根据变形例，也可以为，在驾驶员的脸部朝向与驾驶员的脸部基准方向之差的绝对值脱离脸部朝向允许范围的期间持续规定时间(例如，几秒钟)以上的情况下，判定部34判定为驾驶员的状态不是适于驾驶车辆10的状态。同样地，也可以为，在驾驶员的脸部位置与驾驶员的脸部基准位置之差的绝对值脱离位置允许范围的期间持续规定时间以上的情况下，判定部34判定为驾驶员的状态不是适于驾驶车辆10的状态。

判定部34在判定为驾驶员的状态不是适于驾驶车辆10的状态的情况下，生成包含对驾驶员警告以使其朝向车辆10的正面的警告消息在内的警告信息。并且，判定部34通过将生成的警告信息经由通信接口21向用户界面3输出，将该警告消息显示于用户界面3，或者，将对驾驶员发出警告以使其朝向车辆10的正面的声音输出给用户界面3所具有的扬声器。

图5是由处理器23实施的驾驶员监视处理的动作流程图。处理器23每隔规定的周期，例如，每当取得脸部图像时，按照以下的动作流程实施驾驶员监视处理即可。

处理器23的脸部朝向检测部31基于由驾驶员监视照相机2获得的脸部图像，检测出车辆10的驾驶员的脸部朝向及脸部位置(步骤S101)。另外，处理器23的戴脱检测部32判定是否检测出穿戴物相对于驾驶员的脸部的戴、脱(步骤S102)。

在步骤S102中，在检测出穿戴物相对于驾驶员的脸部的戴、脱的情况下(步骤S102-是)，脸部基准更新部33重置脸部基准方向及脸部基准位置(步骤S103)。

另一方面，在没有检测出穿戴物相对于驾驶员的脸部的戴、脱的情况下(步骤S102-否)，或者，在步骤S103之后，处理器23的脸部基准更新部33更新其基准方向，以便将根据在最近的规定期间内且在前一次的穿戴物的戴、脱检测之后获得的多个脸部图像的每一个检测出的驾驶员的脸部朝向的平均值作为驾驶员的脸部基准方向(步骤S104)。另外，脸部基准更新部33更新其基准位置，以便将根据在最近的规定期间内且在前一次的穿戴物的戴、脱检测之后获得的多个脸部图像的每一个检测出的驾驶员的脸部位置的平均值作为驾驶员的脸部基准位置(步骤S105)。

在基准方向及基准位置更新之后，处理器23的判定部34通过对最新的驾驶员的脸部朝向及脸部位置与驾驶员的脸部基准方向及脸部基准位置进行比较，判定驾驶员的状态(步骤S106)。并且，处理器23结束驾驶员监视处理。另外，由于在步骤S103中刚刚重置了脸部的基准方向及基准位置之后，最新的脸部朝向及最新的脸部位置与基准方向及基准位置变成相同的，因此，处理器23也可以省略步骤S106的处理。

如以上说明的那样，该驾驶员监视装置基于根据在最近的规定期间内获得的多个脸部图像的每一个检测出的驾驶员的脸部朝向及脸部位置，更新驾驶员的脸部基准方向及脸部基准位置。但是，该驾驶员监视装置当检测出穿戴物相对于驾驶员的脸部的戴、脱时，一度重置脸部基准方向及脸部基准位置。即，该驾驶员监视装置基于根据在最近的规定期间内获得多个脸部图像之中的、在检测出穿戴物相对于驾驶员的脸部的戴、脱之后获得的一个以上脸部图像的每一个检测出的驾驶员的脸部朝向及脸部位置，更新驾驶员的脸部基准方向及脸部基准位置。因此，该驾驶员监视装置能够消除由穿戴物相对于驾驶员的脸部的戴、脱引起的检测出的脸部朝向或脸部位置的偏离所造成的对驾驶员的脸部基准方向及脸部基准位置的影响。从而，即使进行穿戴物相对于驾驶员的脸部的戴、脱，该驾驶员监视装置也能够正确地设定驾驶员的脸部基准方向及脸部基准位置。

另外，存在这样的情况：驾驶员将一度戴在脸部上的穿戴物从脸部摘下，或者，将戴在脸部上的穿戴物一度摘下之后再次戴上。在该情况下，将一度戴在脸部上的穿戴物再次摘下时的驾驶员的脸部基准方向及脸部基准位置与戴着穿戴物时的基准方向及基准位置相比，被认为更靠近该穿戴物被戴在驾驶员的脸部上之前的基准方向及基准位置。同样地，将一度从脸部摘下的穿戴物再次戴上时的驾驶员的脸部基准方向及脸部基准位置与摘下穿戴物时的基准方向及基准位置相比，被认为更靠近以前该穿戴物被戴在驾驶员的脸部上时的基准方向及基准位置。

因此，根据变形例，也可以为，当戴脱检测部32检测出穿戴物被戴到驾驶员的脸部上时，脸部基准更新部33在重置驾驶员的脸部基准方向及脸部基准位置之前，将该时刻的驾驶员的脸部基准方向(第一基准方向)及脸部基准位置(第一基准位置)存储到存储器22中。并且，也可以为，之后，当戴脱检测部32检测出穿戴物从驾驶员的脸部摘下时，脸部基准更新部33从存储器22读取当检测出穿戴物被戴到驾驶员的脸部上时的驾驶员的脸部的基准方向(第一基准方向)及脸部基准位置(第一基准位置)，作为在检测出穿戴物被摘下的时刻的驾驶员的脸部基准方向及脸部基准位置。同样地，也可以为，当戴脱检测部32检测出穿戴物从驾驶员的脸部被摘下时，脸部基准更新部33在重置驾驶员的脸部基准方向及脸部基准位置之前，将该时刻的驾驶员的脸部基准方向(第二基准方向)及脸部基准位置(第二基准位置)存储到存储器22中。并且，也可以为，之后，当戴脱检测部32检测出穿戴物被戴到驾驶员的脸部上时，脸部基准更新部33从存储器22读取当检测出穿戴物从驾驶员的脸部被摘下时的驾驶员的脸部基准方向(第二基准方向)及脸部基准位置(第二基准位置)，作为在检测出穿戴物被戴上的时刻的驾驶员的脸部基准方向及脸部基准位置。由此，脸部基准更新部33能够更正确地设定当检测出穿戴物相对于驾驶员的脸部的戴、脱时的驾驶员的脸部基准方向及基准位置。

另外，在脸部存在有穿戴物的情况下，与没有穿戴物的情况相比，脸部朝向等的检测精度降低，其结果是，检测出的脸部朝向等是离散的。因此，根据另外的变形例，也可以为，脸部基准更新部33使用于在穿戴物被戴在驾驶员的脸部上的情况下的基准方向或基准位置的更新的最近的规定期间的长度比在驾驶员的脸部没有戴着穿戴物的情况下的该规定期间的长度长。或者，也可以为，脸部基准更新部33使在驾驶员的脸部上戴着穿戴物的情况下的基准方向或者基准位置的更新时参照的驾驶员的脸部朝向或者驾驶员的脸部位置的允许范围比在驾驶员的脸部没有戴着穿戴物的情况下的该允许范围更宽。由此，脸部基准更新部33能够抑制在驾驶员的脸部戴着穿戴物的情况下的脸部基准方向及基准位置的精度降低。

另外，根据其它的变形例，也可以为，脸部基准更新部33将刚刚检测到穿戴物的穿戴之后的脸部朝向或者脸部位置相对于即将检测穿戴物的穿戴之前的基准方向及基准位置之差作为偏离量存储到存储器22中。并且，也可以为，在穿戴物被戴在脸部上的期间，脸部朝向检测部31通过从检测出的脸部朝向或者脸部位置减去该偏离量，对检测出的脸部朝向或者脸部位置进行修正。由此，即使在车辆10的驾驶中相对于驾驶员的脸部戴上穿戴物，无论由穿戴物的有无引起的脸部基准方向或者基准位置的偏离如何，脸部朝向检测部31也能够抑制相对于脸部戴着穿戴物的情况下的脸部朝向及脸部位置的检测精度降低。

进而，根据其它的变形例，判定部34也可以基于驾驶员的脸部朝向或者脸部位置中的任一方判定驾驶员的状态。在该情况下，脸部朝向检测部31也可以只检测驾驶员的脸部朝向及脸部位置之中用于驾驶员的状态的判定的一方。同样地，脸部基准更新部33也可以只更新驾驶员的脸部基准方向及脸部基准位置之中的用于驾驶员的状态的判定的一方。

由上述实施方式或者变形例进行的驾驶员监视处理，也可以以驾驶员监视车辆的行进方向为条件，应用于对车辆进行自动驾驶控制的车辆控制***。在该情况下，例如，ECU4的处理器23也可以根据由搭载于车辆10的设置成用于对车辆10的周围区域进行摄影的照相机(图中未示出)获得的图像，检测出存在于车辆10周围的物体，对车辆10进行自动驾驶控制，以便使检测出的物体与车辆10不会碰撞。并且，处理器23按照上述实施方式或者变形例，更新驾驶员的脸部基准方向或者脸部基准位置，并且，对该基准方向或者基准位置与驾驶员的脸部朝向或者脸部位置进行比较，由此，判定驾驶员是否监视车辆10的行进方向即可。在该情况下，也可以为，即使在判定为驾驶员没有监视车辆10的行进方向，经由用户界面3警告驾驶员监视车辆10的行进方向之后，经过一定的期间，驾驶员仍然没有监视车辆10的行进方向的情况下，处理器23停止车辆10的自动驾驶控制，使驾驶员驾驶车辆10。

另外，根据上述实施方式或者变形例的用于实现ECU4的处理器23的功能的计算机程序，也可以以记录在半导体存储器、磁性记录介质或者光记录介质等计算机能够读取的便携式记录介质中的方式来提供。

如上所述，本领域技术人员在本发明的范围内可以与实施的方式相一致地进行各种变更。

Claims (2)

1.一种驾驶员监视装置，其中，具有：

存储部；

脸部朝向检测部，所述脸部朝向检测部根据按时序的一系列的脸部图像的每一个，检测出所述驾驶员的脸部朝向及所述驾驶员的脸部位置，所述一系列的脸部图像是由搭载于车辆并对所述车辆的驾驶员进行摄影的照相机获得的，显示出所述驾驶员的脸部；

脸部基准更新部，所述脸部基准更新部，基于根据所述一系列的脸部图像中的在最近的规定期间获得的多个脸部图像的每一个检测出的所述驾驶员的脸部朝向，更新所述驾驶员的脸部朝向的基准方向，或者，基于根据在所述规定期间获得的多个脸部图像的每一个检测出的所述驾驶员的脸部位置，更新所述驾驶员的脸部的基准位置；以及

戴脱检测部，所述戴脱检测部在所述一系列的脸部图像的每一个中，检测穿戴物向所述驾驶员的脸部的穿戴、或者穿戴物从所述驾驶员的脸部的摘脱，

当检测出所述穿戴物的穿戴或者所述穿戴物的摘脱时，所述脸部基准更新部只基于根据所述一系列的脸部图像中的在该检测之后获得的脸部图像检测出的所述驾驶员的脸部朝向来更新所述基准方向，或者，只基于根据在该检测之后获得的脸部图像检测出的所述驾驶员的脸部位置来更新所述基准位置，

当检测出所述穿戴物的穿戴时，在重置脸部的基准方向和脸部的基准位置之前，所述脸部基准更新部将在检测所述穿戴物的穿戴的时刻的驾驶员的脸部的第一基准方向或者驾驶员的脸部的第一基准位置存储于所述存储部，之后，当检测出所述穿戴物的摘脱时，将存储于所述存储部的所述第一基准方向作为在检测所述穿戴物的摘脱的时刻的驾驶员的脸部的基准方向，或者，将存储于所述存储部的所述第一基准位置作为在检测所述穿戴物的摘脱的时刻的驾驶员的脸部的基准位置。

2.一种驾驶员监视方法，其中，包括：

根据按时序的一系列的脸部图像的每一个，检测出所述驾驶员的脸部朝向及所述驾驶员的脸部位置，所述一系列的脸部图像是由搭载于车辆的对所述车辆的驾驶员进行摄影的照相机获得的，显示出所述驾驶员的脸部；

基于根据所述一系列的脸部图像中的在最近的规定期间获得的多个脸部图像的每一个检测出的所述驾驶员的脸部朝向，更新所述驾驶员的脸部朝向的基准方向，或者，基于根据在所述规定期间获得的多个脸部图像的每一个检测出的所述驾驶员的脸部位置，更新所述驾驶员的脸部的基准位置；

在所述一系列的脸部图像的每一个中，检测出穿戴物向所述驾驶员的脸部的穿戴、或者穿戴物从所述驾驶员的脸部的摘脱；

当检测出所述穿戴物的穿戴时，在重置脸部的基准方向和脸部的基准位置之前，将在检测所述穿戴物的穿戴的时刻的驾驶员的脸部的第一基准方向或者驾驶员的脸部的第一基准位置存储于存储部，之后，当检测出所述穿戴物的摘脱时，将存储于所述存储部的所述第一基准方向作为在检测所述穿戴物的摘脱的时刻的驾驶员的脸部的基准方向，或者，将存储于所述存储部的所述第一基准位置作为在检测所述穿戴物的摘脱的时刻的驾驶员的脸部的基准位置，

所述更新包括，当检测出所述穿戴物的穿戴或者所述穿戴物的摘脱时，只基于根据所述一系列的脸部图像中的在该检测之后获得的脸部图像检测出的所述驾驶员的脸部朝向来更新所述基准方向，或者，只基于根据在该检测之后获得的脸部图像检测出的所述驾驶员的脸部位置来更新所述基准位置。