CN116461534A - 驾驶员监视装置、驾驶员监视方法以及驾驶员监视用计算机程序 - Google Patents

Abstract

本发明提供驾驶员监视装置、驾驶员监视方法以及驾驶员监视用计算机程序。驾驶员监视装置具有：姿势检测部(33)，从通过设置于车辆(10)的摄像部(3)生成的车辆(10)的车室内的图像检测车辆(10)的驾驶员的姿势；异常判定部(34)，在检测到的姿势满足异常判定条件的情况下，判定为驾驶员产生了异常；异常音检测部(31)，根据通过设置于车辆(10)的声音取得部(2)取得的、车辆(10)的车室内的声音信号，检测车辆(10)的驾驶员发出的异常音；以及条件设定部(32)，相比于未检测到异常音的情况下的异常判定条件，缓和检测到异常音的情况下的异常判定条件。

Description

驾驶员监视装置、驾驶员监视方法以及驾驶员监视用计算机 程序

技术领域

本发明涉及监视车辆的驾驶员的驾驶员监视装置、驾驶员监视方法以及驾驶员监视用计算机程序。

背景技术

提出了监视车辆的驾驶员，判定驾驶员的状态是否为适合于车辆的驾驶的状态的技术(参照日本特开2020-173836号公报)。

在日本特开2020-173836号公报公开的技术中，具备进行自主行驶的自动驾驶模式的自动驾驶车辆检测基于驾驶者和/或乘车者的预定的疾病或者症状的健康状态的异变，确定检测到健康状态的异变的预定的疾病或者症状。而且，自动驾驶车辆将关于确定的疾病或者症状有专家的医院和/或有专门设备的医院决定为前往目的地，以自动驾驶模式移动到决定的前往目的地。该自动驾驶车辆将来自拍摄车内的1个以上的照相机的拍摄图像信息、来自对车内的声响或者声音进行收音的麦克风的声音信息、或者来自设置于自动驾驶车辆的1个以上的传感器的传感器信息的至少任意信息用于检测健康状态的异变。

发明内容

如将Society of Automotive Engineers(国际汽车工程师学会，SAE)的定义下的等级3的自动驾驶应用于车辆的情况那样，有时在预定的条件下针对驾驶员不要求参与驾驶而对车辆进行自动驾驶控制。在这样的状况下，容许驾驶员采取与适合于驾驶的姿势(以下有时简称为驾驶姿势)不同的姿势。在驾驶员采取与驾驶姿势不同的姿势的情况下，有时难以根据通过拍摄驾驶员得到的图像来判定驾驶员是否产生了某些异常。在这样的情况下，即使如上述以往技术那样为了判定驾驶员的状态而参照来自麦克风的声音信息，为了检测驾驶员产生的异常，需要解析在比较长的时间得到的映入驾驶员的图像。

因此，本发明的目的在于提供能够适当地检测驾驶员产生的异常的驾驶员监视装置。

根据一个实施方式，提供驾驶员监视装置。该驾驶员监视装置具有：姿势检测部，从通过设置于车辆的摄像部生成的车辆的车室内的图像检测车辆的驾驶员的姿势；异常判定部，在检测到的姿势满足异常判定条件的情况下，判定为驾驶员产生了异常；异常音检测部，根据通过设置于车辆的声音取得部取得的、车辆的车室内的声音信号，检测车辆的驾驶员发出的异常音；以及条件设定部，相比于未检测到异常音的情况下的异常判定条件，缓和检测到异常音的情况下的异常判定条件。

在该驾驶员监视装置中，优选姿势检测部将驾驶员的脸的位置以及驾驶员的脸的朝向的至少一方检测为驾驶员的姿势，异常判定条件是驾驶员的脸的朝向或者驾驶员的脸的位置脱离预定的正常范围的期间为预定的时间阈值以上，条件设定部使检测到异常音的情况下的正常范围窄于未检测到异常音的情况下的正常范围，或者使检测到异常音的情况下的时间阈值短于未检测到异常音的情况下的时间阈值。

在该情况下，优选异常音检测部还判定基于驾驶员发出异常音时的驾驶员的状态的异常音的类别，条件设定部根据异常音的类别，设定检测到异常音的情况下的正常范围。

例如，优选条件设定部使检测到的异常音的类别是驾驶员的咳嗽的声响或者由于驾驶员的睡眠呼吸暂停综合征引起的鼾声的声响的情况下的、作为正常范围的驾驶员的脸的相对基准方向的下朝向的角度范围窄于未检测到异常音的情况下的下朝向的角度范围。

或者，优选条件设定部使检测到的异常音的类别是由于驾驶员的脑梗塞引起的鼾声的声响的情况下的、作为正常范围的驾驶员的脸的相对基准方向的左右方向的角度范围窄于未检测到异常音的情况下的左右方向的角度范围。

或者另外，优选条件设定部使检测到的异常音的类别是驾驶员的呜咽的声响的情况下的、作为正常范围的驾驶员的脸的相对基准方向的下朝向的角度范围窄于未检测到异常音的情况下的下朝向的角度范围，并且使检测到的异常音的类别是驾驶员的呜咽的声响的情况下的、作为正常范围的驾驶员的脸的位置的基准位置至下限位置的距离短于未检测到异常音的情况下的距离。

根据其他实施方式，提供驾驶员监视方法。该驾驶员监视方法包括：从通过设置于车辆的摄像部生成的车辆的车室内的图像检测车辆的驾驶员的姿势；在检测到的姿势满足异常判定条件的情况下，判定为驾驶员产生了异常；根据通过设置于车辆的声音取得部取得的、车辆的车室内的声音信号，检测车辆的驾驶员发出的异常音；以及相比于未检测到异常音的情况下的异常判定条件，缓和检测到异常音的情况下的异常判定条件。

根据进一步其他实施方式，提供驾驶员监视用计算机程序。该驾驶员监视用计算机程序包括用于使搭载于车辆的处理器执行如下步骤的命令：从通过设置于车辆的摄像部生成的车辆的车室内的图像检测车辆的驾驶员的姿势；在检测到的姿势满足异常判定条件的情况下，判定为驾驶员产生了异常；根据通过设置于车辆的声音取得部取得的、车辆的车室内的声音信号，检测车辆的驾驶员发出的异常音；以及相比于未检测到异常音的情况下的异常判定条件，缓和检测到异常音的情况下的异常判定条件。

本公开所涉及的驾驶员监视装置起到能够适当地检测驾驶员产生的异常这样的效果。

附图说明

图1是包括驾驶员监视装置的车辆控制***的概略结构图。

图2是作为驾驶员监视装置的一个例子的ECU的硬件结构图。

图3是与驾驶员监视处理有关的ECU的处理器的功能框图。

图4A是示出未检测到驾驶员发出的异常音的情况下的驾驶员的异常判定的一个例子的图。

图4B是示出未检测到由驾驶员发出的异常音的情况下的驾驶员的异常判定的一个例子的图。

图5是由车辆的ECU的处理器执行的包括驾驶员监视处理的车辆控制处理的动作流程图。

具体实施方式

以下，参照附图，说明驾驶员监视装置以及由驾驶员监视装置执行的驾驶员监视方法以及驾驶员监视用计算机程序。该驾驶员监视装置在根据车室内的声音信号检测到驾驶员发出的异常音时，相比于未检测到异常音时，缓和基于从车室内的图像检测到的驾驶员的姿势的异常判定的条件。由此，该驾驶员监视装置抑制尽管驾驶员未产生异常，在驾驶员未采取适合于驾驶的姿势(以下有时简称为驾驶姿势)时误检测为驾驶员产生了异常。进而，该驾驶员监视装置在检测到驾驶员的异常音时缓和异常判定的条件，从而能够适当地检测驾驶员产生的异常。

图1是包括驾驶员监视装置的车辆控制***的概略结构图。在本实施方式中，搭载于车辆10并且控制车辆10的车辆控制***1具有麦克风2、驾驶员监视照相机3、通知设备4、以及作为驾驶员监视装置的一个例子的电子控制装置(ECU)5。麦克风2、驾驶员监视照相机3以及通知设备4和ECU5经由依照控制器局域网这样的通信标准的车内网络能够相互通信地连接。此外，车辆控制***1也可以具有拍摄车辆10的周边的区域来生成表示该周边的区域的图像的车外照相机(未图示)。或者，车辆控制***1也可以具有LiDAR或者雷达这样的、测定从车辆10至存在于车辆10的周围的物体的距离的距离传感器(未图示)。进而，车辆控制***1也可以具有GPS接收机这样的、用于根据来自卫星的信号对车辆10的位置进行测位的测位设备(未图示)。进而另外，车辆控制***1也可以具有用于搜索直至目的地的行驶预定路线的导航装置(未图示)。进而另外，车辆控制***1也可以具有存储在车辆10的自动驾驶控制中参照的地图信息的存储装置(未图示)。

车辆控制***1能够通过SAE的定义下的等级3的驾驶控制等级、即无需由驾驶员作出的加速器、制动器以及转向装置的操作以及无需监视车辆周围的驾驶控制等级来控制车辆10。而且，ECU5在通过等级3的驾驶控制等级控制车辆10的期间，执行驾驶员监视处理。但是，不限于此，ECU5也可以在通过驾驶员参与车辆10的驾驶的驾驶控制等级、例如SAE的定义下的等级0～2的驾驶控制等级来进行车辆10的控制的期间，也执行驾驶员监视处理。

麦克风2是声音取得部的一个例子，设置于车辆10的车室内。特别是，以能够对驾驶员发出的声音进行收音的方式，麦克风2设置于驾驶员的附近、例如仪表板的周围。而且，麦克风2对在车室内产生的声音进行集音来生成表示该声音的声音信号。麦克风2将生成的声音信号输出给ECU5。

驾驶员监视照相机3是摄像部的一个例子，具有由CCD或者C-MOS等对可见光或者红外光具有灵敏度的光电变换元件的阵列构成的二维检测器和在该二维检测器上使成为拍摄对象的区域的图像成像的成像光学***。驾驶员监视照相机3也可以还具有红外LED这样的用于照明驾驶员的光源。而且，驾驶员监视照相机3以使坐在车辆10的驾驶员座椅的驾驶员的头部包含于其拍摄对象区域的方式、即以能够拍摄驾驶员的头部的方式，例如在仪表板或者其附近朝向驾驶员安装。而且，驾驶员监视照相机3针对预定的每个拍摄周期(例如1/30秒～1/10秒)拍摄驾驶员，生成映入驾驶员的图像(以下称为驾驶员图像)。通过驾驶员监视照相机3得到的驾驶员图像既可以是彩色图像、或者也可以是灰色图像。驾驶员监视照相机3在每当生成驾驶员图像时，将该生成的驾驶员图像经由车内网络输出给ECU5。

通知设备4是设置于车辆10的车室内，针对驾驶员通过光、声音、振动、文字显示或者图像显示进行预定的通知的设备。为此，通知设备4例如具有扬声器、光源、振动器或者显示装置的至少任意一个。而且，通知设备4在从ECU5接受到表示向驾驶员的警告的通知时，通过来自扬声器的声音、光源的发光或者忽亮忽灭、振动器的振动、或者向显示装置显示警告消息，向驾驶员通知该警告。

ECU5依照应用于车辆10的驾驶控制等级对车辆10进行驾驶控制。进而，ECU5根据从麦克风2接收到的声音信号以及从驾驶员监视照相机3接受的驾驶员图像，监视驾驶员，并且检测驾驶员产生的异常。而且，ECU5在判定为驾驶员产生了异常的情况下，警告驾驶员或者以使车辆10紧急停止的方式控制车辆10。

图2是ECU5的硬件结构图。如图2所示，ECU5具有通信接口21、存储器22、以及处理器23。通信接口21、存储器22以及处理器23既可以分别构成为个别的电路、或者也可以一体地构成为一个集成电路。

通信接口21具有用于将ECU5连接到车内网络的接口电路。而且，通信接口21将从麦克风2接收到的声音信号送到处理器23。另外，通信接口21在每当从驾驶员监视照相机3接收到驾驶员图像时，将接收到的驾驶员图像送到处理器23。进而另外，通信接口21在从处理器23接受到表示向驾驶员的警告的通知这样的、经由通知设备4向驾驶员通知的信息时，将该信息输出给通知设备4。

存储器22是存储部的一个例子，例如具有易失性的半导体存储器以及非易失性的半导体存储器。而且，存储器22存储在由ECU5的处理器23执行的驾驶员监视处理中使用的各种算法以及各种数据。例如，存储器22存储在驾驶员的姿势的检测以及驾驶员发出的异常音的检测等中利用的各种参数等。进而，存储器22存储用于规定用于判定驾驶员是否产生了异常的判定条件(以下有时简称为异常判定条件)的参数。进而另外，存储器22临时地存储声音信号、驾驶员图像以及在驾驶员监视处理的途中生成的各种数据。进而另外，存储器22存储被用于对车辆10进行驾驶控制的各种参数以及各种数据。在这样的数据中，包括通过车外照相机生成的图像、通过距离传感器生成的测距信号、通过GPS接收机生成的表示车辆10的位置的测位信号、通过导航装置生成的行驶预定路线以及地图信息。

处理器23具有1个或者多个CPU(Central Processing Unit，中央处理单元)及其***电路。处理器23也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。而且，处理器23针对预定的每个周期，执行包括驾驶员监视处理的车辆的驾驶控制处理。

图3是与包括驾驶员监视处理的车辆的驾驶控制处理有关的处理器23的功能框图。处理器23具有异常音检测部31、条件设定部32、姿势检测部33、异常判定部34、警告处理部35、以及车辆控制部36。处理器23具有的这些各部例如是通过在处理器23上动作的计算机程序实现的功能模块。或者，处理器23具有的这些各部也可以是设置于处理器23的专用的运算电路。此外，由处理器23具有的这些各部中的、异常音检测部31、条件设定部32、姿势检测部33以及异常判定部34执行的处理与驾驶员监视处理对应。

异常音检测部31根据通过麦克风2取得且处理器23接受的声音信号，检测驾驶员发出的异常音，并且判别检测到的异常音的类别。

在本实施方式中，驾驶员发出的异常音是指，在有可能成为驾驶员对车辆10的驾驶造成障碍的状态、即驾驶员产生了异常的状态的情况下驾驶员发出的声响。这样的异常音例如能够成为由于呜咽、咳嗽、呻吟声、脑梗塞时的鼾声、或者睡眠呼吸暂停综合征(SAS)所引起的鼾声产生的声响。

异常音检测部31通过将最近的预定期间(例如几秒钟～几10秒钟)的声音信号输入到以从声音信号检测异常音的方式预先学习的检测器，判定驾驶员是否发出异常音。异常音检测部31能够例如使用所谓深度神经网络(DNN)作为这样的检测器。被用作异常音检测用的检测器的DNN例如能够设为循环神经网络(RNN)或者卷积神经网络(CNN)。在根据RNN构成检测器的情况下，该检测器具有Long Short Term Memory(长短期记忆，LSTM)或者Gated Recurrent Unit(门控循环单元，GRU)这样的执行递归运算的递归运算层。另外，在根据CNN构成检测器的情况下，该检测器具有至少一个针对预定的每个滤波器范围执行卷积运算的卷积层。检测器也可以还具有全连接层以及执行池化运算的池化层这样的、执行其他运算的运算层。而且，检测器还具有通过针对利用这些层计算的运算结果执行SoftMax运算或者Sigmoid运算，针对异常音的每个类别输出表示驾驶员发出异常音的可能性的置信度的输出层。而且，异常音检测部31在存在置信度成为预定的检测阈值以上的类别的异常音的情况下，检测该类别的异常音。另一方面，在关于任意类别的异常音其置信度都小于检测阈值的情况下，异常音检测部31判定为驾驶员未发出异常音。此外，也可以作为检测器的输出层计算置信度的异常音的类别之一，包括正常音。而且，在该情况下，异常音检测部31检测置信度最高的类别的异常音。即，异常音检测部31在各类别的异常音中关于正常音计算的置信度最高的情况下，判定为驾驶员未发出异常音。

异常音检测部31也可以代替利用检测器，而将针对异常音的每个类别预先设定的异常音检测条件用于检测驾驶员发出的异常音。而且，异常音检测部31在声音信号满足任意异常音检测条件的情况下，判定为驾驶员发出了与该异常音检测条件对应的异常音。在该情况下，异常音检测部31通过将声音信号分割为具有预定的时间长(例如100m秒～几100m秒)的帧单位，并针对每个帧执行快速傅里叶变换，来计算每个帧的声音信号的频谱。而且，异常音检测部31也可以通过将包含于各帧的声音信号的频谱的各个频率分量与根据应检测的异常音的类别设定的阈值比较，检测驾驶员发出的异常音。即，异常音检测部31在各个频率分量成为关于任意类别的异常音设定的阈值以上的情况下，检测到驾驶员发出了该类别的异常音。或者另外，异常音检测部31也可以计算声音信号的时间变化波形的包络线，并比较该包络线和针对异常音的每个类别预先准备的异常音波形，来检测驾驶员发出的异常音。例如，在声音信号的时间变化波形的包络线与任意异常音波形的标准化互相关值成为预定的检测阈值以上的情况下，异常音检测部31检测到驾驶员发出了与该异常音波形对应的类别的异常音。

异常音检测部31在检测到驾驶员发出的异常音的情况下，将检测到异常音以及检测到的异常音的类别通知给条件设定部32。

条件设定部32设定针对从驾驶员图像检测的、驾驶员的姿势应用的异常判定条件。在本实施方式中，条件设定部32相比于未检测到驾驶员发出的异常音时的异常判定条件，缓和从异常音检测部31检测到驾驶员发出的异常音时的异常判定条件。

详细如后所述，用驾驶员的脸的位置或者脸的朝向判断驾驶员产生的异常。即，在设定为异常判定条件的、驾驶员的脸的位置脱离驾驶员的脸的位置的正常范围的期间持续时间阈值以上时，判定为驾驶员产生了异常。或者，在驾驶员的脸的朝向脱离驾驶员的脸的朝向的正常范围的期间持续时间阈值以上时，判定为驾驶员产生了异常。因此，条件设定部32将脸的位置的正常范围、脸的朝向的正常范围以及时间阈值设定为异常判定条件。

例如，条件设定部32将脸的位置的正常范围设定为以与设想为驾驶员驾驶车辆10的情况下的脸的位置的位置对应的驾驶员图像上的基准位置为中心的圆形区域或者椭圆区域。此时，条件设定部32使检测到驾驶员发出的异常音时的基准位置至正常范围的外缘的半径小于未检测到驾驶员发出的异常音时的基准位置至正常范围的外缘的半径。即，条件设定部32使检测到驾驶员发出的异常音时的脸的位置的正常范围窄于未检测到驾驶员发出的异常音时的脸的位置的正常范围。

另外，条件设定部32将脸的朝向的正常范围设定为以驾驶员朝向车辆10的正面方向并且脸相对车辆10的底面垂直时的驾驶员的脸的朝向即基准方向为中心的角度范围。此时，条件设定部32使检测到驾驶员发出的异常音时的与正常范围的外缘相当的相对基准方向的角度的阈值小于未检测到驾驶员发出的异常音时的与正常范围的外缘相当的相对基准方向的角度的阈值。即，条件设定部32使检测到驾驶员发出的异常音时的脸的朝向的正常范围窄于未检测到驾驶员发出的异常音时的脸的朝向的正常范围。例如，条件设定部32将检测到驾驶员发出的异常音时的角度阈值设定为20～30°，将未检测到驾驶员发出的异常音时的角度阈值设定为35～45°。此外，条件设定部32也可以根据脸的朝向设定不同的角度阈值。例如，条件设定部32也可以个别地设定脸相对基准方向成为下朝向或者上朝向的方向(即俯仰方向)的角度阈值和脸相对基准方向成为左朝向或者右朝向的方向(即偏航方向)的角度阈值。进而，条件设定部32也可以个别地设定俯仰方向或者偏航方向的角度阈值和以基准方向为中心的旋转方向(即滚动方向)的角度阈值。在该情况下，条件设定部32也将检测到驾驶员发出的异常音时的任意方向的角度阈值设定为比未检测到驾驶员发出的异常音时的任意方向的角度阈值小的值即可。

进而，条件设定部32使检测到驾驶员发出的异常音时的时间阈值小于未检测到驾驶员发出的异常音时的时间阈值。例如，条件设定部32将检测到驾驶员发出的异常音时的时间阈值设定为2～3秒，将未检测到驾驶员发出的异常音时的时间阈值设定为5～10秒。

此外，条件设定部32也可以根据检测到的异常音的类别，变更异常判定条件的缓和的方式。例如，在驾驶员咳嗽不止的情况下，驾驶员将脸俯下的可能性高。因此，条件设定部32在检测到的异常音的类别是由于咳嗽引起的异常音的情况下，使针对下朝向的俯仰角的角度阈值小于未检测到驾驶员发出的异常音的情况下的该角度阈值。另外，在驾驶员起因于SAS而引起鼾声的情况下，驾驶员将脸俯下的可能性也高。因此，条件设定部32在检测到的异常音的类别是由于SAS引起的鼾声的异常音的情况下，也使针对下朝向的俯仰角的角度阈值小于未检测到驾驶员发出的异常音的情况下的该角度阈值。例如，条件设定部32在检测到由于咳嗽或者SAS的鼾声引起的异常音的情况下，将针对下朝向的俯仰角的角度阈值设定为20～30°，将未检测到驾驶员发出的异常音的情况下的该角度阈值设定为35～45°。条件设定部32也可以使针对下朝向的俯仰角以外的角度方向的角度阈值以及脸的位置的正常范围在检测到由于咳嗽或者SAS的鼾声引起的异常音的情况和未检测到驾驶员发出的异常音的情况下相同。

另外，在驾驶员起因于脑梗塞引起鼾声的情况下，驾驶员将脸朝向左右任意方向的可能性高。因此，条件设定部32在检测到的异常音的类别是由于脑梗塞引起的鼾声的异常音的情况下，使针对偏航角的角度阈值小于未检测到驾驶员发出的异常音的情况下的该角度阈值。例如，条件设定部32在检测到由于脑梗塞的鼾声引起的异常音的情况下，将针对偏航角的角度阈值设定为20～30°，将未检测到驾驶员发出的异常音的情况下的该角度阈值设定为35～45°。条件设定部32也可以使针对偏航角以外的角度方向的角度阈值以及脸的位置的正常范围在检测到由于脑梗塞的鼾声引起的异常音的情况和未检测到驾驶员发出的异常音的情况下相同。

进而另外，在驾驶员呜咽的情况下，驾驶员采取前倾姿势而将脸俯下的可能性高。因此，条件设定部32在检测到的异常音的类别是由于呜咽引起的异常音的情况下，使针对下朝向的俯仰角的角度阈值小于未检测到驾驶员发出的异常音的情况下的该角度阈值。进而，条件设定部32在检测到的异常音的类别是由于呜咽引起的异常音的情况下，使基准位置至脸的位置的正常范围的下限位置的距离短于未检测到驾驶员发出的异常音的情况下的该距离。条件设定部32也可以使针对下朝向的俯仰角以外的角度方向的角度阈值以及脸的位置的正常范围的下限方向以外的范围在检测到由于呜咽引起的异常音的情况和未检测到驾驶员发出的异常音的情况下相同。

条件设定部32将设定的异常判定条件通知给异常判定部34。

姿势检测部33从ECU5从驾驶员监视照相机3接受的最新的驾驶员图像，检测驾驶员的姿势。在本实施方式中，姿势检测部33检测驾驶员的脸的位置以及驾驶员的脸的朝向，作为表示驾驶员的姿势的信息。

姿势检测部33例如通过将驾驶员图像输入到以从图像检测驾驶员的脸的方式预先学习的识别器，在该驾驶员图像上检测映入驾驶员的脸的区域(以下称为脸区域)。姿势检测部33能够例如利用具有CNN型的架构的DNN或者AdaBoost识别器作为这样的识别器。进而，姿势检测部33从驾驶员图像的脸区域检测眼梢、大眼角、鼻尖点、嘴角点等驾驶员的脸的多个特征点。此时，姿势检测部33通过将脸区域输入给以检测在图像上表示的脸的特征点的方式预先学习的识别器，检测脸的特征点。作为这样的识别器，姿势检测部33例如能够使用具有CNN型的架构的DNN、支持向量机或者AdaBoost识别器。此外，脸区域检测用的识别器和脸的特征点检测用的识别器也可以一体地构成。在该情况下，姿势检测部33能够通过将驾驶员图像输入到识别器，分别检测脸区域和脸的各个特征点。或者，姿势检测部33也可以依照表示脸的特征点的模板和脸区域的模板匹配或者检测脸的特征点的其他手法，从脸区域检测驾驶员的脸的各个特征点。

姿势检测部33使检测到的脸的各个特征点与表示脸的三维形状的三维脸模型拟合。而且，姿势检测部33将各特征点与三维脸模型最拟合时的三维脸模型的脸的朝向检测为驾驶员的脸的朝向。此外，姿势检测部33也可以依照判定在图像中示出的脸的朝向的其他手法，根据驾驶员图像检测驾驶员的脸的朝向。

进而，姿势检测部33将驾驶员图像中的脸区域的重心位置检测为驾驶员的脸的位置。

姿势检测部33按照每个驾驶员图像，将针对该驾驶员图像的驾驶员的姿势的检测结果、即驾驶员的脸的位置以及脸的朝向的检测结果通知给异常判定部34。

异常判定部34在由姿势检测部33检测到的驾驶员的姿势满足异常判定条件的情况下，判定为驾驶员产生了异常。如上所述，在本实施方式中，驾驶员的姿势通过驾驶员的脸的位置以及驾驶员的脸的朝向表示。另外，异常判定条件是驾驶员的脸的位置或者脸的朝向脱离正常范围的状态持续时间阈值以上。因此，异常判定部34在每当从姿势检测部33被通知驾驶员的脸的位置以及脸的朝向时，判定该脸的位置以及脸的朝向是否包含于通过条件设定部32设定的正常范围。而且，异常判定部34在驾驶员的脸的位置或者脸的朝向脱离正常范围的状态持续时间阈值以上时，判定为驾驶员产生了异常。

异常判定部34将驾驶员是否产生了异常的判定结果通知给警告处理部35以及车辆控制部36。

图4A是示出未检测到驾驶员发出的异常音的情况下的驾驶员的异常判定的一个例子的图，图4B是示出未检测到由驾驶员发出的异常音的情况下的驾驶员的异常判定的一个例子的图。在图4A以及图4B中，横轴表示时间。

在图4A所示的例子中，未检测到驾驶员发出的异常音，所以针对驾驶员的脸400的脸的朝向的正常范围410被设定得相对宽。另外，时间阈值T1也被设定得相对长。因此，驾驶员的脸400的朝向401相对基准方向411相对地大幅倾斜的状态持续的期间P1成为比较长的时间阈值T1以上，从而检测到驾驶员的异常。

相对于此，在图4B所示的例子中，检测到驾驶员发出的异常音，所以针对驾驶员的脸400的脸的朝向的正常范围420被设定得相对窄。另外，时间阈值T2也设定为比时间阈值T1小的值。因此，即使驾驶员的脸400的朝向402相对基准方向411不怎么大幅倾斜，脸的朝向402脱离正常范围420。另外，即使脸的朝向402脱离正常范围420的状态持续的期间P2短于图4A所示的期间P1，期间P2成为时间阈值T2以上。因此，易于检测并且在早期检测驾驶员的异常。

警告处理部35在从异常判定部34接受到驾驶员产生了异常这样的判定结果时，实施预定的警告处理。例如，警告处理部35使通知设备4具有的扬声器发出请求驾驶员采取驾驶姿势的声音信号或者警告音。或者，警告处理部35使通知设备4具有的显示器显示请求驾驶员采取驾驶姿势的警告消息。或者另外，警告处理部35使通知设备4具有的振动器振动。

警告处理部35在经由通知设备4实施请求驾驶员采取驾驶姿势的警告处理之后，从异常判定部34接受到驾驶员未产生异常这样的判定结果时，停止警告处理的执行。

车辆控制部36直至从异常判定部34接受到驾驶员产生了异常这样的判定结果，依照应用于车辆10的驾驶控制等级控制车辆10。在应用于车辆10的驾驶控制等级是驾驶员不参与车辆10的驾驶的驾驶控制等级的情况下，车辆控制部36以使车辆10沿着行驶中的本车道行驶的方式控制车辆10。为此，车辆控制部36从通过车外照相机生成的图像，检测将本车道和邻接车道划区的车道划区线以及在车辆10的周围行驶的其他车辆这样的移动物体。而且，车辆控制部36通过对照检测到的车道划区线和地图信息，推测车辆10的位置以及姿势。而且，车辆控制部36根据车辆10的位置以及姿势的推测结果和车辆10的周围的各个移动物体的检测结果，以使车辆10与各个移动物体不碰撞并且沿着本车道行驶的方式控制车辆10。

另外，在从异常判定部34持续一定期间接受到驾驶员产生了异常这样的判定结果时，车辆控制部36以使车辆10紧急停车的方式控制车辆10。此外，车辆控制部36也可以在从异常判定部34接受到驾驶员产生了异常这样的判定结果时，以使车辆10立即紧急停车的方式控制车辆10。此时，车辆控制部36也可以根据车辆10的位置以及姿势的推测结果、车辆10的周围的各个移动物体的检测结果以及地图信息，使车辆10移动到路肩并停车。

图5是由处理器23执行的包括驾驶员监视处理的车辆控制处理的动作流程图。处理器23针对预定的每个周期，依照以下的动作流程图执行车辆控制处理即可。

处理器23的异常音检测部31根据处理器23从麦克风2接收到的声音信号，检测驾驶员发出的异常音，并且判别检测到的异常音的类别(步骤S101)。

处理器23的条件设定部32判定是否检测到驾驶员发出的异常音(步骤S102)。在检测到驾驶员发出的异常音的情况下(步骤S102-“是”)，条件设定部32设定相对缓和的异常判定条件(步骤S103)。另一方面，在未检测到驾驶员发出的异常音的情况下(步骤S102-“否”)，条件设定部32设定为未缓和的按照通常的异常判定条件(步骤S104)。

处理器23的姿势检测部33从ECU5从驾驶员监视照相机3接受的最新的驾驶员图像，作为驾驶员的姿势检测驾驶员的脸的位置以及脸的朝向(步骤S105)。而且，处理器23的异常判定部34判定驾驶员的脸的位置或者脸的朝向是否满足异常判定条件(步骤S106)。即，异常判定部34判定驾驶员的脸的位置或者脸的朝向脱离正常范围的期间是否持续时间阈值以上。在驾驶员的脸的位置或者脸的朝向满足异常判定条件的情况下(步骤S106-“是”)，异常判定部34判定为驾驶员产生了异常。而且，处理器23的警告处理部35经由通知设备4通知请求驾驶员采取驾驶姿势的警告(步骤S107)。另外，处理器23的车辆控制部36以使车辆10紧急停车的方式控制车辆10(步骤S108)。

另一方面，在步骤S106中，驾驶员的脸的位置以及脸的朝向不满足异常判定条件的情况下(步骤S106-“否”)，车辆控制部36依照应用于车辆10的驾驶控制等级，控制车辆10(步骤S109)。

在步骤S108或者步骤S109之后，处理器23结束车辆控制处理。此外，处理器23既可以调换步骤S101～S104的处理和步骤S105的处理的执行顺序，或者也可以并行地执行步骤S101～S104的处理和步骤S105的处理。

如以上说明，该驾驶员监视装置在根据车室内的声音信号检测到驾驶员发出的异常音时，相比于未检测到异常音时的异常判定条件，缓和基于从驾驶员图像检测的驾驶员的姿势的异常判定条件。由此，该驾驶员监视装置在驾驶员未发生异常音时能够使异常判定条件相对地严苛，所以能够抑制在驾驶员未采取驾驶姿势时误检测为驾驶员产生了异常。进而，该驾驶员监视装置在检测到驾驶员的异常音时缓和异常判定的条件，易于检测驾驶员的异常，所以能够在比较短的时间内检测驾驶员产生的异常。因此，该驾驶员监视装置能够适当地检测驾驶员产生的异常。

根据变形例，也可以仅针对驾驶员的脸的朝向或者驾驶员的脸的位置的任意一方设定异常判定条件。在该情况下，姿势检测部33仅关于驾驶员的脸的位置以及脸的朝向中的、设定异常判定条件的一方进行检测即可。

根据其他变形例，条件设定部32也可以关于检测到驾驶员发出的异常音的情况下的异常判定条件，以相比于未检测到异常音的情况易于检测驾驶员的异常的方式，仅设定正常范围或者时间阈值的任意一方。例如，条件设定部32使检测到驾驶员发出的异常音的情况下的针对脸的朝向或者脸的位置的正常范围窄于未检测到驾驶员发出的异常音的情况下的正常范围。但是，条件设定部32与有无检测驾驶员发出的异常音无关地将时间阈值设定为恒定的值。或者，条件设定部32将检测到驾驶员发出的异常音的情况下的时间阈值设定得短于未检测到驾驶员发出的异常音的情况下的时间阈值。但是，条件设定部32与有无检测驾驶员发出的异常音无关地，将针对脸的朝向或者脸的位置的正常范围设定为恒定的范围。

另外，上述实施方式或者变形例所涉及的、实现ECU5的处理器23的功能的计算机程序也可以以记录于半导体存储器、磁记录介质或者光记录介质这样的、计算机可读取的可移动性记录介质的形式提供。

如以上所述，本领域技术人员能够在本发明的范围内与实施的方式符合地进行各种变更。

Claims (8)

1.一种驾驶员监视装置，具有：

姿势检测部，从通过设置于车辆的摄像部生成的所述车辆的车室内的图像检测所述车辆的驾驶员的姿势；

异常判定部，在检测到的所述驾驶员的姿势满足异常判定条件的情况下，判定为所述驾驶员产生了异常；

异常音检测部，根据通过设置于所述车辆的声音取得部取得的、所述车辆的车室内的声音信号，检测所述车辆的驾驶员发出的异常音；以及

条件设定部，相比于未检测到所述异常音的情况下的异常判定条件，缓和检测到所述异常音的情况下的所述异常判定条件。

2.根据权利要求1所述的驾驶员监视装置，其中，

所述姿势检测部将所述驾驶员的脸的位置以及所述驾驶员的脸的朝向的至少一方检测为所述驾驶员的姿势，

所述异常判定条件是所述驾驶员的脸的朝向或者所述驾驶员的脸的位置脱离预定的正常范围的期间为预定的时间阈值以上，

所述条件设定部使检测到所述异常音的情况下的所述正常范围窄于未检测到所述异常音的情况下的所述正常范围，或者使检测到所述异常音的情况下的所述时间阈值短于未检测到所述异常音的情况下的所述时间阈值。

3.根据权利要求2所述的驾驶员监视装置，其中，

所述异常音检测部还判定基于所述驾驶员发出异常音时的所述驾驶员的状态的所述异常音的类别，

所述条件设定部根据所述异常音的类别，设定检测到所述异常音的情况下的所述正常范围。

4.根据权利要求3所述的驾驶员监视装置，其中，

所述条件设定部使检测到的所述异常音的类别是所述驾驶员的咳嗽的声响或者由于所述驾驶员的睡眠呼吸暂停综合征引起的鼾声的声响的情况下的、作为所述正常范围的所述驾驶员的脸的相对基准方向的下朝向的角度范围窄于未检测到所述异常音的情况下的所述下朝向的角度范围。

5.根据权利要求3所述的驾驶员监视装置，其中，

所述条件设定部使检测到的所述异常音的类别是由于所述驾驶员的脑梗塞引起的鼾声的声响的情况下的、作为所述正常范围的所述驾驶员的脸的相对基准方向的左右方向的角度范围窄于未检测到所述异常音的情况下的所述左右方向的角度范围。

6.根据权利要求3所述的驾驶员监视装置，其中，

所述条件设定部使检测到的所述异常音的类别是所述驾驶员的呜咽的声响的情况下的、作为所述正常范围的所述驾驶员的脸的相对基准方向的下朝向的角度范围窄于未检测到所述异常音的情况下的所述下朝向的角度范围，并且使检测到的所述异常音的类别是所述驾驶员的呜咽的声响的情况下的、作为所述正常范围的所述驾驶员的脸的位置的基准位置至下限位置的距离短于未检测到所述异常音的情况下的所述距离。

7.一种驾驶员监视方法，包括：

从通过设置于车辆的摄像部生成的所述车辆的车室内的图像检测所述车辆的驾驶员的姿势；

在检测到的所述驾驶员的姿势满足异常判定条件的情况下，判定为所述驾驶员产生了异常；

根据通过设置于所述车辆的声音取得部取得的、所述车辆的车室内的声音信号，检测所述车辆的驾驶员发出的异常音；以及

相比于未检测到所述异常音的情况下的异常判定条件，缓和检测到所述异常音的情况下的所述异常判定条件。

8.一种驾驶员监视用计算机程序，用于使搭载于车辆的处理器执行：

从通过设置于所述车辆的摄像部生成的所述车辆的车室内的图像检测所述车辆的驾驶员的姿势；

在检测到的所述驾驶员的姿势满足异常判定条件的情况下，判定为所述驾驶员产生了异常；

根据通过设置于所述车辆的声音取得部取得的、所述车辆的车室内的声音信号，检测所述车辆的驾驶员发出的异常音；以及

相比于未检测到所述异常音的情况下的异常判定条件，缓和检测到所述异常音的情况下的所述异常判定条件。