CN109784137A - 驾驶者监视装置及其方法和记录介质 - Google Patents

Abstract

一种驾驶者监视装置及其方法和记录介质，能够监视车辆的驾驶者向哪个方向倾注多少关注。在驾驶者监视装置(10)中，通过检测部(14)，基于从驾驶者监视传感器(21)输出的监视数据来检测驾驶者关注的注意方向，通过监视部(15)，每隔偏差计算时间s反复计算该注意方向在偏差计算期间p内的标准偏差等偏差σ，并基于所计算出的偏差σ来判断驾驶者关注的方向和注意度。

Description

驾驶者监视装置及其方法和记录介质

技术领域

本发明的实施方式涉及例如对车辆的驾驶者进行监视的驾驶者监视装置及其方法和记录介质。

背景技术

近年来，在车辆上逐渐搭载有用于在乘用车等车辆行驶时辅助驾驶者的各种装置。作为其中之一，已知有一种旁视判定装置，该装置判定车辆的驾驶者的不恰当的驾驶状态例如驾驶者是否正在旁视，若是旁视状态则发出警告。在这样的旁视判定装置中，通过检测驾驶者的脸的方向或视线方向来判定驾驶者正在看哪里，从而判定驾驶者是否正在旁视。

但是，仅从驾驶者的脸的方向或视线方向难以进行准确的旁视判定。

因此，例如在专利文献1中，测量驾驶者的注视点为特定方向的持续时间，并基于驾驶者的注视点和其持续时间来进行旁视判定。即，该专利文献1所公开的方法通过在驾驶者的脸的方向或视线方向中加上时间的概念，能够监视驾驶者向哪个方向倾注多少注意。由此，提高旁视判定的准确性。

现有技术文献

专利文献

专利文献1：日本特开平6-251272号公报

发明内容

发明要解决的技术问题

作为能够监视驾驶者向哪个方向倾注多少关注的方法，除了上述专利文献1所公开的方法以外，还能够想到各种方法。

另外，该驾驶者向哪个方向倾注多少注意这样的监视结果不仅能够应用于旁视判定，还能够应用于例如学习驾驶者的驾驶上的习性和倾向的学习装置等其它技术。

本发明着眼于上述情况，其目的之一就是想要提供一种能够监视驾驶者在向哪个方向倾注多少注意的驾驶者监视装置及其方法和记录介质。

用于解决技术问题的方案

为了解决上述问题，本发明的第一方面是，驾驶者监视装置具备：第一传感器，输出包含车辆的驾驶者的监视图像的第一感测数据；存储部，存储从所述第一传感器输出的所述第一感测数据；检测部，基于所述存储部中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸或视线的方向；计算部，每隔预定时间反复计算所述检测部检测出的所述注意方向在预定期间内的偏差；以及判断部，基于所述计算部计算出的所述偏差，判断所述驾驶者关注的方向和注意度。

根据本发明的第一方面，驾驶者监视装置基于从第一传感器输出的第一感测数据来检测驾驶者在关注的注意方向，并且每隔预定时间反复计算该检测出的注意方向在预定期间内的偏差。驾驶者关注的时间越长，该偏差的值越为变小。因此，通过同时使用注意方向和该偏差，能够监视驾驶者正向哪个方向倾注多少注意。

本发明的第二方面是，在上述第一方面中，所述判断部将所述驾驶者对所述关注的方向凝视的程度作为所述注意度进行判断。

根据本发明的第二方面，基于驾驶者的脸或视线的方向的偏差来判断驾驶者凝视的程度。偏差较小意味着与其相应地凝视。驾驶者在车辆的行驶中凝视某个方向这一情况是指，驾驶者例如以安全确认为目的而持续观看某一方向这样的、驾驶者有意地观看该方向的可能性较高。因此，也可以说，注意度也即是驾驶者凝视的程度表示了驾驶者有意地观看的可能性的程度。

本发明的第三方面是，在上述第一方面中，所述判断部将所述驾驶者有可能正观看的范围作为所述驾驶者关注的方向进行判断。

根据本发明的第三方面，基于驾驶者的脸或视线的方向的偏差来判断驾驶者有可能正观看的范围。因此，能够可靠地判断驾驶者未观看某个对象物。

本发明的第四方面是，在上述第一方面中，所述判断部基于以所述检测部检测出的所述注意方向为中心、以所述计算部计算出的所述偏差为半径的偏差面的大小及位置，判断所述驾驶者关注的方向和注意度。

根据本发明的第四方面，根据以注意方向为中心、以偏差为半径的偏差面的大小及位置来判断驾驶者关注的方向和注意度。偏差面较小意味着驾驶者向该注意方向的注意度较高、也就是驾驶者在注视该方向。另外，偏差面较大意味着驾驶者向该注意方向的注意度较低、也就是驾驶者在笼统地看该方向。

本发明的第五方面是，在上述第一至第四方面中的任一方面中，所述判断部基于所述驾驶者关注的方向和注意度，判定所述驾驶者是否为正观看设定于所述车辆的正面方向的预定的正面区域的状态。

根据本发明的第五方面，根据上述驾驶者关注的方向和注意度来判定驾驶者是否为正观看预定的正面区域的状态。由此，应用了第四方面的装置例如旁视判定装置能够实施准确的旁视判定。

本发明的第六方面是，在上述第一方面中，所述驾驶者监视装置还具备第二传感器，所述第二传感器输出表示所述车辆的状态的第二感测数据，所述存储部还存储从所述第二传感器输出的所述第二感测数据，所述检测部还基于所述存储部中存储的所述第二感测数据来检测所述车辆的速度，所述驾驶者监视装置还具备切换部，所述切换部根据所述检测部检测出的所述车辆的速度来切换所述预定期间的长度。

根据本发明的第六方面，根据车辆的速度来切换计算偏差的预定期间的长度。因此，能够以适于车辆的速度的时间来计算偏差。

本发明的第七方面是，在上述第一方面中，所述驾驶者监视装置还具备切换部，所述切换部根据所述检测部检测出的所述注意方向来切换所述预定期间的长度。

根据本发明的第七方面，根据注意方向来切换计算偏差的预定期间的长度。因此，能够以适合驾驶者注意的方向的时间来计算偏差。

另外，为了解决上述问题，本发明的第八方面是一种驾驶者监视方法，由对车辆的驾驶者进行监视的驾驶者监视装置执行，所述驾驶者监视方法包括以下步骤：所述驾驶者监视装置使从第一传感器输出的第一感测数据存储于存储部，所述第一感测数据包含车辆的驾驶者的监视图像；所述驾驶者监视装置基于所述存储部中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸或视线的方向；所述驾驶者监视装置每隔预定时间反复计算所检测出的所述注意方向在预定期间内的偏差；以及所述驾驶者监视装置基于所计算出的所述偏差，判断所述驾驶者关注的方向和注意度。

根据本发明的第八方面，与上述第一方面同样地，通过同时使用注意方向和偏差，从而能够监视驾驶者正向哪个方向倾注多少注意。

另外，为了解决上述问题，本发明的第九方面是一种记录介质，记录有驾驶者监视程序，所述驾驶者监视程序使计算机执行上述第一至第七方面中的任一个方面的驾驶者监视装置所具备的各部的处理。

根据本发明的第九方面，能够利用计算机来实现上述第一至第七方面。

发明效果

即，根据本发明的各方面，能够提供一种可监视车辆的驾驶者正向哪个方向倾注多少注意的驾驶者监视装置及其方法和记录介质。

附图说明

图1是说明本发明的实施方式的驾驶者监视装置的一应用例的框图。

图2A是示意性示出偏差计算时间、偏差计算期间、偏差以及偏差面的关系的图。

图2B是示意性示出偏差面因驾驶者的凝视而变小的情况的图。

图3是例示具备一实施方式的驾驶者监视装置的驾驶状态判定***的结构的框图。

图4是示出一实施方式中的驾驶状态判定***的监视结果存储部中预先存储的偏差计算期间切换表的一例的图。

图5是示出一实施方式中的驾驶状态判定***的处理程序和处理内容的一例的流程图。

图6是示意性示出被判定为驾驶者未观看正面方向的状况的一例的图。

图7是示意性示出被判定为驾驶者未观看正面方向的状况的另一例的图。

图8是示意性示出被判定为驾驶者未观看正面方向的状况的又一另外例的图。

图9是示意性示出未被判定为驾驶者未观看正面方向的状况的一例的图。

图10是示意性示出未被判定为驾驶者未观看正面方向的状况的另一例的图。

图11是示意性示出未被判定为驾驶者未观看正面方向的状况的又一另外例的图。

附图标记说明：

10…驾驶者监视装置；11…监视数据获取部；12…车辆信息获取部；13…获取信息存储部；14...检测部；15…监视部；21…驾驶者监视传感器；22…车辆状态传感器；30…旁视判定装置；40…驾驶状态判定装置；41…输入输出接口单元；42…控制单元；43…存储单元；51…驾驶员相机；52…车速传感器；53…倒车档传感器；60…判定结果输出装置；70…导航画面；71…侧后视镜；421…硬件处理器；422…程序存储器；431…监视数据存储部；432…车辆信息存储部；433…监视结果存储部；4211…监视数据获取部；4212…车辆信息获取部；4213…驾驶者监视部；4214…旁视状态判定部；4215…信号输出部。

具体实施方式

以下，参照附图来说明本发明的实施方式。

[应用例]

首先，对本发明的实施方式的监视车辆的驾驶者的驾驶者监视装置的一个应用例进行说明。

图1是示意性示出该应用例中的驾驶者监视装置的结构例的图。驾驶者监视装置10具备：监视数据获取部11、车辆信息获取部12、获取信息存储部13、检测部14、以及作为计算部、判断部、判定部及切换部的监视部15。

监视数据获取部11针对驾驶者，从设置于车辆内的预定位置的、作为对驾驶者的监视图像进行拍摄的第一传感器的驾驶者监视传感器21取得驾驶者的监视数据，驾驶者的监视数据是包括驾驶者的监视图像的第一感测数据。例如，驾驶者监视传感器21设置在能够对驾驶者的脸部进行拍摄的位置，例如是配置于仪表板上、方向盘中央、速度表旁、前柱等上而对包括驾驶者的脸部的上半身进行拍摄的相机。该相机既可以是在1秒内拍摄多个驾驶者的静止图像的静态相机，也可以是拍摄驾驶者的动态图像的摄像机。监视数据获取部11将来自该相机的图像信号进行数字化处理后作为包括驾驶者的监视图像的第一感测数据而取得。监视数据获取部11使所取得的第一感测数据作为监视数据存储于获取信息存储部13。

获取信息存储部13是将例如HDD(Hard Disk Drive：硬盘驱动器)或SSD(SolidState Drive：固态驱动器)等可随时写入和读出的非易失性存储器及RAM等易失性存储器用作存储介质的存储部。

车辆信息获取部12从配置于车辆的各预定位置的作为第二传感器的车辆状态传感器22取得车辆信息，车辆信息是示出车辆状态的第二感测数据。车辆状态传感器22例如能够包括检测车辆的速度的车速传感器、检测选择了倒车档的倒车档传感器。车辆状态传感器22可以像这样包括多个传感器。车辆信息获取部12对由该车辆状态传感器22检测出的检测信息进行数字化处理后作为表示车辆状态的第二感测数据而取得。车辆状态传感器22使所取得的第二感测数据作为车辆信息存储于上述获取信息存储部13。

在作为车辆的动力源的发动机和/或电动机的启动期间中，检测部14根据存储于获取信息存储部13的驾驶者的监视数据，检测驾驶者关注的注意方向例如驾驶者的脸部或视线的方向。

图2A是示意性示出作为上述预定时间的偏差计算时间s、作为上述预定期间的偏差计算期间p及上述偏差σ、以及作为基于上述注意方向和上述偏差σ的面的偏差面d的关系的图，图2B是示意性示出偏差面d因驾驶者的凝视而变小下去的情况的图。需要注意的是，在图2B中，用线的粗细来表示时间变化，线越粗，表示是越新的偏差面d。

另外，监视部15每隔偏差计算时间s反复进行计算检测部14检测出的注意方向在偏差计算期间p内的标准偏差等偏差σ。监视部15例如基于所计算出的偏差σ来判断驾驶者向关注的方向的注意度、即驾驶者正在凝视的程度。这种驾驶者凝视的程度表示驾驶者有意观看的可能性的程度。

另外，监视部15基于计算出的偏差σ而将驾驶者有可能观看的范围即视觉辨认可能性范围判断为驾驶者关注的方向。该判断结果也表示没有驾驶者观看的可能性的范围、即驾驶者未观看哪里。

具体而言，监视部15根据偏差面d来判断驾驶者关注的方向和注意度，该偏差面d是基于计算出的偏差和检测部检测出的注意方向的面。在此，偏差面d被表示为中心是注意方向、半径是偏差σ的圆。

监视部15能够基于这样判断出的驾驶者关注的方向和注意度，判定驾驶者是否为正看着设定于车辆的正面方向的预定正面区域的状态。

需要说明的是，检测部14还能够基于获取信息存储部13中所存储的车辆信息来检测车辆的速度，监视部15能够根据该车辆的速度来切换偏差计算期间p的长度。或者，监视部15能够根据驾驶者的注意方向来切换偏差计算期间p的长度。另外，也可以根据车辆的速度和注意方向这两者来切换偏差计算期间p的长度。

作为监视部15的上述那样的判断结果或判定结果的监视结果信息被输出至例如旁视判定装置30。旁视判定装置30基于该监视结果信息来判定驾驶者的状态、例如有无旁视。

根据以上那样的结构，在驾驶者监视装置10中，通过检测部14并基于从驾驶者监视传感器21输出的监视数据，检测驾驶者关注的注意方向，通过监视部15，每隔偏差计算时间s反复计算该注意方向在偏差计算期间p中的标准偏差等偏差σ。驾驶者关注的时间越长，该偏差σ的值越为变小。因此，通过使用注意方向的同时使用该偏差σ，能够监视驾驶者对哪个方向关注有多少。

另外，在驾驶者监视装置10中，通过监视部15，基于驾驶者的脸部或视线的方向的偏差σ来判断驾驶者凝视的程度。如图2A所示，每当经过上述预定时间即偏差计算时间s时，监视部15计算注意方向在上述预定期间即偏差计算期间p中的偏差σ。当驾驶者持续观看一个对象物时即凝视时，该偏差σ逐渐变小。在驾驶者接连不断地观看各种各样的对象物的状况下，偏差σ不会变小，反而变大。因此，偏差小意味着与其相应地凝视。驾驶者在车辆的行驶中凝视某个方向这一情况就是驾驶者例如以安全确认为目的而持续观看某一方向这样的、驾驶者有意地观看该方向的可能性高。因此，也可以说，注意度也即是驾驶者凝视的程度表示出驾驶者有意地观看的可能性的程度。

另外，在驾驶者监视装置10中，通过监视部15，基于驾驶者的脸部或视线的方向的偏差σ来判断驾驶者有可能在观看的范围。由此，不仅能够判断驾驶者有可能在观看的范围，还能够判断驾驶者未观看哪里。即，能够可靠地判断驾驶者未观看某对象物。

另外，在驾驶者监视装置10中，通过监视部15并根据以注意方向为中心、以偏差σ为半径的偏差面d的大小及位置，判断驾驶者关注的方向和注意度。如图2A和图2B所示，当驾驶者持续观看一个对象物时，该偏差面d逐渐变小。在驾驶者接连不断地观看各种各样的对象物的状况下，偏差面d不会变小，反而变大。即，偏差面d较小意味着驾驶者向该注意方向的注意度较高、也就是驾驶者在注视该方向。另外，偏差面d较大意味着驾驶者对该注意方向的注意度较低、也就是驾驶者在笼统地观看该方向。

在该情况下，监视部15能够根据驾驶者关注的方向和注意度并通过例如偏差面d来判定驾驶者是否为正观看预定的正面区域的状态。由此，通过接收到作为该判定结果的监视结果信息的旁视判定装置30，能够实施准确的旁视判定。

另外，在驾驶者监视装置10中，在监视部15中，能够根据车辆的速度来切换计算偏差σ的预定期间的长度。因此，能够以适于车辆的速度的时间来计算偏差σ。偏差计算期间p越长，驾驶者的注意方向、例如驾驶者的脸或视线的方向越分散，因此偏差σ变大。另一方面，车辆的移动速度越为高速，允许旁视的时间越短。因此，在车辆的速度为高速时，通过缩短偏差计算期间p，能够迅速地进行基于偏差σ的判断、判定。

另外，在驾驶者监视装置10中，在监视部15中，能够根据注意方向来切换计算偏差σ的预定期间的长度。因此，能够以适合驾驶者关注的方向的时间来计算偏差σ。例如，根据注意方向相对于正面方向为何种程度的角度，可以从正面方向移开视线的时间发生变化。因此，如果驾驶者的注意方向相对于正面方向为某一角度以上，则通过缩短偏差计算期间p，能够迅速地进行基于偏差σ的判断、判定。

[一实施方式]

接着，说明本发明的一实施方式。

(结构)

(1)***

图3是示出具备本发明的一实施方式的驾驶者监视装置的驾驶状态判定***的整体结构的一例的图。

驾驶状态判定***包括具备一实施方式的驾驶者监视装置和驾驶状态判定装置的驾驶状态判定装置40、各种传感器51～53、以及判定结果输出装置60。

(2)传感器

在本实施方式中，作为传感器，包括例如作为驾驶者监视传感器的驾驶员相机51、和作为车辆状态传感器的车速传感器52及倒车档传感器53。当然，这只是一例，也可以包括转向传感器或转向灯传感器等其它传感器。

驾驶员相机51设置在能够对驾驶者的脸部进行拍摄的部位，例如是配置在仪表板上、方向盘中央、速度表旁、前柱等上而拍摄包括驾驶者的脸部的上半身的相机。该驾驶员相机51既可以是在1秒钟内拍摄多张静止图像的静态相机，也可以是拍摄动态图像的摄像机。

车速传感器52检测车辆的移动速度。

倒车档传感器53检测选择了用于使车辆后退的倒车档。

(3)驾驶状态判定装置

驾驶状态判定装置40具备输入输出接口单元41、控制单元42以及存储单元43。

输入输出接口单元41接收从驾驶员相机51输出的图像信号并将其转换为数字数据后输入到控制单元42。输入输出接口单元41还接收车速传感器52以及倒车档传感器53各自的感测数据，并将它们输入到控制单元42。输入输出接口单元41还将从控制单元42输出的驾驶状态判定结果信息转换为输出控制信号并输出至判定结果输出装置60。

存储单元43使用例如SSD、HDD等可随时写入和读出的非易失性存储器以及RAM等易失性存储器作为存储介质。存储单元43具备存储驾驶者的监视数据的监视数据存储部431、存储表示车辆状态的车辆信息的车辆信息存储部432、以及易失性地存储后述的驾驶者监视部4213的判定结果即监视结果信息的监视结果存储部433作为为了实施本实施方式而使用的存储区域。

需要说明的是，监视结果存储部433还可以预先非易失性地存储偏差计算期间切换表。另外，虽未特别图示，但监视结果存储部433也能用作驾驶者监视部4213的工作用的缓冲存储器。例如，驾驶者监视部4213能够以FIFO(first in,first out：先进先出)方式易失性地存储表示检测出的注意方向的注意方向信息。在这种情况下，该FIFO式缓冲存储器具有根据偏差计算期间p而确定的预定容量。另外，在利用偏差计算期间切换表的情况下，需要具有能够存储相当于该表格中最长的偏差计算期间的注意方向信息的容量。

图4是示出偏差计算期间切换表的一例的图。偏差计算期间切换表是示出根据注意方向和车速确定的偏差计算期间p的表。在该偏差计算期间切换表中还包含只根据注意方向和车速中的任一方确定的偏差计算期间p。该偏差计算期间切换表的例子所示的时间仅以例示为目的，当然不限定于此。

控制单元42具有CPU(Central Processing Unit：中央处理单元)等硬件处理器421和程序存储器422。控制单元42作为通过由硬件处理器421执行存储于程序存储器422的程序来实现的、为实施本实施方式所需的软件结构，具备监视数据获取部4211、车辆信息获取部4212、驾驶者监视部4213、作为旁视判定装置的旁视状态判定部4214以及信号输出部4215。需要说明的是，这些软件结构的各部也可以由专用的硬件构成。

监视数据获取部4211从驾驶员相机51获取驾驶者的监视图像。即，监视数据获取部4211从输入输出接口单元41取得从驾驶员相机51输出的驾驶者的图像信号的数字数据(图像数据)，并使所取得的图像数据作为监视数据存储于存储单元43的监视数据存储部431。

车辆信息获取部4212从车速传感器52以及倒车档传感器53各个获取车辆信息。即，车辆信息获取部4212从输入输出接口单元41取得从这些各传感器输出的感测数据，并使所取得的感测数据作为车辆信息存储于存储单元43的车辆信息存储部432。

在作为车辆的动力源的发动机和/或马达的启动期间中，驾驶者监视部4213根据存储于获取信息存储部13的驾驶者的监视数据，检测驾驶者关注的注意方向、例如驾驶者的脸部或视线的方向。该检测出的注意方向例如作为注意方向信息存储在设于监视结果存储部433的FIFO式缓冲存储器。

另外，驾驶者监视部4213读出该监视结果存储部433的FIFO式缓冲存储器中存储的多个注意方向信息中从最新到相当于偏差计算期间p为止的注意方向信息，计算它们的偏差σ。该偏差σ例如可以是标准偏差。然后，驾驶者监视部4213将所计算出的偏差σ暂时存储在设于监视结果存储部433的缓冲存储器。驾驶者监视部4213每隔偏差计算时间s反复进行该偏差σ的计算。

然后，驾驶者监视部4213根据基于监视结果存储部433的FIFO式缓冲存储器中存储的最新的注意方向信息和存储于监视结果存储部433的缓冲存储器的偏差σ的面即偏差面d，判定驾驶者的状态例如驾驶者是否为正在看正面区域的状态。在此，偏差面d能够表示为其中心为注意方向、半径为偏差σ的圆。驾驶者监视部4213使表示该判定结果的监视结果信息暂时存储于监视结果存储部433的缓冲存储器。

需要说明的是，驾驶者监视部4213还可以基于存储于车辆信息存储部432的车辆信息来检测车辆的速度，并响应于该车辆的速度而通过监视结果存储部433的偏差计算期间切换表来切换偏差计算期间p的长度。或者，驾驶者监视部4213也可以根据监视结果存储部433的FIFO式缓冲存储器中所存储的最新的注意方向信息，通过监视结果存储部433的偏差计算期间切换表来切换偏差计算期间p的长度。另外，也可以根据这些车辆的速度和注意方向信息这两者而通过监视结果存储部433的偏差计算期间切换表来切换偏差计算期间p的长度。

驾驶者监视部4213的判断或判定结果即监视结果信息例如被输出至旁视判定装置30。旁视判定装置30基于该监视结果信息来判定驾驶者的状态例如旁视的状态。

需要说明的是，包括该驾驶者监视部4213在内的硬件处理器421在车辆的驱动源启动时开始工作，并随着驱动源的关闭而结束工作。

旁视状态判定部4214从监视结果存储部433中读入监视结果信息，基于该监视结果信息来判定驾驶者的状态例如旁视的状态。

信号输出部4215将旁视状态判定部4214中的表示驾驶状态的判定结果的驾驶状态判定结果信息经由输入输出接口单元41输出至判定结果输出装置60。

(4)判定结果输出装置

判定结果输出装置60具有例如扬声器和警告灯显示器，通过警告音或警告灯的点亮来向驾驶者输出从驾驶状态判定装置40输出的驾驶状态判定结果信息。判定结果输出装置60也可以由扬声器和警告灯显示器中的一方构成。判定结果输出装置60也可以利用车辆所具备的导航***的声音输出功能、图像显示功能而构成。

(工作)

接着，说明如以上那样构成的驾驶状态判定***的工作。

图5是示出图3所示的驾驶状态判定***中的处理程序和处理内容的一例的流程图。

(1)取得感测数据

当车辆的驱动源启动时，驾驶状态判定装置40、作为驾驶者监视传感器的驾驶员相机51以及作为车辆状态传感器的车速传感器52和倒车档传感器53开始工作。驾驶状态判定装置40通过监视数据获取部4211获取来自驾驶员相机51的感测数据，并将其作为监视数据而存储于监视数据存储部431。另外，驾驶状态判定装置40通过车辆信息获取部4212获取来自车速传感器52和倒车档传感器53各个的感测数据，并将其作为车辆信息而存储于车辆信息存储部432。反复实施这些感测数据的获取及存储，直到车辆的驱动源被关闭为止。

(2)计算监视信息

(2-1)检测车速和注意方向

与上述感测数据的取得工作并行地，在步骤S11中，驾驶状态判定装置40使驾驶者监视部4213根据存储于车辆信息存储部432中的车辆信息来检测车辆的速度(车速)，并使检测出的速度覆盖存储于监视结果存储部433的缓冲存储器。另外，在步骤S12中，驾驶状态判定装置40使驾驶者监视部4213根据存储在监视数据存储部431中的监视数据来检测驾驶者的注意方向例如驾驶者的脸或视线的方向，使表示检测出的注意方向的注意方向信息存储于监视结果存储部433的FIFO式缓冲存储器。例如，如果在1秒内将30张监视图像作为监视数据存储于监视数据存储部431，则驾驶者的脸或视线相对于作为被设定为车辆的正面方向的基准方向的驾驶状态判定装置上的正面方向(0°)的方向在1秒内被检测30次，并存储于FIFO式缓冲存储器。需要说明的是，该步骤S11和步骤S12的顺序可以相反，也可以并行地执行两步骤的处理。

(2-2)切换偏差计算期间

接着，在步骤S13中，驾驶状态判定装置40使驾驶者监视部4213判定是否做出了进行偏差计算期间p的切换的设定。驾驶状态判定装置40在出厂时或向车辆安装时，设定是否进行偏差计算期间p的切换、以及是否与车辆的速度和注意方向中的任一方或双方相对应。另外，作为用户的驾驶者也可以通过操作开关等来设定它们。

在具有进行偏差计算期间p的切换的设定的情况下，在步骤S14中，驾驶状态判定装置40使驾驶者监视部4213利用监视结果存储部433的偏差计算期间切换表并根据车辆的速度和/或者注意方向来切换偏差计算期间p的长度。

(2-3)计算偏差

接着，在步骤S15中，驾驶状态判定装置40使驾驶者监视部4213判定是否已成为计算根据偏差计算时间s确定的偏差σ的定时。在此，如果还不是该定时，则驾驶状态判定装置40使驾驶者监视部4213重复进行从上述步骤S11起的处理。这样，使其检测车辆的速度和注意方向直至成为计算偏差σ的定时为止。

然后，当成为计算根据偏差计算时间s确定的偏差σ的定时时，驾驶状态判定装置40在步骤S16中使驾驶者监视部4213读出监视结果存储部433的FIFO式缓冲存储器中存储的多个注意方向信息中的、从最新到相当于偏差计算期间p为止的注意方向信息，并使其计算标准偏差等的它们的偏差σ。例如，若如上所述那样地在1秒内得到30个注意方向信息、偏差计算期间p为2秒，则从FIFO式缓冲存储器读出最新的60个注意方向信息，并计算该60个注意方向信息的偏差σ。在驾驶者凝视某个方向的情况下，该60个注意方向信息成为大致相同的方向，因此偏差σ较小。相反，在驾驶者没有凝视的情况下，该60个注意方向信息不一致，因此偏差σ变大。然后，使驾驶者监视部4213将该计算出的偏差σ覆盖存储在设于监视结果存储部433的缓冲存储器。

(2-4)驾驶者状态判定

如果这样计算了偏差σ，则驾驶状态判定装置40使驾驶者监视部4213判定驾驶者的状态。

一直以来，仅根据驾驶者的注意方向例如驾驶者的脸或视线的方向的话，在角度相同的情况下，无法区分如下的状况：

[1－A]驾驶者为了确认而一瞬间回头。

[1－B]驾驶者在意外面而看了一会儿。

[1－C]驾驶者不断地东张西望，而未看前方。

其中，[1－B]和[1－C]为旁视。

另外，若考虑特定的范围，则例如在为导航装置的画面(导航画面)的情况下，无法区分如下的状况：

[2-A]驾驶者通过导航画面而看了副驾驶座侧的侧后视镜。

[2-B]驾驶者瞬间看了导航画面来确认周边的道路状况。

[2-C]驾驶者一边操作导航装置一边进行驾驶。

其中，[2－C]为旁视。

驾驶状态判定装置40使驾驶者监视部4213执行如下的处理，以使得旁视状态判定部4214能够可靠地判定上述那样的旁视状态。

首先，驾驶状态判定装置40在步骤S17中使驾驶者监视部4213从监视结果存储部433的FIFO式缓冲存储器中读出偏差σ和相当于偏差计算期间p中的最新的注意方向信息，并使其判定基于由该注意方向信息表示的注意方向和偏差σ的偏差面d的大小(面积)是否小于预先确定的阈值。然后，如果偏差面d的大小小于阈值，则在步骤S18中，使驾驶者监视部4213判定注意方向是否在预先确定的车辆的正面区域F内。例如，如图6所示，正面区域F对应于即使是以往的仅根据注意方向进行的判定但通过旁视状态判定部4214也不判定为是旁视的、相对于作为基准方向的驾驶状态判定装置上的正面方向(0°)设定的驾驶座前方的区域。

在此，如果注意方向在正面区域F内，则驾驶者正注视车辆的正面方向，因此驾驶状态判定装置40使驾驶者监视部4213从上述步骤S11的处理开始重复。需要说明的是，此时，驾驶状态判定装置40也可以使驾驶者监视部4213将表示正在看正面方向这样的判定结果的监视结果信息覆盖存储于监视结果存储部433的缓冲存储器。

与此相对，在注意方向不是正面区域F内的情况下，驾驶状态判定装置40在步骤S19中使驾驶者监视部4213根据存储于车辆信息存储部432中的车辆信息来检测倒车档的选择状态，并使其判定注意方向是否是导航画面且选择了倒车档。在注意方向是导航画面且选择了倒车档的情况下，驾驶状态判定装置40使驾驶者监视部4213从上述步骤S11的处理开始重复。需要说明的是，此时，驾驶状态判定装置40也可以使驾驶者监视部4213将表示与正观看正面方向的情况相同的判定结果的监视结果信息覆盖存储于监视结果存储部433的缓冲存储器。

与此相对，在不处于注意方向是导航画面且选择了倒车档这种状况的情况下，驾驶状态判定装置40在步骤S20中使驾驶者监视部4213确定为驾驶者未看正面方向，并使其将该表示未看正面方向这样的判定结果的监视结果信息覆盖存储于监视结果存储部433的缓冲存储器。并且在其后，驾驶状态判定装置40使驾驶者监视部4213从上述步骤S11的处理开始重复。

另一方面，在上述步骤S17中判定为偏差面d为阈值以上的大小的情况下，驾驶状态判定装置40在步骤S21中使驾驶者监视部4213判定偏差面d是否包含正面区域F、即偏差面d是否盖住正面区域F。在此，在尽管偏差面d较大但不包含正面区域F的情况下，驾驶状态判定装置40使驾驶者监视部4213执行上述步骤S20的处理。即，得到未看正面方向这样的判定结果后，将表示该情况的监视结果信息覆盖存储于监视结果存储部433的缓冲存储器。

与此相对，在上述步骤S21中判定为偏差面d包含正面区域F的情况下，驾驶状态判定装置40使驾驶者监视部4213从上述步骤S11的处理开始重复。需要说明的是，此时，驾驶状态判定装置40也可以使驾驶者监视部4213将表示与正看正面方向的情况相同的判定结果的监视结果信息覆盖存储于监视结果存储部433的缓冲存储器。

图6至图11分别示意性示出由驾驶者监视部4213判定的判定状况的例子。

例如，在相当于旁视的上述[1－B]的“驾驶者担心外面而看了一会儿”这样的状况以及上述[2-C]的“驾驶者一边操作导航装置一边进行了驾驶”这样的状况下，在上述步骤S17中判定为偏差面d小于阈值，在上述步骤S18中判定为注意方向不是正面区域F内。上述[1-B]的状况是如图6所示那样的状况，上述[2-C]的状况是如图7所示那样的状况。然后，在上述步骤S19中，上述[1-B]的状况被判定为注意方向不是导航画面70，从而处理前进至上述步骤S20。另外，上述[2-C]的状况被判定为注意方向是导航画面70，但此时若未选择倒车档，则同样地将处理前进至上述步骤S20。由此，确定为未看正面方向。

需要注意的是，如果在注意方向是导航画面70时选择了倒车档，则在导航画面70中流动有未图示的后方相机的影像的可能性较高。因此，当在上述步骤S19中判定为注意方向是导航画面且选择了倒车档的情况下，不进入上述步骤S20的处理。

这样，偏差σ或偏差面d较小表示驾驶者有意地仔细观看那个方向的可能性较高。并且，如果该方向不是正面区域F内，则将表示未观看正面方向这样的判定结果的监视结果信息存储于监视结果存储部433的缓冲存储器，以使得由旁视状态判定部4214判定为旁视。但是，设置例外规定而能够排除不是旁视的情况。

另外，在相当于旁视的上述[1-C]的“驾驶者不断地东张西望，而未看前方”这种状况下，在上述步骤S17中判定为偏差面d为阈值以上的大小，在上述步骤S21中判定为偏差面d不包含正面区域F。这是如图8所示那样的状况。在这样的状况下，将处理从上述步骤S21向上述步骤S20前进，确定为未看正面方向。

与此相对，在不相当于旁视的上述[1-A]的“驾驶者为了确认而瞬间回头”这种状况下，在上述步骤S17中判定为偏差面d为阈值以上的大小，但在上述步骤S21中判定为偏差面d包含正面区域F。这是如图9所示那样的状况，由于驾驶者瞬间回头从而作为注意方向就要包含突出方向i，偏差σ即偏差面d变大。在这样的情况下，即使突出方向i成为算得上旁视的角度，其也是一瞬，因此偏差面d盖住正面区域F。在这样的状况下，通过上述步骤S21的判定，不进入上述步骤S20的处理。

同样地，在不相当于旁视的上述[2-A]的“驾驶者通过导航画面而看了副驾驶座侧的侧后视镜”这种状况和上述[2-B]的“驾驶者瞬间看了导航画面来确认周边的道路状况”这种状况下，在上述步骤S17中也判定为偏差面d为阈值以上的大小，但在上述步骤S21中判定为偏差面d包含正面区域F。上述[2-A]的状况是图10所示那样的状况，在导航画面70和副驾驶座侧的侧后视镜71的位置包含突出方向i。上述[2-B]的状况是图11所示那样的状况，在导航画面70的位置包含突出方向i。不论在哪一状况下，由于包含突出方向i，因而偏差σ即偏差面d都变大。即使在这样的状况下，通过上述步骤S21的判定，也不进入上述步骤S20的处理。

(2-5)驾驶状态判定

另外，驾驶状态判定装置40使旁视状态判定部4214定期性地读出监视结果存储部433中存储的监视结果信息，并使其基于该监视结果信息来判定驾驶者的状态即有无旁视。然后，使旁视状态判定部4214通过信号输出部4215将表示驾驶状态的判定结果的驾驶状态判定结果信息输出至判定结果输出装置60。由此，驾驶状态判定结果信息在判定结果输出装置60中作为警告音、警告灯的点亮而被呈现给驾驶者。

(一实施方式的效果)

如以上所详细描述的，在一实施方式的驾驶状态判定装置40中，由驾驶者监视部4213基于存储于监视数据存储部431的来自驾驶员相机51的监视数据来检测驾驶者关注的注意方向，并每隔偏差计算时间s反复计算该注意方向在偏差计算期间p中的标准偏差等偏差σ。驾驶者关注的时间越长，该偏差σ的值越为变小。因此，通过一并使用注意方向和该偏差σ，能够监视驾驶者对哪个方向倾注多少注意。

另外，在驾驶者监视装置10中，能够由驾驶者监视部4213基于驾驶者的脸部或视线的方向的偏差σ来判断驾驶者凝视的程度。当驾驶者持续观看一个对象物时即当凝视时，该偏差σ的值变小。在驾驶者接连不断地观看各种各样的对象物的状况下，偏差σ不会变小，反而变大。因此，偏差较小意味着与其相应地凝视。驾驶者在车辆的行驶中凝视某个方向这一情况是指，驾驶者例如以安全确认为目的而持续观看某一方向这样的、驾驶者有意地观看该方向的可能性较高。因此，也可以说，注意度即驾驶者凝视的程度表示了驾驶者有意地观看的可能性的程度。

另外，在驾驶者监视装置10中，由驾驶者监视部4213基于驾驶者的脸部或视线的方向的偏差σ来判断驾驶者有可能正观看的范围。由此，不仅能够判断驾驶者有可能正观看的范围，还能够判断驾驶者未观看哪里。即，能够可靠地判断驾驶者未观看某一对象物。

另外，在驾驶者监视装置10中，由驾驶者监视部4213根据以注意方向为中心、以偏差σ为半径的偏差面d的大小以及位置来判断驾驶者将注意朝向的方向和注意度。当驾驶者持续观看一个对象物时，如图6及图7所示，该偏差面d变小。在驾驶者接连不断地观看各种对象物的状况下，如图8所示，偏差面d不会变小，反而变大。即，偏差面d较小意味着驾驶者对该注意方向的注意度较高、也就是驾驶者正注视那个方向。另外，偏差面d较大意味着驾驶者对该注意方向的注意度较低、也就是驾驶者在笼统地看那个方向。

在该情况下，驾驶者监视部4213能够根据驾驶者将注意朝向的方向和注意度例如根据偏差面d来判定驾驶者是否为正观看预定的正面区域F的状态。由此，在偏差面d较大的情况下，如图9至图11所示，能够判定是否驾驶者有意地引起了与瞬间旁视相同的状况。因此，使用作为该判定结果的监视结果信息的旁视状态判定部4214，能够实施准确的旁视判定。

另外，在驾驶者监视装置10中，驾驶者监视部4213能够根据根据存储于车辆信息存储部432的来自车速传感器52的车辆信息来切换计算偏差σ的预定期间的长度。因此，能够以适于车辆速度的时间来计算偏差σ。偏差计算期间p越长，驾驶者的注意方向、例如驾驶者的脸部或视线的方向越分散，因此偏差σ变大。另一方面，车辆的移动速度越为高速，允许旁视的时间越短。因此，在车辆的速度为高速时，通过缩短偏差计算期间p，能够迅速地进行基于偏差σ的判断或判定。

另外，在驾驶者监视装置10中，驾驶者监视部4213能够根据上述检测出的注意方向来切换计算偏差σ的预定期间的长度。因此，能够以适合驾驶者注意的方向的时间来计算偏差σ。例如，根据注意方向相对于正面方向为何种程度的角度，可以从正面方向移开视线的时间发生变化。因此，若驾驶者的注意方向相对于正面方向为某一角度以上，则通过缩短偏差计算期间p，能够迅速地进行基于偏差σ的判断、判定。

[变形例]

以上，详细说明了本发明的实施方式，但上述的说明在所有方面只不过是本发明的例示。当然，能够在不脱离本发明的范围的情况下进行各种改良、变形。即，在实施本发明时，也可以适当采用与实施方式对应的具体结构。

(1)例如，在上述一实施方式中，设为能够进行偏差计算期间p的切换，但也可以将偏差计算期间设为预先确定的固定值。在该情况下，省略上述步骤S13和步骤S14的处理。

(2)另外，在上述一实施方式中，包括步骤S19的判定处理，使得即使凝视导航画面70，在后倒时也不会成为旁视判定。与此同样地，例如，通过由作为车辆状态传感器22之一的转向灯传感器检测转向灯操作并进行与其相应的判断处理，从而当驾驶者为了在变更车道时或左右转弯时进行安全确认而有意地凝视侧后视镜或回头观看后方时，能够使其不成为旁视判断。像这样，可以利用其它车辆状态传感器22来设置各种例外规定。

(3)车辆的速度以及驾驶者的注意方向的检测在1秒内反复进行多次至数十次。因此，由于硬件处理器421的处理能力的关系，存在驾驶者监视部4213在那些一次量的检测时间内不能进行上述步骤S16至步骤S21的处理的情况。在那种情况下，可以如下这样做：并非将步骤S11至步骤S21的处理作为一系列的处理来执行，而是将步骤S11至步骤S14的处理和步骤S15至步骤S21的处理分割，并行地执行该处理。

(4)在上述一实施方式中，说明了将监视结果存储部433中存储的监视结果信息用于旁视状态判定部4214的例子，但也可以在例如学习驾驶者的驾驶上的习性和倾向的学习部等其它技术中利用该监视结果信息。

总之，本发明并非照原样限定于上述各实施方式，在实施阶段，能够在不脱离其主旨的范围内对构成要素进行变形而具体化。另外，通过上述各实施方式所公开的多个构成要素的适当组合，能够形成各种发明。例如，也可以从各实施方式所示的全部构成要素中删除几个构成要素。并且，也可以适当组合横跨不同实施方式的构成要素。

[附记]

所述实施方式的一部分或全部能够如以下的附记所示进行描述，但不局限于此。

(附记1)

一种驾驶者监视装置(10；40)，具备：

第一传感器(21；51)，输出包含车辆的驾驶者的监视图像的第一感测数据；

存储部(13；431)，存储从所述第一传感器输出的所述第一感测数据；

检测部(14；4213)，基于所述存储部中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸部或视线的方向；

计算部(15；4213)，每隔预定时间反复计算所述检测部检测出的所述注意方向在预定期间内的偏差；以及

判断部(15；4213)，基于所述计算部计算出的所述偏差，判断所述驾驶者关注的方向和注意度。

(附记2)

一种驾驶者监视方法，由对车辆的驾驶者进行监视的驾驶者监视装置(10；40)执行，所述驾驶者监视方法包括以下步骤：

所述驾驶者监视装置使从第一传感器(21；51)输出的第一感测数据存储于存储部(13；431)，所述第一感测数据包含车辆的驾驶者的监视图像；

所述驾驶者监视装置基于所述存储部中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸或视线的方向；

所述驾驶者监视装置每隔预定时间反复计算所检测出的所述注意方向在预定期间内的偏差；以及

所述驾驶者监视装置基于所计算出的所述偏差，判断所述驾驶者关注的方向和注意度。

(附记3)

一种驾驶者监视装置(40)，具有硬件处理器(421)和存储器，其中，

所述硬件处理器使从第一传感器(51)输出的第一感测数据存储于所述存储器，所述第一感测数据包含车辆的驾驶者的监视图像，

基于所述存储器中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸部或视线的方向，

每隔预定时间反复计算所检测出的所述注意方向在预定期间内的偏差，

基于所计算出的所述偏差来判断所述驾驶者关注的方向和注意度。

(附记4)

一种驾驶者监视方法，由具有硬件处理器(421)和存储器的装置执行，所述驾驶者监视方法包括以下步骤：

通过所述硬件处理器，使从第一传感器(51)输出的第一感测数据存储于所述存储器，所述第一感测数据包含车辆的驾驶者的监视图像；

通过所述硬件处理器，基于所述存储器中存储的所述第一感测数据来检测作为所述驾驶者的脸部或视线的方向的注意方向；

通过所述硬件处理器，每隔预定时间反复计算所述检测出的所述注意方向在预定期间内的偏差；以及

通过所述硬件处理器，基于所计算出的所述偏差来判断所述驾驶者将注意朝向的方向和注意度。

Claims (9)

1.一种驾驶者监视装置，具备：

第一传感器，输出包含车辆的驾驶者的监视图像的第一感测数据；

存储部，存储从所述第一传感器输出的所述第一感测数据；

检测部，基于所述存储部中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸或视线的方向；

计算部，每隔预定时间反复计算所述检测部检测出的所述注意方向在预定期间内的偏差；以及

判断部，基于所述计算部计算出的所述偏差，判断所述驾驶者关注的方向和注意度。

2.根据权利要求1所述的驾驶者监视装置，其中，

所述判断部将所述驾驶者对所述关注的方向凝视的程度作为所述注意度进行判断。

3.根据权利要求1所述的驾驶者监视装置，其中，

所述判断部将所述驾驶者有可能正观看的范围作为所述驾驶者关注的方向进行判断。

4.根据权利要求1所述的驾驶者监视装置，其中，

所述判断部基于以所述检测部检测出的所述注意方向为中心、以所述计算部计算出的所述偏差为半径的偏差面的大小及位置，判断所述驾驶者关注的方向和注意度。

5.根据权利要求1至4中任一项所述的驾驶者监视装置，其中，

所述判断部基于所述驾驶者关注的方向和注意度，判定所述驾驶者是否为正观看设定于所述车辆的正面方向的预定的正面区域的状态。

6.根据权利要求1所述的驾驶者监视装置，其中，

所述驾驶者监视装置还具备第二传感器，所述第二传感器输出表示所述车辆的状态的第二感测数据，

所述存储部还存储从所述第二传感器输出的所述第二感测数据，

所述检测部还基于所述存储部中存储的所述第二感测数据来检测所述车辆的速度，

所述驾驶者监视装置还具备切换部，所述切换部根据所述检测部检测出的所述车辆的速度来切换所述预定期间的长度。

7.根据权利要求1所述的驾驶者监视装置，其中，

所述驾驶者监视装置还具备切换部，所述切换部根据所述检测部检测出的所述注意方向来切换所述预定期间的长度。

8.一种驾驶者监视方法，由对车辆的驾驶者进行监视的驾驶者监视装置执行，所述驾驶者监视方法包括以下步骤：

所述驾驶者监视装置使从第一传感器输出的第一感测数据存储于存储部，所述第一感测数据包含车辆的驾驶者的监视图像；

所述驾驶者监视装置基于所述存储部中存储的所述第一感测数据来检测注意方向，所述注意方向是所述驾驶者的脸或视线的方向；

所述驾驶者监视装置每隔预定时间反复计算所检测出的所述注意方向在预定期间内的偏差；以及

所述驾驶者监视装置基于所计算出的所述偏差，判断所述驾驶者关注的方向和注意度。

9.一种记录介质，记录有驾驶者监视程序，所述驾驶者监视程序使计算机执行权利要求1至7中任一项所述的驾驶者监视装置所具备的各部的处理。