CN104718743B - 状态监视装置 - Google Patents

Abstract

状态监视装置(100)被搭载于车辆(1)且使用驾驶员的面部图像(50)来监视驾驶员的状态。状态监视装置从投光部(15)向规定区域(PA)射出光，通过摄像部(10)来接受通过被设想为位于规定区域的驾驶员的脸面反射的光。状态监视装置的控制电路(20)通过变更摄像部的摄像元件(11)被设为曝光状态的曝光期间的长度，调整面部图像的灰度值。进而控制电路将投光部的发光控制为随着摄像元件的曝光期间被设得短而曝光期间的开始时(t_es)的发光亮度变高。

Description

状态监视装置

相关申请的交叉引用

本申请基于2012年10月2日申请的日本申请号2012－220664号，此处引用其记载内容。

技术领域

本申请涉及被搭载于车辆且监视操纵车辆的操纵者的状态的技术。

背景技术

以往，被搭载于车辆的状态监视装置为了监视操纵者的状态而使用拍摄了操纵者的脸面而得到的面部图像。为了拍摄这样的面部图像，状态监视装置具备向被预先规定为操纵者的脸面所位于的区域的规定区域射出照明光的发光部、和接受从规定区域入射的光从而拍摄脸面的摄像部。

在此，在专利文献1中，公开了具备与上述的发光部关联的闪光灯和与上述的摄像部关联的摄像元件的附带闪光装置的摄像装置。在该摄像装置中，摄像元件被设为曝光状态的曝光期间的长度被设为一定。并且，根据所拍摄的被摄体的明亮度，变更曝光期间中的闪光灯的发光期间的长度，进而变更发光量。进而，根据闪光灯的发光量，调整闪光灯的发光开始定时。

另一方面，在上述那样的状态监视装置中，与专利文献1的摄像装置不同，摄像部中的曝光期间的长度被设为可变更。由此，与到达操纵者的脸面的环境光的强度无关，面部图像的灰度值能够调整为处于预先规定的范围内。并且，将发光部控制为在曝光期间中持续射出照明光。

现有技术文献

专利文献

专利文献1：特开2007―193061号公报

发明内容

于是，本申请的发明人着眼于在曝光期间中持续进行的发光部的发光，研究了降低伴随这样的发光的发热。但是，明确了以下情况：若为了降低发热而使从发光部射出的照明光的发光亮度变低，则在到达操纵者的脸面的环境光强的情况下，不能正确地拍摄面部图像。

详述而言，环境光仅强烈地对操纵者的脸面的一部分进行照明。于是，通过调整曝光期间的长度来将面部图像的整体调整为适当的灰度值是不可能的。像这样，由于在拍摄面部图像时降低环境光的影响的发光部的功能不能发挥，摄像部不能正确地拍摄面部图像。

本申请的目的在于提供能够在降低伴随发光的发热的基础上正确地拍摄面部图像的状态监视装置。

为了达成上述目的，作为本申请的第一观点，如以下那样提供被搭载于车辆且使用对操纵车辆的操纵者的脸面进行拍摄而得到的面部图像来监视该操纵者的状态的状态监视装置。具备：摄像部，通过接受从被预先规定为操纵者的脸面所位于的区域的规定区域入射的光，生成面部图像；摄像控制部，通过变更摄像部被设为曝光状态的曝光期间的长度，调整面部图像的灰度值；发光部，在由摄像控制部设定的曝光期间中，向规定区域持续射出照明光；以及发光控制部，将发光部控制为：随着由摄像控制部缩短曝光期间，曝光期间的开始时的发光亮度变高。

作为本申请的第二观点，是一种状态监视方法，使计算机执行被搭载于车辆且使用对操纵车辆的操纵者的脸面进行拍摄而得到的面部图像来监视该操纵者的状态的处理，具备：摄像步骤，通过接受从预先规定为操纵者的脸面所位于的区域的规定区域入射的光，生成面部图像；摄像控制步骤，通过变更在摄像步骤中被设为曝光状态的曝光期间的长度，调整面部图像的灰度值；发光步骤，在通过摄像控制步骤设定的曝光期间中，向规定区域持续射出照明光；以及发光控制步骤，将发光步骤控制为：随着由摄像控制步骤缩短曝光期间，曝光期间的开始时的发光亮度变高。

作为本申请的进一步的第三观点，是一种非暂时性的存储介质，所述介质包含由计算机读出并执行的指令，所述指令包含上述的第二观点的所述状态监视方法，所述方法被计算机搭载。

根据这些上述的观点，在达到操纵者的脸面的环境光强的情况下，为了降低面部图像的灰度值，拍摄脸面时的曝光期间被设得短。于是，在曝光期间的开始时向规定范围射出的照明光的发光亮度被设为较高。于是，由于向操纵者的脸面持续照射较强的照明光，因此在拍摄面部图像时的环境光的影响能够降低。

另一方面，在到达操纵者的脸面的环境光弱的情况下，为了提高面部图像的灰度值，因此使拍摄脸面时的曝光时间变长。于是，在曝光期间的开始时向规定区域射出的照明光的发光亮度变低。此时，由于环境光弱，因此即使照射到脸面的照明光的亮度低，环境光对面部图像的影响也能够变得微小。并且，通过将曝光期间的开始时的发光亮度抑制得较低，能够实现伴随发光的发热的降低。

通过这些，能够在降低伴随发光的发热的基础上正确地拍摄面部图像。

附图说明

参照附图并且通过下述的详细的记述，关于本申请的上述目的以及其他目的、特征和优点变得更明确。

图1是用于说明本申请的第一实施方式的状态监视装置在车辆中的配置的图，

图2是用于说明状态监视装置的电气结构的框图，

图3是用于说明状态监视装置的机械结构的立体图，

图4是示意性地表示面部图像的一例的图，

图5是表示装置温度、曝光状态、以及发光状态的推移的时间图，

图6是对表示曝光状态的波形重合了表示发光状态的波形的图，

图7是对表示曝光状态的波形重合了表示发光状态的波形的图，

图8是对表示曝光状态的波形重合了表示发光状态的波形的图，

图9是表示由图像取得部实施的处理的流程图，

图10是表示图7的变形例的图，

图11是表示图8的变形例的图，

图12是表示图7的其他变形例的图，

图13是表示图8的其他变形例的图，

图14是表示图7的再其他变形例的图，

图15是表示图8的再其他变形例的图。

具体实施方式

以下，基于附图说明本申请的多个实施方式。另外，存在通过对各实施方式中对应的结构要素附加相同的标记来省略重复的说明的情况。在各实施方式中仅说明结构的一部分的情况下，关于该结构的其他部分，能够应用此前说明的其他实施方式的结构。此外，不仅仅是各实施方式的说明中明示的结构的组合，只要没有对组合产生阻碍，即使没有明示也能够将多个实施方式的结构彼此部分地组合。这样的多个实施方式中记述的结构彼此的没有明示的组合也为通过以下的说明而公开。

本申请的第一实施方式的状态监视装置100是如图1所示那样被搭载在作为“移动体”的车辆1中且监视驾驶或操纵车辆的操纵者(以下，也被称为驾驶员)的状态的司机状态监视器。状态监视装置100如图2所示那样具备摄像部10、投光部15、控制电路20、以及容纳这些结构的箱体60(参照图3)。此外状态监视装置100与被搭载于车辆的执行(actuation)部90等连接。

图1、2所示的摄像部10是在转向柱81的上表面上设置的状态监视装置100中，生成对驾驶员的脸面进行拍摄而得到的面部图像51(也参照图4)的装置。摄像部10拍摄在车辆1的室内预先规定的规定区域PA。在该规定区域PA中，包含被设想为坐在驾驶席上的驾驶员的脸面所位于的区域。这样的规定区域PA具体而言基于根据驾驶员的各眼的眼睛范围而设想的眼唇(眼皮，eyelips)而规定，例如，被规定为包含眼唇的百分之99。

摄像部10是所谓近红外线照相机，由对摄像元件11组合光学透镜以及光学滤波器等而构成。摄像元件11通过沿着摄像面排列的多个像素，产生与所接受到的光的强度相应的电信号。摄像元件11将摄像面以朝向规定区域PA的姿态配置。摄像元件11基于来自控制电路20的控制信号而成为曝光状态，接受从规定区域PA入射的入射光，生成由白和黑的深浅来描绘的单色的面部图像50。这样拍摄到的面部图像50从摄像部10依次向控制电路20输出。

投光部15在摄像部10的曝光期间中向规定区域PA持续射出照明光。投光部15具有发光二极管16以及驱动部17。发光二极管16与摄像部10邻接而设置(参照图3)，放射包含近红外的频带的照明光。从发光二极管16放出的光向规定区域PA射出，通过驾驶员的脸面等而向摄像部10反射。由此，摄像元件11接受的入射光中包含从投光部15射出的光。驱动部17是将规定的电流施加到发光二极管16的电路。驱动部17基于来自控制电路20的控制信号，从而与摄像部10的曝光期间相应地切换对发光二极管16施加的电流的接通状态以及关断状态。另外，在第一实施方式中，恒流电路被用作驱动部17，但驱动部也可以不是恒流电路。

控制电路20是通过输出到摄像部10、投光部15以及执行部90等的控制信号来控制这些结构的动作的电路。控制电路20以具备进行各种运算处理的处理器、作为运算处理的工作区域而发挥作用的RAM、以及存储有在运算处理中使用的程序等的闪速存储器等的微机为中心而构成。此外控制电路20具备向摄像部10以及投光部15等供应电力的电源电路。

控制电路20通过由处理器执行预先存储的程序，具备图像取得部21、状态判定部31、以及警告控制部33等多个功能块。该功能块也被称为功能部(section)。

图像取得部21是使用面部图像50来进行驾驶员的面部辨识的功能块。图像取得部21为了取得能够提取驾驶员的脸面的面部图像50，设定摄像部10的摄像条件以及投光部15的发光条件。并且图像取得部21为了使摄像部10以及投光部15实施遵照所设定的摄像条件以及发光条件的动作，向这些摄像部10以及投光部15输出控制信号。图像取得部21从摄像部10取得这样拍摄到的面部图像50。并且图像取得部21通过所取得的面部图像50的图像处理，运算与驾驶员的面部的朝向以及各眼的打开状况(以下称为“开眼度”)关联的值、或与驾驶员的困倦的程度关联的值等。

状态判定部31将由图像取得部21运算出的值和预先设定的阈值进行比较。通过该比较处理，状态判定部31推定是否检测到例如漫不经心驾驶的征兆或瞌睡驾驶的征兆等。并且，检测到上述的征兆的状态判定部31判定为产生了应该向驾驶员实施警告的状态。

警告控制部33与执行部90连接。警告控制部33在通过状态判定部31判定为产生了应该向驾驶员警告的状况的情况下，实施警告处理，从而向执行部90输出控制信号。这样警告控制部33通过使执行部90动作来向驾驶员进行警告。

箱体60如图3所示那样由主体部件63、前盖部件66、以及未图示的后盖部件等构成。

主体部件63保持安装有投光部15以及摄像部10等的子基板62。在子基板62上，形成了控制电路20的主基板61以与该子基板62正交的姿态安装。在主体部件63上，设置有插通孔64以及配光部65。插通孔64在主体部件63的水平方向上的中央部分设置，插通被安装在子基板62上的摄像部10。插通孔64与被设置在子基板66上的用于遮光的孔部联动，在投光部15和摄像部10之间发挥遮光功能，从而防止光从投光部15向摄像部10泄露。配光部65以在水平方向上隔着插通孔64的方式配置，与被安装在子基板62上的投光部15对置。配光部65一边使从投光部15放射的光透过，一边向规定区域PA(参照图1)配光。

在前盖部件66上，设置有可见光滤波器67。可见光滤波器67主要使在面部图像50(参照图4)的生成中使用的从红色至近红外的频带的光透过，并且遮蔽对面部图像50的生成来说无用的可见光频带的光。可见光滤波器67覆盖在前盖部件66中与配光部65对置的位置上形成的开口68。后盖部件隔着主体部件63而在与前盖部件66相反的一侧配置。后盖部件通过覆盖各基板61、62而从环境气体中的尘埃等保护这些结构。

在图2所示的执行部90中，包含被搭载在车辆1(参照图1)中的例如扬声器91、座椅振动装置93、以及空调装置95等。扬声器91通过基于来自警告控制部33的控制信号而再现声音数据，从而提醒驾驶员注意。座椅振动装置93在驾驶席的座面的内部等设置，通过基于来自警告控制部33的控制信号而使驾驶席振动，从而提醒驾驶员注意。空调装置95通过基于来自警告控制部33的控制信号而使外部气体导入至车辆1的室内等的动作，提醒驾驶员注意。

接着，详细说明由图像取得部21实施的投光部15的控制的细节。图像取得部21具有图像处理块22、温度监视块26、条件设定块23、额定监视块27、摄像控制块24、以及发光控制块25作为子功能块。

图像处理块22从摄像部10取得基于来自摄像控制块24的控制信号而拍摄到的面部图像50。并且图像处理块22例如将驾驶员的眉间等设定为辨识对象部位RA(参照图4)。并且图像处理块22一边追踪辨识对象部位RA，一边提取该辨识对象部位RA的明亮度、即灰度值。

温度监视块26与温度传感器35连接。温度传感器35在状态监视装置100内设置，检测该装置100的装置温度。温度监视块26取得由温度传感器35检测到的装置温度。

条件设定块23进行用于调整由图像处理块22提取的灰度值的控制。具体而言，条件设定块23基于预先设定的控制表来设定摄像部10的摄像条件，以便基于图像取得部21的曝光指示而拍摄对比度好的面部图像50。作为该摄像条件，条件设定块23例如变更增益值、曝光时间、以及曝光定时等。

增益值是在对从摄像元件11输出的信号进行放大并输出时的输入输出之比。即使辨识对象部位RA的灰度值发生变动，增益值也维持为大致一定的值，或增益值根据辨识对象部位RA的灰度值变低(变暗)而稍微增加。曝光时间如图5所示，是在一次拍摄时维持曝光状态的曝光期间的长度。曝光时间随着辨识对象部位RA的灰度值变低而被设定得较长。因此，如图5所示，在环境光多的环境下的曝光期间的长度et_s与在环境光少的环境下的曝光期间的长度et_l相比被设定得更短。曝光定时是指示曝光期间的开始时t_es的定时，以便以周期T实施拍摄。

摄像部10(参照图2)能够在连续拍摄面部图像50的拍摄模式(快拍模式)中，适当变更拍摄的周期T。例如，周期T被设定为约33毫秒，从而以每秒30帧实施面部图像50的拍摄。以上的曝光定时与后述的发光定时建立关联。

此外图2示出的条件设定块23与摄像条件相应地设定发光条件。作为该发光条件，条件设定块23例如变更发光时间以及发光定时等。第一实施方式中的发光二极管16(参照图2)的发光亮度如图6所示那样，从曝光期间的开始时t_es至结束时t_ef为止，维持为最大亮度以成为该期间的开始时t_es的发光亮度以上。

发光时间是在一次拍摄时维持发光状态的发光期间的长度。发光时间根据曝光时间而变化，被设定为比曝光时间长。发光定时是指示发光期间的开始时t_ls的定时。发光二极管16被设为发光状态的发光期间的开始时t_ls被设为比曝光期间的开始时t_es提前。发光期间的开始时t_ls相对于曝光期间的开始时t_es提前的期间(以下，称为“提前期间”)随着曝光期间被设得短而被设定得较长。因此，在曝光期间的长度为et_s的情况下的提前期间的长度at1被确保为比在曝光期间的长度为et_l的情况下的提前期间的长度at2更长。通过以上，曝光期间的开始时t_es的发光二极管16的发光亮度随着曝光期间变短而变高。具体而言，在提前期间为at1的情况下的曝光期间的开始时t_es的发光亮度与最大亮度等同(100％)，与此相对，在提前期间为at2的情况下的发光亮度成为最大亮度的30％左右。

另外，提前期间在例如0～100微秒左右的期间中被调整。这样的与发光定时相关的值优选考虑投光部15的电路的时间常数、以及发光二极管16的发光从关断状态转移至接通状态时所需的电流的上升时间而设定。此外，图5中表示发光状态的波形在实质上表示发光二极管16中流过的电流值。

进而图2示出的条件设定块23基于温度监视块26取得的装置温度，设定发光条件、具体而言发光定时中设置的提前期间。该提前期间如图5所示那样随着装置温度变高而被设定得较短。因此，在环境温度为T2的情况下的提前期间的长度at3与在环境温度为比T2低的T1的情况下的提前期间的长度at1相比缩短。由此，曝光期间的开始时t_es的发光二极管16的发光亮度随着装置温度变高而变低。具体而言，在提前期间为at3的情况下的发光亮度成为最大亮度的90％左右。

图2所示的额定监视块27存储有发光二极管16的额定条件。详述而言，针对发光二极管16，规定了与周期T以及电流值对应的占空比的最大值作为额定条件。额定监视块27针对由条件设定块23设定的发光条件，监视由发光定时以及发光时间决定的占空比是否满足额定条件。额定监视块27在条件设定块23设定的发光条件超过额定条件的情况下，为了防止发光二极管16的损伤而将发光条件变更为不超过额定条件的值。

摄像控制块24生成基于由条件设定块23运算的控制值的控制信号，并输出至摄像部10。在摄像控制块24中使用的控制值成为遵照由条件设定块23设定的摄像条件的值。发光控制块25生成基于由条件设定块23运算出的控制值的控制信号，并输出至投光部15。在发光控制块25中使用的控制值成为遵照由条件设定块23设定的发光条件的值。

使用图6～8进一步说明至此说明的发光控制的细节。在图6～8中，对表示曝光状态的时间图的波形重合了表示发光状态的时间图的波形。此外，示出表示发光状态的波形的接通状态以及关断状态的位置与示出表示曝光状态的波形的接通状态以及关断状态的位置分别对齐。并且，图6～8中的各波形的形状相对于图5中的各波形的形状在时间轴的方向被放大。

此外，将以下值定义为照明覆盖率：对表示发光状态的波形通过曝光期间中的时间积分而得到的面积(参照图6～8的较密的点的区域)除以对表示曝光状态的波形通过曝光期间中的时间积分而得到的面积后的值。如后述那样，照明覆盖率根据曝光期间以及装置温度而发生变化。

图6是在曝光期间的长度为et_s且装置温度为t1的情况下，重合了各波形的图。此时，由于提前期间at1被确保得较长，所以发光二极管16(参照图2)的发光亮度提前于曝光期间的开始时t_es而到达最大亮度。因此，表示曝光状态的接通状态的区域的整体被表示发光状态的接通状态的区域覆盖。因此，照明覆盖率在实质上成为100％。

图7是在曝光期间的长度为et_l且装置温度为t1的情况下，重合了各波形的图。此时，由于提前期间at2与上述的提前期间at1(参照图6)相比被设为较短，所以发光二极管16(参照图2)的发光亮度在曝光期间的开始后到达最大亮度。因此，表示曝光状态的接通状态的区域的一部分从表示发光状态的接通状态的区域偏离。由此，照明覆盖率例如成为95％左右。

图8是在曝光期间的长度为et_s且装置温度为t2的情况下，重合了各波形的图。此时，由于提前期间at3与上述的提前期间at1(参照图6)相比被设为较短，所以发光二极管16(参照图2)的发光亮度在曝光期间的开始后到达最大亮度。这样，表示曝光状态的接通状态的区域的一部分从表示发光状态的接通状态的区域偏离，从而照明覆盖率例如成为90％左右。

从以上的说明能够确定，图2所示的投光部15的发光被控制为随着曝光期间被设定得较短而照明覆盖率变高。此外，投光部15的发光被控制为随着装置温度变高而照明覆盖率变低。

接着，基于图9详细说明为了实现至此说明的与摄像控制建立关联的发光控制而由图像取得部21实施的处理。通过车辆1(参照图1)的点火装置被设为接通状态，从而由图像取得部21开始图9所示的处理。

在此，本申请中记载的流程图或流程图的处理由多个部(或被称为步骤)构成，各部例如被表现为S101。进而，各部能够被分割为多个子部，另一方面，还能够组合多个部而使其成为一个部。进而，这样构成的各部能够被称为机构(device)、模块、单元(means)。

在S101中，设定在发光控制块25以及摄像控制块24的控制中使用的摄像部10以及投光部15的控制值。在点火装置被设为接通状态后的初次的S101中，使用预先规定的默认值。另一方面，在第二次以后的S101中，使用在上次的S109以及S111中运算出的控制值。并且，通过从各控制块24、25输出的控制信号，指示面部图像50的拍摄，前进至S102。通过该S101的处理，投光部15发射照明光，且摄像部10生成面部图像50并输出至图像处理块22。

在S102中，取得基于S101的指示而拍摄到的面部图像50，前进至S103。在S103中，实施在S102中取得的面部图像50的图像处理，前进至S104。在S104中，判定在S103的图像处理中驾驶员的面部辨识是否成功。在S104中判定为面部辨识没有成功的情况下，前进至S109。另一方面，在S104中判定为面部辨识成功的情况下，前进至S105。

在S105中，基于在S103中实施的图像处理的结果，检测驾驶员的面部的朝向以及开眼度等，推定驾驶员的困倦的程度。并且，将这些面部的朝向、开眼度、以及困倦的程度数值化，以便能够定量地评价，前进至S106。

在S106中，通过将在S105中运算出的值和预先设定的阈值比较，从而判定有无应该实施警告的值。在S106中判定为有要警告的值，检测到漫不经心驾驶的征兆或瞌睡驾驶的征兆等的情况下，前进至S107。在S107中，实施用于使执行部90动作的警告处理，前进至S108。另一方面，在S106中判定为没有要警告的值的情况下，前进至S108。

在S108中，判定在S101中设定的摄像部10的控制值是否适当。具体而言，判定上述的辨识对象部位RA(参照图4)的灰度值是否处于适当的范围内。在S108中判定为摄像部10的控制值适当的情况下，返回S101。另一方面，在S108中判定为摄像部10的控制值不适当的情况下，前进至S109。

在基于S104的否定判定以及S108的否定判定的S109中，运算下一帧拍摄时的摄像条件以及发光条件。即，决定投光部15以及摄像部10的控制值，以使上述的辨识对象部位RA的灰度值成为适当的范围内。

在接着S109的S110中，取得由温度传感器35检测到的装置温度，前进至S111。在S111中，基于在S109中运算出的摄像条件之中的曝光期间和在S111中取得的装置温度，决定提前期间。并且，根据所决定的提前期间运算发光定时(发光期间的开始时t_ls)。在以上的S109以及S111中决定的控制值在下一个S101中被设定给发光控制块25以及摄像控制块24，反映于面部图像50的拍摄。

在接着S111的S112中，判定车辆1的点火装置的接通状态是否继续。通过点火装置被设为关断状态，从而在S112中进行了否定判定的情况下，结束处理。另一方面，在S112中进行了肯定判定的情况下，返回S101。

根据至此说明的第一实施方式，若在到达驾驶员的脸面的环境光强的情况下曝光期间被设得短，则在曝光期间的开始时t_es射出的照明光的发光亮度被设得高。因此，拍摄面部图像50时的环境光的影响能够降低。因此，避免环境光仅强烈地对驾驶员的脸面的一部分进行照明而不能拍摄适当的对比度的面部图像50的状况。

另一方面，若在到达驾驶员的脸面的环境光弱的情况下曝光时间被设得长，则在曝光期间的开始时t_es射出的照明光的发光亮度被设为较低。此时，由于环境光弱，所以即使照射到脸面的照明光的亮度低，环境光对面部图像50的影响也能够变得微小。并且，通过将曝光期间的开始时t_es的发光亮度抑制得较低，能够实现伴随发光的投光部15的发热的降低。

从而，能够在降低伴随发光的发热以及消耗能量的基础上正确地拍摄面部图像50。

此外，根据第一实施方式，从曝光期间的开始时t_es至结束时t_ef为止，照明光的发光亮度被维持为高的状态。这样，通过在曝光期间的整体上对驾驶员的脸面照射较强的照明光，在拍摄面部图像50时降低环境光的影响的效果具有更高的可靠性而被发挥。

此外，在第一实施方式中，通过使提前期间变长，确保在曝光期间的开始时t_es的较高的发光亮度。在这样的方式中，将发光二极管16的发光从关断状态转移至接通状态的转移期间(参照图6中的电流的上升时间lt_s)能够被确保得较长。因此，能够实现既抑制在切换发光二极管16的接通状态以及关断状态时产生的电噪声、也在曝光期间的开始时t_es提高发光亮度的动作。

进而，第一实施方式那样的发光二极管16的基于累积点亮时间的寿命，在持续高温环境下的动作的情况下，成为包含驱动部17等地显著缩短的重要原因。因此，状态监视装置100通过随着装置温度变高而抑制在曝光期间的开始时t_es的发光亮度，减轻发光二极管16以及驱动部17等的负荷。通过这样的控制，允许在曝光期间的开始时t_es的发光亮度的降低，从而能够实现投光部15的长期的可靠的动作。

另外，在第一实施方式中，车辆1也被称为移动体，摄像部10也被称为摄像机构或摄像单元，投光部15也被称为发光部、发光机构或发光单元。条件设定块23以及摄像控制块24联动而作为摄像控制部发挥作用，也被称为摄像控制机构或摄像控制单元。条件设定块23以及发光控制块25联动而作为发光控制部发挥作用，也被称为发光控制机构或发光控制单元。温度传感器35也被称为温度检测部、温度检测机构或温度检测单元。S101也被称为摄像部或摄像步骤、以及发光部或发光步骤。S109也被称为摄像控制部或摄像控制步骤。S111也被称为发光控制部或发光控制步骤。

(第二实施方式)

图10、11所示的本申请的第二实施方式是第一实施方式的变形例。在第二实施方式中，针对使发光状态从接通状态转移至关断状态的熄灭时的转移期间，与曝光期间的结束时t_ef对应的下降的开始定时(以下，称为“熄灭定时”)t_lf根据曝光期间的长度以及装置温度而变更。以下，一边将图10、11与图6比较，一边说明在第二实施方式中实施的发光控制的细节。

在第二实施方式中，在曝光期间的长度为et_s且装置温度为t1的情况下，与图6所示的第一实施方式相同，熄灭定时t_lf被规定为曝光期间的结束后。由此，由于至曝光期间的结束时t_ef为止发光二极管16(参照图2)维持最大亮度，所以照明覆盖率与第一实施方式相同地成为100％。

图10是在曝光期间的长度为et_l且装置温度为t1的情况下，重合了各波形的图。此时，熄灭定时t_lf被规定为与曝光期间的结束时t_ef相比更提前。因此，在曝光期间的结束时t_ef的发光亮度与曝光期间的开始时t_es的发光亮度相同，例如成为最大亮度的30％左右。通过以上，照明覆盖率成为90％左右。

图11是在曝光期间的长度为et_s且装置温度为t2的情况下，重合了各波形的图。此时，熄灭定时t_lf被规定为与曝光期间的结束时t_ef相比更提前。因此，在曝光期间的结束时t_ef的发光亮度例如成为最大亮度的90％左右。通过以上，照明覆盖率成为85％左右。

从以上的说明能够确定，第二实施方式的投光部15(参照图2)的发光被控制为随着曝光期间被设得短而在曝光期间的结束时t_ef的发光亮度变高。因此，与第一实施方式相同，随着曝光期间变短而照明覆盖率变高。因此，在第二实施方式的状态监视装置中，也能够实现在环境光强的情况下通过较强的照明光的照射而正确地拍摄面部图像50(参照图4)，且在环境光弱的情况下抑制发光从而降低发热这样的显著的效果。

此外，第二实施方式的投光部15(参照图2)的发光被控制为随着装置温度变高而在曝光期间的结束时t_ef的发光亮度变低。像这样，通过实施在装置温度为高温的情况下减轻发光二极管16(参照图2)以及驱动部17(参照图2)等的负荷的控制，与第一实施方式相同，能够实现投光部15的长期的可靠的动作。

此外，在第二实施方式中，通过不仅控制发光定时(t_ls)还控制熄灭定时t_lf，能够灵活地实施与曝光期间的长度相应的照明覆盖率的变更。从而，进一步提高了用于正确地拍摄面部图像50(参照图4)且降低发热的发光控制以及摄像控制的可实现性。

(第三实施方式)

图12、13所示的本申请的第三实施方式是第一实施方式的其他变形例。在第三实施方式中，使发光二极管16的发光状态从关断状态转移至接通状态的点亮时的转移期间、即驱动部17的驱动所引起的电流的上升时间，根据曝光期间的长度以及装置温度而积极地被控制。以下，一边将图6与图12、13进行比较，一边说明在第三实施方式中实施的发光控制的细节。

图12是在曝光期间的长度为et_l且装置温度为t1的情况下，重合了各波形的图。此时的电流的上升时间lt_l被控制为与在曝光期间的长度为et_s的情况下的上升时间lt_s(参照图6)相比更长。通过这样的控制，在曝光期间的开始时t_es的发光亮度被设为最大亮度的30％左右。

图13是在曝光期间的长度为et_s且装置温度为t2的情况下，重合了各波形的图。此时的电流的上升时间lt_h被控制为与在装置温度为t2的情况下的上升时间lt_s(参照图6)相比更长。通过这样的控制，在曝光期间的开始时t_es的发光亮度被设为最大亮度的90％左右。

从以上的说明能够确定，第三实施方式的投光部15(参照图2)随着曝光期间被设得短，将提前期间设得长，且将电流的上升时间设得短。这样投光部15的发光被控制为在曝光期间的开始时t_es的发光亮度变高。因此，在第三实施方式的状态监视装置中，也能够实现在环境光强的情况下通过较强的照明光的照射而正确地拍摄面部图像50，且在环境光弱的情况下抑制发光从而降低发热这样的显著的效果。

此外第三实施方式的投光部15(参照图2)的发光被控制为随着装置温度变高而在曝光期间的开始时t_es的发光亮度变低。像这样，通过实施在装置温度为高温的情况下减轻发光二极管16以及驱动部17等的负荷的控制，与第一实施方式相同，能够实现投光部15的长期的可靠的动作。

进而，在第三实施方式中，在曝光期间长的情况下，电流的上升时间被确保得较长。因此，抑制伴随发光二极管16的开关动作的电噪声的产生。此外，在曝光期间短的情况下，能够通过缩短电流的上升时间来缩短发光期间。因此，降低伴随发光的发热的效果进一步提高。

(其他实施方式)

以上，说明了本申请的多个实施方式，但本申请不限定于上述实施方式来解释，能够在不脱离本申请的主旨的范围内应用于各种实施方式以及组合。

在上述实施方式的变形例1中，采用可变更对发光二极管16施加的电流值的驱动部。由此，如图14所示，在曝光期间的长度为et_l的情况下对发光二极管16施加的电流值的最大i_l被控制为与在曝光期间的长度为et_s的情况下施加的最大电流值i_Max(参照图6)相比更低。

根据这样的控制，也能够将在曝光期间的开始时t_es的发光亮度设为最大亮度的30％左右。

在上述实施方式的变形例中，在曝光期间的结束时t_ef的发光亮度与在该期间的开始时t_es的发光亮度相比被设为较低。此外在上述实施方式中，从曝光期间的开始时t_es至曝光期间的结束时t_ef的期间，决定发光亮度的电流值在成为最大后固定地推移。但是，电流值也可以在曝光期间之中稍微变动，例如低于曝光期间的开始时t_es的电流值。

此外，如图15所示，在装置温度为t2的情况下，对发光二极管16施加的电流值的最大i_h被控制为与在装置温度为t1的情况下施加的最大电流值i_Max(参照图6)相比更低。通过这样的控制，也能够将在曝光期间的开始时t_es的发光亮度设为最大亮度的90％左右。另外，在上述实施方式中例示的各照明覆盖率是概念值，也可以根据摄像部以及投光部的规格而适当变更以便拍摄对比度好的面部图像50即可。

在上述实施方式中的摄像部的摄像元件中，能够适当采用CCD(电荷耦合元件，Charge Coupled Device)或CMOS(互补金属氧化物半导体，Complementary Metal OxideSemiconductor)等的图像传感器。此外，由摄像元件检测的光的频域不限定于近红外区域，也可以是可见光区域等。进而，发光二极管优选适当变更所放射的光的频域、个数、以及配置等，以便与摄像元件的规格对应。

此外，控制摄像元件的曝光的快门既可以是使摄像面的全部像素实质上同时设为曝光状态的全局快门，或从特定的像素列依次设为曝光状态的卷帘式快门。在采用了这样的卷帘式快门的方式中，只要在摄像部中设定的帧速率大且曝光状态的占空比小，就能够发挥与采用了全局快门的方式等同的效果。

在上述实施方式的变形例中，在曝光期间的结束时t_ef的发光亮度与在该期间的开始时t_es的发光亮度相比被设为较低。此外在上述实施方式中，在从曝光期间的开始时t_es至曝光期间的结束时t_ef的期间，决定发光亮度的电流值在成为最大后固定地推移。但是，电流值也可以在曝光期间之中稍微变动，例如低于曝光期间的开始时t_es的电流值。

在上述实施方式中，被设为转向柱81的上表面的摄像部10以及状态监视装置100的设置位置只要能够拍摄规定区域PA，则也可以适当变更。状态监视装置例如也可以被设置在仪表盘的上表面上，或被安装在遮阳板附近的天花板部分上。进而，摄像部也可以与状态监视装置的主体部分分体而设置在适合于拍摄规定区域PA的位置上。

上述实施方式中的规定区域PA的决定方法也可以适当变更。例如，规定区域PA也可以被规定为包含眼唇的百分之95。进而，规定区域PA的决定方法不限定于根据眼唇决定的方法。例如，也可以通过使人种、性别、以及年龄等不同的多个驾驶员实际坐在驾驶席上而实验地决定规定区域PA。这样的规定区域PA优选在设想了伴随驾驶动作的脸面的移动的基础上被规定。

在上述实施方式中，通过执行了状态监视程序的控制电路20提供的多个功能也可以通过与上述的控制装置不同的硬件以及软件或它们的组合来提供。例如，也可以通过与程序无关而起到规定的功能的模拟电路来提供与各功能块以及子功能块相当的功能。

在上述实施方式中，示出了对被搭载于车辆且监视车辆的驾驶员的状态的状态监视装置应用了本申请的例子。但是，本申请不仅应用于作为车辆的汽车用的所谓司机状态监视器，还能够应用于在作为车辆的二轮车、三轮车、船舶以及飞机等各种移动体(输送机构)中监视其操纵者的状态的状态监视装置。

本申请遵照实施例而进行了记述，但应该理解为本申请不限定于该实施例或构造。本申请还包含各种变形例或等同范围内的变形。此外，各种组合或方式、进而对其包含仅一要素、这以上、或这以下的其他组合或方式都在本申请的范畴和思想范围内。

Claims (10)

1.一种状态监视装置，被搭载于车辆（1），且使用对操纵所述车辆的操纵者的脸面进行拍摄而得到的面部图像（50）来监视该操纵者的状态，其特征在于，具备：

摄像部（10），通过接受从被预先规定为所述操纵者的脸面所位于的区域的规定区域（PA）入射的光，生成所述面部图像；

摄像控制部（23、24、S109），通过变更所述摄像部被设为曝光状态的曝光期间的长度，调整所述面部图像的灰度值；

发光部（15），在由所述摄像控制部设定的所述曝光期间中，向所述规定区域持续射出照明光；以及

发光控制部（23、25、S111），将所述发光部控制为：随着由所述摄像控制部缩短所述曝光期间，所述曝光期间的开始时（t_es）的发光亮度变高，

所述发光控制部使所述发光部被设为发光状态的发光期间的开始时（t_ls）比所述曝光期间的开始时提前，随着所述曝光期间被缩短，使所述发光期间的开始时相对于所述曝光期间的开始时提前的提前期间变长。

2.如权利要求1所述的状态监视装置，其特征在于，

所述曝光期间的结束时（t_ef）的所述发光部的发光亮度为所述曝光期间的开始时的发光亮度以上。

3.如权利要求1所述的状态监视装置，其特征在于，

所述发光部的发光亮度从所述曝光期间的开始时至结束时（t_ef）为止，维持为该曝光期间的开始时的发光亮度以上。

4.如权利要求1所述的状态监视装置，其特征在于，

所述发光控制部随着所述曝光期间被缩短，缩短使所述发光部的发光从关断状态转移到接通状态的转移期间。

5.如权利要求1～4的任一项所述的状态监视装置，其特征在于，

还具备温度检测部（35），该温度检测部检测所述状态监视装置的装置温度，

所述发光控制部将所述发光部控制为：随着由所述温度检测部检测的所述装置温度变高，所述曝光期间的开始时的发光亮度变低。

6.一种状态监视方法，使被搭载于车辆（1）的计算机执行使用对操纵所述车辆的操纵者的脸面进行拍摄而得到的面部图像（50）来监视该操纵者的状态的处理，具备：

摄像步骤（S101），通过接受从预先规定为所述操纵者的脸面所位于的区域的规定区域（PA）入射的光，生成所述面部图像；

摄像控制步骤（S109），通过变更在所述摄像步骤中被设为曝光状态的曝光期间的长度，调整所述面部图像的灰度值；

发光步骤（S101），在由所述摄像控制步骤设定的所述曝光期间中，向所述规定区域持续射出照明光；以及

发光控制步骤（S111），将所述发光步骤控制为：随着由所述摄像控制步骤缩短所述曝光期间，所述曝光期间的开始时（t_es）的发光亮度变高，

所述发光控制步骤使所述发光步骤被设为发光状态的发光期间的开始时（t_ls）比所述曝光期间的开始时提前，随着所述曝光期间被缩短，使所述发光期间的开始时相对于所述曝光期间的开始时提前的提前期间变长。

7.一种状态监视装置，被搭载于车辆（1），且使用对操纵所述车辆的操纵者的脸面进行拍摄而得到的面部图像（50）来监视该操纵者的状态，其特征在于，具备：

摄像部（10），通过接受从被预先规定为所述操纵者的脸面所位于的区域的规定区域（PA）入射的光，生成所述面部图像；

摄像控制部（23、24、S109），通过变更所述摄像部被设为曝光状态的曝光期间的长度，调整所述面部图像的灰度值；

发光部（15），在由所述摄像控制部设定的所述曝光期间中，向所述规定区域持续射出照明光；以及

发光控制部（23、25、S111），将所述发光部控制为：随着由所述摄像控制部缩短所述曝光期间，所述曝光期间的开始时（t_es）的发光亮度变高，

所述发光控制部随着所述曝光期间被缩短，缩短使所述发光部的发光从关断状态转移到接通状态的转移期间。

8.如权利要求7所述的状态监视装置，其特征在于，

所述曝光期间的结束时（t_ef）的所述发光部的发光亮度为所述曝光期间的开始时的发光亮度以上。

9.如权利要求7所述的状态监视装置，其特征在于，

所述发光部的发光亮度从所述曝光期间的开始时至结束时（t_ef）为止，维持为该曝光期间的开始时的发光亮度以上。

10.如权利要求7所述的状态监视装置，其特征在于，

还具备温度检测部（35），该温度检测部检测所述状态监视装置的装置温度，

所述发光控制部将所述发光部控制为：随着由所述温度检测部检测的所述装置温度变高，所述曝光期间的开始时的发光亮度变低。