CN111696312B - 乘员观察装置 - Google Patents

Abstract

本发明提供一种能够减轻处理负荷且提高检测精度的乘员观察装置。乘员观察装置具备：摄像部，其拍摄车辆的乘员的头部；以及眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的一部分，所述眼睛检测部将所述乘员的眼睛中的接近所述摄像部的一方的眼睛设为检测对象。

Description

乘员观察装置

技术领域

本发明涉及乘员观察装置。

背景技术

关于利用装置来检查获知以车辆的驾驶员为首的乘员的状态的结构正在推进研究。在乘员的状态中，包括是否感到睡意、集中程度、感情等。作为为了检查获知乘员的状态而重要的因素，可举出眼睛的状态。因此，利用相机来拍摄乘员并解析图像而观察眼睛的状态的装置的实用化正在推进。

例如，在日本专利第5343631号公报中公开了一种驾驶支援装置，该驾驶支援装置具备：摄像单元，其拍摄驾驶员的脸部；检测单元，其根据由所述摄像单元拍摄到的脸部图像来检测驾驶员的嘴巴或手的动作及眼睛的开闭；第一特征检测单元，其根据由所述检测单元检测到的所述嘴巴的铅垂方向成分的形状变化来检测哈欠，根据所述嘴巴的水平方向成分的形状变化来检测叹气或深呼吸，根据所述嘴巴的形状变化来检测所述驾驶员的脖子或头的运动动作，检测相对于所述驾驶员的脸部接近或离开的手的动作；第二特征检测单元，其根据所述眼睛的闭上时间来检测闭眼率；以及判定单元，其根据由所述第一特征检测单元及所述第二特征检测单元检测到的特征动作的历时变化来判定所述驾驶员的清醒状态、相对于睡意的苦战或纠葛状态、瞌睡的初始状态及瞌睡状态。

然而，在以往的技术中，在图像中检测眼睛时的处理负荷高，所需要时间变长，因此有时难以在车辆的实时控制等中利用。误检测的频率有时也变高。

发明内容

本发明考虑这样的情况而完成，其目的之一在于，提供能够减轻处理负荷且提高检测精度的乘员观察装置。

本发明的乘员观察装置采用了以下的结构。

(1)：本发明的一方案的乘员观察装置具备摄像部，其拍摄车辆的乘员的头部；以及眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的一部分，所述眼睛检测部将所述乘员的眼睛中的接近所述摄像部的一方的眼睛设为检测对象。

(2)：在上述(1)的方案中，所述摄像部安装于车辆中的从与乘员的就座位置正对的位置向横向偏置的位置。

(3)：在上述(1)或(2)的方案中，所述眼睛检测部至少检测所述乘员的眼睛的轮廓的一部分，所述乘员观察装置还具备睁眼率导出部，该睁眼率导出部基于由所述眼睛检测部检测到的轮廓中的多个特征点的位置关系，来导出所述乘员的眼睛的睁眼率。

(4)：在上述(3)的方案中，所述多个特征点包括所述轮廓中的在横向上接近所述摄像部的一侧的端部、上端部及下端部。

(5)：在上述(1)～(4)的方案中，所述眼睛检测部基于所述乘员的眼睛中的接近所述摄像部的一方的眼睛的检测程度而将检测对象切换为所述乘员的眼睛中的远离所述摄像部的一方的眼睛。

根据上述(1)～(5)的方案，能够减轻处理负荷且提高检测精度。

根据上述(3)的方案，能够进一步减轻处理负荷。

根据上述(4)或(5)的方案，能够进一步提高处理的持续性。

附图说明

图1是示出乘员观察装置的结构和使用环境的一例的图。

图2是例示了摄像部的设置位置的图。

图3是示意性地示出眼睛检测部的处理的内容的图。

图4是用于对睁眼率导出部的处理进行说明的图(其1)。

图5是用于对睁眼率导出部的处理进行说明的图(其2)。

图6是示出检测程度比基准低的情况下的拍摄图像的一例的图。

图7是示出由图像处理装置执行的处理的流程的一例的流程图。

图8是示出变形例的乘员观察装置的结构和使用环境的一例的图。

具体实施方式

以下，参照附图对本发明的乘员观察装置的实施方式进行说明。乘员观察装置搭载于车辆。车辆是四轮车辆、二轮车辆等。在以下的说明中，设为车辆是四轮车辆。虽然以车辆是右舵的车辆为前提，但在适用于左舵的车辆的情况下，使以下的说明中的左右关系相反而换种措辞即可。

图1是示出乘员观察装置1的结构和使用环境的一例的图。乘员观察装置1例如具备摄像部10和图像处理装置20。图像处理装置20例如具备眼睛检测部24、嘴巴检测部26、睁眼率导出部28及状态推定部30。乘员观察装置1例如推定车辆的乘员的状态，将推定结果向各种车载装置100输出。乘员至少包括驾驶员，也可以包括副驾驶员座乘员。各种车载装置100是驾驶支援装置、自动驾驶控制装置、智能体装置及其他装置，乘员观察装置1推定并输出与各种车载装置100的种类、目的相应的乘员的状态。乘员的状态包括睡意、视线的朝向、感情等中的一部分或全部。在以下的说明中，设为乘员观察装置1推定乘员的睡意。

图2是例示了摄像部10的设置位置的图。摄像部10例如设置于车辆的仪表板的中央部，拍摄车辆的乘员的至少头部。摄像部10设置于相对于设置有转向盘SW的驾驶员座DS(就座位置的一例)和副驾驶员座AS(就座位置的另一例)均从与它们正对的位置向横向偏置的位置。因此，摄像部10拍摄的图像在横向上成为斜着拍摄了乘员的头部的图像。换言之，成为在摄像部10的光轴上不存在乘员的至少头部的状况。

摄像部10例如包括拍摄红外线的红外线相机和将可见光作为彩色图像而拍摄的RGB相机中的一方或双方。更优选的是，摄像部10至少包括红外线相机，也可以进一步包括RGB相机。在以下的说明中，设为摄像部10专门包括红外线相机，关于包括RGB相机的情况将在后文叙述。

返回图1，对图像处理装置20的各部分进行说明。图像处理装置20的构成要素例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)而实现。这些构成要素中的一部分或全部也可以由LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部：circuitry)实现，还可以通过软件与硬件的协同配合来实现。程序可以预先保存于HDD(Hard Disk Drive)、闪存器等存储装置(具备非暂时性的存储介质的存储装置)，也可以保存于DVD、CD-ROM等能够装卸的存储介质(非暂时性的存储介质)，通过存储介质向驱动装置装配而安装。

关于眼睛检测部24的功能，作为一例，对提取边缘后检测眼睛的方法进行说明。眼睛检测部24例如首先在由摄像部10拍摄到的图像(以下，称作拍摄图像)中提取边缘。边缘是指与自身的周边的像素的像素值之差比基准大的像素(或像素群)，即特征性的像素。眼睛检测部24例如使用SOBEL滤波器等边缘提取滤波器来提取边缘。使用SOBEL滤波器仅仅是一例，眼睛检测部24也可以基于其他滤波器或算法来提取边缘。

眼睛检测部24例如基于在拍摄图像中提取出的边缘的分布来检测拍摄图像中的至少乘员的眼睛的一部分。此时，眼睛检测部24将乘员的眼睛中的接近摄像部10的一方的眼睛设为检测对象。所谓接近摄像部10的一方的眼睛，若是就座于驾驶员座DS的乘员则是左眼，若是就座于副驾驶员座AS的乘员则是右眼。眼睛检测部24也可以不是通过提取边缘而是通过向由深度学习等机器学习方法生成的已学习模型输入拍摄图像来直接检测眼睛的一部分(或后述的特征点)。

图3是示意性地示出眼睛检测部24的处理的内容的图。图中，IM表示使边缘EG与拍摄图像重叠的图像。在本图中，专门着眼于就座于驾驶员座DS的乘员。首先，如图3的上图所示，眼睛检测部24通过对边缘EG适配椭圆、蛋形等的模型来提取轮廓CT。接着，如图3的中间图所示，眼睛检测部24以轮廓CT为基准而设定鼻子检测窗NM，在鼻子检测窗NM中检测边缘容易被明确地提取的部位即鼻梁BN的位置。接着，如图3的下图所示，眼睛检测部24以鼻梁BN的位置为基准，在应该存在乘员的左眼的鼻梁BN的右侧设定规定的尺寸的眼睛检测窗EW，在眼睛检测窗EW中检测眼睛的至少一部分。由此，在与就座于驾驶员座DS的乘员的左眼重叠的位置设定眼睛检测窗EW，因此在眼睛检测窗EW中检测左眼。关于“检测眼睛的至少一部分”的处理的具体例，能够各种定义，但在以下的说明中，设为“检测眼睛的轮廓的至少一部分”。在检测轮廓时，眼睛检测部24例如通过向边缘EG的分布适配曲线模型来检测轮廓。

嘴巴检测部26例如利用眼睛检测部24的处理过程的一部分，以鼻梁BN的位置为基准来设定嘴巴检测窗MW(未图示)，在嘴巴检测窗MW中检测嘴巴的轮廓的至少一部分。嘴巴的轮廓例如意味着上唇的下端线和下唇的上端线。关于嘴巴检测部26的处理，由于不是构成本发明的核心的内容，所以省略详细的说明。也可以是，取代上述，嘴巴检测部26通过向由深度学习等机器学习方法生成的已学习模型输入拍摄图像来直接检测嘴巴的轮廓的一部分。

睁眼率导出部28基于由眼睛检测部24检测到的眼睛的轮廓中的多个特征点的位置关系来导出乘员的眼睛的睁眼率。多个特征点例如包括眼睛的轮廓中的在横向上接近摄像部10的一侧的端部(相当于外眼角)即第一特征点、上端部即第二特征点及下端部即第三特征点。图4是用于对睁眼率导出部28的处理进行说明的图(其1)。图中，P1是第一特征点，P2是第二特征点，P3是第三特征点。睁眼率导出部28例如在眼睛检测窗EW内使垂直线从眼睛检测窗EW的右端起向左假想地移动，将最初与眼睛的轮廓ECT相交时的交点设为第一特征点P1。睁眼率导出部28例如在眼睛检测窗EW内使水平线从眼睛检测窗EW的上端向下假想地移动，将最初与眼睛的轮廓ECT相交时的交点设为第二特征点P2。睁眼率导出部28例如在眼睛检测窗EW内使水平线从眼睛检测窗EW的下端向上假想地移动，将最初与眼睛的轮廓ECT相交时的交点设为第三特征点P3。

然后，睁眼率导出部28基于连结第一特征点P1和第二特征点P2的第一直线与连结第一特征点P1和第三特征点P3的第二直线所成的角度来导出乘员的睁眼率。图5是用于对睁眼率导出部28的处理进行说明的图(其2)。图中，L1是第一直线，L2是第二直线，θ是它们所成的角度。睁眼率导出部28例如将求出基于从该乘员向车辆乘入起的最初的几分钟程度的拍摄图像导出的角度的平均而得到的基准角度θini定义为睁眼率100[％]，将之后导出的角度θ除以基准角度θini来导出睁眼率α(参照式(1))。不限定于此，在进行乘员的人物认证的情况下，也可以使每个乘员的与100[％]对应的基准角度存储于存储器，针对每个乘员将基准角度从存储器读出并在计算中使用。也可以将规定值设定为基准角度θini，也可以最初使用规定值，并使规定值逐渐与乘员的平均的角度一致。

α＝MIN{θ/θini，100[％]}…(1)

在到此为止的说明中，只是基于图像平面上的角度θ来导出睁眼率，但例如通过准备眼睛的三维模型，从根据基于轮廓CT与鼻梁BN的关系推定的脸部朝向角度而旋转后的眼睛的模型向二维映射后进行上述说明的处理，能够提高睁眼率的推定精度。

状态推定部30例如基于由睁眼率导出部28导出的睁眼率α和由嘴巴检测部26检测到的嘴巴的轮廓的动作而将乘员的睡意数值化(或表示阶段的编码化)，并向各种车载装置100输出。例如，睁眼率α越小则状态推定部30输出表示乘员的睡意越强的数值，根据嘴巴的轮廓的动作而推定了“哈欠”的次数越多则状态推定部30输出表示乘员的睡意越强的数值。状态推定部30例如通过求出睁眼率α的倒数与观察期间中的哈欠的次数的加权和来将乘员的睡意数值化。关于哈欠的检测方法，例如，由于当打哈欠时嘴巴会在纵向上大幅变化，所以可以使用以下的方法等：将由嘴巴检测部26检测到的嘴巴的轮廓的纵向的长度与阈值进行比较，在为阈值以上的状态持续了规定时间以上的情况下判定为打了哈欠。

眼睛检测部24在相当于接近摄像部10的一方的眼睛的位置设定眼睛检测窗EW的结果是眼睛的检测程度比基准低的情况下，将检测对象切换为远离摄像部10的一方的眼睛。具体而言，眼睛检测部24在观察就座于驾驶员座DS的乘员的情况下，通过在鼻梁BN的左侧设定眼睛检测窗EW而将检测对象切换为右眼。与此相反，眼睛检测部24在观察就座于副驾驶员座AS的乘员的情况下，通过在鼻梁BN的右侧设定眼睛检测窗EW而将检测对象切换为左眼。“检测程度比基准低”例如意味着在眼睛检测窗EW内不存在基准数以上的边缘EG、向曲线的适配率不为基准值以上、向曲线适配的结果是不成为闭合曲线或分成了二个以上的曲线等在上述说明的处理中算出的指标值、现象不是期望的结果。

图6是示出检测程度比基准低的情况下的拍摄图像的一例的图。图中，就座于驾驶员座DS的乘员OC1完全闭眼，因此在眼睛检测窗EW内从边缘EG适配的曲线仅成为一条曲线。就座于副驾驶员座AS的乘员OC2大幅朝向右方向，因此接近摄像部10的一侧的端部(外眼角)未在图像中照出，因此在眼睛检测窗EW内从边缘EG适配的曲线不成为闭合曲线。双方都由眼睛检测部24判定为“检测程度比基准低”。在使用了已学习模型的情况下也是同样，当如图6所示的拍摄图像被输入时，输出值不成为可靠度高的值(高的概率)。因此，设想由眼睛检测部24判定为“检测程度比基准低”。

图7是示出由图像处理装置20执行的处理的流程的一例的流程图。首先，图像处理装置20取得由摄像部10拍摄到的图像(拍摄图像)(步骤S200)。

接着，眼睛检测部24检测接近摄像部10的一方的眼睛(步骤S204)，关于接近的一方的眼睛判定检测程度是否为基准以上(步骤S206)。在判定为检测程度为基准以上的情况下，睁眼率导出部28导出睁眼率(步骤S208)。

与步骤S204以后的处理并行，嘴巴检测部26检测乘员的嘴巴(步骤S210)。

然后，状态推定部30基于睁眼率和嘴巴的动作来推定乘员的状态，并向各种车载装置100输出(步骤S212)。

在步骤S206中判定为检测程度不为基准以上的情况下，眼睛检测部24检测远离摄像部10的一方的眼睛(步骤S214)，关于远离的一方的眼睛判定检测程度是否为基准以上(步骤S216)。在判定为检测程度为基准以上的情况下，处理进入步骤S208。

在步骤S216中判定为检测程度不为基准以上的情况下，图像处理装置20输出表示错误的信息(步骤S218)。

根据以上说明的乘员观察装置1，通过眼睛检测部24首先将乘员的眼睛中的接近摄像部10的一方的眼睛设为检测对象，能够减轻处理负荷且提高检测精度。这是因为，在将双方的眼睛设为检测对象的情况下，提取的边缘的数量增加，边缘提取处理、适配处理、特征点的提取处理的负荷增加，而在将单侧的眼睛设为检测对象的情况下，这些处理的负荷减轻。这是因为，接近摄像部10的一方的眼睛通常与远离摄像部10的一方的眼睛相比在拍摄图像中照得大，因此提取的边缘的数量变多，可期待提取眼睛的轮廓的精度比远离的一方的眼睛高。在使用已学习模型的情况下也是同样，在将双方的眼睛设为检测对象的情况下，因输入节点数增加而处理负荷增大。通过将在拍摄图像中照得大的眼睛的部分输入，有望实现精度的提高。

根据乘员观察装置1，由于睁眼率导出部28基于由眼睛检测部24检测到的轮廓中的多个特征点的位置关系来导出乘员的眼睛的睁眼率，所以与解析眼睛的轮廓整体的动作的情况相比，能够进一步减轻处理负荷。通过使多个特征点包括眼睛的轮廓中的在横向上接近摄像部10的一侧的端部、上端部及下端部，能够将在拍摄图像中容易出现的特征设为处理对象，能够提高处理的持续性。

根据乘员观察装置1，眼睛检测部24基于乘员的眼睛中的接近摄像部10的一方的眼睛的检测程度而将检测对象切换为乘员的眼睛中的远离摄像部10的一方的眼睛，由此在乘员的姿态大幅变动时、因光的状况而接近摄像部10的一方的眼睛临时性失明(whiteout)的情况等下也能够持续地检测乘员的眼睛，能够提高处理的持续性。

在上述说明的实施方式中，设为摄像部10专门包括红外线相机，但在进一步包括RGB相机的情况下，也可以求出根据红外线相机的拍摄图像而求出的边缘与根据RGB相机的拍摄图像而求出的边缘的逻辑“或”或逻辑“与”后进行眼睛检测和嘴巴检测，还可以关于双方平行地进行眼睛检测、嘴巴检测、睁眼率导出等处理，并在状态推定的处理中进行统合，还可以利用任意的方法将对于两个以上的图像的处理统合。也可以如在夜间使用红外线相机且在白天使用RGB相机(或红外线相机和RGB相机双方)这样根据时机而切换使用的相机。在使用已学习模型的情况下，也可以将结合红外线相机的拍摄图像与RGB相机的拍摄图像而得到的拍摄图像向已学习模型输入。

利用嘴巴检测部26的检测结果，将产生了哈欠时的张嘴度的转变模型化，并限定于与会话等区分的仅在驾驶中发生的嘴巴的动作，由此能够使用精度提高声音信息而将会话、歌曲的识别高精度化，能够使用物体识别而将饮食、举止、心律、呼吸(肺的动作推定)等的识别高精度化。

以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

<变形例>

以下，对实施方式的变形例进行说明。变形例的乘员观察装置是专门在人物认证中使用的装置。图8是示出变形例的乘员观察装置1A的结构和使用环境的一例的图。乘员观察装置1A取代睁眼率导出部28和状态推定部30而具备人物识别部32。被标注了与上述实施方式相同的标号的构成要素具有上述说明的相同的功能，省略说明。

人物识别部32基于由眼睛检测部24检测到的眼睛的例如轮廓和由嘴巴检测部26检测到的嘴巴的例如轮廓来推定乘员是预先登记的乘员中的哪一个(进行人物识别)。人物识别部32例如将预先保存于存储器的表示轮廓的形状、尺寸的几何数据、位图数据或表示轮廓的特征的数据等与输入的轮廓的数据进行比较来进行人物识别。人物识别部32也可以通过向由机器学习得到的已学习模型输入轮廓的数据，来进行人物识别。

人物识别部32的处理结果向各种车载装置100A输出。各种车载装置100A是需要人物认证的任意的装置，可以与上述说明的各种车载装置100相同，也可以不同。

通过以上说明的变形例，也能够与实施方式同样地减轻处理负荷且提高检测精度。

Claims (4)

1.一种乘员观察装置，其中，

所述乘员观察装置具备：

摄像部，其拍摄车辆的乘员的头部，且在所述摄像部的光轴上不存在所述乘员的至少头部；以及

眼睛检测部，其在由所述摄像部拍摄到的图像中至少检测所述乘员的眼睛的轮廓的一部分，

所述眼睛检测部将所述乘员的眼睛中的接近所述摄像部的一方的眼睛设为检测对象，并在所述乘员的眼睛中的接近所述摄像部的一方的眼睛的检测程度比基准低的情况下，将检测对象切换为所述乘员的眼睛中的远离所述摄像部的一方的眼睛，

所述眼睛检测部通过在拍摄到的所述图像中提取边缘的分布，并向所述边缘的分布适配曲线模型，来检测所述乘员的眼睛的轮廓的一部分，

所述检测程度比基准低是指，在作为所述检测对象的所述眼睛的眼睛检测窗内不存在基准数以上的所述边缘、向所述曲线的适配率不为基准值以上、或者向所述曲线适配的结果是不成为闭合曲线或分成了二个以上的曲线。

2.根据权利要求1所述的乘员观察装置，其中，

所述摄像部安装于车辆中的从与乘员的就座位置正对的位置向横向偏置的位置。

3.根据权利要求1或2所述的乘员观察装置，其中，

所述眼睛检测部至少检测所述乘员的眼睛的轮廓的一部分，

所述乘员观察装置还具备睁眼率导出部，该睁眼率导出部基于由所述眼睛检测部检测到的轮廓中的多个特征点的位置关系，来导出所述乘员的眼睛的睁眼率。

4.根据权利要求3所述的乘员观察装置，其中，

所述多个特征点包括所述轮廓中的在横向上接近所述摄像部的一侧的端部、上端部及下端部。

Images