CN101336827A - 斜视检测装置和方法、以及程序 - Google Patents

Abstract

本发明提供斜视检测装置，可以更准确地检测斜视。根据由摄影单元(111)拍摄的图像，脸方向检测单元(121)检测驾驶员的脸的朝向，视线方向检测单元(122)检测驾驶员的视线的朝向。视野检测单元(123)以驾驶员的视线的持续为基准，检测与驾驶员的脸的朝向和视线的朝向的错位对应的范围作为驾驶员的视野。判定单元(124)在驾驶员的脸的朝向为脸朝向判定范围外的情况下，判定为正在斜视。而且，判定单元(124)在驾驶员的脸的朝向为脸朝向判定范围内的情况下，根据驾驶员的视野判定驾驶员是否正在斜视。本发明可以应用于驾驶员的斜视检测装置。

Description

斜视检测装置和方法、以及程序

技术领域

本发明涉及斜视检测装置和方法、以及程序，特别是涉及可以更准确地检测斜视的斜视检测装置和方法、以及程序。

背景技术

近年来，起因于驾驶员在驾驶中的斜视(看别处)的事故多发。因此，开发了检测驾驶员的斜视，并且进行对于斜视的警告的技术。

例如，提出了以下技术，即在驾驶员的脸或者视线的朝向的至少一个未朝向行进方向的状态已经过了与车辆的行驶速度相应的时间的情况下，使警报工作(例如，参照专利文献1)。

〔专利文献1〕日本特开2003-317197号公报

发明内容

发明要解决的课题

但是，在专利文献1中记载的发明中，在驾驶员的视线朝向行进方向而脸未朝向行进方向的情况下，由于警报也工作，所以使驾驶员感到麻烦。

本发明是鉴于这样的状况而完成的，可以更准确地检测斜视。

用于解决课题的手段

本发明的一个方面的斜视检测装置，包括：视野检测单元，检测以人的视线的朝向为基准的第1范围作为人的视野；判定单元，根据检测到的所述人的视野，判定人是否正在斜视。

在本发明的一个方面的斜视检测装置中，检测以人的视线的朝向为基准的第1范围作为所述人的视野，根据检测到的所述人的视野，判定所述人是否正在斜视。

因此，可以更准确地检测斜视。

该视野检测单元、判定单元，例如由CPU(Central Processing Unit，中央处理器)构成。

在该视野检测单元中，可以根据人的脸的朝向和视线的朝向的错位大小来调整第1范围的宽度。

由此，可以更准确地检测斜视。

在视野检测单元中，可以根据人驾驶的交通工具的速度，调整第1范围的宽度。

在人的脸的水平方向的朝向相对于基准方向超过第2范围的情况下，该判定单元判定为正在斜视，而与人的视线的朝向以及视野无关。

由此，可以更迅速地检测斜视。

本发明的一种斜视检测方法或者程序包括：视野检测步骤，检测以人的视线的朝向为基准的规定范围作为人的视野；判定步骤，根据检测到的人的视野，判定人是否正在斜视。

本发明的一种斜视检测方法或者程序中，检测以人的视线的朝向为基准的第1范围作为人的视野，根据检测到的人的视野，判定人是否正在斜视。

由此，可以更准确地检测斜视。

该视野检测步骤例如由通过CPU检测以人的视线的朝向为基准的规定的范围作为人的视野的视野检测步骤构成，该判定步骤例如由根据检测到的人的视野，通过CPU判定人是否正在斜视的判定步骤构成。

发明的效果

如上所述，按照本发明的一个方面，可以检测斜视。特别是按照本发明的一个方面，可以更准确地检测斜视。

附图说明

图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。

图2是用于说明由驾驶支持装置执行的驾驶支持处理的流程图。

图3是用于说明斜视的判定的例子的图。

图4是用于说明斜视的判定的例子的图。

图5是用于说明斜视的判定的例子的图。

图6是用于说明斜视的判定的例子的图。

图7是用于说明斜视的判定的例子的图。

图8是表示个人计算机的结构的例子的方框图。

标号说明

101驾驶支持装置

111摄影单元

112车速检测单元

113斜视检测单元

114车辆控制单元

121脸方向检测单元

122视线方向检测单元

123视野检测单元

124判定单元

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。驾驶支持装置101对驾驶设置了驾驶支持装置101的车辆(以下也称为本车)的驾驶员的斜视进行检测处理，在检测到驾驶员的斜视时，控制设置在本车上的车载装置，以对斜视进行处理。驾驶支持装置101被构成为包括：摄影单元111、车速检测单元112、斜视检测单元113、以及车辆控制单元114。

摄影单元111例如由照相机构成，从大致正面方向拍摄驾驶员的脸。摄影单元111将包含拍摄的驾驶员的脸的图像(以下，称为脸图像)提供给斜视检测单元113的脸方向检测单元121和视线方向检测单元122。

车速检测单元112例如由速度传感器构成，检测本车的速度。车速检测单元112将表示检测到的本车的速度的信息提供给斜视检测单元113的视野检测单元123和判定单元124。

斜视检测单元113进行驾驶员的斜视的检测处理。斜视检测单元113被构成为包括：脸方向检测单元121、视线方向检测单元122、视野检测单元123、以及判定单元124。

脸方向检测单元121根据脸图像，利用规定的方法检测驾驶员的脸的朝向。脸方向检测单元121将表示驾驶员的脸的朝向的信息提供给视野检测单元123和判定单元124。而且，脸方向检测单元121检测脸的朝向的方法不限于特定的方法，希望应用可以更迅速并且正确地检测脸的朝向的方法。

视线方向检测单元122根据脸图像，利用规定的方法检测驾驶员的视线的朝向。视线方向检测单元122将表示驾驶员的视线的朝向的信息提供给视野检测单元123。而且，视线方向检测单元122检测视线的朝向的方法不限于特定的方法，希望应用可以更迅速并且正确地检测视线的朝向的方法。

视野检测单元123根据需要对视线方向检测单元122指示驾驶员的视线的朝向的检测。而且，视野检测单元123如参照图2后述的那样，根据驾驶员的脸的朝向、驾驶员的视线的朝向以及本车的速度来检测驾驶员的视野。视野检测单元123将表示检测到的驾驶员的视野的信息提供给判定单元124。

判定单元124根据需要，对视野检测单元123指示检测驾驶员的视野。判定单元124如参照图2后述的那样，根据驾驶员的脸的朝向、驾驶员的视野以及本车的速度来判定驾驶员是否正在斜视、以及是否处于虽然未斜视但是危险度高的状态。判定单元124将表示判定结果的信息提供给车辆控制单元114。

车辆控制单元114例如由ECU(Electronic Control Unit，电子控制单元)构成。车辆控制单元114在检测到驾驶员斜视或者危险度高的状态的情况下，控制被设置在本车上的车载装置，以对这些情况进行处理。

而且，以下，通过以本车的前方为基准方向的角度来表示驾驶员的脸和视线的水平方向的朝向。具体来说，将基准方向设为0度，用负的值表示从基准方向向左方向的角度，用正的值表示从基准方向向右方向的角度。例如，从基准方向向左30度的方向被表示为-30度，从基准方向向右30度的方向被表示为+30度。

而且，同样地，以下，在将某个方向作为基准的情况下，用负的值表示从成为基准的方向向左方向的角度，用正的值表示从成为基准的方向向右方向的角度。例如，在以驾驶员的脸的朝向为基准的情况下，从驾驶员的脸的朝向向左30度的方向被表示为-30度，从基准方向向右30度的方向被表示为+30度。

接着，参照图2的流程图，对由驾驶支持装置101执行的驾驶支持处理进行说明。而且，该处理例如从本车的发动机起动时开始。

在步骤S1中，摄影单元111开始拍摄。具体来说，摄影单元111开始拍摄驾驶员的脸，并且开始将拍摄的脸图像提供给脸方向检测单元121和视线方向检测单元122。

在步骤S2中，车速检测单元112开始检测本车的速度，并且开始将表示检测到的速度的信息提供给视野检测单元123和判定单元124。

在步骤S3中，脸方向检测单元121检测脸的朝向。具体来说，脸方向检测单元121根据脸图像检测驾驶员的脸的朝向，并且将表示检测到的脸的朝向的信息提供给视野检测单元123和判定单元124。

在步骤S4，判定单元124判定脸的朝向是否在规定的范围(以下，称为脸朝向判定范围)内。

这里，所谓脸朝向判定范围是作为判定驾驶员是否正在斜视的基准的脸的朝向的范围，判定单元124在驾驶员的脸的朝向为脸朝向判定范围外的情况下，判定为驾驶员正在斜视。

而且，对于脸朝向判定范围的例子在后面叙述。

在步骤S4中，在判定出脸的朝向为脸朝向判定范围内的情况下，处理进入步骤S5。

在步骤S5中，视线方向检测单元122检测视线的朝向。具体来说，判定单元124对视野检测单元123指示检测驾驶员的视野。视野检测单元123对视线方向检测单元122指示检测驾驶员的视线的朝向。视线方向检测单元122根据脸图像检测驾驶员的视线的朝向，将表示检测到的视线的朝向的信息提供给视野检测单元123。

在步骤S6中，视野检测单元123检测视野。具体来说，视野检测单元123检测以驾驶员的视线的朝向为基准的规定的水平方向的范围(以下称为视野范围)作为驾驶员的视野。

另外，在“高田一ほか、ドライバヘの危険認知支援方法に関する研究、日本、学術講演会前刷集No.4-06、社団法人自動車技術会、2006年5月、11乃至16ペ一ジ”(以下称为引用文件1)中，报告了以下实验结果，即，驾驶员对于检测LED(Light Emitting Diode，发光二极管)的发光所需要的时间，在LED的显示位置为相对于驾驶员的正面方向向左20度至向右20度的范围内的情况下，没有由于显示位置、颜色、LED的直径的不同而呈现显著的差别，在显示位置超出其范围时，由于显示位置、颜色、LED的直径的不同而呈现出显著的差别。

例如根据该实验结果，作为视野范围的一个例子，考虑设定为以驾驶员的视线的朝向为中心的-20度至+20度的范围。

而且，脸的朝向和视线的朝向的错位大的情况下，人的视野由于鼻子的影响等而变窄，所以也可以根据脸的朝向和视线的朝向的错位的大小来调整视野范围的宽度。例如，在驾驶员的脸的朝向和视线的朝向的水平方向的错位的大小为5度以上的情况下，也可以将视野范围设定为以驾驶员的视线的朝向为中心的-15度至+15度的范围。或者，主要考虑鼻子造成的视野的狭小，也可以在驾驶员的脸的朝向和视线的朝向的水平方向的错位的大小为5度以上的情况下，在驾驶员的视线相对于脸的朝向向左方向错位时，将视线范围设定为以驾驶员的视线的方向为基准的-20度至+10度的范围，在驾驶员的视线相对于脸的朝向向右方向错位的情况下，将视野范围设定为以驾驶员的视线的朝向为基准的-10度至+20度的范围。而且，也可以根据脸的朝向和视线的朝向的错位，更细微地调整视野范围的宽度。

或者，由于驾驶员的视野在本车的速度越快时变得越窄，所以也可以根据本车的速度来调整视野范围的宽度。例如，可以在本车的速度为40km以下的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-50度至+50度的范围，在时速为70km以下的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-32度至+32度的范围，在时速为100km以下的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-20度至+20度的范围，在时速超过了100km的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-10度至+10度的范围。

而且，以下，以下列情况为例进行说明。在驾驶员的脸的朝向和视线的朝向的水平方向的错位的大小不足5度的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-20度至+20度的范围，在驾驶员的脸的朝向和视线的朝向的水平方向的错位的大小为5度以上的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-15度至+15度的范围。

视野检测单元123将表示检测到的驾驶员的视野的信息提供给判定单元124。

在步骤S7中，判定单元124判定应注视的范围是否被包含在视野内。在被设定为驾驶中驾驶员应注视的范围的规定的范围包含在由视野检测单元123检测到的驾驶员的视野中的情况下，判定单元124判定为应注视的范围包含在视野中，并且处理进入步骤S8。而且，以下，将从基准方向起-10度至+10的范围设定为驾驶中驾驶员应注视的范围。

在步骤S8中，判定单元124判定应注视的范围是否偏向视野的端部附近。具体来说，在从驾驶员的视野的左端开始向右方向的规定的范围(以下称为左端视野范围)、以及从视野的右端开始向左方向的规定的范围(以下，称为右端视野范围)的任意一个中都未包含应注视的范围的情况下，判定单元124判定为应注视范围未偏向视野的端部附近，处理进入步骤S9。

而且，以下，以将左端视野范围设为从驾驶员的视野的左端开始向右方向20度为止的范围，将右端视野范围设为从驾驶员的视野的右端开始向左方向20度为止的范围的情况为例进行说明。

图3表示驾驶员的脸和视线的朝向的例子，图内的虚线的箭头表示作为本车的前方方向的基准方向，实线的箭头表示视线的朝向。而且，在后述的图4至图7中，也设为虚线的箭头表示基准方向，实线的箭头表示视线的朝向。

例如，如图3所示，在驾驶员的脸朝向0度的方向，并且驾驶员的视线也朝向0度的方向的情况下，驾驶员的视野为-20度到+20度的范围。这时，作为应注视范围的-10度到+10度未包含在作为左端视野范围的-20度到0度的范围、以及作为右端视野范围的+20度到0度的范围中的任意一个范围内，所以判定为应注视范围未偏向视野的端部附近，处理进入步骤S9。

在步骤S9中，判定单元124判定为未斜视而为安全的状态。判定单元124将表示未斜视而为安全的状态的信息提供给车辆控制单元114。之后，处理进入步骤S13。

另一方面，在步骤S8中，判定单元124在应注视范围被包含在左端视野范围以及右端视野范围的至少一个中时，判定为应注视范围偏向视野的端部附近，处理进入步骤S10。

例如，如图4所示，在驾驶员的脸朝向+15度的方向，并且驾驶员的视线朝向-5度的方向的情况下，驾驶员的视野为-20度到+10度的范围。这时，作为应注视范围的-10度到+10度被包含在作为右端视野范围的-10度到+10度的范围内，所以判定为应注视范围偏向视野的右端附近，处理进入步骤S10。

而且，例如如图5所示，在驾驶员的脸朝向+25度的方向，并且驾驶员的视线朝向+5度的方向的情况下，驾驶员的视野为-10度到+20度的范围。这时，作为应注视范围的-10度到+10度被包含在作为左端视野范围的-10度到+10度的范围内，所以判定为应注视范围偏向驾驶员的视野的左端附近，处理进入步骤S10。

在步骤S10中，判定单元124判定为虽然未斜视但是危险度高的状态。由于人的视力越接近视野的端部附近就越降低，所以判定单元124在应注视的范围偏向驾驶员的视野的端部附近的情况下，由于虽然未斜视，但是应注视的范围不能充分看到的可能性高，所以判定为危险度高的状态。判定单元124将表示虽然驾驶员未斜视但是危险度高的状态的信息提供给车辆控制单元114。之后，处理进入步骤S12。

另一方面，在步骤S7中，判定为应注视的范围未包含在视野内的情况下，处理进入步骤S11。

例如，如图6所示，驾驶员的脸朝向0度的方向，并且驾驶员的视线朝向-20度的方向的情况下，驾驶员的视野为从-35度到-5度的范围。这时，判定为作为应注视范围的-10度到+10度未被包含在驾驶员的视野中，处理进入步骤S11。

在步骤S11中，判定单元124判定为正在斜视。判定单元124将表示驾驶员正在斜视的信息提供给车辆控制单元114。

而且，在步骤S4中判定为脸的朝向为脸朝向判定范围以外的情况下，处理进入步骤S11，与驾驶员的视线的朝向和视野无关，在步骤S11中判定为正在斜视。

另外，在“中越聡ほか、ドライバ一の顔向きによる前方不注視の推定と警報反応時間の研究、日本、学術講演会前刷集No.58-06、社団法人自動車技術会、2006年5月、17乃至20ペ一ジ”(以下称为引用文件2)中，报告了以下实验结果，即，驾驶员在至视觉对象物的左右角度超过20度时，脸朝向角度超过眼球运动，移动脸的倾向变得显著。

例如，根据该实验结果，在将驾驶员的脸和视线的朝向的错位的最大值认为是20度的情况下，在驾驶员的脸朝向比-25度更左方向时，驾驶员的视线的朝向比-5度更向左方向，驾驶员的视野为比+10度更向左方向的范围。因此，在驾驶员的脸更朝比-25度更向左方向的情况下，作为应注视范围的-10度至+10度的范围不包含在驾驶员的视野中。同样，在驾驶员的脸朝向比+25度更右方向的情况下，驾驶员的视线的朝向比+5度更向右方向，驾驶员的视野为比-10度更右方向的范围。因此，在驾驶员的脸朝向比+25度更右方向的情况下，作为应注视范围的-10度至+10度的范围不被包含在驾驶员的视野中。

因此，作为脸朝向判定范围的一个例子，考虑设定为从基准方向开始-25度至+25度的范围。

这时，例如如图7所示，在驾驶员的脸朝向+30度的方向的情况下，由于驾驶员的脸的朝向不包含在脸朝向判定范围内，所以被判定为正在斜视。而且，在驾驶员的脸朝向+30度的方向的情况下，按照引用文献2所示的实验结果，驾驶员的视线的朝向由于被设想为即使朝向最左方向也仅到+10度为止，所以驾驶员的视野被设想为即使位于最左也是从-5度到+25度的范围。即，在驾驶员的脸朝向+30度的方向的情况下，设想为即使驾驶员的视线朝向了最左方向，应注视的范围也不包含在视野内。

在步骤S12中，车辆控制单元114进行与斜视对应的处理。例如，车辆控制单元114在驾驶员的斜视持续了规定的第1时间以上，或者虽然未斜视，但是危险度高的状态持续了比第1时间更长的规定的第2时间以上的情况下，在本车上设置的显示装置上显示对驾驶员促使注意的警告画面，或者从本车上设置的扬声器中输出促使注意的警报。

在步骤S13中，驾驶支持装置101判定是否结束处理。在判定出不结束处理的情况下，处理返回步骤S3，重复执行步骤S3至步骤S13的处理，直至在步骤S13中判定为结束处理。

另一方面，在步骤S13中，例如在停止了本车的发动机时，驾驶支持装置101判定为结束处理，驾驶支持处理结束。

如上所述，不仅通过驾驶员的脸或者视线的朝向，还利用驾驶员的视野来检测斜视，从而可以更准确地检测斜视。

而且，在本发明的实施方式中，作为检测脸的朝向和视线的朝向的方法可以使用以往的方法，由于不需要进行其它复杂的处理，所以可以简单地提高斜视的检测精度。

而且，在以上的说明中，表示了检测驾驶车辆的驾驶员的斜视的例子，但是本发明除了上述的例子外，还可以应用在例如检测驾驶或者操作电车、航空器、船舶等各种交通工具的人、操作工作机械等装置的人等需要注视规定的方向的人的斜视的情况。

而且，在判定是否正在斜视的情况下，也可以考虑脸朝向脸朝向判定范围外的时间、或者应注视范围未包含在视野内的状态所持续的时间。这时，也可以根据本车的速度、脸或者视线的方向等来调整用于判定的时间。

而且，在本发明的实施方式中，检测脸和视线的朝向的方法不限于利用图像的方法，例如也可以通过安装在驾驶员的头部的传感器等来进行检测。

上述的一连串的处理既可以通过硬件来执行，也可以通过软件来执行。在通过软件来执行一连串的处理的情况下，构成该软件的程序从程序记录介质被安装到被组装为专用硬件的计算机、或者通过安装各种程序而能够执行各种功能的例如通用的个人计算机等中。

图8是表示通过程序来执行上述一连串处理的计算机硬件的结构例的方框图。

在计算机中，CPU(Central Processing Unit，中央处理单元)301、ROM(Read Only Memory，只读存储器)302、RAM(Random Access Memory，随机存储器)303通过总线304相互连接。

在总线304上还连接有输入输出接口305。在输入输出接口305上连接有：由键盘、鼠标、麦克风等构成的输入单元306；由显示器、扬声器等构成的输出单元307；由硬盘或非易失性的存储器等构成的存储单元308；由网络接口等构成的通信单元309；以及驱动由磁盘、光盘、光磁盘或者半导体存储器等的可拆卸的介质311的驱动器310。

在如上构成的计算机中，CPU301例如通过将存储在存储单元308中的程序经由输入输出接口305和总线304装载到RAM303中执行来进行上述一连串的处理。

计算机(CPU301)执行的程序例如记录在作为由磁盘(含软盘)、光盘(CD-ROM(Compact disc-Read Only Memory)，DVD(Digital Versatile Disc)等)，光磁盘或者半导体存储器等构成的组件(package)介质的可拆卸介质311中，或者经由局域网、因特网、数字卫星广播等有线或者无线的传播介质来提供。

于是，程序可以通过将可拆卸介质311安装在驱动器310中，经由输入输出接口305安装到存储单元308。而且，程序可以经由有线或者无线的传播介质，通过通信单元309接收，并且安装到存储单元308中。另外，程序也可以预先安装在ROM302或者存储单元308中。

而且，计算机执行的程序既可以是按照本说明书中说明的顺序按时间顺序执行处理的程序，也可以并行地、或者按照进行调用时等的必要的定时来进行处理的程序。

而且，本发明的实施方式不限于上述的实施方式，在不脱离本发明的要旨的范围内可以进行各种变更。

Claims (6)

1、一种斜视检测装置，包括：

视野检测单元，检测以人的视线的朝向为基准的第1范围作为所述人的视野；

判定单元，根据检测到的所述人的视野，判定所述人是否正在斜视。

2、如权利要求1所述的斜视检测装置，

所述视野检测单元根据所述人的脸的朝向和视线的朝向的错位大小来调整所述第1范围的宽度。

3、如权利要求1所述的斜视检测装置，

所述视野检测单元根据所述人驾驶的交通工具的速度，调整所述第1范围的宽度。

4、如权利要求1所述的斜视检测装置，

在所述人的脸的水平方向的朝向相对于规定的基准方向超过第2范围的情况下，所述判定单元判定为正在斜视，而与所述人的视线的朝向以及视野无关。

5、一种斜视检测方法，包括：

视野检测步骤，检测以人的视线的朝向为基准的规定的范围作为所述人的视野；

判定步骤，根据检测到的所述人的视野，判定所述人是否正在斜视。

6、一种程序，使计算机执行包含以下步骤的处理，

视野检测步骤，检测以人的视线的朝向为基准的规定的范围作为所述人的视野；

判定步骤，根据检测到的所述人的视野，判定所述人是否正在斜视。

Images