CN107405121B

CN107405121B - 用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法和装置

Info

Publication number: CN107405121B
Application number: CN201680014637.3A
Authority: CN
Inventors: F.武尔夫
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-03-10
Filing date: 2016-01-05
Publication date: 2021-03-12
Anticipated expiration: 2036-01-05
Also published as: EP3268942A1; CN107405121A; DE102015204247A1; EP3268942B1; US20180240319A1; JP2018511376A; WO2016142074A1; US10311698B2; JP6754368B2

Abstract

本发明涉及一种用于对车辆的驾驶员（115）的疲劳状态和/或睡觉状态进行识别的方法。所述方法包括读入第一眼睛睁开信号（210）和第二眼睛睁开信号（220）的步骤，其中所述第一眼睛睁开信号（210）代表着所述车辆的驾驶员（115）的左眼（125a）的眼睛睁开程度和/或由其推导的信号，并且所述第二眼睛睁开信号（220）代表着所述车辆的驾驶员（115）的右眼（125b）的眼睛睁开程度和/或由其推导的信号。此外，所述方法包括对所述第一和/或第二眼睛睁开信号（210、220）的有效性进行识别的步骤，用于在所述第一眼睛睁开信号（210）符合第一标准时将所述第一眼睛睁开信号（245）识别为有效，并且/或者用于在所述第二眼睛睁开信号（220）符合第二标准时将所述第二眼睛睁开信号（250）识别为有效。最后，所述方法包括在使用所述被识别为有效的第一眼睛睁开信号（245）和/或所述被识别为有效的第二眼睛睁开信号（250）的情况下确定所述车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态的步骤。

Description

用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法和装置

技术领域

本发明涉及一种用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法、涉及一种相应的装置并且涉及一种相应的计算机程序。

背景技术

驾驶时的睡意和微睡经常导致危险的情况或者事故。如果驾驶员超过某种睡意极限值，睡意识别装置比如就输出警告（=咖啡杯-符号）。

但是，这种警告可能会被驾驶员所忽视。微睡在许多睡意协助***中没有被识别为独立的危险并且由此没有进行及时的警告。

睡意识别***间接地从驾驶行为中对驾驶员的疲劳进行估计。微睡作为独立的危险源未被重视。

同样已知一些***，这些***能够基于视频摄像设备的数据来识别眼睛的当前的睁开程度（比如SmartEye、Facelab等等）。这用相应的图像处理算法来进行。在此分别为两只眼睛探测眼睛睁开水平。

发明内容

面对这种背景，用这里所介绍的方案来介绍一种用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法、此外介绍一种使用这种方法的装置以及最后介绍一种相应的计算机程序。有利的设计方案从相应的实施例和以下说明书中产生。

这里所介绍的方案提供用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法，其中所述方法具有以下步骤：

-读入第一眼睛睁开信号和第二眼睛睁开信号，其中所述第一眼睛睁开信号代表着所述车辆的驾驶员的左眼的眼睛睁开程度和/或由其推导的信号，并且所述第二眼睛睁开信号代表着所述车辆的驾驶员的右眼的眼睛睁开程度和/或由其推导的信号；

-对所述第一和/或第二眼睛睁开信号的有效性进行识别，用于在所述第一眼睛睁开信号符合第一标准时将所述第一眼睛睁开信号识别为有效，并且/或者用于在所述第二眼睛睁开信号符合第二标准时将所述第二眼睛睁开信号识别为有效；并且

-在使用所述被识别为有效的第一眼睛睁开信号和/或所述被识别为有效的第二眼睛睁开信号的情况下确定所述车辆的驾驶员的疲劳状态和/或睡觉状态。

“眼睛睁开程度”比如能够是指眼皮以多大的百分比遮住眼睛的数值或者不过也能够是指下眼皮与上眼皮相对于彼此的绝对的间距。“由所述眼睛睁开程度推导的信号”比如能够是眼睛睁开速度（也就是眼皮的运动的速度）或者眼睛睁开加速度（也就是说眼皮的运动的加速度）。比如这种信号能够在确定所述眼睛睁开程度时通过对眼皮的运动进行第一或者第二求导获取。此外，能够为所述第一和/或第二眼睛睁开信号分配属性，该属性将相关的眼睛睁开信号标识为有效。这样的被标识为有效的眼睛睁开信号符合相应的标准。而后，在确定所述车辆的驾驶员的可能状态和/或睡觉状态时，使用所述被识别为有效的第一和/或第二眼睛睁开信号。

这里所提出的方案基于以下认识：如果将经过核实的第一和/或第二眼睛睁开信号用于进行这样的识别，那就能够对驾驶员的疲劳和/或睡觉状态进行十分稳健的识别。由此能够排除或者至少尽可能地防止：由于在检测眼睛或者眼皮的参数时产生的测量误差而获取用于驾驶员的疲劳和/或睡觉状态的错误的数值。这里所提出的方案由此提供明显更加稳健地并且更加可靠地对驾驶员的疲劳和/或睡觉状态进行识别的优点，由此能够抑制发给驾驶员的错误的或者不正确的警告。这引起通过驾驶员对驾驶员的疲劳识别或者睡觉识别的接受程度的显著提高，使得通过驾驶员以更大的可能性认真对待相应的警告。

此外，有利的是这里所介绍的方案的一种实施方式，在所述方案中，如果代表着左眼和/或右眼的眼睛睁开速度的数值具有至多与预先确定的眼睛睁开速度阈值相当的数值，则在所述识别的步骤中将所述第一和/或第二眼睛睁开信号识别为有效。这里所介绍的方案的这样的实施方式提供以下优点：虽然在用于对眼睛睁开程度进行检测的摄像设备振动时检测到眼皮的很快的运动，但是所述很快的运动不是通过眼皮的实际上的运动所引起而是通过摄像设备的较快的振动运动所引起，但是通过与一个或者复数个眼睛睁开速度阈值的比较能够识别，这种较快的运动不可能是眼睛部分的自然的运动。由此明显地提高对于眼睛运动或者眼睛的部分的运动的识别的稳健性，所述稳健性由此在进行相应的疲劳识别或者睡觉识别时降低易错性。

此外，有利的是这里所介绍的方案的一种实施方式，在该方案中在所述读入的步骤中此外读入所述车辆的驾驶员的头部的头部运动速度，其中，如果所述头部运动速度具有至多与预先确定的头部运动速度阈值相当的数值，则在所述识别的步骤中将所述第一和/或第二眼睛睁开信号识别为有效。这里所介绍的方案的这样的实施方式基于以下认识：比如在不平的地带上行驶时驾驶员的头部剧烈摇晃，使得对于实际上的眼睛睁开程度的检测由此可能有错误。如果所述头部运动速度至多达到预先确定的阈值，则将所述眼睛睁开信号识别为有效，由此能够在出现剧烈的头部摇晃时为了确定驾驶员的疲劳或者睡觉状态而抑制所述眼睛睁开信号的这样的可能有错误的数值。

此外，有利的是这里所介绍的方案的一种实施方式，在该方案中在所述读入的步骤中此外读入所述车辆的驾驶员的面部的定向，其中，如果所述定向具有处于预先确定的定向角度范围之内的数值，则在所述识别的步骤中将所述第一和/或第二眼睛睁开信号识别为有效。这里所介绍的方案的这样的实施方式提供以下优点：在识别眼睛睁开程度时能够识别由于头部的大幅度的扭转引起的可能的错误，从而为了对所述车辆的驾驶员进行疲劳识别或者睡觉状态识别而尽可能地不应该使用在存在头部的这样的大幅度的扭转的时刻的眼睛睁开信号。

如果按照这里所介绍的方案的另一种实施方式在所述确定的步骤中在使用所述被识别为有效的第一和/或第二眼睛睁开信号的情况下确定总眼睛睁开信号，则能够特别可靠地识别驾驶员的疲劳或者睡觉状态，其中在所述总眼睛睁开信号的基础上确定所述车辆的驾驶员的疲劳状态和/或睡觉状态。这里所提出的方案的这样的实施方式提供以下优点：通过对于第二只眼睛的眼睛睁开程度的检测能够为第一只眼睛对在识别眼睛睁开程度时的较小的误差进行补偿。也能够考虑，如果所述第一与第二眼睛睁开信号之间的偏差大于预先确定的阈值，则根本不将所述眼睛睁开信号之一用于确定驾驶员的疲劳和/或睡觉状态，因为在这种对于大多数人来说通常出于人体构造上的原因不会出现的情况中，应该认为一只眼睛的眼睛睁开程度的测量是错误的。

按照这里所介绍的方案的另一种实施方式，能够在所述确定的步骤中将未被识别为有效的、用于确定所述车辆的驾驶员的疲劳状态和/或睡觉状态的眼睛睁开信号抛弃，并且/或者其中对被识别为有效的第一眼睛睁开信号和被识别为有效的第二眼睛睁开信号求平均，用于确定驾驶员的疲劳状态和/或睡觉状态。这里所介绍的方案的这样的实施方式提供以下优点：稳健的并且同时在技术上十分简单的并且由此成本低廉的、用于确定所述车辆的驾驶员的眼睛睁开程度或者由其所推导的信号的可行方案以及由此简单的、用于识别所述车辆的驾驶员的疲劳和/或睡觉状态的可行方案。

此外，能够考虑这里所介绍的方案的一种实施方式，在该实施方式中在所述确定的步骤中对在下述时间间隔范围内的第一和/或第二眼睛睁开信号进行内插（Interpolieren），在所述时间间隔之内所述第一和/或第二眼睛睁开信号没有被识别为有效。这里所介绍的方案的这样的实施方式也提供以下优点：在技术上容易实现的并且同时稳健的、用于识别用于一只或者两只眼睛的眼睛睁开程度或者由其推导的信号的变型方案。

此外，有利的是在这里所提出的方案的一种实施方式，在所述方案中在所述确定的步骤中将被识别为有效的、用于确定所述车辆的驾驶员的疲劳状态和/或睡觉状态的第一和/或第二眼睛睁开信号的区段抛弃，如果所述区段比预先确定的持续时间阈值短。特别可靠的是这里所介绍的方案的一种实施方式，在所述方案中将眼睛睁开信号的时段用于识别所述车辆的驾驶员的疲劳和/或睡觉状态，如果所述眼睛睁开信号的这个时段比预先确定的持续时间阈值长。由此保证，短时间的测量误差没有导致对驾驶员的错误的警告，错误的警告会降低通过驾驶员对这样的警告的将来的接受程度。

为了在确定所述车辆的驾驶员的疲劳和/或睡觉状态时能够尽可能好地对眼睛睁开程度的短时间的测量误差进行补偿，按照这里所介绍的方案的另一种实施方式也能够在所述确定的步骤中使所述被识别为有效的第一和/或第二眼睛睁开信号和/或总眼睛睁开信号平滑。

此外，能够考虑这里所介绍的方案的一种实施方式，在所述方案中在所述识别的步骤中所述第一和/或第二眼睛睁开信号代表着比预先确定的眼睛睁开程度阈值大的眼睛睁开程度。这样的实施方式也能够非常稳健地识别疲劳和/或睡觉状态，因为基于生理上的情况眼睛至少暂时地如此睁开，从而在较短的时段中也能够感知环境。处于所述眼睛睁开程度阈值之下的眼睛睁开的持续的程度由此在生理学上少有可能并且能够被视为误测量，由此不需要将这样的信号用于确定驾驶员的疲劳和/或睡觉状态。

此外，这里所介绍的方案提供一种用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的装置，其中所述装置具有以下特征：

-用于读入第一眼睛睁开信号和第二眼睛睁开信号的接口，其中所述第一眼睛睁开信号代表着所述车辆的驾驶员的左眼的眼睛睁开程度和/或由其推导的信号，并且所述第二眼睛睁开信号代表着所述车辆的驾驶员的右眼的眼睛睁开程度和/或由其推导的信号；

-用于对所述第一和/或第二眼睛睁开信号的有效性进行识别的单元，用于在所述第一眼睛睁开信号符合第一标准时将所述第一眼睛睁开信号识别为有效，并且/或者用于在所述第二眼睛睁开信号符合第二标准时将所述第二眼睛睁开信号识别为有效；以及

-用于在使用所述被识别为有效的第一眼睛睁开信号和/或所述被识别为有效的第二眼睛睁开信号的情况下确定所述车辆的驾驶员的疲劳状态和/或睡觉状态的单元。

这里所介绍的方案由此提供一种装置，该装置构造用于在相应的机构中实施、操控或者实现这里所介绍的方法的一种变型方案的步骤。通过本发明的这种以装置的形式实现的实施变型方案也能够快速而有效地解决本发明的任务。

“装置”在此能够是指电器件，该电器件处理传感器信号并且据此输出控制信号和/或数据信号。所述装置能够具有接口，所述接口能够以硬件方式并且/或者以软件方式来构造。在以硬件方式构造时，所述接口比如能够是所谓的***ASIC的部件，该部件包含所述装置的极为不同的功能。但是也可能的是，所述接口是自身的集成的开关电路或者至少部分地由分立的结构元件所构成。在以软件方式构造时，所述接口能够是软件模块，所述软件模块除了其它的软件模块之外比如也存在于微控制器上。

也有利的是一种具有程序代码的计算机程序产品或者计算机程序，所述程序代码能够被保存在机器可读的载体或者存储介质、像比如半导体存储器、硬盘存储器或者光学存储器上，并且尤其在所述程序产品或者程序在计算机或者装置上被执行时用于实施、实现并且/或者操控按前面所描述的实施方式之一所述的方法的步骤。

附图说明

下面借助于附图来示范性地对这里所介绍的方案进行详细解释。附图中：

图1示出了车辆的框图，该车辆具有用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的装置的一种实施例；

图2示出了用于对车辆的驾驶员的疲劳状态或者睡觉状态进行识别的***的框图，该***具有按照本发明的一种实施例的、用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的装置；

图3示出了用于对车辆的驾驶员的疲劳状态和/或睡意状态进行识别的***的更为详细的框图；并且

图4示出了一种按照本发明的实施例的方法的流程图。

在以下对本发明的有利的实施例所作的说明中，为在不同的附图中示出的并且类似地起作用的元件使用相同的或者类似的附图标记，其中放弃对于这些元件的重复的描述。

具体实施方式

图1示出了车辆100的框图，该车辆具有用于对该车辆100的驾驶员115的疲劳状态和/或睡觉状态进行识别的装置110的一种实施例。所述装置110在此与摄像设备120相连接，该摄像设备检测驾驶员115的眼睛125、尤其是左眼和/或右眼125的眼皮130的位置并且从中获取相应的眼睛125的眼睛睁开程度。

图2示出了用于对所述车辆的驾驶员115的疲劳状态或者睡觉状态进行识别的***200的框图，该***具有用于对车辆的驾驶员115的疲劳状态和/或睡觉状态进行识别的装置110。在此，由摄像设备120将第一眼睛睁开信号210发送给用于进行读入的接口215，所述第一眼睛睁开信号代表着左眼125a的眼睛睁开程度或者由其推导的信号。所述眼睛睁开信号在此能够代表着左眼125a的眼皮130的闭合的、在完全睁开的眼皮130与完全闭合的眼皮130之间的比例。比如如果通过所述摄像设备120来检测所述眼皮130的位置的时间上的曲线并且相应地对其进行微分，那么，比如所述第一眼睛睁开信号210也能够代表着左眼125a的、由眼睛睁开程度推导的信号、像比如眼睛睁开速度或者眼睛睁开加速度。

类似地，由所述摄像设备120将第二眼睛睁开信号220传输给用于进行读入的接口215，但是现在所述第二眼睛睁开信号与所述第一眼睛睁开信号310相类似地代表着右眼125b的眼睛睁开程度或者由其推导的信号。所述眼睛睁开程度在此同样能够代表着右眼125b的眼皮130的闭合的、在完全睁开的眼皮130与完全闭合的眼皮130之间的比例。比如如果通过所述摄像设备120来检测所述眼皮130的位置的时间上的曲线并且相应地对其进行微分，那么，比如所述第二眼睛睁开信号220同样也能够代表着右眼125b的、由眼睛睁开程度推导的信号、像比如眼睛睁开速度或者眼睛睁开加速度。

此外，用于对驾驶员115的可能状态和/或睡觉状态进行识别的装置110具有用于进行识别的单元230，由所述接口215向所述单元传输相应所读入的第一眼睛睁开信号210和第二眼睛睁开信号220。在所述用于进行识别的单元230中，如果所述第一眼睛睁开信号210符合下面还要详细描述的第一标准，则将其识别为有效。在这种情况下，向用于进行确定的单元240传输被识别为有效的第一眼睛睁开信号245。此外，在所述用于进行识别的单元230中，如果所述第二眼睛睁开信号220以类似的方式符合下面同样还要详细描述的第二标准，则也将其识别为有效。在这种情况下，向所述用于进行确定的单元240传输被识别为有效的第二眼睛睁开信号250。

所述第一标准在此能够与所述第二标准相同。但是也能够设想，所述第一标准不同于所述第二标准，比如如果对于左眼和右眼来说存在着不同的人体构造上的比例。

而后，由所述用于进行确定的单元240在使用所述被识别为有效的第一眼睛睁开信号245和/或所述被识别为有效的第二眼睛睁开信号250的情况下确定所述车辆100的驾驶员115的可能状态和/或睡觉状态，并且输出相应的信号260。这种信号260而后代表着驾驶员115的疲劳状态和/或睡觉状态，并且比如能够用于在所述车辆100中输出报警信号。

这里所介绍的方案代表着用于疲劳识别***和微睡识别***的眼睛睁开水平的识别质量的改进。在假设在行驶期间两只眼睛125仅仅一起（并且不是彼此分开地）运动的情况下，本发明的目标是，改进稳健性和眼睛睁开水平的识别质量。

在此要动用左眼125a和右眼125b的各个信号并且计算共同的眼睛睁开水平和可能另外的参数。这里所介绍的方案也能够被称为眼睛闭合预处理（Eye ClosurePreprocessing：ECP），该方案如在图3中作为框图详细示出的那样划分成一个用于对睡意和/或微睡进行识别的总***。

图3示出了用于对车辆的驾驶员115的疲劳状态和/或睡意状态进行识别的***200的更为详细的框图。在此，首先在单元310中实施眼睛闭合预处理（ECP），在进行眼睛闭合预处理时比如读入左眼和右眼的眼睛睁开程度，其中检测相应的输出信号、像比如经过低通滤波的眼睛睁开程度、眼睛睁开加速度、眼睛睁开速度和/或相关的眼睛睁开信号的有效性。就此而言，图3的单元310相当于按照图2的装置110的单元215和230。

在所述用于进行确定的单元240的第一种变型方案中，现在能够实施微睡-识别，在所述微睡识别中在由所述单元310提供的信号的基础上识别，是否在实际上存在驾驶员115的微睡行为并且以第一子信号260a来输出所述微睡行为。

在所述用于进行确定的单元240的第二种变型方案中，现在能够对驾驶员115进行疲劳分类。为此对驾驶员的疲劳进行分类并且以第二子信号260b来输出相应的信息。

参照图2已经提到第一和第二标准，所述第一和/或第二标准应该用于将所述第一或者第二眼睛睁开信号识别为有效。接下来说明一些能够用作这样的标准的可行方案。在此，为了进行更为简单的描述，仅仅介绍所述标准本身，所述标准作为第一和/或第二标准能够用在所述用于进行识别的单元230中。首先要说明，在所述用于进行识别的单元230的不同的实施例中能够使用不同的、用于所述第一和第二标准的变型方案。但是也能够考虑，将相同的标准用作第一和第二标准。

以下有效性标准能够作为第一和/或第二标准（比如对于右眼和左眼来说分别分开）来测评。这些标准能够在产生的产物中相应地一起使用、不过也分开地使用：

-可用性：所述信号（这里是相应的眼睛睁开信号210或者220）应该无论如何可用；

-质量：由图像处理机构（这里是所述摄像设备210或者所述用于进行识别的单元230）报告的、用于对相应的眼睛进行识别的质量信号210、220、245或者250应该代表着高于特定的极限值（比如＞0.2）的眼睛睁开程度；

-眼睛睁开速度：在有些情况中，在图像中所识别的眼皮130在两条曲线之间来回跳动。这种行为能够（在所述眼睛睁开信号210或者220中）比较容易地通过信号值的来回跳动来识别。在此，所产生的所测量的眼睛速度大于在生理学上最大的眼皮速度。一旦这种眼皮速度由此超过特定的极限值，那就将相应的眼睛的眼睛睁开程度或者眼睛睁开信号的所属的范围标记为无效。否则，也就是如果所述眼皮速度由此低于特定的极限值，则将所述相应的眼睛的眼睛睁开程度或者眼睛睁开信号的所属的范围标记为有效；

-头部姿势：所产生的眼睛闭合信号或者眼睛睁开信号210或者220只能在特定的头部姿势（比如向右或者向左转头小于45°）之内使用。这些头部姿势能够借助于驾驶员115的面部的定向来识别，并且能够将特定的（角度）范围标记为无效或者有效；

-头部速度：恰好对于头部运动的较高的动态来说（比如在具有大量的坑洼的车行道上行驶时），所述图像处理机构在有些情况中不能使所述眼睛睁开信号210或者220足够好地跟踪驾驶员115的眼睛125的实际上的位置，因而在对眼睛睁开程度进行测评时可能产生有错误的结果，所述有错误的结果应该归因于眼睛的区域没有足够快地通过车辆100中的测评单元来跟踪。在这里，用于头部的速度的极限值的使用是合适的。一旦所述头部的速度超过特定的极限值，那就将所述眼睛睁开信号的所属的范围标记为无效，或者正好相反将所述眼睛睁开信号的下述（比如时间上的）范围识别有效，在所述范围中驾驶员115的头部的运动速度小于所述极限值。

此外，也能够将两只眼睛的有效的眼睛睁开信号合并成一个（总）信号。所产生的（总）眼睛睁开信号而后能够根据左眼和右眼的眼睛睁开信号的有效性比如以如下方式来确定：

-如果所述两个（眼睛睁开）信号是有效的，那就形成一个（可能经过加权的）平均值。作为加权因数，这里比如所述图像处理机构的质量信号是合适的。为此，能够为被识别为有效的第一和/或第二眼睛睁开信号分配质量参数，该质量参数代表着所述眼睛睁开信号的可靠性的程度或者数值的有效性，并且该质量参数而后也能够在形成所述平均值时用于进行加权；

-如果仅仅一个（眼睛睁开）信号是有效的（左眼或者右眼），那就（仅仅）使用这个（眼睛睁开）信号；

-如果没有（眼睛睁开）信号是有效的，那也将所产生的经过平均的眼睛闭合信号或者用于所述用于进行确定的单元240的相应的输入信号或者相应的输入信号245或者250宣告为无效或者不宣告为无效。

对于如此计算的总信号和/或相应的眼睛睁开信号210或者220和/或被识别有效的相应的眼睛睁开信号245或者250来说，能够考虑以下另外的处理步骤：

-内插短的无效的范围（比如t_无效＜50ms）；

-除去短的有效的范围（比如t_有效＜1.5s）；

-信号的平滑（比如用卷积平滑滤波器（Savitzky-Golay Filter））。

用所计算的并且经过平滑的眼睛睁开信号能够在预处理的范围内计算另外的信号：

-通过对所述眼睛睁开信号进行求导和/或对所述眼睛睁开程度的时间上的特性进行求导的眼皮130的速度；

-通过对所述速度信号进行求导和/或对所述眼睛睁开程度的时间上的特性进行求导（尤其是第二求导）的所述眼皮130的加速度；

-比如借助于卷积平滑滤波器的当前的眼睛睁开水平（=在没有考虑到新眨眼的情况下的眼睛睁开）。

能够将如此计算的信号245或者250用于探测微睡和睡意。

图4示出了一种用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法400的流程图。所述方法400包括读入第一眼睛睁开信号和第二眼睛睁开信号的步骤410，其中所述第一眼睛睁开信号代表着所述车辆的驾驶员的左眼的眼睛睁开程度和/或由其推导的信号，并且所述第二眼睛睁开信号代表着所述车辆的驾驶员的右眼的眼睛睁开程度和/或由其推导的信号。此外，所述方法400包括对所述第一和/或第二眼睛睁开信号的有效性进行识别的步骤420，用于在所述第一眼睛睁开信号符合第一标准时将所述第一眼睛睁开信号识别为有效，并且/或者用于在所述第二眼睛睁开信号符合第二标准时将所述第二眼睛睁开信号识别为有效。最后，所述方法400包括在使用所述被识别有效的第一眼睛睁开信号和/或所述被识别为有效的第二眼睛睁开信号的情况下确定所述车辆的驾驶员的疲劳状态和/或睡觉状态的步骤430。

仅仅示范性地选择了所描述的并且在附图中示出的实施例。不同的实施例能够完全或者关于各个特征彼此组合。一种实施例也能够通过另一种实施例的特征来得到补充。

此外，这里所介绍的方法步骤能够重复地并且以与所描述的顺序不同的顺序来执行。

如果一种实施例在第一特征与第二特征之间包括“和/或”联结，则应该对此解读如下：所述实施例按照一种实施方式不仅具有所述第一特征而且具有所述第二特征，并且按照另一种实施方式要么仅仅具有所述第一特征要么仅仅具有所述第二特征。

Claims

1.用于对车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态进行识别（420）的方法（400），其中所述方法（400）具有以下步骤：

-读入（410）第一眼睛睁开信号（210）和第二眼睛睁开信号（220），其中所述第一眼睛睁开信号（210）代表着所述车辆（100）的驾驶员（115）的左眼（125a）的眼睛睁开程度和/或由其推导的信号，并且所述第二眼睛睁开信号（220）代表着所述车辆（100）的驾驶员（115）的右眼（125b）的眼睛睁开程度和/或由其推导的信号；

-对所述第一和/或第二眼睛睁开信号（210、220）的有效性进行识别（420），用于在所述第一眼睛睁开信号（210）符合第一标准时将所述第一眼睛睁开信号（245）识别为有效，并且/或者用于在所述第二眼睛睁开信号（220）符合第二标准时将所述第二眼睛睁开信号（250）识别为有效；

-在使用所述被识别为有效的第一眼睛睁开信号（245）和/或所述被识别为有效的第二眼睛睁开信号（250）的情况下，确定（430）所述车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态，

在所述读入（410）的步骤中还读入所述车辆（100）的驾驶员（115）的面部的定向，其中，如果所述定向具有处于预先确定的定向角度范围之内的数值，则在所述识别（420）的步骤中将所述第一和/或第二眼睛睁开信号（210、220）识别为有效，并且

如果代表着所述左眼（125a）和/或右眼（125b）的眼睛睁开速度的数值具有不超过预先确定的眼睛睁开速度阈值的数值，则在所述识别（420）的步骤中将所述第一和/或第二眼睛睁开信号（210、220）识别为有效。

2.按权利要求1所述的方法（400），其特征在于，在所述读入（410）的步骤中还读入所述车辆（100）的驾驶员（115）的头部的头部运动速度，其中，如果所述头部运动速度具有至多与预先确定的头部运动速度阈值相同的数值，则在所述识别（420）的步骤中将所述第一和/或第二眼睛睁开信号（210、220）识别为有效。

3.按权利要求1或2所述的方法（400），其特征在于，在所述确定（430）的步骤中在使用所述被识别为有效的第一和/或第二眼睛睁开信号（245、250）的情况下确定总眼睛睁开信号，其中在所述总眼睛睁开信号的基础上确定所述车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态。

4.按权利要求1或2所述的方法（400），其特征在于，在所述确定（430）的步骤中将未被识别为有效的、用于确定（430）所述车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态的眼睛睁开信号（245、250）抛弃，并且/或者其中对被识别为有效的第一眼睛睁开信号（245）和被识别为有效的第二眼睛睁开信号（250）求平均，用于确定驾驶员（115）的疲劳状态和/或睡觉状态。

5.按权利要求1或2所述的方法（400），其特征在于，在所述确定（430）的步骤中，在下述时间间隔之内对所述被识别为有效的第一和/或第二眼睛睁开信号（245、250）进行内插，在所述时间间隔之内所述第一和/或第二眼睛睁开信号（210、220）没有被识别为有效。

6.按权利要求1或2所述的方法（400），其特征在于，如果被识别为有效的、用于确定（430）所述车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态的第一和/或第二眼睛睁开信号（245、250）的区段比预先确定的持续时间阈值短，则在所述确定（430）的步骤中将所述区段抛弃。

7.按权利要求3所述的方法（400），其特征在于，在所述确定（430）的步骤中使所述被识别为有效的第一和/或第二眼睛睁开信号（245、250）和/或所述总眼睛睁开信号平滑。

8.按权利要求1或2所述的方法（400），其特征在于，在所述识别（420）的步骤中所述第一和/或第二眼睛睁开信号（210、220）和/或所述被识别为有效的第一和/或第二眼睛睁开信号（245、250）代表着比预先确定的眼睛睁开程度阈值大的眼睛睁开程度。

9.用于对车辆（100）的驾驶员（115）的疲劳状态和/或睡觉状态进行识别（420）的装置（110），所述装置构造用于在相应的单元（215、230、240）中实施、实现并且/或者操控按前述权利要求中任一项所述的方法（400）的所有步骤。

10.机器可读的存储介质，所述机器可读的存储介质具有在其上所保存的计算机程序，所述计算机程序被设立用于实施、实现并且/或者操控按权利要求1到8中任一项所述的方法（400）的所有步骤。