CN108369768A - 用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类的方法和装置以及用于检测车辆的乘客的困倦和/或微睡眠的方法和装置 - Google Patents

用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类的方法和装置以及用于检测车辆的乘客的困倦和/或微睡眠的方法和装置 Download PDF

Info

Publication number
CN108369768A
CN108369768A CN201680073129.2A CN201680073129A CN108369768A CN 108369768 A CN108369768 A CN 108369768A CN 201680073129 A CN201680073129 A CN 201680073129A CN 108369768 A CN108369768 A CN 108369768A
Authority
CN
China
Prior art keywords
eyes
data
open
passenger
data record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073129.2A
Other languages
English (en)
Other versions
CN108369768B (zh
Inventor
F.武尔夫
T.范多梅莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN108369768A publication Critical patent/CN108369768A/zh
Application granted granted Critical
Publication of CN108369768B publication Critical patent/CN108369768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Geometry (AREA)

Abstract

本发明涉及一种用于对车辆的乘客（104）的至少一只眼睛（202，242）的眼睛睁开数据（208）进行分类用于乘客（104）的困倦检测和/或微睡眠检测的方法。该方法包括：在滑动时间窗中的第一测量时间点生成第一眼睛睁开数据记录（220）的步骤，其中第一眼睛睁开数据记录（220）具有至少一个测量点（222），该测量点代表在第一测量时间点中乘客（104）的眼睛（202，242）的第一眼睛睁开程度和/或第一眼睑运动速度和/或第一眼睑运动加速度；在所述滑动时间窗中的第二测量时间点检测第二眼睛睁开数据记录（228）的步骤，其中所述第二眼睛睁开数据记录（228）具有至少一个检测点（230），所述检测点代表在第二测量时间点中乘客（104）的眼睛（202，242）的第二眼睛睁开程度和/或第二眼睑运动速度和/或第二眼睑运动加速度；以及在使用所述至少一个测量点（222）和所述至少一个检测点（230）的情况下实施集群分析，用以至少将第一眼睛睁开数据记录（220）和/或第二眼睛睁开数据记录（228）分配给第一数据集群（236），以便对眼睛睁开数据（208）进行分类的步骤，其中第一数据集群（236）代表乘客（104）的眼睛（202，242）的睁开状态。

Description

用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类 的方法和装置以及用于检测车辆的乘客的困倦和/或微睡眠 的方法和装置
技术领域
本发明基于根据独立权利要求的前序部分的装置或方法。计算机程序也是本发明的主题。
背景技术
在驾驶时（am Steuer）困倦和微睡眠（Sekundenschlaf）经常导致危险情形或事故。当驾驶员超过一定的困倦极限值时，目前的困倦识别***输出警告。于是，在驾驶员的视野中渐显符号、例如咖啡杯，用于提示超过困倦极限值。
例如，现在成批制造（in Serie befindliche）的困倦识别***间接地从驾驶行为估计驾驶员的疲劳。同样，已知可以从视频摄像机的数据中识别眼睛的瞬时睁开程度的***。这利用相应的图像处理算法发生。在此，分别对于两只眼睛探测眼睛睁开水平。
WO 2014/031042 A1描述一种***，该***利用预定义的所建模的信号拟合（fittet）眼睛睁开信号，以便识别眨眼事件并从中推断出驾驶员的注意力。
WO 2006/092022描述一种***，该***使用针对“正常”眨眼事件的所谓参考幅度用于从眼睛睁开信号识别眨眼事件。
在该文献中，眨眼事件的特性和困倦之间的关系已经被讨论（参看Hargutt：DasLidschlussverhalten als Indikator für Aufmerksamkeits- und Müdigkeitsprozessebei Arbeitshandlungen, 2002）。
发明内容
在此背景下，利用这里介绍的方案介绍根据主权利要求所述的用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类的方法、用于检测车辆的乘客的困倦和/或微睡眠的方法、此外介绍使用所述方法的装置，以及最后介绍相应的计算机程序。通过在从属权利要求中提及的措施，在独立权利要求中说明的装置的有利改进和改善是可能的。
在滑动时间窗中检测眼睛睁开数据或眼睛睁开信号以及随后执行所述数据的集群分析使得能够改善车辆乘客的眼睛的眨眼特征的识别质量。
在一种改进方案中，在这里建议的构思包含用于计算瞬时眼睛睁开水平（简称AON或EON（英文为Eye Opening Niveau）的改善的方法。
介绍一种用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类用以乘客的困倦检测和/或微睡眠检测的方法，其中该方法具有以下步骤：
在滑动时间窗中的第一测量时间点生成第一眼睛睁开数据记录，其中所述第一眼睛睁开数据记录具有至少一个测量点，所述测量点代表在第一测量时间点中乘客的眼睛的第一眼睛睁开程度和/或第一眼睑运动速度和/或第一眼睑运动加速度;
在滑动时间窗中的第二测量时间点检测第二眼睛睁开数据记录，其中，所述第二眼睛睁开数据记录具有至少一个检测点，所述检测点代表在第二测量时间点中乘客的眼睛的第二眼睛睁开程度和/或第二眼睑运动速度和/或第二眼睑运动加速度;和
在使用所述至少一个测量点和所述至少一个检测点的情况下实施集群分析，用以至少将所述第一眼睛睁开数据记录和/或第二眼睛睁开数据记录分配给第一数据集群，以便对眼睛睁开数据进行分类，其中所述第一数据集群代表乘客的眼睛的睁开状态。
眼睛睁开数据可以包括在一时间点眼睛的眼睛睁开程度的数据以及眼睛的眼睑的运动的速度和/或加速度的数据。眼睛睁开程度可以是以米或厘米或者毫米为单位要确定的、在第一或第二测量时间点从乘客的眼睛的上眼睑至下眼睑的距离。眼睛睁开数据可以以信号的形式在多个测量时间点上被提供。对眼睛睁开数据进行分类可以被理解为将眼睛睁开数据分配给眼睛状态的预定类别。例如，眼睛的状态可以被区分为睁开的或闭合的或区分成睁开阶段或闭合阶段。第一或第二眼睛睁开数据记录可以代表乘客的眼睛的状态的所测定或检测的并且在坐标系中可表示的值。第一眼睛睁开数据记录可以包括由乘客的眼睛的第一眼睛睁开程度、第一眼睑运动速度和第一眼睑运动加速度的数据组成的合适组合。同样内容可以类似地适用于第二眼睛睁开数据记录。测量点可以构成用于表示第一眼睛睁开数据记录的在坐标轴上的值。相应地，检测点可以构成用于表示第二眼睛睁开数据记录的在坐标轴上的值。第二测量时间点可以在滑动时间窗中在时间上位于第一测量时间点之后。集群分析可以被理解为用于在眼睛睁开数据记录的数据库存中发现相似结构的方法。集群分析可以例如是密度集群分析。这里，数据的给定相似结构可以通过在坐标系中数据的集群构成、也即通过在坐标空间中将数据分组成数据集群来代表。利用眼睛的睁开状态可以表明：乘客的眼睛睁开或闭合到什么程度。
该方法可以例如以软件或硬件或以由软件和硬件组成的混合形式例如在控制设备或装置中实现。
根据一个实施方式，在生成的步骤中，第一眼睛睁开数据记录可以具有至少一个另外的测量点，所述另外的测量点代表在所述第一测量时间点乘客的眼睛的不通过所述测量点代表的第一眼睛睁开程度和/或第一眼睑运动速度和/或第一眼睑运动加速度。可替代地或附加地，在检测的步骤中，第二眼睛睁开数据记录可以具有至少一个另外的检测点，所述另外的检测点代表在所述第二测量时间点乘客的眼睛的不通过所述检测点代表的第二眼睛睁开程度和/或第二眼睑运动速度和/或第二眼睑运动加速度。相应地，在实施的步骤中，可以此外在使用另外的测量点和/或另外的检测点的情况下实施集群分析。该另外的测量点或另外的检测点可以有利地有助于对乘客的眼睛运动特征的稳健识别。在此情况下，另外的测量点代表来自乘客的眼睛的眼睛睁开程度、第一眼睑运动速度和/或第一眼睑运动加速度参数的集合中的与所述测量点不同的参数，使得第一眼睛睁开数据记录的测量点基于代表不同的物理参量的测量点。类似地，另外的检测点代表来自乘客的眼睛的眼睛睁开程度、眼睑运动速度和/或眼睑运动加速度参数的集合中的与所述检测点不同的参数，使得第二眼睛睁开数据记录的检测点基于代表不同物理参量的检测点。
该方法此外可以包括步骤：如果第一眼睛睁开数据记录和第二眼睛睁开数据记录分配给第一数据集群，则在使用测量点和检测点的情况下求平均。因此，可以构成第一数据集群的第一特征参量，其中如果测量点和检测点代表眼睛的眼睛睁开程度，则所述第一特征参量可以代表乘客的眼睛的眼睛睁开水平的值。在此情况下，测量点和检测点应该代表相同的物理参量。眼睛睁开水平可以被理解为在滑动时间窗内的平均眼睛睁开程度。可以以米为单位检测眼睛睁开水平。根据该实施方式，能够快速并且稳健地测定对于识别乘客的困倦或微睡眠所必需的眼睛睁开水平。
根据一个实施方式，在求平均的步骤中，可以对测量点和检测点以加权的方式求平均，用以确定第一特征参量。因此可以更加可靠地确定眼睛睁开水平。
例如，在求平均的步骤中，可以与检测点有关地对测量点进行加权，用以确定第一特征参量。尤其是，测量点可以与检测点的值有关地被加权，用以确定第一特征参量。在此情况下，测量点可以与检测点的值有关地、特别是与测量值的值和检测点的值之差有关地被加权。在此，尤其是可以使用该差的大小用于对测量点和/或检测点进行加权。利用这样的密度相关加权，可以有利地防止测量误差和测量不准确性使要测定的眼睛睁开水平的结果失真。
根据一个实施方式，该方法可以具有步骤：如果第二眼睛睁开数据记录未分配给第一数据集群，则丢弃第二眼睛睁开数据记录。因此，特别是当第二眼睛睁开数据记录可能由于测量误差而不可用时，可以容易地节约方法中的计算耗费。
根据另一实施方式，在实施的步骤中，可以将第一眼睛睁开数据记录分配给第一数据集群，并且将第二眼睛睁开数据记录分配给第二数据集群，用以对眼睛睁开数据进行分类，其中第二数据集群代表乘客的眼睛的另外的睁开状态。将眼睛睁开数据记录分配给不同的数据集群使得能够简单地并且稳健地识别眼睛运动特征、诸如乘客的眨眼运动和速度计扫视。
例如，在实施的步骤中，睁开状态代表乘客的睁开的眼睛，并且另外的睁开状态代表乘客的闭合的眼睛。
根据另一实施方式，该方法包括在滑动时间窗中的第三测量时间点读入第三眼睛睁开数据记录的步骤。第三眼睛睁开数据记录可以具有至少一个测定点，所述测定点代表在第三测量时间点中乘客的眼睛的第三眼睛睁开程度和/或第三眼睑运动速度和/或第三眼睑运动加速度。相应地，在实施的步骤中可以在使用所述第三眼睛睁开数据记录的至少一个测定点的情况下实施集群分析，用以至少将第三眼睛睁开数据记录分配给第三数据集群，以便对眼睛睁开数据进行分类。第三数据集群可以代表乘客的眼睛的过渡状态。测定点可以构成用于表示第三眼睛睁开数据记录的在坐标轴上的值。根据该实施方式，可以仍继续地（weitergehend）改善对不同眼睛运动特征的辨别。
乘客的眼睛的过渡状态可以代表眼睛的睁开阶段或闭合阶段。
此外介绍一种用于检测车辆的乘客的困倦和/或微睡眠的方法，其中该方法具有以下步骤：
在使用按照根据在前面提及的实施方式之一所述的方法分类的眼睛睁开数据的情况下测定困倦和/或微睡眠。
这里介绍的方案此外提出一种装置，所述装置被构造用于在相应的设备中执行、操控或实施这里介绍的方法的变型方案的步骤。也可以通过装置形式的本发明这些实施变型方案快速和高效地解决本发明所基于的任务。
为此，该装置可以具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元、至少一个用于从传感器读入传感器信号或用于将数据信号或控制信号输出给执行器的至传感器或执行器的接口和/或至少一个用于读入或输出嵌入到通信协议中的数据的通信接口。计算单元可以例如是信号处理器、微控制器等，其中存储单元可以是闪速存储器、EPROM或磁存储单元。所述通信接口可以被构造用于无线地和/或有线地读入或输出数据，其中可以有线地读入或输出数据的通信接口可以例如以电的方式或光学方式从相应的数据传输线路读入所述数据或者将所述数据输出到相应的数据传输线路中。
当前，装置可以被理解为处理传感器信号并与此相关地输出控制信号和/或数据信号的电设备。该装置可以具有可以接口，所述接口可以硬件式和/或软件式构造。在硬件式构造时，接口可以例如是所谓***ASIC的一部分，其包含装置的最不同的功能。然而，也可能的是，接口是自己的集成电路或至少部分地由分立器件组成。在软件式构造时，接口可以是软件模块，除了其他软件模块之外，所述软件模块例如存在于微控制器上。
在一个有利的扩展方案中，装置使用密度集群分析，用以从眼睛睁开信号中滤出乘客的至少一只眼睛的眼睛运动特征或眼睛特征用于困倦识别或微睡眠识别。
具有程序代码的计算机程序或计算机程序产品也是有利的，所述程序代码可以存储在机器可读载体或存储介质、例如半导体存储器、硬盘存储器或光学存储器上，并且被使用用于尤其是当程序产品或程序在计算机或装置上被实施时执行、实施和/或操控根据前面描述的实施方式之一所述的方法的步骤。
本发明的实施例在附图中示出并且在随后的描述中更详细地进行阐述。其中：
图1示出根据一个实施例的具有用于检测车辆的乘客的困倦和/或微睡眠的装置的车辆的示意图;
图2示出根据一个实施例的用于对车辆的乘客的眼睛睁开数据进行分类的装置的方块图;
图3示出根据一个实施例的用于对车辆的乘客的眼睛睁开数据进行分类的方法的流程图;
图4至7示出根据一个实施例的用于表示眼睛睁开数据的根据图3的方法创建的数据集群的图表;
图8示出根据一个实施例的用于检测车辆的乘客的困倦和/或微睡眠的方法的流程图；以及图9示出根据一个实施例的用于监控车辆的乘客的困倦和/或微睡眠的总***的架构的图示。
具体实施方式
在本发明的有益实施例的随后描述中，对于在不同的图中示出和相似地起作用的元件使用相同或相似附图标记，其中放弃对这些元件的重复描述。
图1示出根据一个实施例的具有用于检测车辆102的乘客104的困倦和/或微睡眠的装置102的车辆100的示意图。车辆100是载客汽车。可替代地，车辆100也可以是其他道路（Straßengebunden）车辆、诸如载重车辆。乘客104在这里是车辆100的驾驶员104。
装置102在此情况下与安装在车辆100中的摄像机106连接，所述摄像机检测驾驶员104的眼睛。尤其是，摄像机106检测驾驶员104的眼睛的眼睑的位置、例如眼睛中的至少一只眼睛的眼睑之间的距离和眼睛中的至少一只眼睛的眼睑的运动的速度或加速度。这些信息可以被联合成眼睛睁开数据，所述眼睛睁开数据根据这里介绍的方案被分类并且在用于识别车辆100的驾驶员104的困倦状态或微睡眠的装置102中被处理。
图2示出根据一个实施例的用于对车辆的乘客104的眼睛睁开数据进行分类的装置200的方块图。借助于装置200分类的眼睛睁开数据可以在图1中所示的用于识别困倦或微睡眠的装置中被使用。装置200是图1中所示的用于识别困倦或微睡眠的装置的一部分或与该装置耦合或可耦合。装置200被构造用于对乘客104的至少一只眼睛202（这里是右眼202）的眼睛睁开数据进行分类。
对准乘客104的眼睛的摄像机106接收乘客104的右眼202的眼睛睁开信号204。所述眼睛睁开信号204包括眼睛202的眼睑的运动在多个测量时间点上（über … hinweg）的测量。因此，眼睛睁开信号204代表眼睛睁开数据在多个时间点上的变化过程（Verlauf）。
经由合适的接口，装置200的读入设备206将构成眼睛睁开信号204的眼睛睁开数据208读入到装置200中。眼睛睁开数据208包括关于在检测眼睛202期间在测量时间点眼睛202的眼睛睁开程度、眼睑的速度以及加速度的信息。眼睛睁开数据208或眼睛睁开信号204在滑动时间窗中由摄像机106或与摄像机106耦合的设备检测。
眼睛睁开程度被理解为在测量时间点从眼睛202的上眼睑210到下眼睑212的距离。眼睛睁开程度以米为单位被检测。在眼睑210、212的完全或不完全睁开或闭合阶段中检测眼睑210、212的速度以及加速度。
除了读入设备206之外，装置200还具有生成设备214、检测设备216和实施设备218。
生成设备214被构造用于在滑动时间窗中的第一测量时间点基于眼睛睁开数据208生成第一眼睛睁开数据记录220。根据一个实施例，第一眼睛睁开数据记录220具有测量点222、另外的测量点224和第二另外的测量点226。例如，测量点222代表在第一测量时间点中眼睛202的第一眼睛睁开程度，另外的测量点224代表在第一测量时间点中乘客104的眼睑210、212中的至少一个的眼睑运动速度，以及第二另外的测量点226代表在第一测量时间点中乘客104的眼睛202的眼睑运动加速度。
该检测设备216被构造用于在滑动时间窗中的第二测量时间点基于所述眼睛睁开数据208检测第二眼睛睁开数据记录228。所述第二眼睛睁开数据记录208根据一个实施例具有检测点230、另外的检测点232和第二另外的检测点234。例如，检测点230代表在第二测量时间点中眼睛202的第二眼睛睁开程度，所述另外的检测点232代表在第二测量时间点中乘客104的眼睑210、212中的至少一个的眼睑运动速度，以及第二另外的检测点234代表在第二测量时间点中乘客104的眼睛202的眼睑运动加速度。
根据实施例，可以存在比各三个测量点222、224、226和检测点230、232、234更多或更少的测量点和检测点用于构成眼睛睁开数据记录220、228。眼睛睁开数据记录220、228视装置200的实施例而定可以由眼睛202的眼睛睁开程度、眼睑运动速度和眼睑运动加速度组成的组合构成。在眼睛睁开数据记录220、228中也可以仅包含这些信息中的部分。
实施设备218被构造用于在使用测量点222、224、226和检测点230、232、234的情况下采用合适的算法来实施眼睛睁开数据记录220、228的集群分析。根据集群分析的结果，实施设备218将第一眼睛睁开数据记录220分配给来自多个数据集群中的第一数据集群236，并且将第二眼睛睁开数据记录228分配给来自多个数据集群中的第二数据集群238。根据一个实施例，两个眼睛睁开数据记录220、228也可以例如被分配给第一数据集群236。例如当第一测量时间点222和第二测量时间点224在时间上互相非常接近和/或所述第一检测点230和第二检测点232在时间上互相非常接近时，这是这种情况。
根据一个替代实施例，实施设备218可被构造用于当第二眼睛睁开数据记录228不被分配给第一数据集群236时，丢弃所述第二眼睛睁开数据记录228。
利用将眼睛睁开数据记录220、228分配给数据集群236、238，眼睛睁开数据记录220、228被分类，也即被分配给由摄像机106检测的眼睛202的多个睁开状态或过渡状态之一。例如，第一数据集群236定义眼睛202的可能的第一睁开状态，在所述第一睁开状态中眼睛202是睁开的，并且所述第二数据集群238定义眼睛202的可能的第二睁开状态，在所述第二睁开状态中眼睛202是闭合的。根据实施例，第三数据集群可以定义眼睛202的可能的第一过渡状态，在所述第一过渡状态中眼睛202处于睁开阶段，并且第四数据集群可以定义眼睛202的可能的第二过渡状态，在所述第二过渡状态中所述眼睛202处于闭合阶段。
当然，装置200可以被构造用于在使用其设备206、214、216、218的情况下也处理多于两个数据记录220、228并且分配给一个或多个数据集群236、238。
根据在这里介绍的构思的一个实施例，实施设备218或装置200的其他设备被构造用于对于第一眼睛睁开数据记录220和第二眼睛睁开数据记录228被分配给第一数据集群236的情况以及对于测量点222和检测点230分别代表眼睛睁开程度的情况，在使用所述测量点222、224、226和检测点230、232、234中的至少一个的情况下，对眼睛睁开数据记录220、228进行平均过程。因此，对于第一数据集群236构成特征参量240，所述特征参量代表乘客104的眼睛202的眼睛睁开水平的非常稳健的值。
眼睛睁开水平（简称AON或对于英文名称“Eye Opening Niveau”简称EON）是在时间窗内平均眼睛睁开程度的值，其中眼睛不完全睁开的时间点、诸如眨眼或眨眼事件或者速度计扫视（Tachoblicke）被无视。眼睛睁开水平以米为单位被检测，并且对于通过图1中所示的装置尽可能无差错地识别困倦或微睡眠来说是必需的。
根据一个实施例，在装置200中所实施的用于确定针对第一数据集群236的特征参量240的平均过程可以是加权平均过程。
与上述行动类似地，可以在装置200中为所有存在的数据集群236、238计算分配给它们的特征参量。
对于实施设备218实施密度集群分析的示例性情况，可以在加权平均过程中与检测点230或另外的检测点232、234有关地对测量点222或另外的测量点224、226进行加权。如果所述一个或多个测量点222、224、226与对所述一个或多个检测点230、232、234的邻近有关地被加权，用以确定特征参量240，则是特别有利的。
当然，类似于上面阐述的行动附加地或可替代地，装置200可以同时或在时间上与针对右眼202的计算错开地对乘客104的左眼242的眼睛睁开数据进行分类，以便准备或支持乘客104的困倦分析或微睡眠分析。
图3示出用于对车辆的乘客的眼睛睁开数据进行分类的方法300的流程图的一个实施例。方法300可以由图2中所示的用于分类的装置或其设备实施。
在生成302的步骤中，在滑动时间窗中的第一测量时间点生成具有至少一个测量点的第一眼睛睁开数据记录。在检测304的步骤中，在滑动时间窗中的第二测量时间点检测具有至少一个检测点的第二眼睛睁开数据记录。在实施306的步骤中，在使用测量点和检测点的情况下实施集群分析，用以将第一眼睛睁开数据记录和/或第二眼睛睁开数据记录分配给第一数据集群，以便对眼睛睁开数据进行分类。
根据一个实施例，该方法300具有以下步骤：在使用测量点和检测点的情况下对所述第一眼睛睁开数据记录以及第二眼睛睁开数据记录求平均308，以便构成第一数据集群的第一特征参量。
图4至7示出根据一个实施例的用于表示眼睛睁开数据的根据图3的计算方法创建的数据集群的图表。分别示出坐标系，其中多个根据计算方法测定的数据集群被虚幻地表示为云。把唯一的计算作为图4至7中的所有图表的基础，所述图表从不同的视角示出所述唯一的计算。
图4示出三维笛卡尔坐标系。在横坐标400上绘制以米每秒（m/s）为单位的眼睑运动速度。在纵坐标402上绘制以米（m）为单位的眼睛睁开程度。在竖坐标（Applikate）404上绘制以米每平方秒（m/s2）为单位的眼睑运动加速度。图4中的坐标系示出车辆乘客的眼睛睁开数据的大量根据该计算方法创建或分配的数据记录。眼睛睁开数据记录中的许多被分组成数据集群，所述数据集群可以通过观察者的眼睛清楚地彼此区分。
每个数据集群在图4中的图示中以数据云的形式代表被观察的车辆乘客的眼睛或眼睑的不同状态的多个类别中的一个。因此，结合图2已经阐述的第一数据集群236代表车辆乘客的一只眼睛或两只眼睛的第一睁开状态，在所述第一睁开状态中所述一只眼睛或两只眼睛是睁开的，所述第一数据集群由多个借助于圆圈用符号表示的数据记录的分组构成。
同样已经结合图2阐述的第二数据集群238代表车辆乘客的一只眼睛或两只眼睛的第二睁开状态，在所述第二睁开状态中所述一只眼睛或两只眼睛是闭合的，所述第二数据集群由多个借助于正方形用符号表示的数据记录的分组构成。
由多个借助于三角形用符号表示的数据记录的分组构成的第三数据集群406代表车辆乘客的一只眼睛或两只眼睛的第一过渡状态，在所述第一过渡状态中所述一只眼睛或两只眼睛处于睁开阶段中。
由多个借助于菱形用符号表示的数据记录的分组构成的第四数据集群408代表车辆乘客的一只眼睛或两只眼睛的第二过渡状态，在所述第二过渡状态中所述一只眼睛或两只眼睛处于闭合阶段中。
代表所检测的眼睛睁开数据的异常点（Ausreißer）的数据记录410借助于十字绘入图4中的坐标系中。
如图4中的图示所示的，各个数据集群236、238、406、408通过坐标系中的不同单独密度和不同单独分布区来表征。因此，数据集群236和238以特别密集且空间狭小的方式受限制。而数据集群406和408具有较低的密度并且在较大的三维空间中延伸，所述三维空间与在数据集群236和238情况下相比不太明确地受限制。由于各个数据集群236、238、406、408可以彼此轻易地被区分并且特别是异常点值410可以容易地被标识，所以有可能对车辆乘客的眼睛状态或眼睛睁开状态进行稳健的分离和分配用于相对不受误测量影响的困倦或微睡眠检测。
图5考虑到图4的坐标系的横坐标400和纵坐标402在二维视图中示出在示例性计算方法中所测定的数据集群236、238、406、408。这里可以良好地看出在数据集群236、238、406、408之间的空间分离。
图6考虑到图4的坐标系的横坐标400和纵坐标402在另一二维视图中示出在示例性计算方法中所测定的数据集群236、238、406、408。在该视图中，代表闭合的眼睛的第二数据集群238与大致相同大小的和相同形成的、代表睁开的眼睛的第一数据集群236重叠。此外还可以看出，代表闭合眼睛的第四数据集群408比代表睁开眼睛的第三数据集群406显著更广泛地分散。
图7考虑到图4中的坐标系的纵坐标402和竖坐标404在另一二维视图中示出在示例性计算方法中所测定的数据集群236、238、406、408。这里也可以良好地识别出数据集群236和238的大密度。
下面根据一个实施例再次直观地概括根据图4至7示出的并且在这里建议的新颖计算方法。首先，在具有持续时间例如五分钟的滑动时间窗中，对于该时间窗中的每个测量时间点检测眼睛睁开数据。根据一个实施例，眼睛睁开数据可以在随后的图9中更精确地阐述的眼睛闭合预处理单元（Augenschlussvorverarbeitungseinheit）或ECP单元中被处理。
接着，对由眼睛睁开数据构成的眼睛睁开数据记录或来自上述滑动时间窗的其测量点或检测点进行密度集群分析。在此，对数据记录所处于的空间搜寻具有高密度数据记录的区域。这样的区域的所有数据记录被分配给一个共同的集群236、238、406或408。密度集群分析的一种可能实现是OPTICS算法（参看Ankerst，Mihael等人的“OPTICS：orderingpoints to identify the dustering structure.”ACM Sigmod Record. Vol.28. No.2.ACM, 1999）。
可以标识这些集群236、238、406或408中的多个集群，这允许将所属的数据记录归入到不同的类别。因此，第一数据集群236表征第一类别，其中车辆乘客的眼睛是睁开的。第二数据集群238表征第二类别，其中车辆乘客的眼睛是闭合的。第三数据集群406表征其中车辆乘客的眼睛处于睁开阶段的第三类别。第四数据集群408表征其中车辆乘客的眼睛处于闭合阶段的第四类别。测量时的异常点410同样以绘图方式示出。当然，基于另外的测量点和检测点的另外的集群的表示是可能的。例如，另一集群可以表征车辆乘客对速度计的扫视。
在这里建议的构思的一种已经提到的改进方案中，为数据集群236、238、406、408中的每一个确定特征参量。在确定时，可以观察各自数据集群236、238、406、408的中心，以便从集群236、238、406、408内的所有数据记录的平均值中确定特征参量。可替代地，可以基于重心确定来测定特性参量。这里，把集群236、238、406、408内的所有数据记录的加权平均值作为所述特征参量（der）的基础。对于每个数据记录的权重由每个数据记录所处于的区域的密度给出。
由于这些特征参量处于与所基于的数据记录相同的三维空间中，因此可以将所述特征参量分解为乘客的眼睛睁开程度、眼睑的运动速度和运动加速度的值。因此，从集群236、238、406、408的特征参量中可以读取眼睛睁开程度的值，其可以被用作用于困倦或微睡眠识别的眼睛睁开水平或EON值。该EON值明显更稳定，这意味着带有比利用常规方法确定的EON值更少的波动，因为眨眼事件、速度计扫视等不进入计算中。除了更稳健的EON值之外，在这里所建议的方法的另一优点是，可以利用不同集群236、238、406、408的信息来在眼睛睁开信号中找到眨眼事件、速度计扫视等。
图8示出用于检测车辆的乘客的困倦和/或微睡眠的方法800的一个实施例的流程图。在测定802的步骤中，在使用根据上面描述的用于对眼睛睁开数据进行分类的方法分类的眼睛睁开数据的情况下测定乘客的困倦和/或微睡眠。
图9示出根据一个实施例的用于关于困倦和/或微睡眠监控车辆的驾驶员的总***900的架构的图示。
总***900具有三个主要组成部分902、904和906。第一主要组成部分902被称为困倦分类装置。第二主要组成部分904被称为微睡眠识别装置。第三主要组成部分906包括由困倦分类装置902和微睡眠识别装置904共同使用的模块908以及用于提供眼睛睁开水平或EON的装置910。模块908可以被称为眼睛闭合预处理单元或ECP单元（ECP；英文为：EyeClosure Preprocessing（眼睛闭合预处理））908。眼睛闭合预处理单元908包括右侧和左侧眼睛闭合的检测装置、眼睛闭合的过滤装置、眼睛闭合的速度检测装置、眼睛闭合的加速度检测装置、用于提供EON的装置910和确认装置。
眼睛闭合预处理单元908输出瞬时眼睛闭合、眼睛闭合速度和EON。
在困倦分类装置902中，这些值被用在眨眼事件探测912中，并且眨眼事件被转发给眨眼特征计算装置914。
眨眼特征计算装置914将眨眼特征输出给个人眨眼特征识别装置916和用于困倦分类的模块918。模块918从眨眼特征识别装置916读入个人眨眼行为并输出困倦水平。
在微睡眠识别装置904中，这些值在个人眼睛闭合识别装置920、眼睛闭合识别装置922和用于微睡眠识别的模块924中被使用。
个人眼睛闭合识别装置920输出个人眼睛睁开水平和个人眼睛闭合水平。由眼睛闭合识别装置922使用两者来为模块924提供二进制眼睛睁开值。模块924输出微睡眠事件。
根据一个实施例，根据这里介绍的构思所测定的稳健EON可以容易地被加入到总***900中用于识别困倦和/或微睡眠。可替代地，EON的计算可以在ECP单元908中的眼睛闭合预处理的范围中发生。接着，EON在眨眼事件检测和眨眼特征计算的范围中被使用。
如已经阐述的，EON说明：眼睑的平均当前距离在睁开的状态下有多大。在计算EON时重要的是，可能的眨眼事件、速度计扫视等不一起注入所计算的值中，因为所述值否则也许将会受眨眼频率和眨眼持续时间影响。眨眼事件的频率和持续时间越高，由此得出的EON将会越低。
存在根据这里介绍的构思稳健的和带有少量波动的EON引起多个优点。因此，可以利用相对于EON定义的极限值来确保简单的和稳健的眨眼事件探测。此外，对眨眼事件的特定特征、诸如眨眼幅度的简单计算是可能的。 也得出用于稳健地计算PERCLOS值的可能性，所述PERCLOS值涉及作为最大睁开程度的EON的第90百分位。
如果实施例包括在第一特征和第二特征之间的“和/或”关联，则这可以解读为该实施例根据一个实施方式不仅具有第一特征而且具有第二特征，并且根据另一实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (14)

1.一种用于对车辆（100）的乘客（104）的至少一只眼睛（202，242）的眼睛睁开数据（208）进行分类用于所述乘客（104）的困倦检测和/或微睡眠检测的方法（300），其中所述方法（300）具有以下步骤：
在滑动时间窗中的第一测量时间点生成（302）第一眼睛睁开数据记录（220），其中所述第一眼睛睁开数据记录（220）具有至少一个测量点（222），所述测量点代表在所述第一测量时间点中所述乘客（104）的所述眼睛（202，242）的第一眼睛睁开程度和/或第一眼睑运动速度和/或第一眼睑运动加速度；
在所述滑动时间窗中的第二测量时间点检测（304）第二眼睛睁开数据记录（228），其中所述第二眼睛睁开数据记录（228）具有至少一个检测点（230），所述检测点代表在所述第二测量时间点中所述乘客（104）的所述眼睛（202，242）的第二眼睛睁开程度和/或第二眼睑运动速度和/或第二眼睑运动加速度；和
在使用所述至少一个测量点（222）和所述至少一个检测点（230）的情况下实施（306）集群分析，用以至少将所述第一眼睛睁开数据记录（220）和/或第二眼睛睁开数据记录（228）分配给第一数据集群（236），以便对所述眼睛睁开数据（208）进行分类，其中所述第一数据集群（236）代表所述乘客（104）的所述眼睛（202，242）的睁开状态。
2.根据权利要求1所述的方法（300），其特征在于，在生成（302）的步骤中，所述第一眼睛睁开数据记录（220）具有至少一个另外的测量点（224），所述另外的测量点代表在所述第一测量时间点中所述乘客（104）的所述眼睛（202，242）的不通过所述测量点代表的第一眼睛睁开程度和/或第一眼睑运动速度和/或第一眼睑运动加速度，和/或在检测（304）的步骤中，所述第二眼睛睁开数据记录（228）具有至少一个另外的检测点（232），所述另外的检测点代表在所述第二测量时间点中所述乘客（104）的所述眼睛（202，242）的不通过所述检测点代表的第二眼睛睁开程度和/或第二眼睑运动速度和/或第二眼睑运动加速度，其中在实施（306）的步骤中，此外在使用所述另外的测量点（224）和/或所述另外的检测点（232）的情况下实施所述集群分析。
3.根据前述权利要求中任一项所述的方法（300），其特征在于如果所述第一眼睛睁开数据记录（220）和所述第二眼睛睁开数据记录（228）分配给所述第一数据集群（236），则在使用所述测量点（222）和所述检测点（230）的情况下求平均（308），用以构成所述第一数据集群（236）的第一特征参量（240）的步骤，其中所述第一特征参量（240）代表所述乘客（104）的所述眼睛（202，242）的眼睛睁开水平的值。
4.根据权利要求3所述的方法（300），其特征在于，在求平均（308）的步骤中，所述测量点（222）和所述检测点（230）以加权的方式被求平均，以便确定所述第一特征参量（240）。
5.根据权利要求4所述的方法（300），其特征在于，在求平均（308）的步骤中，所述测量点（222）与所述检测点（230）有关地被加权，尤其是其中所述测量点（222）与所述检测点（230）的值有关地被加权，以便确定所述第一特征参量（240）。
6.根据前述权利要求中任一项所述的方法（300），其特征在于如果所述第二眼睛睁开数据记录（228）未分配给所述第一数据集群（236），则丢弃所述第二眼睛睁开数据记录（228）的步骤。
7.根据前述权利要求中任一项所述的方法（300），其特征在于，在实施（306）的步骤中，所述第一眼睛睁开数据记录（220）被分配给所述第一数据集群（236），并且所述第二眼睛睁开数据记录（228）被分配给第二数据集群（238），以便对所述眼睛睁开数据（208）进行分类，其中所述第二数据集群（238）代表所述乘客（104）的所述眼睛（202，242）的另外的睁开状态。
8.根据权利要求7所述的方法（300），其特征在于，在实施（306）的步骤中，所述睁开状态代表所述乘客（104）的睁开的眼睛（202，242），并且所述另外的睁开状态代表所述乘客（104）的闭合的眼睛（202，242）。
9.根据前述权利要求中任一项所述的方法（300），其特征在于在所述滑动时间窗中的第三测量时间点读入第三眼睛睁开数据记录的步骤，其中所述第三眼睛睁开数据记录具有至少一个测定点，所述测定点代表在所述第三测量时间点中所述乘客（104）的所述眼睛（202，242）的第三眼睛睁开程度和/或第三眼睑运动速度和/或第三眼睑运动加速度，其中在实施（306）的步骤中，在使用所述第三眼睛睁开数据记录的所述至少一个测定点的情况下实施所述集群分析，用以至少将所述第三眼睛睁开数据记录分配给第三数据集群（406），以便对所述眼睛睁开数据（208）进行分类，其中所述第三数据集群（406）代表所述乘客（104）的所述眼睛（202，242）的过渡状态。
10.根据权利要求9 所述的方法（300），其特征在于，所述过渡状态代表所述乘客（104）的所述眼睛（202，242）的睁开阶段或所述乘客（104）的所述眼睛（202，242）的闭合阶段。
11.一种用于检测车辆（100）的乘客（104）的困倦和/或微睡眠的方法（800），其中所述方法（800）具有以下步骤：
在使用按照根据前述权利要求中任一项所述的方法（300）分类的眼睛睁开数据（208）的情况下测定（802）困倦和/或微睡眠。
12.一种装置（102; 200），其被设立用于在相应的单元中实施根据前述权利要求中任一项所述的方法（300; 800）的步骤。
13.一种计算机程度，所述计算机程序被设立用于实施根据前述权利要求中任一项所述的方法（300; 800）。
14.机器可读存储介质，在其上存储有根据权利要求13所述的计算机程序。
CN201680073129.2A 2015-12-14 2016-11-10 用于检测车辆乘客的困倦和/或微睡眠的方法和装置 Active CN108369768B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015225109.8A DE102015225109A1 (de) 2015-12-14 2015-12-14 Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
DE102015225109.8 2015-12-14
PCT/EP2016/077248 WO2017102186A1 (de) 2015-12-14 2016-11-10 Verfahren und vorrichtung zum klassieren von augenöffnungsdaten zumindest eines auges eines insassen eines fahrzeugs und verfahren und vorrichtung zum erfassen einer schläfrigkeit und/oder eines sekundenschlafes eines insassen eines fahrzeugs

Publications (2)

Publication Number Publication Date
CN108369768A true CN108369768A (zh) 2018-08-03
CN108369768B CN108369768B (zh) 2021-04-20

Family

ID=57286488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073129.2A Active CN108369768B (zh) 2015-12-14 2016-11-10 用于检测车辆乘客的困倦和/或微睡眠的方法和装置

Country Status (6)

Country Link
US (1) US10891503B2 (zh)
EP (1) EP3391349B1 (zh)
JP (1) JP6731481B2 (zh)
CN (1) CN108369768B (zh)
DE (1) DE102015225109A1 (zh)
WO (1) WO2017102186A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210023596A (ko) * 2019-08-23 2021-03-04 현대자동차주식회사 차량의 주행 제어 장치, 방법 및 시스템
DE102021101208A1 (de) 2021-01-21 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem sowie Kraftfahrzeug mit einem Fahrerassistenzsystem
WO2023105970A1 (ja) * 2021-12-10 2023-06-15 パナソニックＩｐマネジメント株式会社 推定装置、推定方法及びプログラム

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313459A (ja) * 1994-05-20 1995-12-05 Toyota Central Res & Dev Lab Inc まぶたの開度検出装置
DE19715519A1 (de) * 1996-04-12 1997-11-06 Mitsubishi Motors Corp Gerät zur Schätzung des Schläfrigkeitsgrades des Fahrers eines Fahrzeugs
US6097295A (en) * 1998-01-28 2000-08-01 Daimlerchrysler Ag Apparatus for determining the alertness of a driver
CN1299498A (zh) * 1998-01-15 2001-06-13 霍尔丁B·E·V·股份有限公司 用于检测打磕睡的方法和设备
US20080037837A1 (en) * 2004-05-21 2008-02-14 Yoshihiro Noguchi Behavior Content Classification Device
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
US20080218359A1 (en) * 2007-03-08 2008-09-11 Denso Corporation Drowsiness determination apparatus, program, and method
US20080238694A1 (en) * 2007-03-26 2008-10-02 Denso Corporation Drowsiness alarm apparatus and program
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
US20090244274A1 (en) * 2008-03-31 2009-10-01 Aisin Seiki Kabushiki Kaisha Eyelid opening level determination device and computer readable medium storing computer program thereof
CN101583313A (zh) * 2007-01-19 2009-11-18 旭化成株式会社 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
CN101593425A (zh) * 2009-05-06 2009-12-02 深圳市汉华安道科技有限责任公司 一种基于机器视觉的疲劳驾驶监控方法及***
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
CN101872171A (zh) * 2009-04-24 2010-10-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和***
CN101951828A (zh) * 2008-05-12 2011-01-19 丰田自动车株式会社 驾驶员成像装置以及驾驶员成像方法
EP2453427A1 (en) * 2009-07-09 2012-05-16 Aisin Seiki Kabushiki Kaisha State detecting device, state detecting method, and program
JP5262819B2 (ja) * 2009-02-20 2013-08-14 日産自動車株式会社 覚醒度推定装置
JP2013257691A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 居眠り状態判定装置及び居眠り状態判定方法
CN104424752A (zh) * 2013-08-20 2015-03-18 径卫视觉科技（上海）有限公司 车辆疲劳驾驶预警方法及***
CN105015445A (zh) * 2014-04-25 2015-11-04 宝马股份公司 用于对车辆的驾驶员进行与人相关的辅助的方法和***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
CA2512854C (en) * 2002-06-28 2010-02-09 Alza Corporation A reservoir for use in electrotransport drug delivery
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
US7362885B2 (en) * 2004-04-20 2008-04-22 Delphi Technologies, Inc. Object tracking and eye state identification method
JP2006209582A (ja) * 2005-01-31 2006-08-10 Konica Minolta Holdings Inc 開眼度推定装置および開眼度推定方法
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP2008099884A (ja) 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
US8102417B2 (en) * 2006-10-25 2012-01-24 Delphi Technologies, Inc. Eye closure recognition system and method
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
WO2010092860A1 (ja) * 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
US9298985B2 (en) * 2011-05-16 2016-03-29 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
US9177202B2 (en) * 2011-07-11 2015-11-03 Toyota Jidosha Kabushiki Kaisha Red-eye detection device
EP2885150B1 (en) 2012-08-20 2019-01-02 Veoneer Sweden AB Eyelid movement processing for detection of drowsiness
JP6056746B2 (ja) * 2013-12-18 2017-01-11 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置
US20160140390A1 (en) * 2014-11-13 2016-05-19 Intel Corporation Liveness detection using progressive eyelid tracking

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313459A (ja) * 1994-05-20 1995-12-05 Toyota Central Res & Dev Lab Inc まぶたの開度検出装置
DE19715519A1 (de) * 1996-04-12 1997-11-06 Mitsubishi Motors Corp Gerät zur Schätzung des Schläfrigkeitsgrades des Fahrers eines Fahrzeugs
CN1299498A (zh) * 1998-01-15 2001-06-13 霍尔丁B·E·V·股份有限公司 用于检测打磕睡的方法和设备
US6097295A (en) * 1998-01-28 2000-08-01 Daimlerchrysler Ag Apparatus for determining the alertness of a driver
US20080037837A1 (en) * 2004-05-21 2008-02-14 Yoshihiro Noguchi Behavior Content Classification Device
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置
CN101583313A (zh) * 2007-01-19 2009-11-18 旭化成株式会社 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
US20080218359A1 (en) * 2007-03-08 2008-09-11 Denso Corporation Drowsiness determination apparatus, program, and method
US20080238694A1 (en) * 2007-03-26 2008-10-02 Denso Corporation Drowsiness alarm apparatus and program
US20090244274A1 (en) * 2008-03-31 2009-10-01 Aisin Seiki Kabushiki Kaisha Eyelid opening level determination device and computer readable medium storing computer program thereof
CN101951828A (zh) * 2008-05-12 2011-01-19 丰田自动车株式会社 驾驶员成像装置以及驾驶员成像方法
JP5262819B2 (ja) * 2009-02-20 2013-08-14 日産自動車株式会社 覚醒度推定装置
CN101872171A (zh) * 2009-04-24 2010-10-27 中国农业大学 基于信息融合的驾驶员疲劳状态识别方法和***
CN101593425A (zh) * 2009-05-06 2009-12-02 深圳市汉华安道科技有限责任公司 一种基于机器视觉的疲劳驾驶监控方法及***
EP2453427A1 (en) * 2009-07-09 2012-05-16 Aisin Seiki Kabushiki Kaisha State detecting device, state detecting method, and program
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
JP2013257691A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 居眠り状態判定装置及び居眠り状態判定方法
CN104424752A (zh) * 2013-08-20 2015-03-18 径卫视觉科技（上海）有限公司 车辆疲劳驾驶预警方法及***
CN105015445A (zh) * 2014-04-25 2015-11-04 宝马股份公司 用于对车辆的驾驶员进行与人相关的辅助的方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
姚瑶: ""基于视觉的疲劳驾驶检测算法"", 《合肥工业大学学报(自然科学版)》 *
蒋文博: ""一种快速驾驶员疲劳检测方法"", 《电子设计工程》 *
赵晓琳: ""基于人眼状态的驾驶员疲劳检测"", 《吉林大学学报(信息科学版)》 *

Also Published As

Publication number Publication date
CN108369768B (zh) 2021-04-20
JP6731481B2 (ja) 2020-07-29
US20200265251A1 (en) 2020-08-20
DE102015225109A1 (de) 2017-06-14
JP2018537787A (ja) 2018-12-20
EP3391349A1 (de) 2018-10-24
WO2017102186A1 (de) 2017-06-22
US10891503B2 (en) 2021-01-12
EP3391349B1 (de) 2024-07-10

Similar Documents

Publication Publication Date Title
CN106506556B (zh) 一种网络流量异常检测方法及装置
CN105096340B (zh) 用于检测静态和动态对象以及控制车辆的方法和***
CN108369768A (zh) 用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类的方法和装置以及用于检测车辆的乘客的困倦和/或微睡眠的方法和装置
CN109000940A (zh) 一种机车车辆异常轴温诊断方法及***
KR20020091801A (ko) 탑승체 분류 시스템 및 탑승체 유형등급을 탑승체 영상에관련시키는 방법
CN108427928A (zh) 监控视频中异常事件的检测方法及装置
CN107066936A (zh) 用于识别驾驶员的疲劳的方法和装置
CN105069976A (zh) 一种疲劳检测和行驶记录综合***及疲劳检测方法
TW201328921A (zh) 用於感測器驅動車輛遙測應用與服務之開發及部署的運算平台
CN105116207A (zh) 一种车载终端设备及其汽车打火状态的识别方法和装置
CN106373125B (zh) 一种基于信息熵的雪花噪声检测方法
Salau et al. A survey of accelerometer-based techniques for road anomalies detection and characterization
CN109978055A (zh) 多传感器***的信息融合方法及***、计算机设备及介质
CN109903452A (zh) 废品回收处理方法、装置、设备和存储介质
CN110022529A (zh) 基于两种传感模式的目标区域人数统计的方法和装置
Guo et al. Crowdsafe: Detecting extreme driving behaviors based on mobile crowdsensing
CN106248101A (zh) 一种监测方法以及装置
CN112313702B (zh) 显示控制设备、显示控制方法以及显示控制程序
CN108846308A (zh) 一种疲劳驾驶检测方法及装置
CN110376109A (zh) 一种电容式液压油磨粒区分监测装置
CN109050741A (zh) 一种共享单车车辆状况分类方法及***
CN105427303B (zh) 一种变电站遗留物的视觉测量与估计方法
JP7263094B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN204904514U (zh) 一种疲劳检测及行驶记录综合***
Singh et al. Distratto: impaired driving detection using textile sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant