CN106295474B - 船舶驾驶员的疲劳检测方法、***和服务器 - Google Patents

船舶驾驶员的疲劳检测方法、***和服务器 Download PDF

Info

Publication number
CN106295474B
CN106295474B CN201510279711.1A CN201510279711A CN106295474B CN 106295474 B CN106295474 B CN 106295474B CN 201510279711 A CN201510279711 A CN 201510279711A CN 106295474 B CN106295474 B CN 106295474B
Authority
CN
China
Prior art keywords
human eye
fatigue
eye area
multiple images
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510279711.1A
Other languages
English (en)
Other versions
CN106295474A (zh
Inventor
李林
张钊
朱玮玮
程卫平
王太伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Waterborne Transport Research Institute
Original Assignee
China Waterborne Transport Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Waterborne Transport Research Institute filed Critical China Waterborne Transport Research Institute
Priority to CN201510279711.1A priority Critical patent/CN106295474B/zh
Publication of CN106295474A publication Critical patent/CN106295474A/zh
Application granted granted Critical
Publication of CN106295474B publication Critical patent/CN106295474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种船舶驾驶员的疲劳检测方法、***和服务器。其中，该疲劳检测方法包括：接收可穿戴设备采集的视频流；将视频流中的多个视频帧转换为多个图像信息；获取多个图像信息中的人眼区域；以及对多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至可穿戴设备。本发明实施例的疲劳检测方法，通过可穿戴设备获取船舶驾驶员的视频图像，可以避免各种客观因素的影响，保障采集的视频图像的质量，从而提高了服务器疲劳检测的可靠性。并且，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。

Description

船舶驾驶员的疲劳检测方法、***和服务器
技术领域
本发明涉及航运技术领域，尤其涉及一种船舶驾驶员的疲劳检测方法、***和服务器。
背景技术
近年来，随着我国航运业的快速发展，从整体上看其综合实力已经得到了显著的提高，已经预备了安全、科学的发展条件。然而，在航运业快速发展的过程中仍然存在很多问题，安全问题比较突出，在重大安全隐患无法得到有效控制的情况下，安全事故时有发生，船舶驾驶员的生命财产安全受到了极大的威胁。
比起发展较为快速的车辆驾驶员的疲劳识别技术，针对船舶驾驶员的疲劳识别技术还处于萌芽阶段。目前，针对车辆驾驶员的疲劳识别技术主要有，例如，Volvo汽车公司推出的驾驶员警示***来协助驾驶员提高行车安全，在驾驶员进入睡眠状态前及时给予警示；由卡内基梅隆大学研发的PERCLOS***可以通过分析驾驶员眼睛的位置和开度，对驾驶员疲劳状态进行判定；FaceLAB***通过监测驾驶员头部姿态、眼睛开闭状态、凝视方向、瞳孔直径等特征参数，对驾驶员的疲劳状态进行实时监测；欧盟的AWAKE***可以通过对驾驶员行为的综合监控，通过利用图像、压力等多种传感器，对驾驶员眼部状态、视线方向、方向盘握力等信息进行实时监测。
然而，相对于车辆驾驶员疲劳识别技术而言，针对船舶驾驶员的疲劳识别技术的发展主要受以下几方面影响：
(1)船舶的驾驶舱面积较大，船舶驾驶员在驾驶过程中通常要采取侧身瞭望等行为观察水面环境。因此，船舶驾驶员驾驶时的活动范围较大，而现有的基于车辆驾驶员疲劳识别技术很难全面、准确地采集船舶驾驶员状态信息。
(2)船舶驾驶员在驾驶过程中存在操作简单、单一等特点，加之船舶的速度较慢，使得船舶驾驶员在驾驶过程中的容错性较强，导致船舶驾驶员在驾驶过程中操作规范化的意识较弱。
(3)船舶驾驶的环境主要受自然环境和船舶环境两方面影响。由于水上环境受大雾、水面波动等多个因素的影响，通常水面环境比路上环境复杂多变。再者，船舶内的设备噪音、震动程度较复杂，诸多环境因素影响造成船舶驾驶员的劳动程度和心理压力增强，极易造成船舶驾驶员的疲劳。
因此，针对船舶驾驶员的疲劳检测技术相比较于车辆驾驶员的疲劳检测技术而言相对复杂，且需要考虑的因素较多。然而船速相对于车速来说相对较慢，对船舶疲劳驾驶的容错能力较强，因此对船舶疲劳检测的实时性要求并不高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种船舶驾驶员的疲劳检测方法，该疲劳检测方法通过可穿戴设备获取船舶驾驶员的视频图像，可以避免各种客观因素的影响，保障采集的视频图像的质量，从而提高了服务器疲劳检测的可靠性。并且，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
本发明的第二个目的在于提出一种船舶驾驶员的疲劳检测***。
本发明的第三个目的在于提出一种服务器。
为达上述目的，本发明第一方面实施例提出了一种船舶驾驶员的疲劳检测方法，包括以下步骤：接收可穿戴设备采集的视频流；将所述视频流中的多个视频帧转换为多个图像信息；获取所述多个图像信息中的人眼区域；以及对所述多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至所述可穿戴设备。
本发明实施例的船舶驾驶员的疲劳检测方法，通过可穿戴设备获取船舶驾驶员的视频图像，可以避免各种客观因素的影响，包括光照环境、水面波动环境、操作环境以及船舶驾驶员前方水面视野等，基于可穿戴设备的前端采集***，能够采集清晰的视频图像，在船舶内抖动、光照不足等恶劣条件下，也能够保障采集的视频图像的质量，从而提高了服务器疲劳检测的可靠性。并且，将机器视觉技术融合到疲劳检测方法中，通过可穿戴设备将视频图像发送至服务器，通过服务器对视频图像进行处理、人眼定位和疲劳检测，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，以便警示船舶驾驶员，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
为达上述目的，本发明第二方面实施例提出了一种船舶驾驶员的疲劳检测***，包括服务器和可穿戴设备，其中，所述可穿戴设备用于采集视频流，并将所述视频流发送至所述服务器，以及接收所述服务器发送的分析结果；所述服务器用于接收所述可穿戴设备采集的视频流，并将所述视频流中的多个视频帧转换为多个图像信息，以及获取所述多个图像信息中的人眼区域，并对所述多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，以及将分析结果发送至所述可穿戴设备。
本发明实施例的船舶驾驶员的疲劳检测***，通过可穿戴设备获取船舶驾驶员的视频图像，可以避免各种客观因素的影响，包括光照环境、水面波动环境、操作环境以及船舶驾驶员前方水面视野等，基于可穿戴设备的前端采集***，能够采集清晰的视频图像，在船舶内抖动、光照不足等恶劣条件下，也能够保障采集的视频图像的质量，从而提高了服务器疲劳检测的可靠性。并且，将机器视觉技术融合到疲劳检测方法中，通过可穿戴设备将视频图像发送至服务器，通过服务器对视频图像进行处理、人眼定位和疲劳检测，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，以便警示船舶驾驶员，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
为达上述目的，本发明第一方面实施例提出了一种服务器，包括：接收模块，用于接收可穿戴设备采集的视频流；转换模块，用于将所述视频流中的多个视频帧转换为多个图像信息；获取模块，用于获取所述多个图像信息中的人眼区域；以及分析模块，用于对所述多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至所述可穿戴设备。
本发明实施例的服务器，对视频图像进行处理、人眼定位和疲劳检测，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，以便警示船舶驾驶员，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的船舶驾驶员的疲劳检测方法的流程图；
图2是本发明一个具体实施例的船舶驾驶员的疲劳检测方法的流程图；
图3是本发明实施例中Haar特征的示意图；
图4是本发明实施例中积分图的示意图；
图5是本发明一个实施例的船舶驾驶员的疲劳检测***的结构示意图；以及
图6是本发明一个实施例的服务器的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
图1是本发明一个实施例的船舶驾驶员的疲劳检测方法的流程图，图2是本发明一个具体实施例的船舶驾驶员的疲劳检测方法的流程图。
如图1和图2所示，船舶驾驶员的疲劳检测方法包括：
S101，接收可穿戴设备采集的视频流。
在本发明的一个实施例中，可穿戴设备可以为眼镜。具体而言，本发明的基于可穿戴设备的船舶驾驶员的疲劳检测方法是采用机器视觉，基于Raspberry Pi B+硬件设备平台进行开发的，前端采集视频流的设备可以采用眼镜的形态，在眼镜上设置有RPi Camera红外摄像头。采用眼镜的方式可以有效避免因船员活动范围、驾驶习惯和船舶环境等因素的影响。也就是说，通过可穿戴眼镜可以直接获取船舶驾驶员的人眼图像，不仅可以避免各种客观因素的影响，还可以提高采集到的人眼图像的质量，为后续的人眼定位和疲劳检测提供优质的图像信息，降低图像噪声。此外，采用红外摄像头可以满足在夜间光照不足的条件下采集到清晰人眼图像的需求。
进一步而言，可穿戴设备在采集到视频图像之后，可先对视频图像进行预处理，例如，对视频图像进行压缩处理、或者设定视频图像的帧率等，由此可以在满足视频图像的质量要求的前提下，提高视频图像传送速率。然后，可穿戴设备将视频图像以视频流的方式传送至后端的图像处理服务器上，其中，服务器和可穿戴设备可以通过无线网络进行通信，通信的方式可包括但不限于Wifi、红外、蓝牙、3G网络中的一种。服务器在接收到可穿戴设备采集的视频流之后，将视频流在服务器上进行备份。
S102，将视频流中的多个视频帧转换为多个图像信息。
具体地，服务器从接收到的视频流中获取到多个视频帧，并根据服务器中预设的阈值将多个视频帧转换为图像信息。例如，可穿戴设备采集连续10分钟的视频图像，由于正常人眨眼时间在0.2-0.4秒左右，而在疲劳状态下眨眼速度普遍较慢，是一个逐渐闭眼的过程，眼睛从张开到闭合一般至少需要1秒左右的时间。因此，服务器可以将视频帧率设定为10(即FPS＝10)就可以满足人眼状态的实时捕获，在该条件下可以产生6000张样本图像信息。
应当理解的是，服务器需要预先对船舶驾驶员的眼部信息进行特征学习，以提高人眼检测和疲劳检测的准确度。
S103，获取多个图像信息中的人眼区域。
在本发明的一个实施例中，在服务器获取多个图像信息中的人眼区域之前，还可以对多个图像信息进行预处理，从而服务器可以得到较好质量的图像信息。其中，预处理包括图像去噪处理、均衡化处理、对比度处理中的一种或者多种。
具体地，服务器对多个图像信息中的人眼区域进行定位，即定位人眼位置，以从图像信息中获取准确的部分包含人眼区域的图像，去除图像信息中无用的信息。
在本发明的一个实施例中，服务器获取多个图像信息中的人眼区域具体包括：
S1031，服务器根据基于Haar特征的Adaboost算法对多个图像信息进行人眼定位，并获取第一人眼区域。
S1032，服务器对多个图像信息进行二值化处理，并据基于Haar特征的Adaboost算法对二值化处理后的图像信息进行人眼定位，以获取第二人眼区域。
S1033，服务器判断第一人眼区域和第二人眼区域是否匹配，并在匹配时将第一人眼区域和/或第二人眼区域作为多个图像信息中的人眼区域。
具体地，服务器根据图像信息结合对船舶驾驶员眼部特征的学习结果，利用基于Haar特征的Adaboost算法对人眼进行初定位，获得第一人眼区域。然后，服务器利用图像处理技术对图像信息进行分析和处理，获得该图像信息的二值图像，并根据生成的二值图像利用基于Haar特征的Adaboost算法对人眼进行再一次的定位，获得第二人眼区域。接着，服务器将第一人眼区域和第二人眼区域进行匹配，如果第一人眼区域的图像集合包含第二人眼区域的图像集合，则判断人眼检测成功，否则删除该图像信息。
具体而言，服务器先对图像信息进行基于Haar的人眼特征提取。其中，在图像信息中人眼特征可表述为坐标、距离、颜色、亮度、形状等信息。Haar特征属于矩阵特征，因此可以将其抽象为以点、线。面等基本集合元素组成的简单图形。其中，如图3所示，Haar特征可分为三类：边缘特征、线型特征和环绕特征。Haar特征的基本思想就是先将矩形框分块，再将分块的灰度像素与边缘特征相结合分析的一种特征分析方法。在目标图像中可将特定位置的矩形图像区域抽象为Haar特征，通过该方法可将目标区域图像特征进行量化处理。图像中白色区域的像素灰度值与减去黑色区域像素灰度值之和，所得到的数值就是所覆盖区域的特征值。
通过使用积分图的方式计算，可提高特征计算速度。积分图是一种可描述全局信息的矩阵表示方法，其定义为：
其中，f(x,y)是原图像在(x,y)处的积分图像，g(x′,y′)是在(x,y)处的原始图像。因此，如图4所示，在(x,y)点处积分图像之等于在该点左上方灰色区域所有像素值之和。
进而，服务器根据Adaboost算法对图像信息中的人眼位置进行识别。对于捕获的24*24像素的图像而言，其Haar特征在图像匹配的个数多达上万中，而其中只存在少数可用特征。本发明中通过采用Adaboost算法实现快速的人眼检测，其基本思想是利用大量训练集训练弱分类器，通过算法叠加最终构成强分类器。
如果人眼区域图像有k个特征，则可以表示为fj(xi)，其中，1≤j≤k，xi表示为第i个样本图像。那么每个图像的特征集可表示为{f1(xi),f2(xi),f3(xi),…fj(xi),…fk(xi)}，其中，每个特征对应一个弱分类器。
服务器将一个弱分类器hj(x)的组成包含特征fj(x)，阈值θj和符号pj三部分，其中，一个特征对应一个弱分类器，分类阈值是一个对所有矩阵进行分类的特征值，分类符号则是一个表示拥有正负方向的符号。服务器将第j个特征的弱分类器表示为：
其中，hj(x)为弱分类器的值，θj为阈值，pj用于控制不等号方向，取值为+1或－1，fj(x)为特征值。
基于Adaboost算法，对已知的n个训练样本(x1,y1),(x2,y2),…,(xn,yn)进行如下步骤运算，其中yi＝{0,1}对应样本的真和假。
(1)取n个训练样本，其中m个人眼样本，l个非人眼样本，表示为(x1,y1),(x2,y2),…,(xn,yn)，其中，yi＝0、yi＝1分别对应人眼样本和非人眼样本。
(2)初始化误差权重，对于yi＝0的样本，对于yi＝1的样本，
(3)初始化t＝1，其中t≤T，T为训练样本分类器个数。
(4)将权重归一化为
(5)对每个特征f训练一个弱分类器h(x,f,p,θ)，计算其对应的弱分类器的加权(qi)的错误率εf＝∑|hj(xj)-qi|，并选出误差εf最小的分类器ht，并更新权重其中，ei＝0表示被正确的分类，ei＝1表示被错误的分类，
(6)另t＝t+1,重复步骤(4)，直到t＞T。
(7)最后得到强分类器为：
S104，对多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至可穿戴设备。
在本发明的一个实施例中，服务器对人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态具体包括：服务器根据PERCLOS算法计算多个图像信息中的人眼区域的PERCLOS值，并将PERCLOS值与疲劳程度判别的阈值进行比较，以及在PERCLOS值大于等于疲劳程度判别的阈值时判断船舶驾驶员处于疲劳状态。其中，服务器根据以下公式计算所述PERCLOS值：
其中，N为连续时间内人眼区域采样总数，
具体而言，由于眼睛的状态与船舶驾驶员的疲劳程度具有很高的相关性，PERCLOS算法(即Percentage of Eyelid Closure Over the Pupil Over time)是通过分析眼睛的开闭情况检测疲劳的一种方法。其中，P80标准与疲劳程度的相关性最高，是公认的“黄金判定”标准。
在服务器对图像信息中的人眼区域进行定位之后，通过图像处理技术对人眼区域中人眼的开闭程度进行判定。也就是说，在服务器计算得出P(i)之后，服务器可以将P(i)与疲劳程度判别的阈值T进行比较，其中，阈值T是根据实验对船舶驾驶环境进行综合评定后得到的较为理想的数值参数，如果P(i)≥T，则判断人眼处于闭合状态，即判断船舶驾驶员处于疲劳状态。如果P(i)＜T，则判断人眼处于张开状态，即判断船舶驾驶员未处于疲劳状态。然后，服务器将判断船舶驾驶员是否处于疲劳状态的分析结果发送至可穿戴设备。
在本发明的一个实施例中，在服务器将分析结果发送至可穿戴设备之后，如果服务器判断船舶驾驶员处于疲劳状态时，可穿戴设备进行报警提示。其中，报警提示包括灯光提示、语音提示和振动提示中的一种或者多种。
本发明实施例的船舶驾驶员的疲劳检测方法，通过可穿戴设备获取船舶驾驶员的视频图像，可以避免各种客观因素的影响，包括光照环境、水面波动环境、操作环境以及船舶驾驶员前方水面视野等，基于可穿戴设备的前端采集***，能够采集清晰的视频图像，在船舶内抖动、光照不足等恶劣条件下，也能够保障采集的视频图像的质量，从而提高了服务器疲劳检测的可靠性。
并且，将机器视觉技术融合到疲劳检测方法中，通过可穿戴设备将视频图像发送至服务器，通过服务器对视频图像进行处理、人眼定位和疲劳检测，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，以便警示船舶驾驶员，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
为了实现上述实施例，本发明还提出一种船舶驾驶员的疲劳检测***。
图5是本发明一个实施例的船舶驾驶员的疲劳检测***的结构示意图，如图5所示，船舶驾驶员的疲劳检测***包括服务器10和可穿戴设备20。
具体地，可穿戴设备20用于采集视频流，并将视频流发送至服务器10，以及接收服务器发送的分析结果。其中，可穿戴设备20可以为眼镜。可穿戴设备20在采集到视频图像之后，可先对视频图像进行预处理，例如，对视频图像进行压缩处理、或者设定视频图像的帧率等，由此可以在满足视频图像的质量要求的前提下，提高视频图像传送速率。然后，可穿戴设备20将视频图像以视频流的方式传送至后端的图像处理服务器10上，其中，服务器10和可穿戴设备20可以通过无线网络进行通信，通信的方式可包括但不限于Wifi、红外、蓝牙、3G网络中的一种。
服务器10用于接收可穿戴设备20采集的视频流，并将视频流中的多个视频帧转换为多个图像信息，以及获取多个图像信息中的人眼区域，并对多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，以及将分析结果发送至可穿戴设备20。具体而言，服务器10在接收到可穿戴设备20采集的视频流之后，将视频流在服务器10上进行备份。然后，服务器10从接收到的视频流中获取到多个视频帧，并根据服务器10中预设的阈值将多个视频帧转换为图像信息。例如，可穿戴设备20采集连续10分钟的视频图像，由于正常人眨眼时间在0.2-0.4秒左右，而在疲劳状态下眨眼速度普遍较慢，是一个逐渐闭眼的过程，眼睛从张开到闭合一般至少需要1秒左右的时间。因此，服务器10可以将视频帧率设定为10(即FPS＝10)就可以满足人眼状态的实时捕获，在该条件下可以产生6000张样本图像信息。
其中，服务器10还用于在获取多个图像信息中的人眼区域之前，对多个图像信息进行预处理，从而服务器10可以得到较好质量的图像信息。其中，预处理包括图像去噪处理、均衡化处理、对比度处理中的一种或者多种。
然后，服务器10对多个图像信息中的人眼区域进行定位，即定位人眼位置，以从图像信息中获取准确的部分包含人眼区域的图像，去除图像信息中无用的信息。
在本发明的一个实施例中，服务器10具体用于根据基于Haar特征的Adaboost算法对多个图像信息进行人眼定位，并获取第一人眼区域，以及对多个图像信息进行二值化处理，并据基于Haar特征的Adaboost算法对二值化处理后的图像信息进行人眼定位，以获取第二人眼区域，以及判断第一人眼区域和第二人眼区域是否匹配，并在匹配时将第一人眼区域或第二人眼区域作为多个图像信息中的人眼区域。具体地，服务器10根据图像信息结合对船舶驾驶员眼部特征的学习结果，利用基于Haar特征的Adaboost算法对人眼进行初定位，获得第一人眼区域。然后，服务器10利用图像处理技术对图像信息进行分析和处理，获得该图像信息的二值图像，并根据生成的二值图像利用基于Haar特征的Adaboost算法对人眼进行再一次的定位，获得第二人眼区域。接着，服务器10将第一人眼区域和第二人眼区域进行匹配，如果第一人眼区域的图像集合包含第二人眼区域的图像集合，则判断人眼检测成功，否则删除该图像信息。
进一步而言，服务器10先对图像信息进行基于Haar的人眼特征提取。其中，在图像信息中人眼特征可表述为坐标、距离、颜色、亮度、形状等信息。Haar特征属于矩阵特征，因此可以将其抽象为以点、线。面等基本集合元素组成的简单图形。其中，如图3所示，Haar特征可分为三类：边缘特征、线型特征和环绕特征。Haar特征的基本思想就是先将矩形框分块，再将分块的灰度像素与边缘特征相结合分析的一种特征分析方法。在目标图像中可将特定位置的矩形图像区域抽象为Haar特征，通过该方法可将目标区域图像特征进行量化处理。图像中白色区域的像素灰度值与减去黑色区域像素灰度值之和，所得到的数值就是所覆盖区域的特征值。
服务器10通过使用积分图的方式计算，可提高特征计算速度。积分图是一种可描述全局信息的矩阵表示方法，其定义为：
其中，f(x,y)是原图像在(x,y)处的积分图像，g(x′,y′)是在(x,y)处的原始图像。因此，如图4所示，在(x,y)点处积分图像之等于在该点左上方灰色区域所有像素值之和。
进而，服务器10根据Adaboost算法对图像信息中的人眼位置进行识别。对于捕获的24*24像素的图像而言，其Haar特征在图像匹配的个数多达上万中，而其中只存在少数可用特征。本发明中通过采用Adaboost算法实现快速的人眼检测，其基本思想是利用大量训练集训练弱分类器，通过算法叠加最终构成强分类器。
如果人眼区域图像有k个特征，则可以表示为fj(xi)，其中，1≤j≤k，xi表示为第i个样本图像。那么每个图像的特征集可表示为{f1(xi),f2(xi),f3(xi),…fj(xi),…fk(xi)}，其中，每个特征对应一个弱分类器。
服务器10将一个弱分类器hj(x)的组成包含特征fj(x)，阈值θj和符号pj三部分，其中，一个特征对应一个弱分类器，分类阈值是一个对所有矩阵进行分类的特征值，分类符号则是一个表示拥有正负方向的符号。服务器10将第j个特征的弱分类器表示为：
其中，hj(x)为弱分类器的值，θj为阈值，pj用于控制不等号方向，取值为+1或－1，fj(x)为特征值。
基于Adaboost算法，对已知的n个训练样本(x1,y1),(x2,y2),…,(xn,yn)进行如下步骤运算，其中yi＝{0,1}对应样本的真和假。
(1)取n个训练样本，其中m个人眼样本，l个非人眼样本，表示为(x1,y1),(x2,y2),…,(xn,yn)，其中，yi＝0、yi＝1分别对应人眼样本和非人眼样本。
(2)初始化误差权重，对于yi＝0的样本，对于yi＝1的样本，
(3)初始化t＝1，其中t≤T，T为训练样本分类器个数。
(4)将权重归一化为
(5)对每个特征f训练一个弱分类器h(x,f,p,θ)，计算其对应的弱分类器的加权(qi)的错误率εf＝∑|hj(xj)-qi|，并选出误差εf最小的分类器ht，并更新权重其中，ei＝0表示被正确的分类，ei＝1表示被错误的分类，
(6)另t＝t+1,重复步骤(4)，直到t＞T。
(7)最后得到强分类器为：
在本发明的一个实施例中，服务器10具体用于根据PERCLOS算法计算多个图像信息中的人眼区域的PERCLOS值，并将PERCLOS值与疲劳程度判别的阈值进行比较，以及在PERCLOS值大于等于疲劳程度判别的阈值时判断船舶驾驶员处于疲劳状态。其中，服务器10根据以下公式计算所述PERCLOS值：其中，N为连续时间内人眼区域采样总数，由于眼睛的状态与船舶驾驶员的疲劳程度具有很高的相关性，PERCLOS算法是通过分析眼睛的开闭情况检测疲劳的一种方法。其中，P80标准与疲劳程度的相关性最高，是公认的“黄金判定”标准。
在服务器10对图像信息中的人眼区域进行定位之后，通过图像处理技术对人眼区域中人眼的开闭程度进行判定。也就是说，在服务器10计算得出P(i)之后，服务器10可以将P(i)与疲劳程度判别的阈值T进行比较，其中，阈值T是根据实验对船舶驾驶环境进行综合评定后得到的较为理想的数值参数，如果P(i)≥T，则判断人眼处于闭合状态，即判断船舶驾驶员处于疲劳状态。如果P(i)＜T，则判断人眼处于张开状态，即判断船舶驾驶员未处于疲劳状态。然后，服务器10将判断船舶驾驶员是否处于疲劳状态的分析结果发送至可穿戴设备20。
在本发明的一个实施例中，可穿戴设备20还用于当服务器10判断船舶驾驶员处于疲劳状态时，进行报警提示。其中，报警提示包括灯光提示、语音提示和振动提示中的一种或者多种。
本发明实施例的船舶驾驶员的疲劳检测***，通过可穿戴设备获取船舶驾驶员的视频图像，可以避免各种客观因素的影响，包括光照环境、水面波动环境、操作环境以及船舶驾驶员前方水面视野等，基于可穿戴设备的前端采集***，能够采集清晰的视频图像，在船舶内抖动、光照不足等恶劣条件下，也能够保障采集的视频图像的质量，从而提高了服务器疲劳检测的可靠性。
并且，将机器视觉技术融合到疲劳检测方法中，通过可穿戴设备将视频图像发送至服务器，通过服务器对视频图像进行处理、人眼定位和疲劳检测，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，以便警示船舶驾驶员，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
为了实现上述实施例，本发明还提出一种服务器。
图6是本发明一个实施例的服务器的结构示意图，如图6所示，服务器包括接收模块110、转换模块120、获取模块130、分析模块140和预处理模块150，其中，获取模块130包括第一获取单元131、第二获取单元132和判断单元133，分析模块140包括计算单元141、比较单元142和判断单元143。
具体地，接收模块110用于接收可穿戴设备采集的视频流。
转换模块120用于将视频流中的多个视频帧转换为多个图像信息。具体地，转换模块120从接收模块110接收到的视频流中获取到多个视频帧，并根据预设的阈值将多个视频帧转换为图像信息。例如，可穿戴设备采集连续10分钟的视频图像，由于正常人眨眼时间在0.2-0.4秒左右，而在疲劳状态下眨眼速度普遍较慢，是一个逐渐闭眼的过程，眼睛从张开到闭合一般至少需要1秒左右的时间。因此，转换模块120可以将视频帧率设定为10(即FPS＝10)就可以满足人眼状态的实时捕获，在该条件下可以产生6000张样本图像信息。
获取模块130用于获取多个图像信息中的人眼区域。
在本发明的一个实施例中，服务器还包括预处理模块150，预处理模块150用于对多个图像信息进行预处理，其中，预处理包括图像去噪处理、均衡化处理、对比度处理中的一种或者多种。
在本发明的一个实施例中，获取模块130包括第一获取单元131、第二获取单元132和判断单元133。其中，第一获取单元131用于根据基于Haar特征的Adaboost算法对多个图像信息进行人眼定位，并获取第一人眼区域。第二获取单元132用于对多个图像信息进行二值化处理，并据基于Haar特征的Adaboost算法对二值化处理后的图像信息进行人眼定位，以获取第二人眼区域。判断单元133用于判断第一人眼区域和第二人眼区域是否匹配，并在匹配时将第一人眼区域和/或第二人眼区域作为多个图像信息中的人眼区域。具体地，第一获取单元131根据图像信息结合对船舶驾驶员眼部特征的学习结果，利用基于Haar特征的Adaboost算法对人眼进行初定位，获得第一人眼区域。然后，第二获取单元132利用图像处理技术对图像信息进行分析和处理，获得该图像信息的二值图像，并根据生成的二值图像利用基于Haar特征的Adaboost算法对人眼进行再一次的定位，获得第二人眼区域。接着，判断单元133将第一人眼区域和第二人眼区域进行匹配，如果第一人眼区域的图像集合包含第二人眼区域的图像集合，则判断人眼检测成功，否则删除该图像信息。
具体而言，第一获取单元131和第二获取单元132先对图像信息进行基于Haar的人眼特征提取。其中，在图像信息中人眼特征可表述为坐标、距离、颜色、亮度、形状等信息。Haar特征属于矩阵特征，因此可以将其抽象为以点、线。面等基本集合元素组成的简单图形。其中，如图3所示，Haar特征可分为三类：边缘特征、线型特征和环绕特征。Haar特征的基本思想就是先将矩形框分块，再将分块的灰度像素与边缘特征相结合分析的一种特征分析方法。在目标图像中可将特定位置的矩形图像区域抽象为Haar特征，通过该方法可将目标区域图像特征进行量化处理。图像中白色区域的像素灰度值与减去黑色区域像素灰度值之和，所得到的数值就是所覆盖区域的特征值。
通过使用积分图的方式计算，可提高特征计算速度。积分图是一种可描述全局信息的矩阵表示方法，其定义为：
其中，f(x,y)是原图像在(x,y)处的积分图像，g(x′,y′)是在(x,y)处的原始图像。因此，如图4所示，在(x,y)点处积分图像之等于在该点左上方灰色区域所有像素值之和。
进而，第一获取单元131和第二获取单元132根据Adaboost算法对图像信息中的人眼位置进行识别。对于捕获的24*24像素的图像而言，其Haar特征在图像匹配的个数多达上万中，而其中只存在少数可用特征。本发明中通过采用Adaboost算法实现快速的人眼检测，其基本思想是利用大量训练集训练弱分类器，通过算法叠加最终构成强分类器。
如果人眼区域图像有k个特征，则可以表示为fj(xi)，其中，1≤j≤k，xi表示为第i个样本图像。那么每个图像的特征集可表示为{f1(xi),f2(xi),f3(xi),…fj(xi),…fk(xi)}，其中，每个特征对应一个弱分类器。
第一获取单元131和第二获取单元132将一个弱分类器hj(x)的组成包含特征fj(x)，阈值θj和符号pj三部分，其中，一个特征对应一个弱分类器，分类阈值是一个对所有矩阵进行分类的特征值，分类符号则是一个表示拥有正负方向的符号。服务器将第j个特征的弱分类器表示为：
其中，hj(x)为弱分类器的值，θj为阈值，pj用于控制不等号方向，取值为+1或－1，fj(x)为特征值。
基于Adaboost算法，对已知的n个训练样本(x1,y1),(x2,y2),…,(xn,yn)进行如下步骤运算，其中yi＝{0,1}对应样本的真和假。
(1)取n个训练样本，其中m个人眼样本，l个非人眼样本，表示为(x1,y1),(x2,y2),…,(xn,yn)，其中，yi＝0、yi＝1分别对应人眼样本和非人眼样本。
(2)初始化误差权重，对于yi＝0的样本，对于yi＝1的样本，
(3)初始化t＝1，其中t≤T，T为训练样本分类器个数。
(4)将权重归一化为
(5)对每个特征f训练一个弱分类器h(x,f,p,θ)，计算其对应的弱分类器的加权(qi)的错误率εf＝∑|hj(xj)-qi|，并选出误差εf最小的分类器ht，并更新权重其中，ei＝0表示被正确的分类，ei＝1表示被错误的分类，
(6)另t＝t+1,重复步骤(4)，直到t＞T。
(7)最后得到强分类器为：
分析模块140用于对多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至可穿戴设备。
在本发明的一个实施例中，分析模块140包括计算单元141、比较单元142和判断单元143。其中，计算单元141用于根据PERCLOS算法计算多个图像信息中的人眼区域的PERCLOS值。其中，计算单元141根据以下公式计算PERCLOS值：其中，N为连续时间内人眼区域采样总数， 比较单元142用于将PERCLOS值与疲劳程度判别的阈值进行比较。判断单元143用于在PERCLOS值大于等于疲劳程度判别的阈值时，判断船舶驾驶员处于疲劳状态。
本发明实施例的服务器，对视频图像进行处理、人眼定位和疲劳检测，在船舶驾驶员处于疲劳状态时通过可穿戴设备对其进行提醒，以便警示船舶驾驶员，从而大大提高了船舶驾驶员在驾驶船舶时的安全性，避免了事故的发生，保证了船舶驾驶员的生命财产安全。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种船舶驾驶员的疲劳检测方法，其特征在于，包括以下步骤：
接收可穿戴设备采集的视频流；
将所述视频流中的多个视频帧转换为多个图像信息；
获取所述多个图像信息中的人眼区域，其中，根据基于Haar特征的Adaboost算法对所述多个图像信息进行人眼定位，并获取第一人眼区域；对所述多个图像信息进行二值化处理，并据基于Haar特征的Adaboost算法对二值化处理后的图像信息进行人眼定位，以获取第二人眼区域；判断所述第一人眼区域和所述第二人眼区域是否匹配，并在匹配时将所述第一人眼区域和/或所述第二人眼区域作为所述多个图像信息中的人眼区域；以及
对所述多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至所述可穿戴设备。
2.如权利要求1所述的船舶驾驶员的疲劳检测方法，其特征在于，对所述人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态具体包括：
根据PERCLOS算法计算所述多个图像信息中的人眼区域的PERCLOS值，并将所述PERCLOS值与疲劳程度判别的阈值进行比较，以及在所述PERCLOS值大于等于所述疲劳程度判别的阈值时判断所述船舶驾驶员处于疲劳状态。
3.如权利要求2所述的船舶驾驶员的疲劳检测方法，其特征在于，根据以下公式计算所述PERCLOS值：
其中，N为连续时间内人眼区域采样总数，
4.如权利要求1所述的船舶驾驶员的疲劳检测方法，其特征在于，在将分析结果发送至所述可穿戴设备之后，还包括：
当判断所述船舶驾驶员处于疲劳状态时，所述可穿戴设备进行报警提示。
5.如权利要求4所述的船舶驾驶员的疲劳检测方法，其特征在于，所述报警提示包括灯光提示、语音提示和振动提示中的一种或者多种。
6.如权利要求1所述的船舶驾驶员的疲劳检测方法，其特征在于，在获取所述多个图像信息中的人眼区域之前，还包括：
对所述多个图像信息进行预处理，其中，所述预处理包括图像去噪处理、均衡化处理、对比度处理中的一种或者多种。
7.如权利要求1-6任一项所述的船舶驾驶员的疲劳检测方法，其特征在于，所述可穿戴设备为眼镜。
8.一种船舶驾驶员的疲劳检测***，其特征在于，包括：服务器和可穿戴设备，其中，
所述可穿戴设备用于采集视频流，并将所述视频流发送至所述服务器，以及接收所述服务器发送的分析结果；以及
所述服务器用于接收所述可穿戴设备采集的视频流，并将所述视频流中的多个视频帧转换为多个图像信息，以及获取所述多个图像信息中的人眼区域，并对所述多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，以及将分析结果发送至所述可穿戴设备；
其中，所述服务器具体用于根据基于Haar特征的Adaboost算法对所述多个图像信息进行人眼定位，并获取第一人眼区域，以及对所述多个图像信息进行二值化处理，并据基于Haar特征的Adaboost算法对二值化处理后的图像信息进行人眼定位，以获取第二人眼区域，以及判断所述第一人眼区域和所述第二人眼区域是否匹配，并在匹配时将所述第一人眼区域或所述第二人眼区域作为所述多个图像信息中的人眼区域。
9.如权利要求8所述的船舶驾驶员的疲劳检测***，其特征在于，所述服务器具体用于：
根据PERCLOS算法计算所述多个图像信息中的人眼区域的PERCLOS值，并将所述PERCLOS值与疲劳程度判别的阈值进行比较，以及在所述PERCLOS值大于等于所述疲劳程度判别的阈值时判断所述船舶驾驶员处于疲劳状态。
10.如权利要求9所述的船舶驾驶员的疲劳检测***，其特征在于，服务器根据以下公式计算所述PERCLOS值：
其中，N为连续时间内人眼区域采样总数，
11.如权利要求8所述的船舶驾驶员的疲劳检测***，其特征在于，所述可穿戴设备还用于：
当所述服务器判断所述船舶驾驶员处于疲劳状态时，进行报警提示。
12.如权利要求11所述的船舶驾驶员的疲劳检测***，其特征在于，所述报警提示包括灯光提示、语音提示和振动提示中的一种或者多种。
13.如权利要求8所述的船舶驾驶员的疲劳检测***，其特征在于，所述服务器还用于：
对所述多个图像信息进行预处理，其中，所述预处理包括图像去噪处理、均衡化处理、对比度处理中的一种或者多种。
14.如权利要求8-13任一项所述的船舶驾驶员的疲劳检测***，其特征在于，所述可穿戴设备为眼镜。
15.一种服务器，其特征在于，包括：
接收模块，用于接收可穿戴设备采集的视频流；
转换模块，用于将所述视频流中的多个视频帧转换为多个图像信息；
获取模块，用于获取所述多个图像信息中的人眼区域，其中，所述获取模块包括第一获取单元、第二获取单元和判断单元，所述第一获取单元用于根据基于Haar特征的Adaboost算法对所述多个图像信息进行人眼定位，并获取第一人眼区域，所述第二获取单元用于对所述多个图像信息进行二值化处理，并据基于Haar特征的Adaboost算法对二值化处理后的图像信息进行人眼定位，以获取第二人眼区域，所述判断单元用于判断所述第一人眼区域和所述第二人眼区域是否匹配，并在匹配时将所述第一人眼区域和/或所述第二人眼区域作为所述多个图像信息中的人眼区域；以及
分析模块，用于对所述多个图像信息中的人眼区域进行疲劳分析以判断船舶驾驶员是否处于疲劳状态，并将分析结果发送至所述可穿戴设备。
16.如权利要求15所述的服务器，其特征在于，所述分析模块包括：
计算单元，用于根据PERCLOS算法计算所述多个图像信息中的人眼区域的PERCLOS值；
比较单元，用于将所述PERCLOS值与疲劳程度判别的阈值进行比较；以及
判断单元，用于在所述PERCLOS值大于等于所述疲劳程度判别的阈值时，判断所述船舶驾驶员处于疲劳状态。
17.如权利要求16所述的服务器，其特征在于，所述计算单元根据以下公式计算所述PERCLOS值：
其中，N为连续时间内人眼区域采样总数，
18.如权利要求15所述的服务器，其特征在于，还包括：
预处理模块，用于对所述多个图像信息进行预处理，其中，所述预处理包括图像去噪处理、均衡化处理、对比度处理中的一种或者多种。
CN201510279711.1A 2015-05-28 2015-05-28 船舶驾驶员的疲劳检测方法、***和服务器 Active CN106295474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510279711.1A CN106295474B (zh) 2015-05-28 2015-05-28 船舶驾驶员的疲劳检测方法、***和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510279711.1A CN106295474B (zh) 2015-05-28 2015-05-28 船舶驾驶员的疲劳检测方法、***和服务器

Publications (2)

Publication Number Publication Date
CN106295474A CN106295474A (zh) 2017-01-04
CN106295474B true CN106295474B (zh) 2019-03-22

Family

ID=57634266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510279711.1A Active CN106295474B (zh) 2015-05-28 2015-05-28 船舶驾驶员的疲劳检测方法、***和服务器

Country Status (1)

Country Link
CN (1) CN106295474B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304764B (zh) * 2017-04-24 2021-12-24 中国民用航空局民用航空医学中心 模拟飞行驾驶过程中疲劳状态检测装置及检测方法
CN109407609A (zh) * 2018-12-05 2019-03-01 江苏永钢集团有限公司 一种设备信息化点检***
CN110063736B (zh) * 2019-05-06 2022-03-08 苏州国科视清医疗科技有限公司 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒***
CN111353636A (zh) * 2020-02-24 2020-06-30 交通运输部水运科学研究所 一种基于多模态数据的船舶驾驶行为预测方法及***
CN113947869B (zh) * 2021-10-18 2023-09-01 广州海事科技有限公司 基于船舶驾驶状态的报警方法、***、计算机设备及介质
CN114537612A (zh) * 2021-12-31 2022-05-27 武汉理工大学 一种船舶驾驶台值班船员疲劳检测装置及方法
CN114663964A (zh) * 2022-05-24 2022-06-24 武汉理工大学 船舶远程驾驶行为状态监测预警方法、***及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324166B (zh) * 2011-09-19 2013-06-12 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测方法及装置
CN103093215B (zh) * 2013-02-01 2016-12-28 北京天诚盛业科技有限公司 人眼定位方法及装置
CN104269028B (zh) * 2014-10-23 2017-02-01 深圳大学 一种疲劳驾驶检测方法及***

Also Published As

Publication number Publication date
CN106295474A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106295474B (zh) 船舶驾驶员的疲劳检测方法、***和服务器
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及***
CN104637246B (zh) 一种驾驶员多种行为预警***及危险评估方法
Rongben et al. Monitoring mouth movement for driver fatigue or distraction with one camera
CN103440475B (zh) 一种自动取款机使用者人脸可见性判断***及方法
CN202257856U (zh) 驾驶员疲劳驾驶监控装置
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位***
CN202130312U (zh) 一种驾驶员疲劳驾驶监控装置
CN109389806A (zh) 基于多信息融合的疲劳驾驶检测预警方法、***及介质
CN109977930A (zh) 疲劳驾驶检测方法及装置
CN106156688A (zh) 一种动态人脸识别方法及***
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN104013414A (zh) 一种基于移动智能手机的驾驶员疲劳检测***
CN109460699A (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN103942850A (zh) 基于视频分析和rfid技术的医护人员在岗监测方法
CN102752458A (zh) 一种驾驶员疲劳检测手机与检测单元
CN102085099A (zh) 疲劳驾驶检测方法和装置
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及***
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN103839046A (zh) 驾驶人注意力自动识别***及其识别方法
CN105117681A (zh) 基于安卓的多特征疲劳实时检测方法
CN109002774A (zh) 一种基于卷积神经网络的疲劳监测装置及方法
CN108960216A (zh) 一种动态人脸检测和识别方法
CN113140093A (zh) 一种基于AdaBoost算法的疲劳驾驶检测方法
Ribarić et al. A neural-network-based system for monitoring driver fatigue

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant