CN114495069A - 一种监测司机驾驶状态的方法及*** - Google Patents
一种监测司机驾驶状态的方法及*** Download PDFInfo
- Publication number
- CN114495069A CN114495069A CN202011164123.0A CN202011164123A CN114495069A CN 114495069 A CN114495069 A CN 114495069A CN 202011164123 A CN202011164123 A CN 202011164123A CN 114495069 A CN114495069 A CN 114495069A
- Authority
- CN
- China
- Prior art keywords
- driver
- fatigue
- driving
- eye
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 210000001508 eye Anatomy 0.000 description 65
- 210000005252 bulbus oculi Anatomy 0.000 description 14
- 230000009471 action Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000008433 psychological processes and functions Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种监测司机驾驶状态的方法及***，该方法通过采用无接触的方式采集驾驶员的疲劳体征数据，根据采集的疲劳体征数据计算驾驶员的初步驾驶状态指数，当该指数达到设定的第一疲劳驾驶指标时，判定驾驶员为疑似疲劳状态，然后按照设定的机制生成辅助标示信息并使其面向驾驶员显示；进而结合辅助标示信息的显示状态和相应疲劳体征数据计算驾驶员的标准驾驶状态指数，当驾驶员的标准驾驶状态指数达到设定的第二疲劳驾驶指标时，判定为疲劳驾驶状态并输出警示信息。采用该方案能够克服现有技术操作繁杂的缺陷，突破应用场景的局限性，精确高效地监测各类型车辆驾驶员的驾驶状态，及时识别驾驶员的疲劳状态，精准高效地杜绝疲劳驾驶的发生。
Description
技术领域
本发明涉及状态监测与评估技术领域，尤其涉及一种监测司机驾驶状态的方法及***。
背景技术
列车司机的疲劳状态直接影响行车安全，司机在长时间连续行车后，产生生理机能和心理机能的失调，会影响到司机的注意力、知觉、思维、判断、意志和运动等诸方面，在客观上会出现驾驶技能下降的趋势，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，甚至出现精神恍惚或瞬间记忆消失，若司机在行车过程中疲劳或其他问题而没有及时发现，可能引起较大的安全事故。疲劳驾驶严重威胁到交通安全，疲劳驾驶行为判别、疲劳预警与控制技术等正逐渐成为交通安全的重要研究方向。
目前列车上监测司机疲劳的装置还比较原始，列车司机需每秒中用手按压或用脚踩踏警惕按钮，若没有及时按压，则报警提醒，这种方式一方面增加了司机的行车操作负担，另一方面在司机轻度疲劳时可能会有动作惯性触发按钮，导致不能及时发现疲劳情况。此外，目前也有一些基于司机盹睡状态判断的***，主要采集司机面部的表情信息判断司机疲劳状态，但是由于每个人的疲劳时的表情都不一样，这种判断容易导致误判，准确率不高。
申请号为CN2019114041917的文件提供了一种疲劳驾驶预警装置，该装置通过特别设置的压力传感器和心率测试器分别检测行车过程中安全带与驾驶员身体之间的压力数值以及驾驶员的心率数值，由中央处理器根据压力数值和心率数值结合压力阈值和心率阈值范围生成预警信号。该方案须基于物理接触才能监测到数据，类似于穿戴设备方案，存在局限性，只适用于有安全带的交通工具上，对于并不需要佩戴安全带的驾驶员则不适用，例如列车驾驶员，此外上述方案中需要多种物理部件，所需成本高，且易因为某一种或多种部件故障导致监测失灵，异常率较高。
发明内容
为解决上述问题，本发明提供了一种监测司机驾驶状态的方法，在一个实施例中，所述方法包括：
步骤S1、车辆启动后，采用无接触的方式采集驾驶员的多种疲劳体征数据；
步骤S2、根据采集的疲劳体征数据确定当前驾驶员的初步驾驶状态指数，当驾驶员的初步驾驶状态指数达到设定的第一疲劳驾驶指标时，判定驾驶员处于疑似疲劳状态，则执行下述步骤S3；
步骤S3、按照设定的机制生成辅助标示信息并使其面向驾驶员可视化显示；
步骤S4、结合所述辅助标示信息的显示状态和采集的相应疲劳体征数据进一步确定驾驶员的标准驾驶状态指数，当驾驶员的标准驾驶状态指数达到设定的第二疲劳驾驶指标时，则判定驾驶员处于疲劳驾驶状态，立即生成相应的警示信息并输出。
优选地，一个实施例中，在所述步骤S1中，利用图像采集传感器采集驾驶员的疲劳体征数据，所述疲劳体征数据包括车辆行驶过程中驾驶员对应时刻的人脸参数、嘴部状态参数以及眼睛状态参数。
进一步地，一个实施例中，在所述步骤S1中，包括：
采集驾驶员的人脸图像，基于设定的眼部特征点和嘴部特征点分别截取眼部区域图像和嘴部区域图像；
基于截取的眼部区域图像和嘴部区域图像进行均值滤波以减少采集过程中噪声信息的影响，获得原始眼部图像和原始嘴部图像；
对获得的原始眼部图像和原始嘴部图像进行直方图均衡处理，得到标准化眼部图像和标准化嘴部图像。
一个实施例中，在所述步骤S2中，选取表征驾驶员眼部开闭概率的PERCLOS参数作为评定驾驶员当前的驾驶状态的初步驾驶状态指数；
基于模拟驾驶的数据获取判定驾驶员疑似疲劳的PERCLOS值，作为第一疲劳驾驶指标。
一个实施例中，在所述步骤S3中，以判定驾驶员疑似疲劳的时间为起点，按照设置的标示时间间隔生成辅助标示信息。
进一步地，一个实施例中，在所述步骤S3中，利用投影仪将所述辅助标示信息按照设定的标识显示参数显示在车辆挡风玻璃的设定位置，以使所述辅助标示信息针对驾驶员显示。
一个实施例中，所述方法还包括：预先设置应用于不同行车时段的标示时间间隔和标示显示参数，所述标示显示参数包括：标示显示轨迹、标示显示色彩和标示显示亮度数据。
一个实施例中，在所述步骤S4中，包括：
基于得到的各帧标准化眼部图像分别提取表征眼部开闭程度和瞳孔相对位置的HOG特征；
利用训练得到的分类器模型对标准化眼部图像进行检测并给出对应的检测结果，根据检测结果使用滞环比较方法得出当前帧的眼部识别结果；
结合相邻若干帧的眼部识别结果进行平滑滤波，并综合嘴型识别信息确定驾驶员当前的标准驾驶状态指数。
基于上述实施例中提供的方法，本发明还提供一种存储介质，该存储介质上存储有可实现如上述任意一个或多个实施例中所述方法的程序代码。
基于上述任意一个或多个实施例的其他方面，本发明还提供一种监测司机驾驶状态的***，该***执行上述任意一个或多个实施例中所述的方法。
与最接近的现有技术相比，本发明还具有如下有益效果：
本发明提供的一种监测司机驾驶状态的方法及***，该方法通过采用无接触的方式采集驾驶员的疲劳体征数据，为驾驶员疲劳程度的识别提供数据依据，解决了穿戴类型监测装置成本高、易损坏以及使用场景局限的缺陷，且不会对驾驶员的操作和体感产生任何干扰；此外，本发明先根据采集的疲劳体征数据计算驾驶员的初步驾驶状态指数，在确定判定驾驶员处于疑似疲劳状态之后再综合辅助标示信息和相应的疲劳体征数据计算驾驶员的标准驾驶状态指数，通过不同的机制进行双层次计算，避免了用户尚未疲劳时的冗余的数据运算，在保障监测结果精确性的基础上提升了数据处理的时效性，避免因数据结果延迟导致交通事故，可靠性更高。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一实施例提供的监测司机驾驶状态的方法的流程示意图；
图2是本发明实施例中监测司机驾驶状态的方法的流程示意图的执行流程明细图；
图3是本发明另一实施例中监测司机驾驶状态的方法的辅助标示信息投影示例图；
图4是本发明一实施例中监测司机驾驶状态的方法的疲劳状态判定原理示意图；
图5是本发明实施例提供的监测司机驾驶状态的***的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
列车司机的疲劳状态直接影响行车安全，司机在长时间连续行车后，产生生理机能和心理机能的失调，会影响到司机的注意力、知觉、思维、判断、意志和运动等诸方面，在客观上会出现驾驶技能下降的趋势，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，甚至出现精神恍惚或瞬间记忆消失，若司机在行车过程中疲劳或其他问题而没有及时发现，可能引起较大的安全事故。疲劳驾驶严重威胁到交通安全，疲劳驾驶行为判别、疲劳预警与控制技术等正逐渐成为交通安全的重要研究方向。
目前列车上监测司机疲劳的装置还比较原始，列车司机需每秒中用手按压或用脚踩踏警惕按钮，若没有及时按压，则报警提醒，这种方式一方面增加了司机的行车操作负担，另一方面在司机轻度疲劳时可能会有动作惯性触发按钮，导致不能及时发现疲劳情况。此外，目前也有一些基于司机盹睡状态判断的***，主要采集司机面部和眼部的信息判断司机疲劳状态，但是由于每个人的疲劳时的表情都不一样，这种判断容易导致误判，准确率不高。
申请号为CN2019114041917的文件提供了一种疲劳驾驶预警装置，该装置通过特别设置的压力传感器和心率测试器分别检测行车过程中安全带与驾驶员身体之间的压力数值以及驾驶员的心率数值，由中央处理器根据压力数值和心率数值结合压力阈值和心率阈值范围生成预警信号。该方案须基于物理接触才能监测到数据，类似于穿戴设备方案，存在局限性，只适用于有安全带的交通工具上，对于并不需要佩戴安全带的驾驶员则不适用，例如列车驾驶员，此外上述方案中需要多种物理部件，所需成本高，且易因为某一种或多种部件故障导致监测失灵，异常率较高。
围绕疲劳驾驶识别、预警与控制等方面需求展开的现有研究中，还涉及新型检测识别***的应用，但是其在准确性、可靠性、抗干扰性、小型化与工程化等方面均存在一定的不足，此外，接触式生理参数检测对安全驾驶不可避免地引入新危险，例如上述专利文件中通过安全带上设置的传感器获取驾驶员压力数据以及心率数据的技术方案；而预警与控制技术还处以发展中，没形成相应成熟技术，难以满足工程应用要求。
权威研究表明，人类由正常状态向疲劳状态转变时，形成疲劳的顺序依次是：眼睛，颈部、肩部、腰部，而眼睛的疲劳会引起大脑的疲劳，严重威胁到交通安全。因此，为了解决现有技术中的上述不足，本发明提供一种监测司机驾驶状态的方法及***，本发明的方法按照设定的逻辑实时采集驾驶员在车辆行驶过程中的眼部状态数据和嘴部状态数据，分别从两个层次对驾驶员的驾驶状态进行计算识别，当识别确定驾驶员处于疑似疲劳状态时，采用设定方案生成并显示辅助标示信息，辅助识别驾驶员是否处于疲劳驾驶状态。下面参考附图对本发明各个实施例进行说明。
实施例一
图1示出了本发明实施例一提供的监测司机驾驶状态的方法的流程示意图，参照图1可知，该方法包括如下步骤。
步骤S110、车辆启动后，采用无接触的方式采集驾驶员的多种疲劳体征数据；
本发明实施例考虑到接触式或穿戴式的测试装置容易对驾驶员的驾驶操作产生影响，干扰驾驶员的驾驶舒适度，从而干扰驾驶或产生抵触情绪，此外，现有的测试设备往往依附于车辆座位及相关部件的一个或多个组件，例如，座椅靠背或者座位安全带的内侧，日常穿戴频率高，容易损坏，成本骤增，且无法适用于不存在安全带设置的车辆类型，例如轨道列车。
基于此，本发明从无接触采集数据的方向入手，通过图像识别，不需要提供穿戴设备，以在不影响驾驶员操作的情况下实时采集驾驶员的生理状态数据，因此，本发明在所述步骤S110中，按照设定的时间间隔利用图像采集传感器采集驾驶员的疲劳体征数据，所述疲劳体征数据包括车辆行驶过程中驾驶员对应时刻的人脸参数、嘴部状态参数以及眼睛状态参数。
考虑到人类进入疲劳状态的过程依次是眼睛，颈部、肩部、腰部，为了能够在第一时间捕捉到驾驶员的疲劳状态，本发明实施例中以驾驶员的眼部状态数据作为核心数据，能够将驾驶员危险驾驶的时间保持在最短。
图2示出了本发明实施例中监测司机驾驶状态的方法的执行流程明细图，如图2所示，一个实施例中，在所述步骤S110中，至少包括以下操作：
采集驾驶员的人脸图像，基于设定的眼部特征点和嘴部特征点分别截取眼部区域图像和嘴部区域图像；
基于截取的眼部区域图像和嘴部区域图像进行均值滤波以减少采集过程中噪声信息的影响，获得原始眼部图像和原始嘴部图像；
对获得的原始眼部图像和原始嘴部图像进行直方图均衡处理，得到标准化眼部图像和标准化嘴部图像。
为了能够对驾驶员的疲劳程度进行量化，我们需要首先确定疲劳程度的评判指标，在一个实施例中，本发明包括步骤S120、根据采集的疲劳体征数据确定当前驾驶员的初步驾驶状态指数，当驾驶员的初步驾驶状态指数达到设定的第一疲劳驾驶指标时，判定驾驶员处于疑似疲劳状态，则执行下述步骤S130；若否，则表明驾驶员处于正常的驾驶状态。
本发明主要通过判断疑似疲劳后采用主动检测的方式提高准确率，初步判断并不需要非常全面，因此，在初步判断的过程中，为了适当控制数据处理过程的压力，提升计算效率，初步判断驾驶员是否处于疑似疲劳状态时，在所述步骤S120中，选取表征驾驶员眼部开闭概率的PERCLOS参数作为评定驾驶员当前的驾驶状态的初步驾驶状态指数；PERCLOS(percentage of eyelid closure over the pupil over time)，定义为单位时间内(一般取1分钟或者30秒)眼睛闭合一定比例(70％或80％)所占的时间。
其中，最早的基于PERCLOS的疲劳度量***是由Wierwille在1994年的一次驾驶模拟器研究中建立的。美国联邦公路管理局(FHWA)和美国国家公路交通安全管理局(NHTSA)在实验室中模拟驾驶，完成了九种疲劳检测指标的比较。结果证明，这些方法都能在不同程度上预测驾驶疲劳，而PERCLOS与驾驶疲劳的相关性最好，因而我们选择PERCLOS作为驾驶员疲劳程度的判定指标，其具体计算公式如下：
由PERCLOS的定义可知，如何从视频序列中准确无误地提取到眼睛睁开的程度非常重要。为此，我们利用之前提取到的特征点来定位眼睛并截取眼部图像。针对每只眼睛，选取眼角特征点并相应进行扩展，同时进行均值滤波以减少检测中噪声的影响，得到原始眼部图像。为了去除光照的影响，对获取的眼部图像进行直方图均衡，得到用于检测开闭程度的标准化眼部图像。提取眼部图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征，利用训练得到的分类器模型对眼部图像进行检测并给出开闭的概率。使用滞环比较给出本帧判断结果，并结合相邻若干帧内识别结果进行平滑滤波，因此，本发明实施例有：基于得到的各帧标准化眼部图像分别提取表征眼部开闭程度的HOG特征；
利用训练得到的分类器模型对标准化眼部图像进行检测并给出对应的检测结果，根据检测结果使用滞环比较方法得出当前帧的眼部识别结果；
结合相邻若干帧的眼部识别结果进行平滑滤波处理，得到驾驶员当前的初步驾驶状态指数。
实际应用中，在计算驾驶员实时PERCLOS值之前，还包括基于模拟驾驶的数据获取判定驾驶员疑似疲劳的PERCLOS值，作为第一疲劳驾驶指标。为了确保上述步骤计算的初步驾驶状态指数能够覆盖驾驶员所有疑似疲劳的情况，所述第一疲劳驾驶指标由工作人员根据实际识别需求设置较小值，以使驾驶员刚进入疑似疲劳状态就能够被有效识别出来，提升识别效率的基础上，保障识别结果的精确度。
本发明在确定驾驶员处于疑似疲劳状态后，按照设定的方案采用主动检测的方式提高准确率，因此，包括：步骤S130、按照设定的机制生成辅助标示信息并使其面向驾驶员可视化显示；
具体地，在一个实施例中，在所述步骤S130中，以判定驾驶员疑似疲劳的时间为起点，按照设置的标示时间间隔生成辅助标示信息。
进而利用投影仪将所述辅助标示信息按照设定的标识显示参数显示在车辆挡风玻璃的设定位置，以使所述辅助标示信息针对驾驶员显示，需要说明的是，所述辅助标示信息显示过程中不影响驾驶员识别路况。图3示出了本发明实施例中监测司机驾驶状态的方法的辅助标示信息投影示例图，如图3所示，首先显示标示1，停留设定时间后标示1消失，如标示1显示1到2分钟后，显示标示2，类似，后面依次显示标示3和标示4，玻璃上显示的标示需醒目，标示之间须有一定的距离；综合判断研究追踪情况，若眼球正确追踪到3个标示及以上，则判断没有疲劳，否则，判断疲劳。
在一个可选的实施例中，由图像采集传感器主要采集司机的人脸信息、嘴型信息、眼睛状态信息，采集到的信息发给主控制器，由主控制器判断是否疲劳。若判定驾驶员疑似疲劳，则由主控制器控制将辅助标示信息通过短焦投影仪投到前挡风玻璃上，图像采集传感器跟踪眼球转动情况，若眼球(眼珠)能跟随玻璃上的标示移动，则判断司机未疲劳，若不能跟随标示移动，则判断已经疲劳，如图4所示。需要说明的是，本发明中还可以利用其它有效且合理的技术实现辅助标示信息的主动反馈显示，例如HUD投影方式，将眼睛需要跟踪的信息通过HUD投影在前方路面上，若监测到司机疲劳，则要求司机眼球跟踪标志，本发明对此不予特别限定。
在实际应用中，所述方法还包括：预先设置应用于不同行车时段的标示时间间隔和标示显示参数，所述标示显示参数包括：标示显示轨迹、标示显示色彩和标示显示亮度数据。考虑到不同行车时段的环境状况和人体的生理习惯不同，本发明基于不同的行车时间段设置不同的标示时间间隔和标示显示参数，例如，在白天(08:00-21:30)期间，设置标示的显示时间间隔较长，如5min，设置标示显示轨迹范围比较小，标示显示色彩比较饱和，白天有太阳光的情况下，需要提高显示亮度，以便司机能看清表示的位置，标示显示亮度较高，而夜间的其他时间段，则相应地设置标示以较短的时间间隔显示，同时加大标示信息显示的轨迹范围，提高辨识度，此外为了提升驾驶员夜间的视觉体验度，设置标示信息的色彩和亮度都偏于温和，不刺眼，提升观看舒适度。
另外，在一个可选的实施例中，本发明中的上述显示设置可以由用户根据实际需求进行灵活调整，以保证在有效实现辅助检测作用的前提下，对驾驶员的驾驶过程影响最小。
具体地，一个实施例中，在步骤S140中实现驾驶员疲劳程度的全面识别，包括：结合所述辅助标示信息的显示状态和采集的相应疲劳体征数据进一步确定驾驶员的标准驾驶状态指数，当驾驶员的标准驾驶状态指数达到设定的第二疲劳驾驶指标时，则判定驾驶员处于疲劳驾驶状态，立即生成相应的警示信息并输出。
在所述步骤S140中，包括：
基于得到的各帧标准化眼部图像分别提取表征眼部开闭程度和瞳孔相对位置的HOG特征；
利用训练得到的分类器模型对标准化眼部图像进行检测并给出对应的检测结果，根据检测结果使用滞环比较方法得出当前帧的眼部识别结果；
结合相邻若干帧的眼部识别结果进行平滑滤波处理，并综合嘴型识别信息确定驾驶员本帧对应的标准驾驶状态指数。
进一步地，本发明考虑到当司机被确定为疲劳状态时，有可能处于更严重的状态，如疾病复发导致昏迷，因此，本发明在生成相应的警示信息并输出的过程中，一方面输出语音、蜂鸣或音乐等警示信息，另一方面将信息发送至地面指挥中心，由地面指挥中心决策，并持续获取驾驶员的面部疲劳体征数据，若设定时间内依然处于疲劳状态，判定为情节严重，则由地面指挥中心接管车辆，以防止出现车辆出现意外。
基于上述实施例，本发明还提供一种存储介质，该存储介质上存储有可实现上述任意一个或多个实施例中所述方法的程序代码。
本发明采用被动监测和主动反馈的方式判断司机的疲劳状态，将需要驾驶员眼睛跟踪的标示信息投在前挡风玻璃上，眼球跟踪玻璃上显示的标示，由眼球转动的情况判断是否疲劳，能在保证司机的行车安全的基础上有效的提高识别率，且本发明不需要手动触发疲劳监测按钮，只需要在监测到可能有疲劳状态时眼球追踪玻璃上的目标即可，减轻司机的操作负担。
采用本发明上述实施例中提供的技术手段，能够在无接触的情况下精确采集驾驶员的疲劳体征数据，并设计有初步识别以及标准识别过程对驾驶员的疲劳程度进行判定，在有效识别疲劳驾驶的基础上，控制实现运算的主控制器不会具有极大的数据处理负担，提升相应速度，并降低异常概率。
实施例二
基于上述任意一个或多个实施例的其他方面，本发明还提供一种监测司机驾驶状态的***，该***执行上述任意一个或多个实施例中所述的方法。
具体地，图5示出了本发明实施例中监测司机驾驶状态的***的结构示意图，如图5所示，该***包括：
体征数据采集装置51，其配置为在车辆启动后，采用无接触的方式采集驾驶员的多种疲劳体征数据；
初步识别模块53，其配置为根据采集的疲劳体征数据确定当前驾驶员的初步驾驶状态指数，当驾驶员的初步驾驶状态指数达到设定的第一疲劳驾驶指标时，判定驾驶员处于疑似疲劳状态，启动辅助标示模块；
辅助标示模块55，其配置为按照设定的机制生成辅助标示信息并使其面向驾驶员可视化显示；
标准识别模块57，其配置为结合所述辅助标示信息的显示状态和采集的相应疲劳体征数据进一步确定驾驶员的标准驾驶状态指数，当驾驶员的标准驾驶状态指数达到设定的第二疲劳驾驶指标时，则判定驾驶员处于疲劳驾驶状态，立即生成相应的警示信息并输出。
在一个实施例中，所述体征数据采集装置51具体配置为：利用图像采集传感器采集驾驶员的疲劳体征数据，所述疲劳体征数据包括车辆行驶过程中驾驶员对应时刻的人脸参数、嘴部状态参数以及眼睛状态参数。
在一个可选的实施例中，由图像采集传感器主要采集司机的人脸信息、嘴型信息、眼睛状态信息，采集到的信息发给主控制器，由主控制器判断是否疲劳。
进一步地，实际应用时，所述体征数据采集装置执行以下操作：
采集驾驶员的人脸图像，基于设定的眼部特征点和嘴部特征点分别截取眼部区域图像和嘴部区域图像；
基于截取的眼部区域图像和嘴部区域图像进行均值滤波以减少采集过程中噪声信息的影响，获得原始眼部图像和原始嘴部图像；
对获得的原始眼部图像和原始嘴部图像进行直方图均衡处理，得到标准化眼部图像和标准化嘴部图像。
在一个实施例中，所述初步识别模块53配置为：选取表征驾驶员眼部开闭概率的PERCLOS参数作为评定驾驶员当前的驾驶状态的初步驾驶状态指数；
基于模拟驾驶的数据获取判定驾驶员疑似疲劳的PERCLOS值，作为第一疲劳驾驶指标。
所述辅助标示模块55配置为：以判定驾驶员疑似疲劳的时间为起点，按照设置的标示时间间隔生成辅助标示信息。
在一个实施例中，若判定驾驶员疑似疲劳，所述辅助标示模块利用投影仪将所述辅助标示信息按照设定的标识显示参数显示在车辆挡风玻璃的设定位置，以使所述辅助标示信息针对驾驶员显示。
实际应用时，若判定驾驶员疑似疲劳，则由主控制器将辅助标示信息通过投影仪投到前挡风玻璃上，图像采集传感器跟踪眼球转动情况，若眼球(眼珠)能跟随玻璃上的标示移动，则判断司机未疲劳，若不能跟随标示移动，则判断已经疲劳。需要说明的是，本发明中还可以利用其它有效且合理的技术实现辅助标示信息的主动反馈显示，例如HUD投影方式，将眼睛需要跟踪的信息通过HUD投影在前方路面上，若监测到司机疲劳，则要求司机眼球跟踪标志，本发明对此不予特别限定。
在一个可选的实施例中，所述辅助标示模块55还配置为：预先设置应用于不同行车时段的标示时间间隔和标示显示参数，所述标示显示参数包括：标示显示轨迹、标示显示色彩和标示显示亮度数据。
进一步地，所述标准识别模块57具体配置为：基于得到的各帧标准化眼部图像分别提取表征眼部开闭程度和瞳孔相对位置的HOG特征；
利用训练得到的分类器模型对标准化眼部图像进行检测并给出对应的检测结果，根据检测结果使用滞环比较方法得出当前帧的眼部识别结果；
结合相邻若干帧的眼部识别结果进行平滑滤波，并综合嘴型识别信息确定驾驶员当前的标准驾驶状态指数。
本发明实施例提供的监测司机驾驶状态的***中，各个模块或单元结构可以根据实际监测需求独立运行或组合运行，以实现相应的技术效果。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而不意味着限制。
说明书中提到的“一实施例”意指结合实施例描述的特定特征、结构或特征包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一实施例”并不一定均指同一个实施例。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种监测司机驾驶状态的方法，其特征在于，所述方法包括：
步骤S1、车辆启动后，采用无接触的方式采集驾驶员的多种疲劳体征数据；
步骤S2、根据采集的疲劳体征数据确定当前驾驶员的初步驾驶状态指数，当驾驶员的初步驾驶状态指数达到设定的第一疲劳驾驶指标时，判定驾驶员处于疑似疲劳状态，则执行下述步骤S3；
步骤S3、按照设定的机制生成辅助标示信息并使其面向驾驶员可视化显示；
步骤S4、结合所述辅助标示信息的显示状态和采集的相应疲劳体征数据进一步确定驾驶员的标准驾驶状态指数，当驾驶员的标准驾驶状态指数达到设定的第二疲劳驾驶指标时，则判定驾驶员处于疲劳驾驶状态，立即生成相应的警示信息并输出。
2.如权利要求1所述的方法，其特征在于，在所述步骤S1中，利用图像采集传感器采集驾驶员的疲劳体征数据，所述疲劳体征数据包括车辆行驶过程中驾驶员对应时刻的人脸参数、嘴部状态参数以及眼睛状态参数。
3.如权利要求1或2所述的方法，其特征在于，在所述步骤S1中，包括：
采集驾驶员的人脸图像，基于设定的眼部特征点和嘴部特征点分别截取眼部区域图像和嘴部区域图像；
基于截取的眼部区域图像和嘴部区域图像进行均值滤波以减少采集过程中噪声信息的影响，获得原始眼部图像和原始嘴部图像；
对获得的原始眼部图像和原始嘴部图像进行直方图均衡处理，得到标准化眼部图像和标准化嘴部图像。
4.如权利要求1所述的方法，其特征在于，在所述步骤S2中，选取表征驾驶员眼部开闭概率的PERCLOS参数作为评定驾驶员当前的驾驶状态的初步驾驶状态指数；
基于模拟驾驶的数据获取判定驾驶员疑似疲劳的PERCLOS值，作为第一疲劳驾驶指标。
5.如权利要求1所述的方法，其特征在于，在所述步骤S3中，以判定驾驶员疑似疲劳的时间为起点，按照设置的标示时间间隔生成辅助标示信息。
6.如权利要求1所述的方法，其特征在于，在所述步骤S3中，利用投影仪将所述辅助标示信息按照设定的标识显示参数显示在车辆挡风玻璃的设定位置，以使所述辅助标示信息针对驾驶员显示。
7.如权利要求1～6中任一项所述的方法，其特征在于，所述方法还包括：预先设置应用于不同行车时段的标示时间间隔和标示显示参数，所述标示显示参数包括：标示显示轨迹、标示显示色彩和标示显示亮度数据。
8.如权利要求1所述的方法，其特征在于，在所述步骤S4中，包括：
基于得到的各帧标准化眼部图像分别提取表征眼部开闭程度和瞳孔相对位置的HOG特征；
利用训练得到的分类器模型对标准化眼部图像进行检测并给出对应的检测结果，根据检测结果使用滞环比较方法得出当前帧的眼部识别结果；
结合相邻若干帧的眼部识别结果进行平滑滤波，并综合嘴型识别信息确定驾驶员当前的标准驾驶状态指数。
9.一种存储介质，其特征在于，所述存储介质上存储有可实现如权利要求1～8中任一项所述方法的程序代码。
10.一种监测司机驾驶状态的***，其特征在于，所述***执行如权利要求1～9中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011164123.0A CN114495069A (zh) | 2020-10-27 | 2020-10-27 | 一种监测司机驾驶状态的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011164123.0A CN114495069A (zh) | 2020-10-27 | 2020-10-27 | 一种监测司机驾驶状态的方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114495069A true CN114495069A (zh) | 2022-05-13 |
Family
ID=81471287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011164123.0A Pending CN114495069A (zh) | 2020-10-27 | 2020-10-27 | 一种监测司机驾驶状态的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114495069A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633657A (zh) * | 2016-07-18 | 2018-01-26 | 中兴通讯股份有限公司 | 一种疲劳驾驶的提醒方法及终端 |
| CN109145719A (zh) * | 2018-07-06 | 2019-01-04 | 北京理工大学 | 一种驾驶员疲劳状态识别方法及*** |
| CN109326085A (zh) * | 2018-11-08 | 2019-02-12 | 上海掌门科技有限公司 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
| CN109523749A (zh) * | 2018-11-07 | 2019-03-26 | 长沙创恒机械设备有限公司 | 一种防疲劳驾驶的方法、设备及存储介质 |
| CN110232310A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技（深圳）有限公司 | 一种基于神经网络的疲劳驾驶检测方法及相关设备 |
| US20200037945A1 (en) * | 2019-07-11 | 2020-02-06 | Lg Electronics Inc. | Drowsy-driving prevention method and drowsy-driving prevention system |
| WO2020078464A1 (zh) * | 2018-10-19 | 2020-04-23 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控***、车辆 |
| WO2020078465A1 (zh) * | 2018-10-19 | 2020-04-23 | 上海商汤智能科技有限公司 | 驾驶状态分析方法和装置、驾驶员监控***、车辆 |
-
2020
- 2020-10-27 CN CN202011164123.0A patent/CN114495069A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633657A (zh) * | 2016-07-18 | 2018-01-26 | 中兴通讯股份有限公司 | 一种疲劳驾驶的提醒方法及终端 |
| CN109145719A (zh) * | 2018-07-06 | 2019-01-04 | 北京理工大学 | 一种驾驶员疲劳状态识别方法及*** |
| WO2020078464A1 (zh) * | 2018-10-19 | 2020-04-23 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控***、车辆 |
| WO2020078465A1 (zh) * | 2018-10-19 | 2020-04-23 | 上海商汤智能科技有限公司 | 驾驶状态分析方法和装置、驾驶员监控***、车辆 |
| CN109523749A (zh) * | 2018-11-07 | 2019-03-26 | 长沙创恒机械设备有限公司 | 一种防疲劳驾驶的方法、设备及存储介质 |
| CN109326085A (zh) * | 2018-11-08 | 2019-02-12 | 上海掌门科技有限公司 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
| CN110232310A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技（深圳）有限公司 | 一种基于神经网络的疲劳驾驶检测方法及相关设备 |
| US20200037945A1 (en) * | 2019-07-11 | 2020-02-06 | Lg Electronics Inc. | Drowsy-driving prevention method and drowsy-driving prevention system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446600A (zh) | 一种车辆驾驶员疲劳监测预警***及方法 | |
| CN104183091B (zh) | 一种自适应调整疲劳驾驶预警***灵敏度的*** | |
| CN106585629B (zh) | 一种车辆控制方法和装置 | |
| KR101078466B1 (ko) | 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체 | |
| CN101639894B (zh) | 在线检测列车驾驶员行为和疲劳状态的方法及其检测*** | |
| CN106585624B (zh) | 驾驶员状态监控方法及装置 | |
| CN104809445B (zh) | 基于眼部和嘴部状态的疲劳驾驶检测方法 | |
| Bergasa et al. | Real-time system for monitoring driver vigilance | |
| US8823792B2 (en) | Wakefulness level estimation apparatus | |
| Baccour et al. | Camera-based eye blink detection algorithm for assessing driver drowsiness | |
| CN102047304B (zh) | 驾驶注意力程度判定装置、方法 | |
| CN105574487A (zh) | 基于面部特征的驾驶人注意力状态检测方法 | |
| CN102752458A (zh) | 一种驾驶员疲劳检测手机与检测单元 | |
| CN109367539A (zh) | 一种检测疲劳驾驶的智能*** | |
| CN1936988A (zh) | 驾驶员瞌睡报警记录的方法及装置 | |
| CN108021875A (zh) | 一种车辆驾驶员个性化疲劳监测及预警方法 | |
| Anjali et al. | Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness | |
| CN109543577A (zh) | 一种基于面部表情特征的疲劳驾驶检测预警方法 | |
| CN111645694A (zh) | 一种基于姿态估计的驾驶员驾驶状态监测***及方法 | |
| Alam et al. | Active vision-based attention monitoring system for non-distracted driving | |
| CN109866774A (zh) | 基于人脸检测和身份验证的驾驶员疲劳状态监测***及方法 | |
| Li et al. | Fatigue driving detection system based on face feature | |
| Bergasa et al. | Visual monitoring of driver inattention | |
| CN113744499B (zh) | 一种疲劳预警方法、眼镜、***和计算机可读存储介质 | |
| Girish et al. | Driver fatigue detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |