CN109934199A - 一种基于计算机视觉的驾驶员疲劳检测方法及*** - Google Patents
一种基于计算机视觉的驾驶员疲劳检测方法及*** Download PDFInfo
- Publication number
- CN109934199A CN109934199A CN201910221692.5A CN201910221692A CN109934199A CN 109934199 A CN109934199 A CN 109934199A CN 201910221692 A CN201910221692 A CN 201910221692A CN 109934199 A CN109934199 A CN 109934199A
- Authority
- CN
- China
- Prior art keywords
- driver
- detection
- face
- fatigue
- yawning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 126
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 210000001508 eye Anatomy 0.000 claims description 163
- 206010048232 Yawning Diseases 0.000 claims description 91
- 241001282135 Poromitra oscitans Species 0.000 claims description 76
- 238000012360 testing method Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 4
- 108010001267 Protein Subunits Proteins 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于计算机视觉的驾驶员疲劳检测方法及***。首先调用摄像头采集驾驶员脸部视频；之后通过类Harr特征的AdaBoost分类器算法定位人脸；然后利用landmark进行眨眼和打哈欠的检测提示疲劳；最后通过图片预处理定位人眼并依据PERCLOS算法准则判断疲劳进行预警。本发明结合PERCLOS人眼检测算法和人脸关键点提取算法对驾驶员进行疲劳预警，具有非接触性和实时性，不会对驾驶员正常驾驶产生干扰，使疲劳检测更加准确、高效、快捷。
Description
技术领域
本发明涉及图像检测技术领域，特别是涉及一种基于计算机视觉的驾驶员疲劳检测方法及***。
背景技术
据交通部门统计，近年来因道路交通事故死亡人数持续增高，机动车司机疲劳驾驶是引发交通事故的一个重要原因，不少专家学者正积极研究检测疲劳驾驶的方法，如何有效预防疲劳驾驶成为国内外研究的热点。
传统的基于生理信号和行为特征的驾驶员行为检测算法都有其优势及缺陷。其中基于生理信号特征的检测算法具有较高的精度，但由于传感器与驾驶员接触，影响驾驶；基于行为特征的检测算法不需要驾驶人直接接触检测装置,并且在汽车现有装置的基础上对设备需求较低，实用性很强，但检测精度不高。
发明内容
本发明的目的是提供一种基于计算机视觉的驾驶员疲劳检测方法及***，以解决现有驶员疲劳检测方法无法兼顾非接触性和检测精度的问题。
为实现上述目的，本发明提供了如下方案：
一种基于计算机视觉的驾驶员疲劳检测方法，所述方法包括：
获取预设时间段内驾驶员的脸部视频；
采用人脸检测分类器训练所述脸部视频，生成多帧人脸图片；
根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息；
根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果；
若所述疲劳状态判断结果为驾驶员处于疲劳状态，生成疲劳驾驶报警信息进行报警；
若所述疲劳状态判断结果为驾驶员未处于疲劳状态，返回所述获取预设时间段内驾驶员的脸部视频的步骤。
可选的，所述根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息，具体包括：
采用人脸识别预测器提取所述人脸图片上的68个人脸特征点；所述68个人脸特征点包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点；
根据所述眼部特征点进行眨眼检测，生成眨眼检测结果；
根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果；
根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息。
可选的，所述根据所述眼部特征点进行眨眼检测，生成眨眼检测结果，具体包括：
根据所述眼部特征点计算每帧人脸图片中人眼的眼睛睁开度；
若连续两帧所述人脸图片中所述眼睛睁开度均小于睁开度阈值，将眨眼次数加1；
若一分钟内所述眨眼次数超过20次，确定所述眨眼检测结果为眨眼次数超过眨眼预警值。
可选的，所述根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果，具体包括：
根据所述嘴部特征点计算每帧人脸图片中嘴巴的张口度；
判断多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数是否超过帧数阈值，获得打哈欠检测结果；
若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数超过帧数阈值，确定所述打哈欠检测结果为驾驶员存在打哈欠动作；
若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数未超过帧数阈值，确定所述打哈欠检测结果为驾驶员不存在打哈欠动作。
可选的，所述根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息，具体包括：
若所述眨眼检测结果为眨眼次数超过眨眼预警值，或者所述打哈欠检测结果为驾驶员存在打哈欠动作，则生成疲劳危险提示信息；
根据所述疲劳危险提示信息对驾驶员进行疲劳危险提示。
可选的，所述根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果，具体包括：
采用模式匹配算法对所述人脸图片中的人眼进行粗定位，得到左眼和右眼的眼部图片；
对所述眼部图片进行预处理，生成预处理后的眼部图像；
采用霍夫变换圆检测算法对所述预处理后的眼部图像中的人眼进行精确定位，生成人眼精确位置图像；
根据所述人眼精确位置图像计算单位时间内眼睛闭合的百分比PERCLOS；
若所述PERCLOS超过80％，确定所述疲劳状态判断结果为驾驶员处于疲劳状态；
若所述PERCLOS未超过80％，确定所述疲劳状态判断结果为驾驶员未处于疲劳状态。
一种基于计算机视觉的驾驶员疲劳检测***，所述***包括：
脸部视频获取模块，用于获取预设时间段内驾驶员的脸部视频；
人脸图片生成模块，用于采用人脸检测分类器训练所述脸部视频，生成多帧人脸图片；
眨眼及打哈欠检测模块，用于根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息；
疲劳状态检测模块，用于根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果；
疲劳报警模块，用于若所述疲劳状态判断结果为驾驶员处于疲劳状态，生成疲劳驾驶报警信息进行报警；
循环检测模块，用于若所述疲劳状态判断结果为驾驶员未处于疲劳状态，返回所述获取预设时间段内驾驶员的脸部视频的步骤。
可选的，所述眨眼及打哈欠检测模块具体包括：
人脸特征点提取单元，用于采用人脸识别预测器提取所述人脸图片上的68个人脸特征点；所述68个人脸特征点包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点；
眨眼检测单元，用于根据所述眼部特征点进行眨眼检测，生成眨眼检测结果；
打哈欠检测单元，用于根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果；
疲劳危险提示信息生成单元，用于根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息。
可选的，所述眨眼检测单元具体包括：
眼睛睁开度计算子单元，用于根据所述眼部特征点计算每帧人脸图片中人眼的眼睛睁开度；
眨眼次数计算子单元，用于若连续两帧所述人脸图片中所述眼睛睁开度均小于睁开度阈值，将眨眼次数加1；
眨眼检测结果确定子单元，用于若一分钟内所述眨眼次数超过20次，确定所述眨眼检测结果为眨眼次数超过眨眼预警值。
可选的，所述打哈欠检测单元具体包括：
张口度计算子单元，用于根据所述嘴部特征点计算每帧人脸图片中嘴巴的张口度；
打哈欠判断子单元，用于判断多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数是否超过帧数阈值，获得打哈欠检测结果；
打哈欠动作确定子单元，用于若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数超过帧数阈值，确定所述打哈欠检测结果为驾驶员存在打哈欠动作；
无打哈欠动作确定子单元，用于若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数未超过帧数阈值，确定所述打哈欠检测结果为驾驶员不存在打哈欠动作。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种基于计算机视觉的驾驶员疲劳检测方法及***，所述方法根据摄像机采集的驾驶员脸部视频生成多帧人脸图片，基于计算机视觉检测疲劳，具有非接触性和实时性的特点，不会对驾驶员正常驾驶产生干扰，使疲劳检测更加方便快捷；疲劳检测过程中，在准确判定驾驶员疲劳之前，先根据人脸图片进行眨眼和打哈欠的检测，根据眨眼及打哈欠检测结果对驾驶员进行疲劳危险提示，能够在驾驶员疲劳之前进行预警，有效预防危险事故发生，降低事故发生率。根据人脸图片进行疲劳危险提示后，本发明进一步采用PERCLOS算法检测驾驶员的疲劳状态，能够准确判断驾驶员是否存在疲劳驾驶行为，提高了疲劳驾驶检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于计算机视觉的驾驶员疲劳检测方法的方法流程图；
图2为本发明提供的基于计算机视觉的驾驶员疲劳检测方法的基本原理图；
图3为本发明提供的通过landmark检测眨眼和打哈欠的原理示意图；
图4为本发明提供的68个人脸特征点位置示意图；
图5为本发明提供的对眼部图片做进一步处理的原理示意图；
图6为本发明提供的通过变换圆算法对人眼进行精确查找的原理示意图；
图7为本发明提供的基于计算机视觉的驾驶员疲劳检测***的***结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于计算机视觉的驾驶员疲劳检测方法及***，依据人的疲劳表情机理来判定疲劳状态，采用基于landmark对驾驶员眨眼及哈欠的检测算法解决了传感器与驾驶员接触的缺陷，具有实时性和高精确度，有较高的实用性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的基于计算机视觉的驾驶员疲劳检测方法的方法流程图。图2为本发明提供的基于计算机视觉的驾驶员疲劳检测方法的基本原理图。参见图1和图2，本发明提供的基于计算机视觉的驾驶员疲劳检测方法具体包括：
步骤101：获取预设时间段内驾驶员的脸部视频。
调用摄像头，采集一段时间内驾驶员的脸部视频；所述摄像头安装在驾驶员正前方的挡风玻璃上。
计算机获取预设时间段内摄像头采集的驾驶员的脸部视频，基于所述脸部视频，采用基于计算机视觉的疲劳检测方法进行驾驶员疲劳检测，具有非接触性和实时性的特点，不会对驾驶员正常驾驶产生干扰，使疲劳检测更加方便快捷。
步骤102：采用人脸检测分类器训练所述脸部视频，生成多帧人脸图片。
采用类Harr特征的AdaBoost人脸检测分类器算法，通过人脸检测分类器进行多个人脸特征训练、人脸区域识别及人脸定位，获得人脸图片。
将摄像头采集的驾驶员脸部图像输入训练好的基于Haar特征的Adaboost人脸检测分类器中，即可输出多帧人脸图片。
步骤103：根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息。
本发明针对获得的多帧人脸图片，利用landmark进行眨眼和打哈欠的检测，图3为本发明提供的通过landmark检测眨眼和打哈欠的原理示意图。参见图3，所述步骤103具体包括：
步骤3-1、采用人脸识别预测器提取所述人脸图片上的68个人脸特征点；所述68个人脸特征点包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点。
通过调用dlib官方人脸识别预测器shape_predictor_68_face_landmarks.dat进行人脸68个特征点的标注。通过所述人脸识别预测器可以提取所述人脸图片上的68个人脸特征点，landmark就是人脸特征点。所述68个人脸特征点位置如图4所示，将68个人脸特征点按顺序标出来，得到标号为0-68的68个人脸特征点。所述68个人脸特征点中包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点，如图4所示，标号36-41的6个特征点为对应右眼轮廓的眼部特征点，标号42-47的6个特征点为对应左眼轮廓的眼部特征点。标号48-57的特征点为对应嘴巴轮廓的嘴部特征点，其中标号为60-67的8个特征点为嘴巴内轮廓的特征点。
步骤3-2、根据所述眼部特征点进行眨眼检测，生成眨眼检测结果。
本发明利用68个landmark提取眼睛区域轮廓进行眨眼检测和眨眼次数的计算，所述步骤3-2具体包括：
步骤3-2-1、设定人眼标定点，左眼开始到左眼结束，右眼开始到右眼结束，得到人脸特征点中对应眼睛的6个特征点d1,d2,d3,d4,d5,d6。例如将图3中标号为36-41的6个特征点或标号为42-47的6个特征点作为检测计算使用的6个特征点d1,d2,d3,d4,d5,d6。
步骤3-2-2、根据所述眼部特征点计算每帧人脸图片中人眼的眼睛睁开度。
计算眼睛纵横比作为眼睛睁开度，计算公式为：
式(1)中，f为眼睛睁开度，d1,d2,d3,d4,d5,d6是人脸特征点中对应眼睛的6个特征点(对应图4中标号为36-41的特征点)，其中，|d2-d6|、|d3-d5|是眼睛特征点在垂直方向上的距离；|d1-d4|是眼睛特征点在水平方向上的距离，乘2以保证两组特征点的权重相同。
当眼睛纵横比f小于睁开度阈值Radio＝0.2时，连续2帧一定发生眨眼动作。本发明实施例以两种眼部状态数据为例描述睁闭眼的判断过程，如下表1所示：
表1 睁闭眼时的眼睛横纵比数据
| 状态 | |d2-d6| | |d3-d5| | |d1-d4| | f |
| 闭眼 | 8.06 | 9.0 | 48.04 | 0.178 |
| 睁眼 | 16.12 | 15.03 | 47.17 | 0.330 |
步骤3-2-3、若连续两帧所述人脸图片中所述眼睛睁开度均小于睁开度阈值，将眨眼次数加1；
当小于睁开度阈值的图片帧数超过两帧时，即发生了眨眼动作；每眨眼一次计数值加1，从而出计算眨眼次数，由此作为疲劳危险提示指标。
步骤3-2-4、统计一分钟内的眨眼次数，若一分钟内所述眨眼次数超过20次，确定所述眨眼检测结果为眨眼次数超过眨眼预警值，此时对驾驶员进行疲劳危险提示。
步骤3-3、根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果；具体包括：
步骤3-3-1、根据所述嘴部特征点计算每帧人脸图片中嘴巴的张口度。
通过landmark提取嘴巴区域轮廓进行哈欠检测，计算张口度判定是否打哈欠，张口度计算公式为：
式(2)中α为张口度，H为嘴巴内轮廓张开的最大高度，L为嘴巴内轮廓的宽度，计算公式为：
H＝max(|p2-p8|,|p3-p7|,|p4-p6|) (3)
L＝|p1-p5| (4)
其中，p1,p2,p3,p4,p5,p6,p7,p8是人脸特征点中对应嘴巴内轮廓特征点(对应图4中标号为60-67的特征点)，|p2-p8|、|p3-p7|、|p4-p6|为嘴巴内轮廓垂直方向上的距离，|p1-p5|为嘴巴内轮廓水平方向上的距离。
步骤3-3-2、判断多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数是否超过帧数阈值，获得打哈欠检测结果。
本发明采用双阈值法判定打哈欠行为，当张口度α大于张口度阈值Z＝0.65，且张口时间超过连续帧数阈值125帧时，检测为打哈欠，由此作为危险疲劳提示指标。
本发明实施例中以两种嘴巴状态的数据为例描述检测打哈欠的判断过程，如下表2所示：
表2 正常和哈欠时的张口度数据
步骤3-3-3、若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数超过帧数阈值，确定所述打哈欠检测结果为驾驶员存在打哈欠动作；
步骤3-3-4、若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数未超过帧数阈值，确定所述打哈欠检测结果为驾驶员不存在打哈欠动作。
步骤3-4、根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息，具体包括：
若所述眨眼检测结果为眨眼次数超过眨眼预警值，或者所述打哈欠检测结果为驾驶员存在打哈欠动作，则生成疲劳危险提示信息；
根据所述疲劳危险提示信息对驾驶员进行疲劳危险提示，提示方法可以为语音提示或跳出预警图片并同时发出声音提示。
步骤104：根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果。
对所述步骤2获得的人脸图片，进行图片预处理定位人眼，并利用PERCLOS算法判定疲劳状态，具体包括：
步骤4-1、采用模式匹配算法对所述人脸图片中的人眼进行粗定位，得到左眼和右眼的眼部图片。
经过人眼粗定位可以得到人左、右眼的一个简单轮廓区域，将左、右眼的外部轮廓分别设为形状为矩形的L和R两个区域，提取两个矩形区域的图像作为左眼和右眼的眼部图片。
步骤4-2、对所述眼部图片进行预处理，生成预处理后的眼部图像。
图5为本发明提供的对眼部图片做进一步处理的原理示意图。参见图5，对所述眼部图片做进一步预处理，包括灰度处理、利用Gauss滤波器平滑图像、以及利用Canny算子对瞳孔进行边缘检测，生成预处理后的眼部图像。
步骤4-3、采用霍夫变换圆检测算法对所述预处理后的眼部图像中的人眼进行精确定位，生成人眼精确位置图像。
图6为本发明提供的通过变换圆算法对人眼进行精确查找的原理示意图。参见图6，本发明在Hough(霍夫)变换基础上，通过变换圆算法对人眼进行精确定位和开合状态的识别。所述步骤4-3具体包括：
步骤4-3-1、在得到人的左眼和右眼的矩形范围L和R后，利用Canny算子在这两个范围里(即对左眼和右眼的眼部图片)进行边缘检测，检测到人眼的大致轮廓。
步骤4-3-2、对通过步骤4-3-1得到的边缘检测过的图像进行二值化处理，得到瞳孔所在的半径区域。
步骤4-3-3、对Hough矩阵进行初始化，初始化累加器数组M，数组M代表笛卡尔坐标系参数空间中每个像素点的坐标。
步骤4-3-4、在左眼和右眼的眼部图片中左眼L和右眼R两个区域中画圆；画圆可以直接用专门的画圆算法，从而提取眼部精确的轮廓。
步骤4-3-5、在累加器M中，计算该累加器M的最大值，该最大值为将要定位的瞳孔的圆形所在位置的圆心坐标，定位得到瞳孔圆心坐标为M(0,R)，从而实现了人眼的精确定位。R是圆的半径，即瞳孔的坐标到边缘的距离。
步骤4-4、根据所述人眼精确位置图像计算单位时间内眼睛闭合的百分比PERCLOS。
本发明依靠PERCLOS P80准则进行疲劳判定，PERCLOS(percentage of eyelidclosure over the pupil over time，单位时间内眼睛闭合的百分比)的计算公式如下：
其中，P80指眼睑遮住瞳孔的面积超过80％就记为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例作为PERCLOS值。
依靠PERCLOS P80准则进行疲劳判定的方法，具体为：
步骤4-4-1、根据所有的人眼图像，记录四个时间间隔：从人眼完全睁开至闭合p1％的时间间隔t1、从人眼完全睁开至闭合p2％的时间间隔t2、从人眼完全睁开至下一次睁开p1％的间隔时间t3、从人眼完全睁开至下一次睁开p2％的时间间隔t4；其中，p1％、p2％均为眼球占整个眼睛的比例。其中：p1＝20，p2＝80。
步骤4-4-2、根据t1、t2、t3、t4求取人眼PERCLOS指数值PERCLOS，所用公式为：
PERCLOS值超过80％判断为疲劳。
步骤4-5、若所述PERCLOS超过80％，确定所述疲劳状态判断结果为驾驶员处于疲劳状态；
步骤4-6、若所述PERCLOS未超过80％，确定所述疲劳状态判断结果为驾驶员未处于疲劳状态。
步骤105：若所述疲劳状态判断结果为驾驶员处于疲劳状态，生成疲劳驾驶报警信息进行报警。报警方式为通过声音进行报警提示。
若所述疲劳状态判断结果为驾驶员未处于疲劳状态，返回所述获取预设时间段内驾驶员的脸部视频的步骤101，继续根据脸部视频进行实时疲劳驾驶检测。
本发明方法依靠人脸关键点的提取来判断眨眼及哈欠动作，对驾驶员即将进入疲劳危险期时进行提示，能够有效预防疲劳驾驶事故。同时通过PERCLOS算法准则计算人眼的睁开程度，从而对驾驶员进行疲劳检测进行预警，具有实时性和非接触性。此外，结合两者进行检测具有较高的检测精度、可靠性和实用性。
基于本发明提供的的驾驶员疲劳检测方法，本发明还提供一种基于计算机视觉的驾驶员疲劳检测***，图7为本发明提供的基于计算机视觉的驾驶员疲劳检测***的***结构图。参见图7，所述***包括：
脸部视频获取模块701，用于获取预设时间段内驾驶员的脸部视频；
人脸图片生成模块702，用于采用人脸检测分类器训练所述脸部视频，生成多帧人脸图片；
眨眼及打哈欠检测模块703，用于根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息；
疲劳状态检测模块704，用于根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果；
疲劳报警模块705，用于若所述疲劳状态判断结果为驾驶员处于疲劳状态，生成疲劳驾驶报警信息进行报警；
循环检测模块706，用于若所述疲劳状态判断结果为驾驶员未处于疲劳状态，返回所述获取预设时间段内驾驶员的脸部视频的步骤。
其中，所述眨眼及打哈欠检测模块703具体包括：
人脸特征点提取单元，用于采用人脸识别预测器提取所述人脸图片上的68个人脸特征点；所述68个人脸特征点包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点；
眨眼检测单元，用于根据所述眼部特征点进行眨眼检测，生成眨眼检测结果；
打哈欠检测单元，用于根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果；
疲劳危险提示信息生成单元，用于根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息。
所述眨眼检测单元具体包括：
眼睛睁开度计算子单元，用于根据所述眼部特征点计算每帧人脸图片中人眼的眼睛睁开度；
眨眼次数计算子单元，用于若连续两帧所述人脸图片中所述眼睛睁开度均小于睁开度阈值，将眨眼次数加1；
眨眼检测结果确定子单元，用于若一分钟内所述眨眼次数超过20次，确定所述眨眼检测结果为眨眼次数超过眨眼预警值。
所述打哈欠检测单元具体包括：
张口度计算子单元，用于根据所述嘴部特征点计算每帧人脸图片中嘴巴的张口度；
打哈欠判断子单元，用于判断多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数是否超过帧数阈值，获得打哈欠检测结果；
打哈欠动作确定子单元，用于若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数超过帧数阈值，确定所述打哈欠检测结果为驾驶员存在打哈欠动作；
无打哈欠动作确定子单元，用于若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数未超过帧数阈值，确定所述打哈欠检测结果为驾驶员不存在打哈欠动作。
所述疲劳危险提示信息生成单元具体包括：
疲劳危险提示信息生成子单元，用于若所述眨眼检测结果为眨眼次数超过眨眼预警值，或者所述打哈欠检测结果为驾驶员存在打哈欠动作，则生成疲劳危险提示信息；
疲劳危险提示子单元，用于根据所述疲劳危险提示信息对驾驶员进行疲劳危险提示。
所述疲劳状态检测模块704具体包括：
眼部图片生成单元，用于采用模式匹配算法对所述人脸图片中的人眼进行粗定位，得到左眼和右眼的眼部图片；
预处理单元，用于对所述眼部图片进行预处理，生成预处理后的眼部图像；
精确定位单元，用于采用霍夫变换圆检测算法对所述预处理后的眼部图像中的人眼进行精确定位，生成人眼精确位置图像；
PERCLOS计算单元，用于根据所述人眼精确位置图像计算单位时间内眼睛闭合的百分比PERCLOS；
疲劳状态确定单元，用于若所述PERCLOS超过80％，确定所述疲劳状态判断结果为驾驶员处于疲劳状态；
未处于疲劳状态确定单元，用于若所述PERCLOS未超过80％，确定所述疲劳状态判断结果为驾驶员未处于疲劳状态。
本发明与现有技术相比，其显著优点为：
1)本发明在基于眼部识别的疲劳驾驶技术上，结合人脸特征点提取算法，在判定驾驶员疲劳之前先进行疲劳危险提示，从而在驾驶员疲劳之前有机会防止危险事故发生，降低疲劳驾驶事故发生概率；
2)本发明基于计算机视觉检测疲劳，具有非接触性和实时性，不会对驾驶员正常驾驶产生干扰，使疲劳检测更加方便快捷；
3)本发明可用于各类驾驶员的疲劳状态的检测及疲劳危险的预警，适用范围更广；
4)本发明可直接调用人脸识别库，通过人脸关键点检测面部表情，省略了传统方法对图像的繁琐处理，可靠性高，应用灵活；
5)通过多种算法对人眼进行精确定位，为了防止PERCLOS算法不准确，还通过眨眼和哈欠检测先预警疲劳，从而进一步提高疲劳报警的准确度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于计算机视觉的驾驶员疲劳检测方法，其特征在于，所述方法包括：
获取预设时间段内驾驶员的脸部视频；
采用人脸检测分类器训练所述脸部视频，生成多帧人脸图片；
根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息；
根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果；
若所述疲劳状态判断结果为驾驶员处于疲劳状态，生成疲劳驾驶报警信息进行报警；
若所述疲劳状态判断结果为驾驶员未处于疲劳状态，返回所述获取预设时间段内驾驶员的脸部视频的步骤。
2.根据权利要求1所述的基于计算机视觉的驾驶员疲劳检测方法，其特征在于，所述根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息，具体包括：
采用人脸识别预测器提取所述人脸图片上的68个人脸特征点；所述68个人脸特征点包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点；
根据所述眼部特征点进行眨眼检测，生成眨眼检测结果；
根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果；
根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息。
3.根据权利要求2所述的基于计算机视觉的驾驶员疲劳检测方法，其特征在于，所述根据所述眼部特征点进行眨眼检测，生成眨眼检测结果，具体包括：
根据所述眼部特征点计算每帧人脸图片中人眼的眼睛睁开度；
若连续两帧所述人脸图片中所述眼睛睁开度均小于睁开度阈值，将眨眼次数加1；
若一分钟内所述眨眼次数超过20次，确定所述眨眼检测结果为眨眼次数超过眨眼预警值。
4.根据权利要求3所述的基于计算机视觉的驾驶员疲劳检测方法，其特征在于，所述根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果，具体包括：
根据所述嘴部特征点计算每帧人脸图片中嘴巴的张口度；
判断多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数是否超过帧数阈值，获得打哈欠检测结果；
若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数超过帧数阈值，确定所述打哈欠检测结果为驾驶员存在打哈欠动作；
若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数未超过帧数阈值，确定所述打哈欠检测结果为驾驶员不存在打哈欠动作。
5.根据权利要求4所述的基于计算机视觉的驾驶员疲劳检测方法，其特征在于，所述根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息，具体包括：
若所述眨眼检测结果为眨眼次数超过眨眼预警值，或者所述打哈欠检测结果为驾驶员存在打哈欠动作，则生成疲劳危险提示信息；
根据所述疲劳危险提示信息对驾驶员进行疲劳危险提示。
6.根据权利要求5所述的基于计算机视觉的驾驶员疲劳检测方法，其特征在于，所述根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果，具体包括：
采用模式匹配算法对所述人脸图片中的人眼进行粗定位，得到左眼和右眼的眼部图片；
对所述眼部图片进行预处理，生成预处理后的眼部图像；
采用霍夫变换圆检测算法对所述预处理后的眼部图像中的人眼进行精确定位，生成人眼精确位置图像；
根据所述人眼精确位置图像计算单位时间内眼睛闭合的百分比PERCLOS；
若所述PERCLOS超过80％，确定所述疲劳状态判断结果为驾驶员处于疲劳状态；
若所述PERCLOS未超过80％，确定所述疲劳状态判断结果为驾驶员未处于疲劳状态。
7.一种基于计算机视觉的驾驶员疲劳检测***，其特征在于，所述***包括：
脸部视频获取模块，用于获取预设时间段内驾驶员的脸部视频；
人脸图片生成模块，用于采用人脸检测分类器训练所述脸部视频，生成多帧人脸图片；
眨眼及打哈欠检测模块，用于根据所述人脸图片进行眨眼和打哈欠的检测，生成疲劳危险提示信息；
疲劳状态检测模块，用于根据所述人脸图片和所述疲劳危险提示信息，采用PERCLOS算法检测驾驶员的疲劳状态，生成疲劳状态判断结果；
疲劳报警模块，用于若所述疲劳状态判断结果为驾驶员处于疲劳状态，生成疲劳驾驶报警信息进行报警；
循环检测模块，用于若所述疲劳状态判断结果为驾驶员未处于疲劳状态，返回所述获取预设时间段内驾驶员的脸部视频的步骤。
8.根据权利要求7所述的基于计算机视觉的驾驶员疲劳检测***，其特征在于，所述眨眼及打哈欠检测模块具体包括：
人脸特征点提取单元，用于采用人脸识别预测器提取所述人脸图片上的68个人脸特征点；所述68个人脸特征点包括对应眼部轮廓的眼部特征点和对应嘴巴轮廓的嘴部特征点；
眨眼检测单元，用于根据所述眼部特征点进行眨眼检测，生成眨眼检测结果；
打哈欠检测单元，用于根据所述嘴部特征点进行打哈欠检测，生成打哈欠检测结果；
疲劳危险提示信息生成单元，用于根据所述眨眼检测结果和所述打哈欠检测结果生成疲劳危险提示信息。
9.根据权利要求8所述的基于计算机视觉的驾驶员疲劳检测***，其特征在于，所述眨眼检测单元具体包括：
眼睛睁开度计算子单元，用于根据所述眼部特征点计算每帧人脸图片中人眼的眼睛睁开度；
眨眼次数计算子单元，用于若连续两帧所述人脸图片中所述眼睛睁开度均小于睁开度阈值，将眨眼次数加1；
眨眼检测结果确定子单元，用于若一分钟内所述眨眼次数超过20次，确定所述眨眼检测结果为眨眼次数超过眨眼预警值。
10.根据权利要求9所述的基于计算机视觉的驾驶员疲劳检测***，其特征在于，所述打哈欠检测单元具体包括：
张口度计算子单元，用于根据所述嘴部特征点计算每帧人脸图片中嘴巴的张口度；
打哈欠判断子单元，用于判断多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数是否超过帧数阈值，获得打哈欠检测结果；
打哈欠动作确定子单元，用于若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数超过帧数阈值，确定所述打哈欠检测结果为驾驶员存在打哈欠动作；
无打哈欠动作确定子单元，用于若多帧所述人脸图片中所述张口度大于张口度阈值的连续帧数未超过帧数阈值，确定所述打哈欠检测结果为驾驶员不存在打哈欠动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910221692.5A CN109934199A (zh) | 2019-03-22 | 2019-03-22 | 一种基于计算机视觉的驾驶员疲劳检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910221692.5A CN109934199A (zh) | 2019-03-22 | 2019-03-22 | 一种基于计算机视觉的驾驶员疲劳检测方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109934199A true CN109934199A (zh) | 2019-06-25 |
Family
ID=66988107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910221692.5A Pending CN109934199A (zh) | 2019-03-22 | 2019-03-22 | 一种基于计算机视觉的驾驶员疲劳检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934199A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427830A (zh) * | 2019-07-08 | 2019-11-08 | 太航常青汽车安全***（苏州）股份有限公司 | 驾驶员异常驾驶状态实时检测***及方法 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN111274963A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于图像处理的疲劳驾驶预警*** |
| CN111753659A (zh) * | 2020-05-20 | 2020-10-09 | 广州虹科电子科技有限公司 | 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置 |
| CN111797784A (zh) * | 2020-07-09 | 2020-10-20 | 斑马网络技术有限公司 | 驾驶行为监测方法、装置、电子设备及存储介质 |
| CN112016429A (zh) * | 2020-08-21 | 2020-12-01 | 高新兴科技集团股份有限公司 | 基于火车驾驶室场景下疲劳驾驶检测方法 |
| CN112395900A (zh) * | 2019-08-12 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 基于YOLOv3算法的疲劳驾驶状态检测算法 |
| CN112528767A (zh) * | 2020-11-26 | 2021-03-19 | 天津大学 | 基于机器视觉的施工机械操作员疲劳作业检测***及方法 |
| WO2021053806A1 (ja) * | 2019-09-20 | 2021-03-25 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| CN112686161A (zh) * | 2020-12-31 | 2021-04-20 | 遵义师范学院 | 基于神经网络的疲劳驾驶检测方法 |
| CN112699768A (zh) * | 2020-12-25 | 2021-04-23 | 哈尔滨工业大学（威海） | 基于脸部信息的疲劳驾驶检测方法、装置和可读存储介质 |
| CN113076885A (zh) * | 2021-04-09 | 2021-07-06 | 中山大学 | 一种基于人眼动作特征的专注度分级方法及*** |
| CN113838265A (zh) * | 2021-09-27 | 2021-12-24 | 科大讯飞股份有限公司 | 疲劳驾驶预警方法、装置以及电子设备 |
| CN114202794A (zh) * | 2022-02-17 | 2022-03-18 | 之江实验室 | 一种基于人脸ppg信号的疲劳检测方法和装置 |
| CN117333927A (zh) * | 2023-12-01 | 2024-01-02 | 厦门磁北科技有限公司 | 车载人脸识别酒精检测方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| WO2017193272A1 (zh) * | 2016-05-10 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种基于人脸识别的车载疲劳预警***及预警方法 |
| CN107491769A (zh) * | 2017-09-11 | 2017-12-19 | 中国地质大学（武汉） | 基于AdaBoost算法的疲劳驾驶检测方法及*** |
| CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
-
2019
- 2019-03-22 CN CN201910221692.5A patent/CN109934199A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017193272A1 (zh) * | 2016-05-10 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种基于人脸识别的车载疲劳预警***及预警方法 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| CN107491769A (zh) * | 2017-09-11 | 2017-12-19 | 中国地质大学（武汉） | 基于AdaBoost算法的疲劳驾驶检测方法及*** |
| CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427830A (zh) * | 2019-07-08 | 2019-11-08 | 太航常青汽车安全***（苏州）股份有限公司 | 驾驶员异常驾驶状态实时检测***及方法 |
| CN112395900A (zh) * | 2019-08-12 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 基于YOLOv3算法的疲劳驾驶状态检测算法 |
| JPWO2021053806A1 (ja) * | 2019-09-20 | 2021-11-25 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| WO2021053806A1 (ja) * | 2019-09-20 | 2021-03-25 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| JP6991401B2 (ja) | 2019-09-20 | 2022-01-12 | 三菱電機株式会社 | 情報処理装置、プログラム及び情報処理方法 |
| CN110879973A (zh) * | 2019-10-31 | 2020-03-13 | 安徽普华灵动机器人科技有限公司 | 一种驾驶员疲劳状态面部特征识别检测方法 |
| CN111274963A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于图像处理的疲劳驾驶预警*** |
| CN111753659A (zh) * | 2020-05-20 | 2020-10-09 | 广州虹科电子科技有限公司 | 基于人脸配准点的疲劳驾驶检测方法、设备、介质及装置 |
| CN111797784A (zh) * | 2020-07-09 | 2020-10-20 | 斑马网络技术有限公司 | 驾驶行为监测方法、装置、电子设备及存储介质 |
| CN111797784B (zh) * | 2020-07-09 | 2024-03-05 | 斑马网络技术有限公司 | 驾驶行为监测方法、装置、电子设备及存储介质 |
| CN112016429A (zh) * | 2020-08-21 | 2020-12-01 | 高新兴科技集团股份有限公司 | 基于火车驾驶室场景下疲劳驾驶检测方法 |
| CN112528767A (zh) * | 2020-11-26 | 2021-03-19 | 天津大学 | 基于机器视觉的施工机械操作员疲劳作业检测***及方法 |
| CN112699768A (zh) * | 2020-12-25 | 2021-04-23 | 哈尔滨工业大学（威海） | 基于脸部信息的疲劳驾驶检测方法、装置和可读存储介质 |
| CN112686161A (zh) * | 2020-12-31 | 2021-04-20 | 遵义师范学院 | 基于神经网络的疲劳驾驶检测方法 |
| CN113076885A (zh) * | 2021-04-09 | 2021-07-06 | 中山大学 | 一种基于人眼动作特征的专注度分级方法及*** |
| CN113076885B (zh) * | 2021-04-09 | 2023-11-10 | 中山大学 | 一种基于人眼动作特征的专注度分级方法及*** |
| CN113838265A (zh) * | 2021-09-27 | 2021-12-24 | 科大讯飞股份有限公司 | 疲劳驾驶预警方法、装置以及电子设备 |
| CN114202794A (zh) * | 2022-02-17 | 2022-03-18 | 之江实验室 | 一种基于人脸ppg信号的疲劳检测方法和装置 |
| CN117333927A (zh) * | 2023-12-01 | 2024-01-02 | 厦门磁北科技有限公司 | 车载人脸识别酒精检测方法及*** |
| CN117333927B (zh) * | 2023-12-01 | 2024-04-16 | 厦门磁北科技有限公司 | 车载人脸识别酒精检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934199A (zh) | 一种基于计算机视觉的驾驶员疲劳检测方法及*** | |
| Batista | A drowsiness and point of attention monitoring system for driver vigilance | |
| Horng et al. | Driver fatigue detection based on eye tracking and dynamic template matching | |
| CN101950355B (zh) | 基于数字视频的驾驶员疲劳状态检测方法 | |
| CN102324166B (zh) | 一种疲劳驾驶检测方法及装置 | |
| EP3680794B1 (en) | Device and method for user authentication on basis of iris recognition | |
| CN105354986A (zh) | 汽车司机驾驶状态监测***及方法 | |
| CN202257856U (zh) | 驾驶员疲劳驾驶监控装置 | |
| CN109389806A (zh) | 基于多信息融合的疲劳驾驶检测预警方法、***及介质 | |
| CN106250801A (zh) | 基于人脸检测和人眼状态识别的疲劳检测方法 | |
| CN105956548A (zh) | 驾驶员疲劳状况检测方法和装置 | |
| CN103839379A (zh) | 汽车及用于其的驾驶员疲劳预警检测方法和*** | |
| CN106485191A (zh) | 一种驾驶员疲劳状态检测方法及*** | |
| CN106214166A (zh) | 一种戴眼镜驾驶员疲劳检测方法 | |
| CN109977930A (zh) | 疲劳驾驶检测方法及装置 | |
| Rezaei et al. | 3D cascade of classifiers for open and closed eye detection in driver distraction monitoring | |
| WO2022110917A1 (zh) | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及*** | |
| CN109344909A (zh) | 一种基于多通道卷积神经网络的身份识别方法 | |
| Khan et al. | Real time eyes tracking and classification for driver fatigue detection | |
| CN107977622B (zh) | 基于瞳孔特征的眼睛状态检测方法 | |
| CN107315997B (zh) | 一种基于快速特征点定位的视线朝向判断方法及*** | |
| CN111241505A (zh) | 一种终端设备及其登录验证方法、计算机存储介质 | |
| CN109308467A (zh) | 基于机器学习的交通事故预警装置及预警方法 | |
| Zeng et al. | Driver distraction detection and identity recognition in real-time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Zhenghua Inventor after: Han Xue Inventor after: Ye Aobin Inventor after: Li Bin Inventor after: Cao Yongzhong Inventor after: Xu Yingyi Inventor after: Chen Hao Inventor after: Wen Dong Inventor before: Han Xue Inventor before: Zhang Zhenghua Inventor before: Ye Aobin Inventor before: Li Bin Inventor before: Cao Yongzhong Inventor before: Xu Yingyi Inventor before: Chen Hao Inventor before: Wen Dong |