CN116778460A - 一种基于图像识别的疲劳驾驶识别方法 - Google Patents
一种基于图像识别的疲劳驾驶识别方法 Download PDFInfo
- Publication number
- CN116778460A CN116778460A CN202310749747.6A CN202310749747A CN116778460A CN 116778460 A CN116778460 A CN 116778460A CN 202310749747 A CN202310749747 A CN 202310749747A CN 116778460 A CN116778460 A CN 116778460A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- data
- image
- recognition
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 29
- 210000003128 head Anatomy 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000004399 eye closure Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008667 sleep stage Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像识别的疲劳驾驶识别方法，属于计算机视觉领域，该识别方法具体步骤如下：(1)确定人脸区域并进行面部采集；(2)构建疲劳识别模型并调整该模型参数；(3)提取面部特征信息以进行疲劳检测；(4)反馈识别结果同时进行驾驶拦截；(5)记录识别数据并将其进行区块存储；本发明能够自行寻找模型最优参数，无需工作人员手动寻参，节省工作人员人工操作时间，同时提高参数精度，保证后续疲劳识别的精确性，使操作更加方便快捷，通过对图像二值化处理，有效地降低疲劳识别模型处理数据的能耗，大幅提高数据处理效率，能够实现及时地、高效地对驾驶员驾驶状态进行识别，保障驾驶员行车安全。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于图像识别的疲劳驾驶识别方法。
背景技术
汽车速度的提高，恶***通事故的频繁发生以及经常性的交通拥挤使得人们对车辆安全性快捷性提出了更高的要求。车辆安全、交通堵塞以及环境污染是困扰当今国际公路运输领域的三大挑战性的难题，尤其以车辆安全问题最为严重。车辆交通事故所造成的巨大开销使得各国政府以及大汽车公司都纷纷把提高车辆安全问题和减少车辆交通事故问题作为未来汽车的主要发展方向。在这种环境下，以采用高科技为特征的车辆安全驾驶辅助技术受到空前的重视；因此，发明出一种基于图像识别的疲劳驾驶识别方法变得尤为重要。
经检索，中国专利号CN109284698A公开了一种基于图像识别技术的疲劳驾驶行为检测方法，该发明虽然有效地提高异常驾驶行为的检测精度，并且检测结果对因光照、驾驶员头部姿态产生的干扰具有很好的鲁棒性，但是需工作人员手动寻参，参数精度低，且操作难度较高；此外，现有的基于图像识别的疲劳驾驶识别方法处理数据的能耗较高，数据处理效率低下，无法及时地对驾驶员驾驶状态进行识别；为此，我们提出一种基于图像识别的疲劳驾驶识别方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种基于图像识别的疲劳驾驶识别方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于图像识别的疲劳驾驶识别方法，该识别方法具体步骤如下：
(1)确定人脸区域并进行面部采集；
(2)构建疲劳识别模型并调整该模型参数；
(3)提取面部特征信息以进行疲劳检测；
(4)反馈识别结果同时进行驾驶拦截；
(5)记录识别数据并将其进行区块存储。
作为本发明的进一步方案，步骤(1)中所述面部采集具体步骤如下：
步骤一：通过车载摄像头采集用户影像信息，之后将采集到的用户影像信息进行逐帧分解以获取头部图片，再按照各组头部图片的显示比例对其进行分块处理；
步骤二：对分块后的各组头部图片通过傅里叶变换对数据中高频成分进行分析提取，并通过高斯滤波进行平滑处理，再分别计算各头部图片的灰度值的平均值，之后比较各头部图片中每组像素的灰度值与计算出的均值，将小于均值的图像区域筛除；
步骤三：通过图像金字塔对各头部图片进行尺度归一化处理，并通过骨干卷积神经网络对各组头部图片进行特征提取，再将提取出的特征送入双向特征金字塔进行特征融合，再将融合结果进行分类回归，输出检测框，并依据生成的检测框对驾驶员脸部进行扩大化剪裁以获取面部图片。
作为本发明的进一步方案，步骤(2)中所述疲劳识别模型具体构建步骤如下：
步骤Ⅰ：提取过往疲劳识别信息以及对应驾驶员面部信息，并将收集到的数据整合成样本数据集，之后计算该样本数据集的标准偏差以剔除样本数据集中的异常数据，再对剩余数据作标准化以及归一化处理；
步骤Ⅱ：将处理后的数据划分为测试集以及训练集，之后再对一组卷积神经网络的参数进行赋值，再依据预设信息确定各神经网络层神经元数以及各神经元激励函数；
步骤Ⅲ：通过训练集对设置完成的卷积神经网络进行训练，并获取输出层为隐节点输出的线性组合，之后定义该卷积神经网络多轮学习后的能量函数，当能量函数小于目标误差时，训练过程结束并输出疲劳识别模型；之后将测试集导入疲劳识别模型中进行测试，并计算该隔离网络模型损失值。
作为本发明的进一步方案，步骤Ⅰ中所述标准化处理具体计算公式如下：
其中，x表示样本数据集中各数据的特征参数；mean(x)表示对所有特征参数进行平均处理；std(x)表示对特征参数求标准差；
步骤Ⅲ中所述归一化处理具体计算公式如下：
其中，xnew表示归一化后的数据；xmax表示特征数据的最大值；xmin特征数据的最小值。
作为本发明的进一步方案，步骤(4)中所述疲劳识别模型参数调整具体步骤如下：
步骤①：将疲劳识别模型损失值与预设阈值进行比较，若损失值不在该阈值范围，则在该疲劳识别模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该疲劳识别模型的输出，在比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差；
步骤②：当局部误差超出工作人员预设阈值后，依据学习规则方程对该疲劳识别模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果；
步骤③：对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差；
步骤④：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换疲劳识别模型原有参数。
作为本发明的进一步方案，步骤①中所述局部误差具体计算公式如下：
其中，代表第l个隐含层中第q个神经元的输出；
步骤②中所述学习规则方程具体如下：
式中，代表第l个隐含层的权值，J代表输出层输出结果，η(l)是与各个网络层相对应的学习率参数，一般情况下，学习率设为相等的值。
作为本发明的进一步方案，步骤(3)中所述疲劳检测具体步骤如下：
步骤Ⅰ：疲劳识别模型接收采集到的面部图片，将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，计算像素的灰度值以统计获得灰度直方图，之后依据预设门限值统计出在该门限范围内的临界灰度级，再计算灰度值在灰度级到255范围内的像素平均值；
步骤Ⅱ：依据计算出的像素平均值获取图片光线补偿系数，再利用补偿系数对所有像素的R、G、B分量值进行放大，并将补偿后的面部转换至YCbCr色彩空间中，之后提取每一组人脸区域边界；
步骤Ⅲ：由边界的连通性和闭合性得到初始的各组矩形，检测各组矩形，当一组矩形完全包围另一组矩形时，抛弃内部的矩形，当两组矩形的边界接触或两个矩形出现重叠现象时，用这两组矩形公共的外接矩形来代替这两组矩形，之后将小于预设尺寸的矩形进行筛除；
步骤Ⅳ：计算该面部图片的最大灰度值以及最小灰度值，之后根据初始阈值将面部图像分割为前景与背景以获取对应二值图像，依据图像重心对二值化后的眼部图像进行瞳孔中心定位，再通过PERCLOS的P80模型计算驾驶员眼睛闭合程度，若PERCLOS值大于40％，或者眼睛持续闭合时间大于3秒时，就认为驾驶员处于磕睡状态，属于疲劳驾驶。
作为本发明的进一步方案，步骤Ⅱ中所述补偿系数具体计算公式如下：
C＝255.0/AveG
(5)
其中，C代表补偿系数；AveG代表像素平均值；
步骤Ⅱ中所述像素分量值具体放大公式如下：
其中，R′、B′以及G′分别为R、G、B分量值放大后的值；
步骤Ⅳ中所述PERCLOS算法具体计算公式如下：
其中，Q代表眼镜闭合帧数，T代表检测时间段总帧数。
作为本发明的进一步方案，步骤(4)中所述区块存储具体步骤如下：
第一步：区块存储模块将***运行信息预处理成符合条件的区块，在该区块入网时，区块链网络中各节点生成本地的公私钥对作为自己在网络中的标识码，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送；
第二步：当该候选节点成为领导节点后，其他节点成为跟随节点，之后领导节点广播区块记录信息，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数，并使用重复次数最多的信息生成区块头，同时向领导节点发送验证申请，验证通过后，领导节点发送添加命令并进入沉睡期，跟随节点收到确认信息后,将新生成的各组区块添加至区块链上并返回候选身份。
相比于现有技术，本发明的有益效果在于：
1、该基于图像识别的疲劳驾驶识别方法通过在该疲劳识别模型的规定区间内初始化网络连接权值，之后比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差，当局部误差超出工作人员预设阈值后，依据学习规则方程对该疲劳识别模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差，将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换疲劳识别模型原有参数，能够自行寻找模型最优参数，无需工作人员手动寻参，节省工作人员人工操作时间，同时提高参数精度，保证后续疲劳识别的精确性，使操作更加方便快捷。
2、该基于图像识别的疲劳驾驶识别方法通过补偿系数对所有像素的R、G、B分量值进行放大，并将补偿后的面部转换至YCbCr色彩空间中，之后提取每一组人脸区域边界，由边界的连通性和闭合性得到初始的各组矩形，检测各组矩形，并对各组矩形进行归并处理，并筛除不符合条件的矩形，再计算该面部图片的最大灰度值以及最小灰度值，之后根据初始阈值将面部图像分割为前景与背景以获取对应二值图像，依据图像重心对二值化后的眼部图像进行瞳孔中心定位，再通过PERCLOS的P80模型计算驾驶员眼睛闭合程度，若PERCLOS值大于40％，或者眼睛持续闭合时间大于3秒时，就认为驾驶员处于磕睡状态，属于疲劳驾驶，通过对图像二值化处理，有效地降低疲劳识别模型处理数据的能耗，大幅提高数据处理效率，能够实现及时地、高效地对驾驶员驾驶状态进行识别，保障驾驶员行车安全。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的一种基于图像识别的疲劳驾驶识别方法的流程框图。
具体实施方式
实施例1
参照图1，一种基于图像识别的疲劳驾驶识别方法，该识别方法具体步骤如下：
确定人脸区域并进行面部采集。
通过车载摄像头采集用户影像信息，之后将采集到的用户影像信息进行逐帧分解以获取头部图片，再按照各组头部图片的显示比例对其进行分块处理，对分块后的各组头部图片通过傅里叶变换对数据中高频成分进行分析提取，并通过高斯滤波进行平滑处理，再分别计算各头部图片的灰度值的平均值，之后比较各头部图片中每组像素的灰度值与计算出的均值，将小于均值的图像区域筛除，通过图像金字塔对各头部图片进行尺度归一化处理，并通过骨干卷积神经网络对各组头部图片进行特征提取，再将提取出的特征送入双向特征金字塔进行特征融合，再将融合结果进行分类回归，输出检测框，并依据生成的检测框对驾驶员脸部进行扩大化剪裁以获取面部图片。
构建疲劳识别模型并调整该模型参数。
具体的，提取过往疲劳识别信息以及对应驾驶员面部信息，并将收集到的数据整合成样本数据集，之后计算该样本数据集的标准偏差以剔除样本数据集中的异常数据，再对剩余数据作标准化以及归一化处理，将处理后的数据划分为测试集以及训练集，之后再对一组卷积神经网络的参数进行赋值，再依据预设信息确定各神经网络层神经元数以及各神经元激励函数，通过训练集对设置完成的卷积神经网络进行训练，并获取输出层为隐节点输出的线性组合，之后定义该卷积神经网络多轮学习后的能量函数，当能量函数小于目标误差时，训练过程结束并输出疲劳识别模型；之后将测试集导入疲劳识别模型中进行测试，并计算该隔离网络模型损失值。
具体的，将疲劳识别模型损失值与预设阈值进行比较，若损失值不在该阈值范围，则在该疲劳识别模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该疲劳识别模型的输出，在比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差，当局部误差超出工作人员预设阈值后，依据学习规则方程对该疲劳识别模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差，将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换疲劳识别模型原有参数,能够自行寻找模型最优参数，无需工作人员手动寻参，节省工作人员人工操作时间，同时提高参数精度，保证后续疲劳识别的精确性，使操作更加方便快捷。
本实施例中，标准化处理具体计算公式如下：
其中，x表示样本数据集中各数据的特征参数；mean(x)表示对所有特征参数进行平均处理；std(x)表示对特征参数求标准差；
归一化处理具体计算公式如下：
其中，xnew表示归一化后的数据；xmax表示特征数据的最大值；xmin特征数据的最小值；
局部误差具体计算公式如下：
其中，代表第l个隐含层中第q个神经元的输出；
学习规则方程具体如下：
式中，代表第l个隐含层的权值，J代表输出层输出结果，η(l)是与各个网络层相对应的学习率参数，一般情况下，学习率设为相等的值。
实施例2
参照图1，一种基于图像识别的疲劳驾驶识别方法，该识别方法具体步骤如下：
提取面部特征信息以进行疲劳检测。
疲劳识别模型接收采集到的面部图片，将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，计算像素的灰度值以统计获得灰度直方图，之后依据预设门限值统计出在该门限范围内的临界灰度级，再计算灰度值在灰度级到255范围内的像素平均值，依据计算出的像素平均值获取图片光线补偿系数，再利用补偿系数对所有像素的R、G、B分量值进行放大，并将补偿后的面部转换至YCbCr色彩空间中，之后提取每一组人脸区域边界，由边界的连通性和闭合性得到初始的各组矩形，检测各组矩形，当一组矩形完全包围另一组矩形时，抛弃内部的矩形，当两组矩形的边界接触或两个矩形出现重叠现象时，用这两组矩形公共的外接矩形来代替这两组矩形，之后将小于预设尺寸的矩形进行筛除，计算该面部图片的最大灰度值以及最小灰度值，之后根据初始阈值将面部图像分割为前景与背景以获取对应二值图像，依据图像重心对二值化后的眼部图像进行瞳孔中心定位，再通过PERCLOS的P80模型计算驾驶员眼睛闭合程度，若PERCLOS值大于40％，或者眼睛持续闭合时间大于3秒时，就认为驾驶员处于磕睡状态，属于疲劳驾驶,通过对图像二值化处理，有效地降低疲劳识别模型处理数据的能耗，大幅提高数据处理效率，能够实现及时地、高效地对驾驶员驾驶状态进行识别，保障驾驶员行车安全。
本实施例中，补偿系数具体计算公式如下：
C＝255.0/AveG
(5)
其中，C代表补偿系数；AveG代表像素平均值；
像素分量值具体放大公式如下：
其中，R′、B′以及G′分别为R、G、B分量值放大后的值；
PERCLOS算法具体计算公式如下：
其中，Q代表眼镜闭合帧数，T代表检测时间段总帧数。
反馈识别结果同时进行驾驶拦截。
记录识别数据并将其进行区块存储。
具体的，区块存储模块将***运行信息预处理成符合条件的区块，在该区块入网时，区块链网络中各节点生成本地的公私钥对作为自己在网络中的标识码，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送，当该候选节点成为领导节点后，其他节点成为跟随节点，之后领导节点广播区块记录信息，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数，并使用重复次数最多的信息生成区块头，同时向领导节点发送验证申请，验证通过后，领导节点发送添加命令并进入沉睡期，跟随节点收到确认信息后,将新生成的各组区块添加至区块链上并返回候选身份,有效地防止恶意篡改数据情况的发生，提高数据安全性，保障了数字财产安全，同时为后续疲劳识别模型的建立提供精确的测试数据。
Claims (9)
1.一种基于图像识别的疲劳驾驶识别方法，其特征在于，该识别方法具体步骤如下：
(1)确定人脸区域并进行面部采集；
(2)构建疲劳识别模型并调整该模型参数；
(3)提取面部特征信息以进行疲劳检测；
(4)反馈识别结果同时进行驾驶拦截；
(5)记录识别数据并将其进行区块存储。
2.根据权利要求1所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤(1)中所述面部采集具体步骤如下：
步骤一：通过车载摄像头采集用户影像信息，之后将采集到的用户影像信息进行逐帧分解以获取头部图片，再按照各组头部图片的显示比例对其进行分块处理；
步骤二：对分块后的各组头部图片通过傅里叶变换对数据中高频成分进行分析提取，并通过高斯滤波进行平滑处理，再分别计算各头部图片的灰度值的平均值，之后比较各头部图片中每组像素的灰度值与计算出的均值，将小于均值的图像区域筛除；
步骤三：通过图像金字塔对各头部图片进行尺度归一化处理，并通过骨干卷积神经网络对各组头部图片进行特征提取，再将提取出的特征送入双向特征金字塔进行特征融合，再将融合结果进行分类回归，输出检测框，并依据生成的检测框对驾驶员脸部进行扩大化剪裁以获取面部图片。
3.根据权利要求2所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤(2)中所述疲劳识别模型具体构建步骤如下：
步骤Ⅰ：提取过往疲劳识别信息以及对应驾驶员面部信息，并将收集到的数据整合成样本数据集，之后计算该样本数据集的标准偏差以剔除样本数据集中的异常数据，再对剩余数据作标准化以及归一化处理；
步骤Ⅱ：将处理后的数据划分为测试集以及训练集，之后再对一组卷积神经网络的参数进行赋值，再依据预设信息确定各神经网络层神经元数以及各神经元激励函数；
步骤Ⅲ：通过训练集对设置完成的卷积神经网络进行训练，并获取输出层为隐节点输出的线性组合，之后定义该卷积神经网络多轮学习后的能量函数，当能量函数小于目标误差时，训练过程结束并输出疲劳识别模型；之后将测试集导入疲劳识别模型中进行测试，并计算该隔离网络模型损失值。
4.根据权利要求3所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤Ⅰ中所述标准化处理具体计算公式如下：
其中，x表示样本数据集中各数据的特征参数；mean(x)表示对所有特征参数进行平均处理；std(x)表示对特征参数求标准差；
步骤Ⅲ中所述归一化处理具体计算公式如下：
其中，xnew表示归一化后的数据；xmax表示特征数据的最大值；xmin特征数据的最小值。
5.根据权利要求3所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤(4)中所述疲劳识别模型参数调整具体步骤如下：
步骤①：将疲劳识别模型损失值与预设阈值进行比较，若损失值不在该阈值范围，则在该疲劳识别模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算该疲劳识别模型的输出，在比较期望的网络输出与实际的网络输出，并且计算所有神经元的局部误差；
步骤②：当局部误差超出工作人员预设阈值后，依据学习规则方程对该疲劳识别模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果；
步骤③：对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练测试模型后对测试集进行检测，并统计检测结果的均方根误差；
步骤④：将测试集更换为另一子集，再取剩余子集作为训练集，再次统计均方根误差，直至对所有数据都进行一次预测，通过选取均方根误差最小时对应的组合参数作为数据区间内最优的参数并替换疲劳识别模型原有参数。
6.根据权利要求5所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤①中所述局部误差具体计算公式如下：
其中，代表第l个隐含层中第q个神经元的输出；
步骤②中所述学习规则方程具体如下：
式中，代表第l个隐含层的权值，J代表输出层输出结果，η(l)是与各个网络层相对应的学习率参数，一般情况下，学习率设为相等的值。
7.根据权利要求5所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤(3)中所述疲劳检测具体步骤如下：
步骤Ⅰ：疲劳识别模型接收采集到的面部图片，将整个图像中所有像素的亮度从高到低进行排列，取前5％的像素，计算像素的灰度值以统计获得灰度直方图，之后依据预设门限值统计出在该门限范围内的临界灰度级，再计算灰度值在灰度级到255范围内的像素平均值；
步骤Ⅱ：依据计算出的像素平均值获取图片光线补偿系数，再利用补偿系数对所有像素的R、G、B分量值进行放大，并将补偿后的面部转换至YCbCr色彩空间中，之后提取每一组人脸区域边界；
步骤Ⅲ：由边界的连通性和闭合性得到初始的各组矩形，检测各组矩形，当一组矩形完全包围另一组矩形时，抛弃内部的矩形，当两组矩形的边界接触或两个矩形出现重叠现象时，用这两组矩形公共的外接矩形来代替这两组矩形，之后将小于预设尺寸的矩形进行筛除；
步骤Ⅳ：计算该面部图片的最大灰度值以及最小灰度值，之后根据初始阈值将面部图像分割为前景与背景以获取对应二值图像，依据图像重心对二值化后的眼部图像进行瞳孔中心定位，再通过PERCLOS的P80模型计算驾驶员眼睛闭合程度，若PERCLOS值大于40％，或者眼睛持续闭合时间大于3秒时，就认为驾驶员处于磕睡状态，属于疲劳驾驶。
8.根据权利要求7所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤Ⅱ中所述补偿系数具体计算公式如下：
C＝255.0/AveG
(5)
其中，C代表补偿系数；AveG代表像素平均值；
步骤Ⅱ中所述像素分量值具体放大公式如下：
其中，R′、B′以及G′分别为R、G、B分量值放大后的值；
步骤Ⅳ中所述PERCLOS算法具体计算公式如下：
/>
其中，Q代表眼镜闭合帧数，T代表检测时间段总帧数。
9.根据权利要求1所述的一种基于图像识别的疲劳驾驶识别方法，其特征在于，步骤(4)中所述区块存储具体步骤如下：
第一步：区块存储模块将***运行信息预处理成符合条件的区块，在该区块入网时，区块链网络中各节点生成本地的公私钥对作为自己在网络中的标识码，当某一节点等待本地角色成为候选节点时，向网络中其他节点广播领导申请并发送；
第二步：当该候选节点成为领导节点后，其他节点成为跟随节点，之后领导节点广播区块记录信息，跟随节点收到信息以后向其他跟随节点广播收到的信息并记录重复次数，并使用重复次数最多的信息生成区块头，同时向领导节点发送验证申请，验证通过后，领导节点发送添加命令并进入沉睡期，跟随节点收到确认信息后,将新生成的各组区块添加至区块链上并返回候选身份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310749747.6A CN116778460A (zh) | 2023-06-21 | 2023-06-21 | 一种基于图像识别的疲劳驾驶识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310749747.6A CN116778460A (zh) | 2023-06-21 | 2023-06-21 | 一种基于图像识别的疲劳驾驶识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778460A true CN116778460A (zh) | 2023-09-19 |
Family
ID=87990915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310749747.6A Pending CN116778460A (zh) | 2023-06-21 | 2023-06-21 | 一种基于图像识别的疲劳驾驶识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778460A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496353A (zh) * | 2023-11-13 | 2024-02-02 | 安徽农业大学 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
-
2023
- 2023-06-21 CN CN202310749747.6A patent/CN116778460A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496353A (zh) * | 2023-11-13 | 2024-02-02 | 安徽农业大学 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111611905B (zh) | 一种可见光与红外融合的目标识别方法 | |
| CN110210475B (zh) | 一种非二值化和边缘检测的车牌字符图像分割方法 | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN104992148A (zh) | 基于随机森林的atm终端部分遮挡人脸关键点检测方法 | |
| CN110222596B (zh) | 一种基于视觉的驾驶员行为分析防作弊方法 | |
| CN109165602B (zh) | 一种基于视频分析的黑烟车检测方法 | |
| CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
| CN113034378B (zh) | 一种区分电动汽车与燃油汽车的方法 | |
| CN116778460A (zh) | 一种基于图像识别的疲劳驾驶识别方法 | |
| CN114463684A (zh) | 一种面向城市高速路网的堵点检测方法 | |
| CN112115800A (zh) | 一种基于深度学习目标检测的车辆组合识别***及方法 | |
| CN111767881A (zh) | 一种基于ai技术的自适应人群密度估计装置 | |
| CN113449676B (zh) | 一种基于双路互促进解纠缠学习的行人重识别方法 | |
| CN116524725B (zh) | 一种智能驾驶的交通标志图像数据识别*** | |
| CN113343926A (zh) | 一种基于卷积神经网络的驾驶员疲劳检测方法 | |
| CN116977834A (zh) | 一种开放条件下分布内外图像识别方法 | |
| CN108960181B (zh) | 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法 | |
| CN112101274A (zh) | 一种车牌识别方法、装置、设备及可读存储介质 | |
| CN107341456B (zh) | 一种基于单幅户外彩色图像的天气晴阴分类方法 | |
| CN112633163B (zh) | 一种基于机器学习算法实现非法运营车辆检测的检测方法 | |
| CN115393802A (zh) | 一种基于小样本学习的铁路场景不常见入侵目标识别方法 | |
| CN114648738A (zh) | 一种基于物联网与边缘计算的图像识别***与方法 | |
| CN110674820A (zh) | 一种基于卷积神经网络的车牌校准识别方法、***及电子设备 | |
| Roy | Automatics number plate recognition using convolution neural network | |
| CN118135800B (zh) | 基于深度学习的异常交通事件精准识别告警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |