CN112489370A - 一种疲劳驾驶的检测方法及*** - Google Patents

一种疲劳驾驶的检测方法及*** Download PDF

Info

Publication number
CN112489370A
CN112489370A CN202011316378.4A CN202011316378A CN112489370A CN 112489370 A CN112489370 A CN 112489370A CN 202011316378 A CN202011316378 A CN 202011316378A CN 112489370 A CN112489370 A CN 112489370A
Authority
CN
China
Prior art keywords
model
abnormity judgment
fatigue driving
judgment result
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011316378.4A
Other languages
English (en)
Inventor
连艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Industry Polytechnic College
Original Assignee
Chongqing Industry Polytechnic College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Industry Polytechnic College filed Critical Chongqing Industry Polytechnic College
Priority to CN202011316378.4A priority Critical patent/CN112489370A/zh
Publication of CN112489370A publication Critical patent/CN112489370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及交通安全领域，具体而言，涉及一种疲劳驾驶的检测方法及***。该方法包括，获取图像数据；基于第一异常判断模型处理图像数据，得到第一异常判断结果；若第一异常判断结果为存在异常，获取语音问答数据；基于第二异常判断模型处理语音问答数据，得到第二异常判断结果；基于第二异常判断结果给予提示。本申请提供的一种疲劳驾驶的检测方法，通过多维度和交互式的方法，基于大数据训练得到的模型检测是否存在疲劳驾驶，并且给予提示，保证驾驶安全且效率高。

Description

一种疲劳驾驶的检测方法及***
技术领域
本发明涉及交通安全领域，具体而言，涉及一种疲劳驾驶的检测方法及***。
背景技术
我国的交通运输业发展迅速，随之而来的道路交通事故也呈上升趋势，根据交通部门的资料显示，由于疲劳驾驶造成的交通事故所占比重很大，占特大交通事故的比重更大，疲劳驾驶已经作为交通事故发生的主要隐患，已经引起人们的关注，针对疲劳驾驶，也出现了许多疲劳驾驶提醒工具，但这些工具时效性极低，能够起到的提醒效果较差。
发明内容
本发明提供了一种疲劳驾驶的检测方法及***。
本发明的一些实施例是这样实现的：
一种疲劳驾驶的检测方法，其包括：
获取图像数据；
基于第一异常判断模型处理所述图像数据，得到第一异常判断结果；
若所述第一异常判断结果为存在异常，获取语音问答数据；
基于第二异常判断模型处理所述语音问答数据，得到第二异常判断结果；
基于所述第二异常判断结果给予提示。
本发明的一种实施例中：
所述图像数据包括驾驶者眼部图像信息。
本发明的一种实施例中：
所述第一异常判断模型为GNN模型。
本发明的一种实施例中：
所述第二异常判断模型包括BERT模型。
本发明的一种实施例中：
所述语音问答数据的特征至少包括语音特征和语义特征。
本发明一些实施例还提供了一种疲劳驾驶的检测***，其包括：
图像获取模块，用于获取图像数据；
第一处理模块，用于基于第一异常判断模型处理所述图像数据，得到第一异常判断结果；
语音获取模块，用于若所述第一异常判断结果为存在异常，获取语音问答数据；
第二处理模块，用于基于第二异常判断模型处理所述语音问答数据，得到第二异常判断结果；
提示模块，用于基于所述第二异常判断结果给予提示。
本发明一些实施例还提供了一种疲劳驾驶的检测装置，所述装置包括至少一个存储介质以及至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令，以实现上述疲劳驾驶的检测方法。
本发明的技术方案至少具备以下有益效果：
本申请提供的一种疲劳驾驶的检测方法，通过多维度和交互式的方法，基于大数据训练得到的模型检测是否存在疲劳驾驶，并且给予提示，保证驾驶安全且效率高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一些实施例所示的疲劳驾驶的检测方法的示例性流程图图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
应当理解，本文使用的“***”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
在一些实施例中，采用例如基于脉搏信号、驾驶行为、瞳孔状况、语音信号等检测方法，其主要基于单变量检测，准确度不够；而且目前检测方法多为客观检测，没有互动，其带来的后果就是一旦***检测判定驾驶员处于疲劳状态，其实驾驶员可能已经无法正常控制车辆，其判定也失去了现实意义。
针对该缺陷，本申请一些实施例提供了一种疲劳驾驶的检测方法及***，通过多维度和交互式的方法检测是否存在疲劳驾驶。
参考图1，图中为一种疲劳驾驶的检测方法的示例性流程图，其包括以下步骤：
步骤110，获取图像数据；可选的，该步骤可以由图像获取模块执行。
在一些实施例中，图像数据可以是驾驶者的照片，在实际执行时，可以通过在车内设置摄像头或相机获取驾驶者图像。
进一步的，为了减少图像中干扰，提高判断准确性，所述图像数据包括驾驶者眼部图像信息。通过眼部的情况，包括眼睑、眼球以及瞳孔中的一个或多个进行判断，驾驶者是否存在疲劳驾驶。
步骤120，基于第一异常判断模型处理所述图像数据，得到第一异常判断结果；可选的，该步骤可以由第一处理模块执行。
在一些实施例中，第一异常判断模型可以是深度学习模型，通过预训练使其能够通过眼部图像判断是否存在疲劳驾驶。具体的，可以通过获取历史人脸数据，提取眼部特征；并将是否疲劳作为标签，对深度学习模型进行训练，得到训练完成的模型。
进一步的，所述第一异常判断模型为GNN模型。GNN为图神经网络，其对图像具有更好的处理效果，优选的可以选择图神经网络中的图卷积网络(GCN)。在其他具体实施方式中，第一异常判断模型还可以是分类器等。
在一些实施例中，第一异常判断结果包括安全或可能存在疲劳驾驶。当安全时，可以终止该流程，而可能存在疲劳驾驶时，执行后续步骤。
步骤130，若所述第一异常判断结果为存在异常，获取语音问答数据；可选的，该步骤可以由语音获取模块执行。
在一些实施例中，第一异常判断结果为存在异常可以理解是驾驶者可能存在异常，因而需要对齐进行进一步判断。通过语音问答的形式，通过互动式的方式进一步获取驾驶者的情况。即，在该步骤中获取语音问答数据。
步骤140，基于第二异常判断模型处理所述语音问答数据，得到第二异常判断结果；可选的，该步骤可以由第二处理模块执行。
在一些实施例中，第一异常判断模型可以是自然语言处理(NLP)模型，如transformer、seq2seq等，通过对应答内容语义分析，判断驾驶者是否存在疲劳驾驶。进一步的，所述第二异常判断模型可以包括BERT模型。
在一些实施例中，还可以同时对语音问答数据中语音特征进行判断，语音特征可以大致判断驾驶者精神状况，具体的，可以用过另外深度学习模型对语音特征进行分析，此外，可以将该语音特征模型和上述语义分析模型进行联合训练，即将两个模型损失函数相加或加权相加后进行训练。
在一些实施例中，第二异常判断结果可以包括安全或存在疲劳驾驶。当安全时，可以终止该流程，而可能存在疲劳驾驶时，执行后续步骤。
步骤150，基于所述第二异常判断结果给予提示；可选的，该步骤可以由提示模块执行。
在一些实施例中，通过第一异常判断模型和第二异常判断模型均判定驾驶者存在疲劳驾驶时，对其进行提醒，提醒的方式可以包括但不仅限于语音提醒，灯光闪烁提醒等。在一些实施例中，还可以将该判断结果上传或发送至交通部门，以进行追溯或处罚。
本申请一些实施例中还提供了一种疲劳驾驶的检测***，其包括图像获取模块、第一处理模块、语音获取模块、第二处理模块和提示模块。
图像获取模块，用于获取图像数据。
第一处理模块，用于基于第一异常判断模型处理所述图像数据，得到第一异常判断结果。
语音获取模块，用于若所述第一异常判断结果为存在异常，获取语音问答数据。
第二处理模块，用于基于第二异常判断模型处理所述语音问答数据，得到第二异常判断结果。
提示模块，用于基于所述第二异常判断结果给予提示。
在本申请的一些实施例中，所述图像数据包括驾驶者眼部图像信息。
在本申请的一些实施例中，所述第一异常判断模型为GNN模型。
在本申请的一些实施例中，所述第二异常判断模型包括BERT模型。
本申请提供的一种疲劳驾驶的检测方法，通过多维度和交互式的方法，基于大数据训练得到的模型检测是否存在疲劳驾驶，并且给予提示，保证驾驶安全且效率高。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

Claims (10)

1.一种疲劳驾驶的检测方法，其特征在于，包括：
获取图像数据；
基于第一异常判断模型处理所述图像数据，得到第一异常判断结果；
若所述第一异常判断结果为存在异常，获取语音问答数据；
基于第二异常判断模型处理所述语音问答数据，得到第二异常判断结果；
基于所述第二异常判断结果给予提示。
2.如权利要求1所述的方法，其特征在于，其中：
所述图像数据包括驾驶者眼部图像信息。
3.如权利要求1所述的方法，其特征在于，其中：
所述第一异常判断模型为GNN模型。
4.如权利要求1所述的方法，其特征在于，其中：
所述第二异常判断模型包括BERT模型。
5.如权利要求1所述的方法，其特征在于，其中：
所述语音问答数据的特征至少包括语音特征和语义特征。
6.一种疲劳驾驶的检测***，其特征在于，包括：
图像获取模块，用于获取图像数据；
第一处理模块，用于基于第一异常判断模型处理所述图像数据，得到第一异常判断结果；
语音获取模块，用于若所述第一异常判断结果为存在异常，获取语音问答数据；
第二处理模块，用于基于第二异常判断模型处理所述语音问答数据，得到第二异常判断结果；
提示模块，用于基于所述第二异常判断结果给予提示。
7.如权利要求6所述的***，其特征在于：
所述图像数据包括驾驶者眼部图像信息。
8.如权利要求6所述的***，其特征在于：
所述第一异常判断模型为GNN模型。
9.如权利要求6所述的***，其特征在于：
所述第二异常判断模型包括BERT模型。
10.一种疲劳驾驶的检测装置，所述装置包括至少一个存储介质以及至少一个处理器；所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令，以实现权利要求1至5中任一项所述的疲劳驾驶的检测方法。
CN202011316378.4A 2020-11-20 2020-11-20 一种疲劳驾驶的检测方法及*** Pending CN112489370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316378.4A CN112489370A (zh) 2020-11-20 2020-11-20 一种疲劳驾驶的检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316378.4A CN112489370A (zh) 2020-11-20 2020-11-20 一种疲劳驾驶的检测方法及***

Publications (1)

Publication Number Publication Date
CN112489370A true CN112489370A (zh) 2021-03-12

Family

ID=74932824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316378.4A Pending CN112489370A (zh) 2020-11-20 2020-11-20 一种疲劳驾驶的检测方法及***

Country Status (1)

Country Link
CN (1) CN112489370A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2772958A1 (fr) * 1997-12-24 1999-06-25 Sgs Thomson Microelectronics Systeme de securite, notamment pour vehicule automobile
CN103198618A (zh) * 2013-04-13 2013-07-10 杭州立体世界科技有限公司 一种能够预警疲劳驾驶的手机及预警方法
CN103824421A (zh) * 2014-03-26 2014-05-28 上海长安汽车工程技术有限公司 主动安全疲劳驾驶检测警示***及方法
CA2864974A1 (en) * 2014-12-08 2016-06-08 Mahmud Khan Child & pet safeguard
CN109795319A (zh) * 2019-01-15 2019-05-24 威马智慧出行科技（上海）有限公司 检测和干预驾驶员疲劳驾驶的方法、装置和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2772958A1 (fr) * 1997-12-24 1999-06-25 Sgs Thomson Microelectronics Systeme de securite, notamment pour vehicule automobile
CN103198618A (zh) * 2013-04-13 2013-07-10 杭州立体世界科技有限公司 一种能够预警疲劳驾驶的手机及预警方法
CN103824421A (zh) * 2014-03-26 2014-05-28 上海长安汽车工程技术有限公司 主动安全疲劳驾驶检测警示***及方法
CA2864974A1 (en) * 2014-12-08 2016-06-08 Mahmud Khan Child & pet safeguard
CN109795319A (zh) * 2019-01-15 2019-05-24 威马智慧出行科技（上海）有限公司 检测和干预驾驶员疲劳驾驶的方法、装置和***

Similar Documents

Publication Publication Date Title
Gage et al. Writing performance of students with emotional and/or behavioral disabilities
Pinkwart et al. Toward legal argument instruction with graph grammars and collaborative filtering techniques
CN110143202A (zh) 一种危险驾驶识别与预警方法及***
CA2820428A1 (en) Symbiotic helper
Camp et al. Reading and spelling in good and poor readers
Briand et al. Retroactive semantic priming in a lexical decision task
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、***及介质
CN114219224A (zh) 一种用于智慧教室的教学质量检测方法和***
CN104077568A (zh) 一种高精度的驾驶员行为识别与监控方法及***
Haines et al. Using automated computer vision and machine learning to code facial expressions of affect and arousal: Implications for emotion dysregulation research
CN113753059A (zh) 一种自动驾驶***下的驾驶人接管能力预测方法
Doshi et al. Head and gaze dynamics in visual attention and context learning
Petukhov et al. Modeling of cognitive brain activity through the Information Images Theory in terms of the bilingual Stroop test
CN112581832B (zh) 一种基于学习风格的危急驾驶风险评价干预方法及***
CN112489370A (zh) 一种疲劳驾驶的检测方法及***
Pallett et al. Inversion effects reveal dissociations in facial expression of emotion, gender, and object processing
Noll et al. Fostering Reading Comprehension of Learning Tasks with Pictorial Symbols: A Qualitative Study of the Subjective Views and Reading Paths of Children with and without Special Needs.
Metcalfe et al. An exploration of the impact of contextual information on the emotion recognition ability of autistic adults
Griffith et al. Sleep-deprivation effect on human performance: a meta-analysis approach
Alyuz et al. Towards understanding emotional reactions of driver-passenger dyads in automated driving
Goulet Investigation of the cognitive mechanisms of same and different judgments
Rusdiyani The Effect of Learning Methodology and Personality Type on Cognitive Abilities
Hudson et al. It takes two to make an interview go right: Round-robin designs to demonstrate interviewer and witness variance
Hunt et al. Rebekah E Smith
Halbach et al. Categories of user impairment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312