CN117717340B - 一种驾驶员困意检测方法、装置、设备及介质 - Google Patents
一种驾驶员困意检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117717340B CN117717340B CN202410171984.3A CN202410171984A CN117717340B CN 117717340 B CN117717340 B CN 117717340B CN 202410171984 A CN202410171984 A CN 202410171984A CN 117717340 B CN117717340 B CN 117717340B
- Authority
- CN
- China
- Prior art keywords
- entropy
- eye movement
- sleepiness
- region
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 126
- 208000032140 Sleepiness Diseases 0.000 title claims abstract description 96
- 230000037321 sleepiness Effects 0.000 title claims abstract description 96
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000004424 eye movement Effects 0.000 claims abstract description 111
- 238000012546 transfer Methods 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000036626 alertness Effects 0.000 description 2
- 238000000540 analysis of variance Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 2
- 230000006998 cognitive state Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000002498 deadly effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开一种驾驶员困意检测方法、装置、设备及介质，涉及困意测试技术领域。该方法包括以下步骤：获取感兴趣区域和驾驶员的眼动数据；眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；感兴趣区域包括多个子区域；查找各注视点在感兴趣区域中所对应的子区域；获取各注视点对应的注视次数和注视持续时间在相应的子区域中的概率分布；根据概率分布，计算熵指标；熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；调用困意数据库，并在困意数据库中查找与熵指标一致的数据所对应的困意等级；困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级；保证最终检测结果的准确性。
Description
技术领域
本发明一般涉及困意测试技术领域，具体涉及一种驾驶员困意检测方法、装置、设备及介质。
背景技术
驾驶疲劳困倦和司机疏忽是致命道路交通事故的主要原因。为了防范疲劳对驾驶的影响，驾驶员监控***（Driver Monitoring System，DMS）开始普及发现驾驶员的疲劳和嗜睡情况并提醒驾驶员，从而可能会减少事故的数量。例如，Ramzan等人对当前的驾驶睡意检测技术进行了全面分析，并根据利用率对其进行了分类，包括基于心电图（Electrocardiogram，ECG）、脑电图（Electroencephalogram，EEG）生理标识、基于车辆行为和基于行为参数的技术。Sikander等人提出了一项关于检测驾驶员困倦和疲劳的综述研究。Otmani等人通过应用深度学习技术来评估疲劳和嗜睡程度。
但是，当前的研究主要通过使用不同的测量技术来检测驾驶员的困意、分心以及认知状态，得到的检测结果过于理想化，与实际困意状态可能存在差距，并且缺乏证据证明其测量和生理特征的有用性和可靠性，尤其是在量化驾驶员认知能力较差时人类驾驶状态的研究相对较少。因此，我们提出一种驾驶员困意检测方法、装置、设备及介质用以解决上述问题。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种提高检测准确性，鲁棒性好的驾驶员困意检测方法、装置、设备及介质。
第一方面，本发明提供一种驾驶员困意检测方法，包括以下步骤：
获取感兴趣区域和驾驶员的眼动数据；所述眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；所述感兴趣区域包括多个子区域；
查找各所述注视点在所述感兴趣区域中所对应的子区域；
获取各所述注视点对应的所述注视次数和所述注视持续时间在相应的子区域中的概率分布；
根据所述概率分布，计算熵指标；所述熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；
调用困意数据库，并在所述困意数据库中查找与所述熵指标对应的数据所对应的困意等级；所述困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级。
根据本发明提供的技术方案，根据以下步骤建立困意数据库：
获取测试信息集合；所述测试信息集合至少包括：测试数据和对应的固定交叉熵、眼动统计熵、眼动转移熵；
根据所述测试数据模拟驾驶，并采集每次模拟驾驶后驾驶员输入的困意等级；
根据所述固定交叉熵、所述眼动统计熵、所述眼动转移熵和对应的困意等级建立困意数据库。
根据本发明提供的技术方案，根据所述固定交叉熵、所述眼动统计熵、所述眼动转移熵和对应的困意等级建立困意数据库之后，还包括以下步骤：
根据所述困意数据库中的固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级，计算相关指数，得到指数集合；
当所述指数集合中大于预设阈值的相关指数的数量和总的相关指数的比值大于预设比值时，则判定固定交叉熵、眼动统计熵、眼动转移熵和对应的困意等级具备显著相关性。
根据本发明提供的技术方案，查找各所述注视点在所述感兴趣区域中所对应的子区域，具体包括以下步骤：
获取感兴趣区域的二维坐标系；
在所述二维坐标系中，识别每个所述子区域的区域范围；
获取所述注视点的坐标位置，并在所述二维坐标系中查找坐标位置所在的区域范围，得到所述注视点所对应的子区域。
根据本发明提供的技术方案，根据以下步骤建立感兴趣区域的二维坐标系：
以感兴趣区域的任意一个顶点为原点，以过该原点且与所述感兴趣区域相邻两个边长度方向平行设置的两条延长线分别作为X轴、Y轴，构建二维坐标系。
根据本发明提供的技术方案，根据以下公式计算固定交叉熵：
；
其中，为固定交叉熵，/>为第i个注视点，/>为第i个注视点的注视次数在相应的子区域中的概率分布，/>为第i个注视点的注视持续时间在相应的子区域中的概率分布；
根据以下公式计算眼动统计熵：
；
其中，为注视持续时间对应的眼动统计熵，/>为注视次数对应的眼动统计熵；
根据以下公式计算眼动转移熵：
；
其中，为眼动转移熵，/>为第i-1个注视点。
第二方面，本发明提供一种驾驶员困意检测装置，能够实现上述的一种驾驶员困意检测方法，所述装置包括：
数据采集模块，配置用于获取感兴趣区域和驾驶员的眼动数据；所述眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；所述感兴趣区域包括多个子区域；
数据处理模块，配置用于查找各所述注视点在所述感兴趣区域中所对应的子区域；
数据处理模块，还配置用于获取各所述注视点对应的所述注视次数和所述注视持续时间在相应的子区域中的概率分布；
数据处理模块，还配置用于根据所述概率分布，计算熵指标；所述熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；
数据处理模块，还配置用于调用困意数据库，并在所述困意数据库中查找与所述熵指标对应的数据所对应的困意等级；所述困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级。
第三方面，本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种驾驶员困意检测方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的一种驾驶员困意检测方法的步骤。
综上可知，本发明公开一种驾驶员困意检测方法的具体流程。本发明通过获取感兴趣区域和驾驶员的眼动数据，查找各注视点在感兴趣区域中所对应的子区域；获取各注视点对应的注视次数和注视持续时间在相应的子区域中的概率分布；根据概率分布，计算熵指标；调用困意数据库，并在困意数据库中查找与熵指标对应的数据所对应的困意等级。
本发明通过将感兴趣区域划分为多个子区域，并在相应的子区域中获取各注视点对应的注视次数和注视持续时间的概率分布，根据概率分布，计算熵指标，并在困意数据库查找相应的困意等级，根据该困意等级，获知驾驶者的困意状态，以便为车辆安全驾驶提供指导作用；并且，通过熵指标得到的困意等级更加准确。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1为驾驶员困意检测方法的流程示意图。
图2为建立困意数据库的流程示意图。
图3为驾驶员困意检测装置的结构示意图。
图4为电子设备的结构示意图。
图5为驾驶员视角的示意图。
图6为感兴趣区域的第一种划分示意图。
图7为感兴趣区域的第二种划分示意图。
图8为感兴趣区域的第三种划分示意图。
图中标号：100、数据采集模块；200、数据处理模块；
500、电子设备；501、CPU；502、ROM；503、RAM；504、总线；505、I/O接口；506、输入部分；507、输出部分；508、存储部分；509、通信部分；510、驱动器；511、可拆卸介质。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
目前，国内和国外自动驾驶技术都分为5级，即L1-L5级别。其中，L4为高度自动化级别，L5为完全自动化级别。在自动驾驶过程中，高级别自动驾驶（L4级别以上）已经能够在其设计的运行范围内实现自动驾驶，但仍需要驾驶员监控自动驾驶***是否正常运行。研究表明，长时间让驾驶员监控自动驾驶***会增加驾驶员的精神负荷，更容易产生疲劳驾驶。有学者认为在使用自动驾驶功能期间，驾驶员警觉性是降低的，并且这种警觉性的降低是人类的天性，并不会随着训练增加。为了防范疲劳对驾驶的影响，驾驶员监控***（Driver Monitoring System，DMS）开始普及发现驾驶员的疲劳和嗜睡情况并提醒驾驶员，从而可能会减少事故的数量。
但是，当前的研究主要通过使用不同的测量技术来检测驾驶员的困意、分心以及认知状态，得到的检测结果过于理想化，与实际困意状态可能存在差距，并且缺乏证据证明其测量和生理特征的有用性和可靠性，尤其是在量化驾驶员认知能力较差时人类驾驶状态的研究相对较少。因此，提出本发明，以解决上述问题。
实施例1
请参考图1所示的本发明提供的一种驾驶员困意检测方法的流程示意图，包括以下步骤：
S10、获取感兴趣区域和驾驶员的眼动数据；眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；感兴趣区域包括多个子区域；
需要说明的是，眼动数据选取的时间窗口例如为五分钟，可以采用驾驶眼动仪（Smart Eye）采集驾驶员的眼动数据，驾驶眼动仪连接有至少三个光学摄像头，将光学摄像头安装在车辆控制台上，并调整好光学摄像头的焦距和曝光度，以使驾驶眼动仪能够清晰地识别到驾驶员。另外，在试验前，可以采用盘格校准板以及9点式校准的方式对驾驶眼动仪进行校准，确保采集到眼动数据的准确性。
进一步地，感兴趣区域是指驾驶员注视感兴趣的区域，也称为扫动空间区域。该感兴趣区域可以通过驾驶员的视线角来确定。
驾驶员的视线角包括俯仰角和偏航角，俯仰角是指围绕x轴旋转的角，可以用视角yaw表示，偏航角是指围绕y轴旋转的角，可以用视角pitch表示。此处，如图5所示，O点为驾驶员两眼连线的中点，x轴为过O点且和驾驶员两眼连线垂直的延长线，y轴为过O点且和驾驶员两眼连线、x轴均垂直的延长线。相应地，视角yaw为∠AOC，其可以用图5中的AP表示；视角pitch为∠BOC，其可以用图5中的Ah表示。
其中，感兴趣区域的划分方式至少包括：同心矩形划分方式、同心圆划分方式以及等分矩形划分方式。
图6为按照同心矩形方式划分多个子区域，子区域由中心向外依次排布，相应地，子区域可以按照排布方式以数字来命名。图7为按照同心圆方式划分多个子区域，同理，其命名方式和按照同心矩形方式划分的子区域相同，此处不再赘述。图8为按照等分矩形方式划分多个子区域，相应地，子区域按照数字顺次命名。其中，图6和图7中的圆点表示同心矩形的中心或者是同心圆的圆心；图8中的原点表示整个感兴趣区域的中心点。图7中的D表示相邻两个子区域的半径差。
进一步地，图8为在单位时间内，眼动扫动的最大横向范围与最大纵向范围所围成的区域。感兴趣区域通过采用均分方式将扫动的最大横向范围与最大纵向范围所围成的区域划分为9个子区域，通过∠AOC和∠BOC即可确定均分后的子区域，例如，∠AOC=75°，如果要划分为10个区域的话，那么每个子区域为7.5°的范围，即0-7.5，7.5-15，...，以此类推。在图6中的Ay以及Ap分别是∠AOC与∠BOC在平面上的投影，代表着驾驶员扫动区域的最大横向与纵向范围，例如，Ay=0.8（归一化之后），那么划分为10个区域的话，每个区域的宽为0.08。
在本实施例中，采用的是如图6所示的划分子区域的方法。
S20、查找各注视点在感兴趣区域中所对应的子区域；
具体地，查找各注视点在感兴趣区域中所对应的子区域，具体包括以下步骤：
获取感兴趣区域的二维坐标系；
具体地，根据以下步骤建立感兴趣区域的二维坐标系：
以感兴趣区域的任意一个顶点为原点，以过该原点且与感兴趣区域相邻两个边长度方向平行设置的两条延长线分别作为X轴、Y轴，构建二维坐标系。
在二维坐标系中，识别每个子区域的区域范围；
其中，识别每个子区域的区域范围的方式，例如为，获取子区域的四个顶点坐标，根据相邻两两坐标计算该子区域的边长，四个边长围成子区域的区域范围。
获取注视点的坐标位置，并在二维坐标系中查找坐标位置所在的区域范围，得到注视点所对应的子区域。
S30、获取各注视点对应的注视次数和注视持续时间在相应的子区域中的概率分布；
其中，概率分布是指单位时间内注视点落在某个子区域的概率，具体地，注视次数在相应子区域中的概率分布是指一个子区域中注视点的个数和总注视点个数之比，注视持续时间在相应子区域中的概率分布是指一个子区域中注视持续时间和总注视持续时间之比。
S40、根据概率分布，计算熵指标；熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；
具体地，根据以下公式计算固定交叉熵：
；
其中，为固定交叉熵，/>为第i个注视点，/>为第i个注视点的注视次数在相应的子区域中的概率分布，/>为第i个注视点的注视持续时间在相应的子区域中的概率分布；
根据以下公式计算眼动统计熵：
；
其中，为注视持续时间对应的眼动统计熵，/>为注视次数对应的眼动统计熵；
根据以下公式计算眼动转移熵：
；
其中，为眼动转移熵，/>为第i-1个注视点。
S50、调用困意数据库，并在困意数据库中查找与熵指标对应的数据所对应的困意等级；困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级。
其中，困意数据库如表1所示；
表1 困意数据库
如图2所示，根据以下步骤建立困意数据库：
S5001、获取测试信息集合；测试信息集合至少包括：测试数据和对应的固定交叉熵、眼动统计熵、眼动转移熵；
其中，测试数据是指已知的驾驶员的注视点以及对应的注视次数和注视持续时间，相应地，固定交叉熵、眼动统计熵和眼动转移熵都是根据测试数据计算得到的。
S5002、根据测试数据模拟驾驶，并采集每次模拟驾驶后驾驶员输入的困意等级；
其中，模拟驾驶是指驾驶员按照测试数据驾驶实车行驶。开展模拟驾驶的测试场地例如为封闭高速环道，全长20km以上，能够保证驾驶员驾驶环境单一且加速驾驶员困意的出现。为了确保安全，在测试过程中，无其他社会车辆在测试场地中，且分别在白天和夜间开展测试。
在测试前，对驾驶员进行培训，培训时长不短于两个小时；培训结束后，让驾驶员依据卡洛琳斯卡睡眠尺度表（Karolinska Sleepiness Scale，KSS）中英文翻译对照表进行自主等级评价。
卡洛琳斯卡睡眠尺度表中英文翻译对照表如表2所示；
表2 卡洛琳斯卡睡眠尺度表中英文翻译对照表
S5003、根据固定交叉熵、眼动统计熵、眼动转移熵和对应的困意等级建立困意数据库。
进一步地，如图2所示，根据固定交叉熵、眼动统计熵、眼动转移熵和对应的困意等级建立困意数据库之后，还包括以下步骤：
S5004、根据困意数据库中的固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级，计算相关指数，得到指数集合；
需要说明的是，相关指数可以通过python scipy工具包中的方差分析计算获得，例如，皮尔逊线性相关系数、斯尔曼秩次相关系数、肯德尔秩次相关系数。
此处，指数集合如表3和表4所示，指数集合中包含了各子区域所对应的各项相关指数；
表3 熵指标与KSS相关性分析（ALL.）
其中，表3中的代表p<0.5，/>代表p<0.05，/>代表p<0.005。
表4 熵指标与KSS相关性分析（Drow.）
针对表3和表4中的字母进行解释说明：ALL.表示全部KSS的困意等级；Drow.表示KSS中≥6的困意等级；L表示皮尔逊线性相关系数（Pearson Linear CorrelationCoefficient，PLCC）；S表示斯尔曼秩次相关系数（Spearman Rank Order CorrelationCoefficient，SROCC）；K表示肯德尔秩次相关系数（Kendall Rank Order CorrelationCoefficient，KROCC）；p表示假定值、假设机率（p-value）。AOI I表示感兴趣区域中第一个子区域；AOI II表示感兴趣区域中第二个子区域；AOI III表示感兴趣区域中第三个子区域；此处，KSS如表2所示。
由表3可知，、/>、/>以及/>在AOI I上能够具有显著相关性，/>、、/>在AOI II上能够具有显著相关性。由表4可知，/>、/>、/>以及/>在AOI I、AOI II以及AOI III上均具有显著相关性，并且，/>、/>的显著相关性最为明显。
S5005、当指数集合中大于预设阈值的相关指数的数量和总的相关指数的比值大于预设比值时，则判定固定交叉熵、眼动统计熵、眼动转移熵和对应的困意等级具备显著相关性。
其中，预设比值、预设阈值可以根据实际情况进行设置。
另外，为了让本发明所选取的熵指标，即固定交叉熵、眼动统计熵、眼动转移熵的有用性与可靠性更为明显，将本发明的熵指标和KSS的显著相关性和传统检测方案的指标进行比较。
具体地，传统检测方案的指标至少包括：疲劳测量指标（PERCLOS）、心率RR变异率指标（RR Rate）和眨眼频率指标（Blink Rate）。传统检测方案的指标与KSS相关性分析如表5所示。
表5 传统检测方案的指标与KSS相关性分析
表5中的数据也可以利用python scipy工具包中的方差分析计算获得。由表5可知，PERCLOS在识别KSS所有困意等级下具有显著相关性，而RR Rate只能在Drow.下与相应的困意等级具有一定的显著相关性，Blink Rate对识别KSS状态完全没有显著相关性。
综上可知，本发明通过计算得到的熵指标能够在区别Drow.上具有更好的效果，相较于传统检测方案的指标更具有鲁棒性，能够对于PERCLOS对Drow.的不敏感以及RR Rate对ALL.的不敏感的问题进行强化与补充；所以本发明所提出的熵指标能够提高驾驶员困意检测准确性且鲁棒性好。
并且，通过本发明计算得到的熵指标获取到准确的困意等级后，可以根据困意等级为驾驶者提供相应的指导，以增强驾驶安全性。
其中，指导措施至少包括以下几种：
第一、提醒休息：驾驶者在较高的困意等级下容易产生注意力不集中和反应速度下降等问题，因此需要定期提醒驾驶者进行休息，让其有机会恢复精力。
第二、规划行程：在驾驶前，可以根据驾驶者的困意等级推荐合适的行车路线和时间，避免长时间连续驾驶或行驶在复杂的交通环境中。
第三、调整驾驶模式：如果驾驶者对困意等级较为敏感，可以提高其他高级驾驶辅助***（Advanced Driver Assistance System，ADAS）功能的灵敏度，例如，前方碰撞预警***（Forward Collision Warning，FCW）以及车道偏离预警***（Lane DepartureWarning System，LDW）用于避免危险。
在实际应用中，如果车辆检测到驾驶者的困意等级较高，可以通过语音提醒或震动提示驾驶者注意休息，并显示附近的休息区域或服务设施，以便驾驶者在觉得疲劳时及时停车休息。在更智能的应用中，车辆还可以结合导航功能，自动规划行程，以避开繁忙的路段或选择更安全的路线。
实施例2
本发明提供一种驾驶员困意检测装置，能够实现实施例1所述的一种驾驶员困意检测方法，如图3所示，该装置包括：
数据采集模块100，配置用于获取感兴趣区域和驾驶员的眼动数据；眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；感兴趣区域包括多个子区域；
数据处理模块200，配置用于查找各注视点在感兴趣区域中所对应的子区域；
数据处理模块200，还配置用于获取各注视点对应的注视次数和注视持续时间在相应的子区域中的概率分布；
数据处理模块200，还配置用于根据概率分布，计算熵指标；熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；
数据处理模块200，还配置用于调用困意数据库，并在困意数据库中查找与熵指标对应的数据所对应的困意等级；困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级。
其中，数据采集模块100的类型，例如为驾驶眼动仪；数据处理模块200的类型例如为可编程逻辑控制器（Programmable Logic Controller，PLC）。
实施例3
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例所述的一种驾驶员困意检测方法的步骤。
在本实施例中，如图4所示，电子设备500包括CPU501，其可以根据存储在ROM502中的程序或者从存储部分加载到RAM503中的程序而执行各种适当的动作和处理。在RAM503中，还存储有***操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。I/O接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本发明的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本发明的实施例3包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被CPU501执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM(随机访问存储器)、ROM(只读存储器)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中。
实施例4
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的一种驾驶员困意检测方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (6)
1.一种驾驶员困意检测方法，其特征在于，包括以下步骤：
获取感兴趣区域和驾驶员的眼动数据；所述眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；所述感兴趣区域包括多个子区域；
查找各所述注视点在所述感兴趣区域中所对应的子区域；
获取各所述注视点对应的所述注视次数和所述注视持续时间在相应的子区域中的概率分布；
根据所述概率分布，计算熵指标；所述熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；
调用困意数据库，并在所述困意数据库中查找与所述熵指标对应的数据所对应的困意等级；所述困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级；
根据以下公式计算固定交叉熵：
；
其中，为固定交叉熵，/>为第i个注视点，/>为第i个注视点的注视次数在相应的子区域中的概率分布，/>为第i个注视点的注视持续时间在相应的子区域中的概率分布；
根据以下公式计算眼动统计熵：
；
其中，为注视持续时间对应的眼动统计熵，/>为注视次数对应的眼动统计熵；
根据以下公式计算眼动转移熵：
；
其中，为眼动转移熵，/>为第i-1个注视点；
根据以下步骤建立困意数据库：
获取测试信息集合；所述测试信息集合至少包括：测试数据和对应的固定交叉熵、眼动统计熵、眼动转移熵；
根据所述测试数据模拟驾驶，并采集每次模拟驾驶后驾驶员输入的困意等级；
根据所述固定交叉熵、所述眼动统计熵、所述眼动转移熵和对应的困意等级建立困意数据库；
根据所述困意数据库中的固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级，计算相关指数，得到指数集合；
当所述指数集合中大于预设阈值的相关指数的数量和总的相关指数的比值大于预设比值时，则判定固定交叉熵、眼动统计熵、眼动转移熵和对应的困意等级具备显著相关性。
2.根据权利要求1所述的一种驾驶员困意检测方法，其特征在于，查找各所述注视点在所述感兴趣区域中所对应的子区域，具体包括以下步骤：
获取感兴趣区域的二维坐标系；
在所述二维坐标系中，识别每个所述子区域的区域范围；
获取所述注视点的坐标位置，并在所述二维坐标系中查找坐标位置所在的区域范围，得到所述注视点所对应的子区域。
3.根据权利要求2所述的一种驾驶员困意检测方法，其特征在于，根据以下步骤建立感兴趣区域的二维坐标系：
以感兴趣区域的任意一个顶点为原点，以过该原点且与所述感兴趣区域相邻两个边长度方向平行设置的两条延长线分别作为X轴、Y轴，构建二维坐标系。
4.一种驾驶员困意检测装置，能够实现权利要求1至3任一项所述的一种驾驶员困意检测方法，其特征在于，所述装置包括：
数据采集模块，配置用于获取感兴趣区域和驾驶员的眼动数据；所述眼动数据至少包括：若干注视点以及各注视点对应的注视次数和注视持续时间；所述感兴趣区域包括多个子区域；
数据处理模块，配置用于查找各所述注视点在所述感兴趣区域中所对应的子区域；
数据处理模块，还配置用于获取各所述注视点对应的所述注视次数和所述注视持续时间在相应的子区域中的概率分布；
数据处理模块，还配置用于根据所述概率分布，计算熵指标；所述熵指标至少包括：固定交叉熵、眼动统计熵以及眼动转移熵；
根据以下公式计算固定交叉熵：
；
其中，为固定交叉熵，/>为第i个注视点，/>为第i个注视点的注视次数在相应的子区域中的概率分布，/>为第i个注视点的注视持续时间在相应的子区域中的概率分布；
根据以下公式计算眼动统计熵：
；
其中，为注视持续时间对应的眼动统计熵，/>为注视次数对应的眼动统计熵；
根据以下公式计算眼动转移熵：
；
其中，为眼动转移熵，/>为第i-1个注视点；
数据处理模块，还配置用于调用困意数据库，并在所述困意数据库中查找与所述熵指标对应的数据所对应的困意等级；所述困意数据库至少包括：固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级；
根据以下步骤建立困意数据库：
获取测试信息集合；所述测试信息集合至少包括：测试数据和对应的固定交叉熵、眼动统计熵、眼动转移熵；
根据所述测试数据模拟驾驶，并采集每次模拟驾驶后驾驶员输入的困意等级；
根据所述固定交叉熵、所述眼动统计熵、所述眼动转移熵和对应的困意等级建立困意数据库；
根据所述困意数据库中的固定交叉熵、眼动统计熵、眼动转移熵以及对应的困意等级，计算相关指数，得到指数集合；
当所述指数集合中大于预设阈值的相关指数的数量和总的相关指数的比值大于预设比值时，则判定固定交叉熵、眼动统计熵、眼动转移熵和对应的困意等级具备显著相关性。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的一种驾驶员困意检测方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的一种驾驶员困意检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410171984.3A CN117717340B (zh) | 2024-02-07 | 2024-02-07 | 一种驾驶员困意检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410171984.3A CN117717340B (zh) | 2024-02-07 | 2024-02-07 | 一种驾驶员困意检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117717340A CN117717340A (zh) | 2024-03-19 |
| CN117717340B true CN117717340B (zh) | 2024-05-31 |
Family
ID=90200095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410171984.3A Active CN117717340B (zh) | 2024-02-07 | 2024-02-07 | 一种驾驶员困意检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117717340B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE39539E1 (en) * | 1996-08-19 | 2007-04-03 | Torch William C | System and method for monitoring eye movement |
| JP2014123883A (ja) * | 2012-12-21 | 2014-07-03 | Nikon Corp | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 |
| CN106251065A (zh) * | 2016-07-28 | 2016-12-21 | 南京航空航天大学 | 一种基于眼动行为指标体系的管制效率评估方法 |
| CN110298303A (zh) * | 2019-06-27 | 2019-10-01 | 西北工业大学 | 一种基于长短时记忆网络扫视路径学习的人群识别方法 |
| CN113548056A (zh) * | 2020-04-17 | 2021-10-26 | 东北大学秦皇岛分校 | 一种基于计算机视觉的汽车安全辅助驾驶*** |
| CN113729707A (zh) * | 2021-09-06 | 2021-12-03 | 桂林理工大学 | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 |
| CN114586077A (zh) * | 2019-10-17 | 2022-06-03 | 新唐科技日本株式会社 | 监视***以及程序 |
| CN117290781A (zh) * | 2023-10-24 | 2023-12-26 | 中汽研汽车检验中心(宁波)有限公司 | 一种用于ddaw***测试的驾驶员kss等级自评估培训方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7778455B2 (en) * | 2004-05-18 | 2010-08-17 | Shawn Araikum | Method of and system for reconstructing a digital optical image |
| US20190077409A1 (en) * | 2017-07-31 | 2019-03-14 | Alcohol Countermeasure Systems (International) Inc. | Non-intrusive assessment of fatigue in drivers using eye tracking |
-
2024
- 2024-02-07 CN CN202410171984.3A patent/CN117717340B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE39539E1 (en) * | 1996-08-19 | 2007-04-03 | Torch William C | System and method for monitoring eye movement |
| JP2014123883A (ja) * | 2012-12-21 | 2014-07-03 | Nikon Corp | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 |
| CN106251065A (zh) * | 2016-07-28 | 2016-12-21 | 南京航空航天大学 | 一种基于眼动行为指标体系的管制效率评估方法 |
| CN110298303A (zh) * | 2019-06-27 | 2019-10-01 | 西北工业大学 | 一种基于长短时记忆网络扫视路径学习的人群识别方法 |
| CN114586077A (zh) * | 2019-10-17 | 2022-06-03 | 新唐科技日本株式会社 | 监视***以及程序 |
| CN113548056A (zh) * | 2020-04-17 | 2021-10-26 | 东北大学秦皇岛分校 | 一种基于计算机视觉的汽车安全辅助驾驶*** |
| CN113729707A (zh) * | 2021-09-06 | 2021-12-03 | 桂林理工大学 | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 |
| CN117290781A (zh) * | 2023-10-24 | 2023-12-26 | 中汽研汽车检验中心(宁波)有限公司 | 一种用于ddaw***测试的驾驶员kss等级自评估培训方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Stationary gaze entropy predicts lane departure events in sleepdeprived drivers";Brook A. Shiferaw;《scientific reports》;20180202;第1页至第8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117717340A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Online prediction of driver distraction based on brain activity patterns | |
| Almahasneh et al. | Deep in thought while driving: An EEG study on drivers’ cognitive distraction | |
| Carsten et al. | Vehicle-based studies of driving in the real world: The hard truth? | |
| Yin et al. | Automatic dangerous driving intensity analysis for advanced driver assistance systems from multimodal driving signals | |
| Atiquzzaman et al. | Real-time detection of drivers’ texting and eating behavior based on vehicle dynamics | |
| Costa et al. | Detecting driver’s fatigue, distraction and activity using a non-intrusive ai-based monitoring system | |
| Kim et al. | Predicting the EEG level of a driver based on driving information | |
| CN113753059B (zh) | 一种自动驾驶***下的驾驶人接管能力预测方法 | |
| Kutila et al. | Driver cognitive distraction detection: Feature estimation and implementation | |
| Xie et al. | Analysis of freeway safety influencing factors on driving workload and performance based on the gray correlation method | |
| Frémont et al. | Adaptive visual assistance system for enhancing the driver awareness of pedestrians | |
| Jansen et al. | Does agreement mean accuracy? Evaluating glance annotation in naturalistic driving data | |
| Zhou et al. | An evaluation method for visual search stability in urban tunnel entrance and exit sections based on markov chain | |
| Sarno et al. | Real time fatigue-driver detection from electroencephalography using Emotiv EPOC+ | |
| CN117717340B (zh) | 一种驾驶员困意检测方法、装置、设备及介质 | |
| Lyu et al. | Driver’s attention allocation and mental workload at different random hazard points on prairie highway | |
| Ross et al. | Measuring working memory load effects on electrophysiological markers of attention orienting during a simulated drive | |
| Hua et al. | Effect of cognitive distraction on physiological measures and driving performance in traditional and mixed traffic environments | |
| Tong et al. | Effects of speed, motion type, and stimulus size on dynamic visual search: A study of radar human–machine interface | |
| Earl et al. | Visual search strategies in a shared zone in pedestrians with and without intellectual disability | |
| Zheng et al. | Visual recognition analysis of optically long tunnels: interaction of dynamic vision and visual perception | |
| Anund et al. | Advantages and disadvantages of different methods to evaluate sleepiness warning systems | |
| Nabatilan | Factors that influence visual attention and their effects on safety in driving: an eye movement tracking approach | |
| Wu et al. | Analysis of Visual Search Characteristics Based on Drivers’ Hazard Perception | |
| Bellet et al. | COMPUTATIONAL SIMULATION OF VISUAL DISTRACTION EFFECTS ON CAR DRIVERS'SITUATION AWARENESS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |