CN116012905A - 一种驾驶员路怒症识别与示警*** - Google Patents

Abstract

本发明公开一种驾驶员路怒症识别与示警***。所述驾驶员路怒症识别与示警***包括：多传感器数据采集***、边缘计算及存储***以及与物联网通信***；相较于传统视频监控设备，除单一视频数据采集存储功能外，还融入地理位置采集、情绪识别、后台上报等功能，丰富驾驶员情绪失控细节，便于后续追踪回溯，提高监控有效性。情绪识别子***充分结合边缘计算与物联网***优势，在嵌入式设备端部署轻量化深度学习模型，同时依靠无线网络实现上报驾驶员状况、OTA程序更新，增强数据移动性、可扩展性，便于监控与统筹规划，也为后续云端大数据分析提高数据支持。

Description

一种驾驶员路怒症识别与示警***

技术领域

本发明涉及智慧交通、车联网技术领域，尤其涉及一种驾驶员路怒症识别与示警***。

背景技术

汽车监控是一种应用于汽车的视频记录装置，能完整记录车外的行车状况与车内驾驶员的驾驶状态。它对保障车辆行驶安全以及道路交通事故分析鉴定具有重要作用。目前传统汽车监控主要涉及车内外视频录像的存储，没有对视频进行分析且功能较为单一，未充分发挥边缘设备的计算能力。

而本发明提出的一种驾驶员路怒症识别与示警***，用于驾驶员情绪检测分类，适合于通用便携式嵌入式设备，另外设备实时联网上报信息，做到数据备份，便于交通管理者掌握所有驾驶员状态，降低人力成本，为汽车的科研、生产、日常维护以及对于及时查找突发***通事故的原因，减少车辆故障提供有效的测试手段，为产品设计与故障分析提供依据。对深入研究各类车辆的完善设计、故障分析、降低成本和交通管理具有重要的实际作用及意义。

发明内容

本发明目的在于针对现有技术的不足，提出一种驾驶员路怒症识别与示警***。

本发明的目的是通过以下技术方案来实现的：一种驾驶员路怒症识别与示警***；

鉴于上述内容，本发明“一种驾驶员路怒症识别与示警***”采集视频语音及导航传感器，实现数据的本地保存与云端同步，增强数据移动性、可扩展性，便于监控与统筹规划，也为后续云端大数据分析提高数据支持。

本***包括多传感器数据采集***、边缘计算及存储***和物联网通信***，其中：

所述多传感器采集***包含SOC核心板、嵌入式软件采集模块及***电路；用于获取行驶过程中的视频、语音、地理位置数据用于后续处理；所述嵌入式软件采集模块运行Linux；用于新建子线程、开启定时器来使***电路接口获取北斗导航经纬度与时间数据、使用FFmpeg工具转化数据流为视频和提取语音；

所述边缘计算及存储***包含驾驶员情绪识别模块、参数存储模块、图像与视频存储模块；利用多传感器采集***采集的数据使用神经网络模型实时识别驾驶员情绪，并记录数据片段存储在本地；

所述物联网通信***包含无线数据透传模块、服务器通信模块；所述无线数据透传模块连接移动网络实现联网功能；服务器通信模块实现、接收服务器下发指令、使用特定URL链接下载模型文件，实现软件的OTA更新、MQTT定时发送数据报至后端服务器从而进行警示处理。

进一步地，所述***电路包含获取北斗导航经纬度与时间数据的UART接口、获取图像与视频数据的USB摄像头接口、获取语音数据的麦克风接口、连接LTE透传设备的UART接口、SD卡接口。

进一步地，所述驾驶员情绪识别模块，实现对路怒情绪的驾驶员情绪判定与SD卡存储；所述参数存储模块实现车辆经纬度、时间信息的SD卡存储；所述图像与视频存储模块实现将摄像头数据存储为一段视频或图片。

进一步地，所述驾驶员情绪识别模块的情绪识别过程包括：数据预处理，特征提取，多模态混合和情绪判别；

数据预处理：获取视频中的图片，输入MTCNN网络检测人脸，使用OpenCV函数裁切得到驾驶员面部图片；使用语音识别算法提取到语义信息；

特征提取：将驾驶员面部图片输入VGG网络，该网络会根据面部各部位特点分析驾驶员表情，根据输出结果选取愤怒的概率值作为愤怒表情分类结果值s1；

后台进程持续提取驾驶员语音，实时更新由使用librosa音频处理库提取的MFCC、PLP-CC、基频特征、共振峰特征、短时能量，并将提取特征向量化，并进行向量拼接，之后将该向量映射成一个语音分类结果值s2；

同时会将语义信息与本地关键词库作比对，本地关键词库由多个数据库中路怒状况下常见的短句和词语整合，根据语义信息中一个词语在各个数据库出现的次数赋予编码值p_i编码值表示愤怒程度，其中i表示语义信息中第i个出现在数据库中的词语，根据语义信息中各个短语的编码值p₁...p_i，给出一个权重值w，w＝(p₁+p₂+...+p_i)/i；

多模态混合；特征提取的两个子线程开始通信，由先完成计算的线程等待另一个分值计算结束，之后进行融合，经计算给出实时总评分，即路怒程度x，x＝s1*(1-w)+s2*w；

情绪判别：设定愤怒阈值，路怒程度大于设定的愤怒阈值时，判定驾驶员表现出了愤怒情绪。

进一步地，服务器通信模块中MQTT通信流程包括：

消息接收，新建子线程，订阅MQTT服务器主题并将接收消息输出为接收文件；

读取接收文件，接收到“密钥过期”则重发密钥；接收到“更新程序”或“更新模型”，则从附加内容中读取URL地址并下载，实现OTA升级；

消息发送，开启定时器，每隔10分钟定时发送一个心跳数据包给服务器的MQTT主题b1，创建子线程用于监听情绪识别结果，若产生了路怒情绪，则发送一个路怒记录数据包给服务器的MQTT主题b2；数据包存储为JSON格式，其中包含数据个数和数据，数据以数组排列，单个数据包含有参数名称、单位、数值；所述路怒数据包包括地理位置信息、***时钟记录的时间信息。

进一步地，所述物联网通信***中的MQTT定时发送数据报至后端服务器从而进行警示处理具体为；

创建子线程监听路怒情绪检测结果，路怒主题一旦接收到数据包，就表明有***检测到路怒情绪并通过服务器管理员进行示警，服务器会向管理员发出示警，管理员能够对驾驶员进行警告。

本发明的有益效果：

本发明驾驶员路怒症识别与示警终端包含三个子***,硬件结构与软件流程清晰完整。充分发挥边缘设备计算能力，对视频监控图像做了多维度的分析，利用了视频图像及语音特征共同对于“路怒”情绪判断，当驾驶员产生路怒情绪时，终端会向服务器发送告警数据包，实现了示警功能，便于管理者查看。当正常行驶时，会发生空闲心跳包给服务器，表示设备正常运行。

附图说明

图1为本发明实施例提供的驾驶员路怒症识别与示警***电路结构图；

图2为本发明实施例提供的嵌入式软件采集模块工作流程图；

图3为本发明实施例提供的驾驶员情绪识别模块工作步骤图；

图4为本发明实施例提供的服务器通信模块MQTT通信工作过程图；

图5为本发明实施例提供的驾驶员路怒症识别与示警***结构框架图。

具体实施方式

为了更为具体地描述本发明，以下结合附图对本发明具体实施方式作进一步详细说明。

如图5所示，本发明提供的一种驾驶员路怒症识别与示警***，功能子***包括多传感器数据采集***、边缘计算及存储***以及与物联网通信***；其中多传感器采集***的功能是获取行驶过程中的视频、语音、地理位置数据；边缘计算及存储***的功能首先是对视频数据与语音数据做预处理，之后使用神经网络模型分析驾驶员情绪，若检测到路怒情绪则记录数据片段存储在本地；物联网通信***用于定时上报数据，实现云端信息同步，并接收云端数据包实现OTA升级与模型更新；

本发明多传感器数据采集***包含SOC核心板、嵌入式软件采集模块及***电路，如图1所示，所述***电路由连接麦克风的语音IIS接口、连接SD卡的eMMC接口、连接摄像头的USB接口、连接北斗导航的UART接口与连接透传设备的UART接口组成。

如图2所示，本发明嵌入式软件采集模块基于Linux操作***运行，驾驶员路怒症识别与示警***开始运行后首先初始化透传模块与服务器建立网络连接，其次嵌入式软件采集模块从***电路获取地理位置，之后创建三个子线程t1、t2和t3，t1用于开启1s的定时器周期性获取北斗导航的地理位置信息；t2用于处理视频数据流，利用FFmpeg工具转化摄像头数据流为视频；t3从IIS接口捕捉语音数据。

本发明边缘计算及存储***包含驾驶员情绪识别模块、参数存储模块、图像与视频存储模块；所述驾驶员情绪识别模块，实现对驾驶员是否有路怒情绪的判定；所述参数存储模块实现车辆经纬度、时间信息的SD卡存储；所述图像与视频存储模块，在检测到驾驶员产生路怒情绪时，将摄像头数据存储为一段视频或一张图片。

如图3所示，本发明驾驶员情绪识别模块工作过程包括以下步骤：

步骤1，数据预处理，t2线程在视频数据流中的图片序列中，根据清晰度、是否包含完整人脸等评判规则，选定相邻5张中质量最高的一张图片作为样本，将样本输入MTCNN网络检测人脸，使用OpenCV函数裁切得到驾驶员面部图片p1；t3线程读取语音数据并滤除环境噪声信号，随后使用语音识别算法提取到语义信息m1，同时将语音信号分成多个短时帧信号集合v1。具体地，短时帧长度为10-30ms，语音信号具有时变性，但认为在短时间内相对稳定，所述短时间为10-30ms。

步骤2，特征提取，t2线程将p1输入VGG网络，该网络由四个卷积层和三个全连接层构成，最终输出一个一维向量，长度为7，包含输入图像对应7种表情(惊讶，悲伤，中性，高兴，害怕，厌恶，愤怒)的概率值。我们根据最后输出的向量，计算其中愤怒的概率值，将其乘以100，得到一个愤怒表情分值s1；

t3线程将提取v1的声音特征，具体地，提取多个短时帧信号的声音特征包括：使用librosa音频处理库提取的MFCC、PLP-CC、基频特征、共振峰特征、短时能量，并将提取特征向量化，并进行向量拼接，之后将该向量映射成一个分值s2；

t3线程同时会将语义信息m1与本地关键词库作比对，判断是否出现路怒情景词，具体地，本地关键词库由知网情感分析用词语集、台湾大学简体中文情感极性词典、褒贬义词典(清华大学)整合而来，包含路怒状况下常见的短句和词语，并且根据同一词语在三个数据集中的出现次数，赋予不同的编码值。具体地，一个词语在三个数据集中都出现过，则它的编码值为0.9；在两个数据集中出现过，它的编码值为0.7；只在一个数据集中出现过，它的编码值为0.5。编码值代表该短句或词语象征路怒情绪的程度。例如，语义信息m1包含“加塞”、“会不会开车”等行车场景语句或愤怒语气词时，比对后发现3次出现在本地关键词库中，此时根据词库短语的编码值p1,p2,p3，给出一个权重值w，w＝(p1+p2+p3)/3。

步骤3，多模态融合，t2与t3线程进行通信，由先完成计算的线程等待另一个分值计算结束，之后进行融合，经计算给出实时总评分，即路怒程度x，x＝s1*(1-w)+s2*w。具体地，s1与s2数值范围是0到100，权重值范围是0到1的小数。故计算结果x的范围也是0到100。

步骤4，情绪判别，将融合结果值x与设定的愤怒阈值相比较，本实施例中融合结果值x超过75则判定为驾驶员出现路怒情绪。

本发明物联网通信***包含无线数据透传模块、服务器通信模块；所述无线数据透传模块通过UART接口与设备进行数据交换，并连接至4G移动网络实现联网通信功能；服务器通信模块实现定时发送MQTT数据包至后端服务器、接收服务器下发指令、特定URL链接下载模型文件，实现软件的OTA更新；

如图4所示，本发明服务器通信模块实现MQTT通信的工作过程包含以下步骤：

步骤1，消息接收，包含以下子步骤：

步骤11，主进程新建一个子线程，订阅后端服务器的MQTT主题，若没有消息，则循环等待；若有消息，则将接收消息保存为文件，并转入步骤12。

步骤12，接收消息解析并处理。读取步骤11保存的文件，若接收到“密钥过期”指令则重发密钥；若接收到“更新程序”指令或“更新模型”指令，从消息的附加内容中读取URL地址并下载对应文件，实现一次OTA升级。

步骤2，消息发送，主进程开启定时器，每隔10分钟定时发送一个心跳数据包给服务器的MQTT主题b1，创建子线程用于监听情绪识别结果，若产生了路怒情绪，则发送一个路怒记录数据包给服务器的MQTT主题b2。具体地，数据包以JSON格式传输,其中包含数据个数和数据，数据以数组排列，单个数据包含有参数名称、单位、数值；具体地，心跳数据包是一个不传递有效数据的空白数据包，其参数信息为空；路怒记录数据包的参数信息包含子线程t1获取的地理位置信息、***时钟记录的时间信息。

上述两种数据包经加密后发送至服务器对应的MQTT主题，服务器管理者可以从MQTT主题b1了解***是否正常运行，可以从MQTT主题b2了解***在什么时候、什么地理位置检测到驾驶员产生了路怒情绪。MQTT主题b1一旦接收到数据包，就表明***正常运行中。同样的，MQTT主题b2一旦接收到数据包，就表明有***检测到路怒情绪，服务器会向管理员发出示警，管理员可以对驾驶员进行警告，或在发生交通事故时辅助交管部门进行责任划分。具体地，示警方法包括通过购买运营商服务，进行短信或电话的通知，或者使用一个前端网页实时展示***信息，当出现路怒数据时在界面中详细展示。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明；以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种驾驶员路怒症识别与示警***，其特征在于，本***包括多传感器数据采集***、边缘计算及存储***和物联网通信***，其中：

所述多传感器采集***包含SOC核心板、嵌入式软件采集模块及***电路；用于获取行驶过程中的视频、语音、地理位置数据用于后续处理；所述嵌入式软件采集模块运行Linux；用于新建子线程、开启定时器来使***电路接口获取北斗导航经纬度与时间数据、使用FFmpeg工具转化数据流为视频和提取语音；

所述边缘计算及存储***包含驾驶员情绪识别模块、参数存储模块、图像与视频存储模块；利用多传感器采集***采集的数据使用神经网络模型实时识别驾驶员情绪，并记录数据片段存储在本地；

所述物联网通信***包含无线数据透传模块、服务器通信模块；所述无线数据透传模块连接移动网络实现联网功能；服务器通信模块实现、接收服务器下发指令、使用特定URL链接下载模型文件，实现软件的OTA更新、MQTT定时发送数据报至后端服务器从而进行警示处理。

2.根据权利要求1所述的驾驶员路怒症识别与示警***，其特征在于，所述***电路包含获取北斗导航经纬度与时间数据的UART接口、获取图像与视频数据的USB摄像头接口、获取语音数据的麦克风接口、连接LTE透传设备的UART接口、SD卡接口。

3.根据权利要求1所述的驾驶员路怒症识别与示警***，其特征在于，所述驾驶员情绪识别模块，实现对路怒情绪的驾驶员情绪判定与SD卡存储；所述参数存储模块实现车辆经纬度、时间信息的SD卡存储；所述图像与视频存储模块实现将摄像头数据存储为一段视频或图片。

4.根据权利要求3所述的驾驶员路怒症识别与示警***，其特征在于，所述驾驶员情绪识别模块的情绪识别过程包括：数据预处理，特征提取，多模态混合和情绪判别；

数据预处理：获取视频中的图片，输入MTCNN网络检测人脸，使用OpenCV函数裁切得到驾驶员面部图片；使用语音识别算法提取到语义信息；

特征提取：将驾驶员面部图片输入VGG网络，该网络会根据面部各部位特点分析驾驶员表情，根据输出结果选取愤怒的概率值作为愤怒表情分类结果值s1；

后台进程持续提取驾驶员语音，实时更新由使用librosa音频处理库提取的MFCC、PLP-CC、基频特征、共振峰特征、短时能量，并将提取特征向量化，并进行向量拼接，之后将该向量映射成一个语音分类结果值s2；

同时会将语义信息与本地关键词库作比对，本地关键词库由多个数据库中路怒状况下常见的短句和词语整合，根据语义信息中一个词语在各个数据库出现的次数赋予编码值p_i编码值表示愤怒程度，其中i表示语义信息中第i个出现在数据库中的词语，根据语义信息中各个短语的编码值p₁...p_i，给出一个权重值w，w＝(p₁+p₂+...+p_i)/i；

多模态混合；特征提取的两个子线程开始通信，由先完成计算的线程等待另一个分值计算结束，之后进行融合，经计算给出实时总评分，即路怒程度x，x＝s1*(1-w)+s2*w；

情绪判别：设定愤怒阈值，路怒程度大于设定的愤怒阈值时，判定驾驶员表现出了愤怒情绪。

5.根据权利要求1所述的驾驶员路怒症识别与示警***，其特征在于，服务器通信模块中MQTT通信流程包括：

消息接收，新建子线程，订阅MQTT服务器主题并将接收消息输出为接收文件；

读取接收文件，接收到“密钥过期”则重发密钥；接收到“更新程序”或“更新模型”，则从附加内容中读取URL地址并下载，实现OTA升级；

消息发送，开启定时器，每隔10分钟定时发送一个心跳数据包给服务器的MQTT主题b1，创建子线程用于监听情绪识别结果，若产生了路怒情绪，则发送一个路怒记录数据包给服务器的MQTT主题b2；数据包存储为JSON格式，其中包含数据个数和数据，数据以数组排列，单个数据包含有参数名称、单位、数值；所述路怒数据包包括地理位置信息、***时钟记录的时间信息。

6.根据权利要求5所述的驾驶员路怒症识别与示警***，其特征在于，所述物联网通信***中的MQTT定时发送数据报至后端服务器从而进行警示处理具体为；

创建子线程监听路怒情绪检测结果，路怒主题一旦接收到数据包，就表明有***检测到路怒情绪并通过服务器管理员进行示警，服务器会向管理员发出示警，管理员能够对驾驶员进行警告。

Images