CN115131773A - 驾驶行为检测方法、装置、设备及存储介质 - Google Patents

驾驶行为检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115131773A
CN115131773A CN202210565576.7A CN202210565576A CN115131773A CN 115131773 A CN115131773 A CN 115131773A CN 202210565576 A CN202210565576 A CN 202210565576A CN 115131773 A CN115131773 A CN 115131773A
Authority
CN
China
Prior art keywords
driving behavior
module
data set
model
behavior detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210565576.7A
Other languages
English (en)
Inventor
陈运星
吴华伟
郭必诚
王振勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN202210565576.7A priority Critical patent/CN115131773A/zh
Publication of CN115131773A publication Critical patent/CN115131773A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及行为识别技术领域，尤其涉及一种驾驶行为检测方法、装置、设备及存储介质，该方法包括：获取驾驶员的当前驾驶行为图像；通过预设驾驶行为检测模型对当前驾驶行为图像进行检测，获得检测结果，改进后的驾驶行为检测模型包括：融合注意力和反残差模块，融合注意力和反残差模块用于对可变形卷积模块输出的特征数据进行处理，并将处理后的特征输出至特征可视化模块，以使特征可视化模块输出检测结果；由于本发明预设驾驶行为检测模型添加了融合注意力和反残差模块，从而能够在运算量较低的情况下提升检测精度，解决更高精度与更少参数之间的矛盾。

Description

驾驶行为检测方法、装置、设备及存储介质
技术领域
本发明涉及行为识别技术领域，尤其涉及一种驾驶行为检测方法、装置、设备及存储介质。
背景技术
目前，卷积神经网络在驾驶行为检测方面展现出显著的优势，通过卷积神经网络模型的深度学习，达到对驾驶员行为识别的效果。
现有技术中，卷积神经网络由于固定的几何结构，为了提升检测精度，需要提供大量参数供卷积神经网络模型学习，但大量的参数学习导致运算量增加，进而如何解决更高精度与更少参数之间的矛盾，是一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种驾驶行为检测方法、装置、设备及存储介质，旨在解决更高精度与更少参数之间的矛盾的技术问题。
为实现上述目的，本发明提供了一种驾驶行为检测方法，所述方法包括以下步骤：
获取驾驶员的当前驾驶行为图像；
通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述预设驾驶行为检测模型包括：融合注意力和反残差模块，所述融合注意力和反残差模块，用于对可变形卷积模块基于接收到的当前驾驶行为图像输出的特征数据进行处理，并将处理后的特征数据输出至特征可视化模块，以使所述特征可视化模块输出结果。
可选地，所述融合注意力和反残差模块的数量为若干个，且若干个所述融合注意力和反残差模块依次连接，所述融合注意力和反残差模块包括：线性瓶颈反残差子模块和注意力机制子模块，所述线性瓶颈反残差子模块和所述注意力机制子模块设置在所述可变形卷积模块和所述特征可视化模块之间。
可选地，所述通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果的步骤，包括：
通过所述可变形卷积模块对所述当前驾驶行为图像进行特征提取，获得初始特征图；
通过所述线性瓶颈反残差子模块增加所述初始特征图的特征维数，获得多维特征图；
通过所述注意力机制子模块对所述多维特征图进行噪声消除；
通过所述特征可视化模块对噪声消除后的多维特征图进行检测，输出结果。
可选地，所述通过所述注意力机制子模块对所述多维特征图进行噪声消除的步骤，包括：
根据所述注意力机制子模块确定所述多维特征图的目标阈值；
基于所述多维特征图和所述目标阈值，从预设软阈值注意力机制中选取目标注意力机制；
根据所述目标阈值以及所述目标注意力机制对所述多维特征图进行噪声消除。
可选地，所述获取驾驶员的当前驾驶行为图像的步骤之前，还包括：
将L2正则项添加至初始驾驶行为检测模型，获得待训练检测模型；
获取用于训练模型的训练数据集；
基于所述训练数据集对所述待训练检测模型进行训练，获得待测试检测模型；
获取用于测试模型的测试数据集；
基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待检测试检测模型作为预设驾驶行为检测模型。
可选地，所述获取用于训练模型的训练数据集的步骤，包括：
获取公开数据集，基于图像增强技术对所述公开数据集进行扩展；
根据扩展后的数据集构建用于训练模型的训练数据集；
相应地，所述获取用于测试模型的测试数据集的步骤，包括：
根据所述扩展后的数据集构建用于测试模型的测试数据集。
所述基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待检测试检测模型作为预设驾驶行为检测模型的步骤，包括：
基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待测试检测模型作为待验证模型；
获取驾驶员的驾驶行为视频数据；
根据所述驾驶行为视频数据构建自建数据集；
基于所述自建数据集对所述待验证检测模型进行验证，并在验证通过时，将所述待验证模型作为预设驾驶行为检测模型。
此外，为实现上述目的，本发明还提出一种驾驶行为检测装置，所述装置包括：
图像获取模块，用于获取驾驶员的当前驾驶行为图像；
图像检测模块，用于通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述预设驾驶行为检测模型包括：融合注意力和反残差模块，所述融合注意力和反残差模块，用于对可变形卷积模块基于接收到的当前驾驶行为图像输出的特征数据进行处理，并将处理后的特征数据输出至特征可视化模块，以使所述特征可视化模块输出结果。
此外，为实现上述目的，本发明还提出一种驾驶行为检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶行为检测程序，所述驾驶行为检测程序配置为实现如上文所述的驾驶行为检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有驾驶行为检测程序，所述驾驶行为检测程序被处理器执行时实现如上文所述的驾驶行为检测方法的步骤。
在本发明中，公开了获取驾驶员的当前驾驶行为图像；通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述改进后的驾驶行为检测模型包括：融合注意力和反残差模块，所述融合注意力和反残差模块用于对可变形卷积模块输出的特征数据进行处理，并将处理后的特征输出至特征可视化模块，以使所述特征可视化模块输出检测结果；由于本发明预设驾驶行为检测模型添加了融合注意力和反残差模块，从而能够在运算量较低的情况下提升检测精度，解决更高精度与更少参数之间的矛盾。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的驾驶行为检测设备结构示意图；
图2为本发明驾驶行为检测方法第一实施例的流程示意图；
图3为预设驾驶行为检测模型的结构示意图；
图4为可变形卷积模块的结构示意图；
图5为变形卷积结构示意图；
图6为融合注意力和反残差模块的结构示意图；
图7为本发明驾驶行为检测方法第二实施例的流程示意图；
图8为本发明驾驶行为检测方法第三实施例的流程示意图；
图9为本发明驾驶行为检测装置第一实施例的结构框图。
附图标号说明：
Figure BDA0003658079820000041
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的驾驶行为检测设备结构示意图。
如图1所示，该驾驶行为检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对驾驶行为检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及驾驶行为检测程序。
在图1所示的驾驶行为检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明驾驶行为检测设备中的处理器1001、存储器1005可以设置在驾驶行为检测设备中，所述驾驶行为检测设备通过处理器1001调用存储器1005中存储的驾驶行为检测程序，并执行本发明实施例提供的驾驶行为检测方法。
本发明实施例提供了一种驾驶行为检测方法，参照图2，图2为本发明驾驶行为检测方法第一实施例的流程示意图。
本实施例中，所述驾驶行为检测方法包括以下步骤：
步骤S10：获取驾驶员的当前驾驶行为图像。
需要说明的是，本实施例提供的驾驶行为检测方法可以是应用在对驾驶员的驾驶行为进行检测的场景中，或者其它需要进行行为检测的场景中。本实施例的执行主体可以是具有数据处理、网络通信以及程序运行功能的驾驶行为检测设备，例如，电脑、司机状态监控***等，或者是其它能够实现如同或相似功能的电子设备。此处以司机状态监控***(以下简称***)对本实施例和下述各实施例提供的驾驶行为检测方法进行具体说明。
可理解的是，在本实施例中，上述***配置有图像获取模块，所述图像获取模块可以是带有行为采集功能的电子设备，例如摄像头等。
应理解的是，由于考虑到不同行为采集功能的电子设备采集到的行为图像数据可能规格不一样，例如，图像尺寸不一样，图像保存的格式不一样，图像清晰度不一样等，进而在获取驾驶员的当前驾驶行为图像时，会对上述获取到的图像进行预处理，获得后续规格统一的当前驾驶行为图像。
需要强调的是，为了减少***运算量，当***检测到驾驶室内未存在驾驶员时，***不会执行检测的操作，当***检测到驾驶室内存在驾驶员时，考虑到此时汽车可能并未处于行驶状态，***可获取汽车当前行驶状态，若汽车未处于行驶状态时，***不会执行检测的操作，若汽车处于行驶状态，则可执行后续检测操作，进而减少***运算量。
步骤S20：通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述预设驾驶行为检测模型包括：融合注意力和反残差模块2，所述融合注意力和反残差模块2，用于对可变形卷积模块1基于接收到的当前驾驶行为图像输出的特征数据进行处理，并将处理后的特征数据输出至特征可视化模块3，以使所述特征可视化模块3输出结果。
需要说明的是，现有的驾驶行为检测模型对接收到的行为图像直接进行特征提取，再对提取到的特征进行行为识别，输出结果，上述现有的驾驶行为检测模型并不对本方案进行限定；在本实施例中的预设驾驶行为检测模型可对接收到的当前驾驶行为图像进行特征提取，再可对提取到的特征数据进行数据处理，使模型能够更高效地提取有效特征，将处理后的特征数据输出至特征可视化模块3，以使特征可视化模块3输出结果。
可理解的是，上述检测结果可以是显示在电子设备显示屏上的数据，当***检测到驾驶员的当前驾驶行为属于违规行为时，***可将驾驶员的违规行为进行保存显示，同时提示驾驶员，本实施例对显示和提示的方式不加以限制。
在具体实现中，***获取驾驶员的当前驾驶行为图像，将当前驾驶行为图像输出至可变形卷积模型进行特征提取，输出特征数据至融合注意力机制和反残差模块进行处理，并将处理后的特征数据输出至特征可视化模块3，以使特征可视化模块3输出结果。
进一步的，为了在运算量较低的情况下提升检测精度，所述融合注意力和反残差模块2的数量为若干个，且若干个所述融合注意力和反残差模块2依次连接，所述融合注意力和反残差模块2包括：线性瓶颈反残差子模块和注意力机制子模块21，所述线性瓶颈反残差子模块和所述注意力机制子模块21设置在所述可变形卷积模块1和所述特征可视化模块3之间。
需要说明的是，上述预设驾驶行为检测模块可包括可变形卷积模块1、若干个融合注意力和反残差模块2(以下简称DIR-AM模块)和特征可视化模块3，上述若干个DIR-AM模块均设置在上述可变形卷积模块1和上述特征可视化模块3之间。
在本实施例上述***中，为了便于理解，同时参考图3进行说明，图3为预设驾驶行为检测模型的结构示意图，如图3所示，上述***的可变形卷积模块1接收当前驾驶行为图像进行特征提取，将提取到的特征数据依次经过2×DIR-AM模块(c＝64、Downsample＝False)、1×DIR-AM模块(c＝128、Downsample＝True)、1×DIR-AM模块(c＝128、Downsample＝False)、1×DIR-AM模块(c＝256、Downsample＝True)、1×DIR-AM模块(c＝256、Downsample＝False)、1×DIR-AM模块(c＝512、Downsample＝True)，最后至2×DIR-AM模块(c＝512、Downsample＝False)进行处理，其中c为输出通道数，Downsample为下采样，例如：2×DIR-AM模块(c＝512、Downsample＝False)表示经过两次输出通道为512，下采样参数为False(即不进行下采样，若为True则表示进行下采样)的DIR-AM模块，再将处理后的特征数据输出至特征可视化模块3以输出结果。
在具体实现中，上述***的可变形卷积模块1接收当前驾驶行为图像进行特征提取，将提取到的特征数据经过多个DIR-AM模块进行处理，再将处理后的特征数据输出至特征可视化模块3以输出结果。
可理解的是，上述每一个DIR-AM模块包括线性瓶颈反残差子模块和注意力机制子模块21。
进一步的，考虑到驾驶员行为数据变形的局限性，在本实施例中，所述通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果的步骤，包括：
通过所述可变形卷积模块1对所述当前驾驶行为图像进行特征提取，获得初始特征图。
需要说明的是，为了控制当前驾驶行为图像的大小，在上述可变形卷积模块1内，***可将上述当前驾驶行为图像进行Zero(3×3)Padding处理，对当前驾驶行为图像的矩阵的边缘进行滤波。
需要强调的是，上述***可将Zero(3×3)Padding处理后的图像作为输入特征图，并可将上述输入特征图输出至可变形卷积模块1进行特征提取，上述可变形卷积模块1可以是通过在相同的输入特征图上应用卷积层来获得偏移量，还可以是基于输入特征图和偏移量通过卷积运算获得输出特征图，变形卷积的表达式可以是：
Figure BDA0003658079820000081
其中p0是特征图的像素位置，
Figure BDA0003658079820000083
是卷积核的规则网络，pn是
Figure BDA0003658079820000084
中的位置，Δpn是偏移量({Δpn＝H×W×2Nn＝1,...,N}，其中
Figure BDA0003658079820000082
和‘2’是2D偏移量(Δx,Δy))，k是卷积核，y是输出特征图，x是输入特征图。
在本实施例中，为了便于理解，可同时参考图4进行说明，但并不对本方案进行限定，图4为可变形卷积模块1的结构示意图，如图4所示，并同时采用当前驾驶行为图像大小为240×360×3进行说明，当前驾驶行为图像大小为240×360×3时，通过零填充层进行Zero(3×3)Padding处理后，上述图像大小变为246×366×3，***可将大小为246×366×3的图像作为输入特征图，通过变形卷积进行处理，可参考图5进行说明，图5为变形卷积结构示意图，如图5所示，在变形卷积中，对上述输入特征图加一个Conv，得到Offset field，通道维度是2N，再进行Offset处理得到输出特征图，将得到的输出特征图通过Covn7×7+BN+Mish进行特征提取后输出大小为120×180×64的图像，再通过Max Pooling处理，输出大小为60×90×64的初始特征图。
进一步的，通过所述线性瓶颈反残差子模块增加所述初始特征图的特征维数，获得多维特征图。
需要说明的是，为了便于理解，参考图6进行说明，图6为融合注意力和反残差模块2的结构示意图，如图6所示，将上述初始特征图作为输入，可通过Average Pooling处理后获取Downsample参数，当Downsample＝False时Stride＝1，当Downsample＝True时Stride＝2，同时通过变形卷积+Covn1×1+BN+Mish(6)进行处理，再通过Depthwise Covn 3×3处理，至变形卷积+BN+Mish(6)运算，输出至Covn 1×1BN层运算，并同时在初始特征图与Covn1×1BN层之间采用恒等映射，得到多维特征图。
进一步的，通过所述注意力机制子模块21对所述多维特征图进行噪声消除。
需要说明的是，为了消除与驾驶行为无关的特征，使上述***能更加高效精确地提取有效特征，本实施例先将上述多维特征图进行噪声消除操作。
进一步的，为了进一步提高对结果的信任度，通过所述特征可视化模块3对噪声消除后的多维特征图进行检测，输出结果。
需要说明的是，***可对消除噪声后的多维特征图进行全局平均池化，将多维特征变为一维向量，再将一维向量输出到全连接层，可通过Softmax激活函数进行分类，进而实现对驾驶员行为检测。
可理解的是，上述特征可视化模块3通过对输出特征图反向传播到最后一个卷积层，可将最后一个卷积层的特征图和对应权重进行线性组合，进而将结果进行显示，提升上述***检测结果的信任度。
在具体实现中，上述***通过可变形卷积模块1对接收到当前驾驶行为图像进行特征提取，获得初始特征图，将上述初始特征图通过线性瓶颈反残差子模块增加初始特征图的特征维数，获得多维特征图，再通过注意力机制子模块21对上述多维特征图进行噪声消除，最后通过特征可视化模块3对上述噪声消除后的多维特征图进行行为检测，提升***检测结果的信任度，输出结果。
本实施例是在***的可变形卷积模块1接收当前驾驶行为图像进行特征提取，获得初始特征图，将提取到的特征数据经过多个DIR-AM模块进行处理，在DIR-AM模块中，上述初始特征图通过线性瓶颈反残差子模块增加初始特征图的特征维数，获得多维特征图，再通过注意力机制子模块21对上述多维特征图进行噪声消除，最后通过特征可视化模块3对上述噪声消除后的多维特征图进行行为检测，提升***检测结果的信任度，输出结果，进而通过增加特征维数，结合注意力机制子模块21对增加特征维数的多维特征图进行噪声消除，从而能够在运算量较低的情况下提升检测精度，解决更高精度与更少参数之间的矛盾，同时将输出特征图进行可视化，提升***检测结果的信任度。
参照图7，图7为本发明驾驶行为检测方法第二实施例的流程示意图。
基于上述第一实施例，上述通过所述注意力机制子模块21对所述多维特征图进行噪声消除的步骤，包括：
步骤S231：根据所述注意力机制子模块21确定所述多维特征图的目标阈值；
需要说明的是，上述注意力机制子模块21可将与驾驶员行为特征无关的特征输出变为零，每个注意力机制接收到的特征图对应有不同的阈值，因此需要根据特征图确定目标阈值。
步骤S232：基于所述多维特征图和所述目标阈值，从预设软阈值注意力机制中选取目标注意力机制；
需要说明的是，上述预设软阈值注意力机制中可设有多个注意力机制，上述预设注意力机制的表达式可为：
Figure BDA0003658079820000101
其中x可以是上述多维特征图的输入特征，y可以是输出特征，τ可以是目标阈值，根据上述输入特征和目标阈值从上述表达式中选取目标注意力机制，对上述输入特征进行噪声消除。
可理解的是，上述目标阈值可以是正数，目标阈值在保证输出特征不全为零的情况下可自行设置，对于每一个输入特征都可对应有不同的目标阈值。
进一步的，为了解决目标阈值会根据不同特征图而不断变化，如图6所示，将上述Covn 1×1BN层输出的多维特征图通过绝对值GAP，将上述多维特征图铺平，通过FC+BN+Mish运算处理后，输出通过sigmoid处理，得到上述目标注意力机制学到的阈值参数，将阈值参数与池化的每个特征相乘，也就是逐元素乘法，将的到的阈值与FC+BN+Mish运算处理后的数据进行软阈值化，最后通过逐元素加法与上述恒等映射的结果进行相加，得到输出。
步骤S233：根据所述目标阈值以及所述目标注意力机制对所述多维特征图进行噪声消除。
本实施例通过上述目标阈值确定目标注意力机制，在通过目标注意力机制对接收到的多维特征图进行噪声消除，可消除与驾驶行为无关的特征，提高上述***对有效特征的提取。
参照图8，图8为本发明驾驶行为检测方法第三实施例的流程示意图。
如图8所示，上述步骤S10之前，还包括：
步骤S01：将L2正则项添加至初始驾驶行为检测模型，获得待训练检测模型。
需要说明的是，上述初始驾驶行为检测模型中可设置有自适应优化器，还可以设置有Adam优化器，为了减少运行内存，本是实施例的上述***可采用Adam优化器进行说明，同时可将学习率设置为0.001。
可理解的是，考虑到为了防止上述***因较大的权重而导致过拟合，上述初始驾驶行为检测模型中可设有损失函数，将上述L2正则项添加至初始驾驶行为检测模型的损失函数中。
步骤S02：获取用于训练模型的训练数据集。
需要说明的是，上述训练数据集可以是包含有驾驶行为的数据集。
进一步的，为了提高上述***的泛化能力，上述S02的步骤，包括：
获取公开数据集，基于图像增强技术对所述公开数据集进行扩展。
需要说明的是，上述公开数据集可以是Kaggle-driving公开的数据集，或者是其它与驾驶行为有关的数据集，本实施例对比不加以限制。
由于Kaggle-driving公开的数据集包括了不同种族的男性和女性驾驶员的驾驶行为类别，具有较广泛的数据，在本实施例中，采用Kaggle-driving公开的数据集进行说明，Kaggle-driving公开的数据集可包括来自26名不同种族的男性和女性驾驶员的10种驾驶行为，上述驾驶行为可包括正常行驶、右手发短信、右手打电话、左手发短信、左手打电话、操作收音机、伸手、整理着装、与他人交谈等，本实施例对上述驾驶行为不加以限制。
可理解的是，考虑到公开的数据集的图像数量不够，为了提高上述***的泛化能力，将公开的数据集使用包括旋转、翻转、缩放、平移、尺度、对比度、噪声、剪切等方式来增强上述公开数据集，但不限于上述方式。
根据扩展后的数据集构建用于训练模型的训练数据集。
需要说明的是，由于扩展后的数据集数量较多，可从上述扩展后的数据集中针对上述每一种驾驶行为选取一定数目的数据集作为训练数据集，在本实施例中，可针对上述每一种驾驶行为分别选取1800张作为训练数据集。
在具体实现中，上述L2正则项添加至初始驾驶行为检测模型的损失函数中，获取公开数据集，基于图像增强技术对公开数据集进行扩展，根据扩展后的数据集构建用于训练模型的训练数据集。
步骤S03：基于所述训练数据集对所述待训练检测模型进行训练，获得待测试检测模型。
需要说明的是，上述待训练检测模型在通过上述训练数据集训练，不断调整自身权重，获得待测试检测模型。
步骤S04：获取用于测试模型的测试数据集；
需要说明的是，上述测试数据集可以是包含有驾驶行为的数据集。
进一步的，上述步骤S04包括：根据所述扩展后的数据集构建用于测试模型的测试数据集。
需要说明的是，在本实施例中，可针对上述每一种驾驶行为分别从上述扩展后的数据集中选取200张作为测试数据集。
在具体实现中，基于训练数据集对待训练检测模型进行训练，通过不断调整***自身权重，获得待测试检测模型，并根据所述扩展后的数据集构建用于测试模型的测试数据集。
步骤S05：基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待测试检测模型作为预设驾驶行为检测模型。
需要说明的是，上述预设条件可以使用户根据实际情况自行设置，本实施例对比不加以限制，上述待测试检测模型在通过上述测试数据集测试，检测待检测模型的泛化能力，当测试结果达到预设条件时，待训练检测模型在通过上述训练数据集不断调整自身权重，获得待测试检测模型。
进一步的，为了验证上述待测试检测模型的泛化能力，上述步骤S05包括：基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待测试检测模型作为待验证模型。
获取驾驶员的驾驶行为视频数据；
需要说明的是，上述驾驶行为视频数据可通过摄像头采集获取，也可通过网络下载获取，在本实施例中，考虑到视频数据的真实性，上述驾驶行为视频数据为摄像头采集。
进一步的，根据所述驾驶行为视频数据构建自建数据集。
需要说明的是，本实施例中可让驾驶员模拟上述驾驶行为，摄像头将上述驾驶行为以视频形式进行保存，再可分别从每一种驾驶行为视频中截取400张图像构建自建数据集。
进一步的，基于所述自建数据集对所述待验证检测模型进行验证，并在验证通过时，将所述待验证模型作为预设驾驶行为检测模型。
在具体实现中，***基于测试数据集对上述待测试检测模型进行测试，并在测试结果满足预设期望条件时，将上述待测试检测模型作为待验证模型，获取驾驶员的驾驶行为视频数据，根据上述驾驶行为视频数据选取的数据构成自建数据集，基于上述自建数据集对上述待验证模型进行验证，并在验证通过时，将上述待验证模块箱作为预设驾驶行为检测模型。
本实施例将上述L2正则项添加至初始驾驶行为检测模型的损失函数中，获取公开数据集，基于图像增强技术对公开数据集进行扩展，根据扩展后的数据集构建用于训练模型的训练数据集，基于训练数据集对待训练检测模型进行训练，通过不断调整***自身权重，获得待测试检测模型，并根据所述扩展后的数据集构建用于测试模型的测试数据集，基于测试数据集对上述待测试检测模型进行测试，并在测试结果满足预设期望条件时，将上述待测试检测模型作为待验证模型，获取驾驶员的驾驶行为视频数据，根据上述驾驶行为视频数据选取的数据构成自建数据集，基于上述自建数据集对上述待验证模型进行验证，并在验证通过时，将上述待验证模块箱作为预设驾驶行为检测模型，进而通过自建数据集进一步提升***的泛化能力。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有驾驶行为检测程序，所述驾驶行为检测程序被处理器执行时实现如上文所述的驾驶行为检测方法的步骤。
此外，参照图9，图9为本发明驾驶行为检测装置第一实施例的结构框图，本发明实施例还提出一种驾驶行为检测装置，所述驾驶行为检测装置包括：
图像获取模块，用于获取驾驶员的当前驾驶行为图像；
图像检测模块，用于通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述预设驾驶行为检测模型包括：融合注意力和反残差模块2，所述融合注意力和反残差模块2，用于对可变形卷积模块1基于接收到的当前驾驶行为图像输出的特征数据进行处理，并将处理后的特征数据输出至特征可视化模块3，以使所述特征可视化模块3输出结果。
本实施例是在***的可变形卷积模块1接收当前驾驶行为图像进行特征提取，获得初始特征图，将提取到的特征数据经过多个DIR-AM模块进行处理，在DIR-AM模块中，上述初始特征图通过线性瓶颈反残差子模块增加初始特征图的特征维数，获得多维特征图，再通过注意力机制子模块21对上述多维特征图进行噪声消除，最后通过特征可视化模块3对上述噪声消除后的多维特征图进行行为检测，提升***检测结果的信任度，输出结果，进而通过增加特征维数，结合注意力机制子模块21对增加特征维数的多维特征图进行噪声消除，从而能够在运算量较低的情况下提升检测精度，解决更高精度与更少参数之间的矛盾，同时将输出特征图进行可视化，提升***检测结果的信任度。
本发明驾驶行为检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种驾驶行为检测方法，其特征在于，所述方法包括以下步骤：
获取驾驶员的当前驾驶行为图像；
通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述预设驾驶行为检测模型包括：融合注意力和反残差模块，所述融合注意力和反残差模块，用于对可变形卷积模块基于接收到的当前驾驶行为图像输出的特征数据进行处理，并将处理后的特征数据输出至特征可视化模块，以使所述特征可视化模块输出结果。
2.如权利要求1所述的驾驶行为检测方法，其特征在于，所述融合注意力和反残差模块的数量为若干个，且若干个所述融合注意力和反残差模块依次连接，所述融合注意力和反残差模块包括：线性瓶颈反残差子模块和注意力机制子模块，所述线性瓶颈反残差子模块和所述注意力机制子模块设置在所述可变形卷积模块和所述特征可视化模块之间。
3.如权利要求2所述的驾驶行为检测方法，其特征在于，所述通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果的步骤，包括：
通过所述可变形卷积模块对所述当前驾驶行为图像进行特征提取，获得初始特征图；
通过所述线性瓶颈反残差子模块增加所述初始特征图的特征维数，获得多维特征图；
通过所述注意力机制子模块对所述多维特征图进行噪声消除；
通过所述特征可视化模块对噪声消除后的多维特征图进行检测，输出结果。
4.如权利要求3所述的驾驶行为检测方法，其特征在于，所述通过所述注意力机制子模块对所述多维特征图进行噪声消除的步骤，包括：
根据所述注意力机制子模块确定所述多维特征图的目标阈值；
基于所述多维特征图和所述目标阈值，从预设软阈值注意力机制中选取目标注意力机制；
根据所述目标阈值以及所述目标注意力机制对所述多维特征图进行噪声消除。
5.如权利要求4所述的驾驶行为检测方法，其特征在于，所述获取驾驶员的当前驾驶行为图像的步骤之前，还包括：
将L2正则项添加至初始驾驶行为检测模型，获得待训练检测模型；
获取用于训练模型的训练数据集；
基于所述训练数据集对所述待训练检测模型进行训练，获得待测试检测模型；
获取用于测试模型的测试数据集；
基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待检测试检测模型作为预设驾驶行为检测模型。
6.如权利要求5所述的驾驶行为检测方法，其特征在于，所述获取用于训练模型的训练数据集的步骤，包括：
获取公开数据集，基于图像增强技术对所述公开数据集进行扩展；
根据扩展后的数据集构建用于训练模型的训练数据集；
相应地，所述获取用于测试模型的测试数据集的步骤，包括：
根据所述扩展后的数据集构建用于测试模型的测试数据集。
7.如权利要求5所述的驾驶行为检测方法，其特征在于，所述基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待检测试检测模型作为预设驾驶行为检测模型的步骤，包括：
基于所述测试数据集对所述待测试检测模型进行测试，并在测试结果满足预设条件时，将所述待测试检测模型作为待验证模型；
获取驾驶员的驾驶行为视频数据；
根据所述驾驶行为视频数据构建自建数据集；
基于所述自建数据集对所述待验证检测模型进行验证，并在验证通过时，将所述待验证模型作为预设驾驶行为检测模型。
8.一种驾驶行为检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取驾驶员的当前驾驶行为图像；
图像检测模块，用于通过预设驾驶行为检测模型对所述当前驾驶行为图像进行检测，获得检测结果，所述预设驾驶行为检测模型包括：融合注意力和反残差模块，所述融合注意力和反残差模块，用于对可变形卷积模块基于接收到的当前驾驶行为图像输出的特征数据进行处理，并将处理后的特征数据输出至特征可视化模块，以使所述特征可视化模块输出结果。
9.一种驾驶行为检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的驾驶行为检测程序，所述驾驶行为检测程序配置为实现如权利要求1至7任一项所述的驾驶行为检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有驾驶行为检测程序，所述驾驶行为检测程序被处理器执行时实现如权利要求1至7任一项所述的驾驶行为检测方法的步骤。
CN202210565576.7A 2022-05-23 2022-05-23 驾驶行为检测方法、装置、设备及存储介质 Withdrawn CN115131773A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210565576.7A CN115131773A (zh) 2022-05-23 2022-05-23 驾驶行为检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210565576.7A CN115131773A (zh) 2022-05-23 2022-05-23 驾驶行为检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115131773A true CN115131773A (zh) 2022-09-30

Family

ID=83375915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210565576.7A Withdrawn CN115131773A (zh) 2022-05-23 2022-05-23 驾驶行为检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115131773A (zh)

Similar Documents

Publication Publication Date Title
US20200372243A1 (en) Image processing method and apparatus, facial recognition method and apparatus, and computer device
CN109685100B (zh) 字符识别方法、服务器及计算机可读存储介质
WO2018121567A1 (zh) 用于检测物体关键点的方法、装置及电子设备
CN109829506B (zh) 图像处理方法、装置、电子设备和计算机存储介质
US20230085605A1 (en) Face image processing method, apparatus, device, and storage medium
CN111881707B (zh) 图像翻拍检测方法、身份验证方法、模型训练方法及装置
CN111310770B (zh) 目标检测方法和装置
CN113838070B (zh) 数据脱敏方法和装置
CN108021863B (zh) 电子装置、基于图像的年龄分类方法及存储介质
CN113837970B (zh) 图像数据的脱敏方法和装置
CN113239910B (zh) 证件识别方法、装置、设备及存储介质
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN111882578A (zh) 前景图像获取方法、前景图像获取装置和电子设备
CN111145202B (zh) 模型生成方法、图像处理方法、装置、设备及存储介质
CN112883983A (zh) 特征提取方法、装置和电子***
CN116205799A (zh) 图像修复方法、装置及计算机可读存储介质
CN111476144B (zh) 行人属性识别模型确定方法、装置及计算机可读存储介质
CN115131773A (zh) 驾驶行为检测方法、装置、设备及存储介质
CN109871814B (zh) 年龄的估计方法、装置、电子设备和计算机存储介质
CN110660000A (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN115731451A (zh) 模型训练方法、装置、电子设备及存储介质
CN114677504A (zh) 目标检测方法、装置、设备终端和可读存储介质
CN114626090A (zh) 图像数据的处理方法、装置和车辆
CN112861836B (zh) 文本图像处理方法、文本及卡证图像质量评价方法和装置
CN110008907B (zh) 一种年龄的估计方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220930

WW01 Invention patent application withdrawn after publication