CN114299433A - 异常驾驶行为检测方法、训练方法、装置及存储介质 - Google Patents
异常驾驶行为检测方法、训练方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114299433A CN114299433A CN202111630136.7A CN202111630136A CN114299433A CN 114299433 A CN114299433 A CN 114299433A CN 202111630136 A CN202111630136 A CN 202111630136A CN 114299433 A CN114299433 A CN 114299433A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- target
- road
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 95
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims description 74
- 230000006399 behavior Effects 0.000 claims abstract description 96
- 230000008859 change Effects 0.000 claims description 72
- 230000006870 function Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本公开实施例提供一种异常驾驶行为检测方法、训练方法、装置及存储介质。该异常驾驶行为检测方法，包括：获得目标车辆的行车视频数据以及目标道路的道路数据；基于所述目标车辆的行车视频数据和所述目标道路的道路数据，确定所述目标车辆的行车参数；基于所述目标车辆的行车参数和预先训练好的异常驾驶行为检测模型，检测所述目标车辆的驾驶员是否存在异常驾驶行为，其中，所述异常驾驶行为检测模型通过样本车辆的行车参数及其对应的标记数据训练得到。
Description
技术领域
本公开实施例涉及但不限于智能交通技术领域，尤其涉及一种异常驾驶行为检测方法、训练方法、装置及存储介质。
背景技术
随着我国经济与科技的快速发展，高速公路飞速发展，人们生活水平日益提高，车辆保有量快速增加，给交通安全带来严峻考验。而驾驶员的异常驾驶行为(例如，危险驾驶、疲劳驾驶等)导致的驾驶安全隐患问题，容易引发交通事故频频发生，造成巨大的财产损失和人员伤亡。因此，检测异常驾驶行为对于减少交通事故是十分重要的。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
第一方面，本公开实施例提供了一种异常驾驶行为检测方法，包括：获得目标车辆的行车视频数据以及目标道路的道路数据；基于所述目标车辆的行车视频数据和所述目标道路的道路数据，确定所述目标车辆的行车参数；基于所述目标车辆的行车参数和预先训练好的异常驾驶行为检测模型，检测所述目标车辆的驾驶员是否存在异常驾驶行为，其中，所述异常驾驶行为检测模型通过样本车辆的行车参数及其对应的标记数据训练得到。
第二方面，本公开实施例提供了一种检测模型训练方法，包括：获得样本数据集；其中，所述样本数据集中的每一个样本数据包括：样本车辆的行车参数和标记数据；基于所述样本数据集进行训练，获得异常驾驶行为检测模型；其中，所述异常驾驶行为检测模型用于基于目标车辆的行车参数检测所述目标车辆的驾驶员是否存在异常驾驶行为。
第三方面，本公开实施例提供了一种检测装置，包括：处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现如上述实施例中所述的异常驾驶行为检测方法的步骤，或者，如上述实施例中所述的检测模型训练方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，包括存储的程序，其中，在所述程序运行时实现如上述实施例中所述的异常驾驶行为检测方法的步骤，或者，如上述实施例中所述的检测模型训练方法的步骤。
本公开实施例提供的异常驾驶行为检测方法、训练方法、装置及存储介质，由于预先训练好的异常驾驶行为检测模型是通过样本车辆的行车参数及其对应的标记数据训练得到的，具有检测异常驾驶行为的能力，那么，通过目标车辆的行车视频数据以及目标道路的道路数据，确定出目标车辆的行车参数之后，通过该异常驾驶行为检测模型就可以检测出目标车辆的驾驶员是否存在异常驾驶行为，如此，可以提升检测异常驾驶行为的准确度和效率，可以降低检测成本。而且，相比于需要采集驾驶员的生理参数的技术方案或者需要采集驾驶员的面部特征的技术方案，由于目前的车辆普遍集成了行车记录仪和定位***，便于获取车辆的行车视频数据和道路的道路数据，可以降低检测成本，不容易引起用户反感，从而，有利于在智能交通与交通安全领域普及与应用。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本公开技术方案的理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。附图中各部件的形状和大小不反映真实比例，目的只是示意说明本公开内容。
图1为本公开示例性实施例中的异常驾驶行为检测方法的流程示意图；
图2为本公开示例性实施例中的姿态估计模型的训练过程的示意图；
图3为本公开示例性实施例中的异常驾驶行为检测模型的训练过程的示意图；
图4为本公开示例性实施例中的检测模型训练方法的流程示意图；
图5为本公开示例性实施例中的检测装置的结构示意图。
具体实施方式
本文描述了多个实施例，但是该描述是示例性的，而不是限制性的，在本文所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本公开包括并设想了与本领域普通技术人员已知的特征和元件的组合。本公开已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本公开中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
目前，检测异常驾驶行为的技术方案主要可以分为以下两种：一种主要是利用摄像头采集驾驶员的面部特征(例如，驾驶员的眼睛状态或者驾驶员的面部表情等)进行分析，来判别驾驶员是否出现异常驾驶行为(例如，疲劳驾驶)，但是，应用这种技术方案的产品在使用上往往需要摄像头一直对着驾驶员的脸部进行拍摄，容易引起用户反感，在市场上的接受程度不高，不利于普及与应用。而且，特别是晚上车内光线不足时，对驾驶员的面部特征进行分析往往十分困难，但是夜间却是异常驾驶行为(例如，疲劳驾驶)的高发时段。另一种主要是采集驾驶员的生理参数进行分析，来判别驾驶员是否出现异常驾驶行为(例如，疲劳驾驶)，但是，应用这种技术方案的产品在使用上往往需要接触式地采集驾驶员的生理参数，检测成本较高，也不利于普及与应用。
本公开实施例提供一种异常驾驶行为检测方法。在实际应用中，该异常驾驶行为检测方法可以应用于检测装置中。
在一种示例性实施例中，该检测装置可以设置于任意需要提供异常驾驶行为的检测服务的场景中，例如，设置于车辆中。
在一种示例性实施例中，该异常驾驶行为检测方法可以应用于异常驾驶行为预警或者交通安全领域等各种需要对驾驶员的异常驾驶行为进行检测的场景中。
在一种示例性实施例中，异常驾驶行为可以是指疲劳驾驶或者危险驾驶等容易引发交通事故的驾驶行为。例如，长时间驾驶、睡眠不足或者生理变化等因素，通常是导致疲劳驾驶产生的主要原因，因此，在疲劳驾驶时，驾驶员可能会出现精神恍惚、注意力不集中、视物模糊或者判断力下降等情况，在这种情况下继续开车，极易出现操作停顿或修正失误，从而造成交通事故的发生。例如，危险驾驶可以是指车辆在长直线道路上反复进行大角度拐弯或者车辆在拐弯时反应时间过长等。
图1为本公开示例性实施例中的异常驾驶行为检测方法的流程示意图，如图1所示，该异常驾驶行为检测方法可以包括：
步骤11：获得目标车辆的行车视频数据以及目标道路的道路数据；
步骤12：基于目标车辆的行车视频数据和目标道路的道路数据，确定目标车辆的行车参数；
步骤13：基于目标车辆的行车参数和预先训练好的异常驾驶行为检测模型，检测目标车辆的驾驶员是否存在异常驾驶行为；其中，异常驾驶行为检测模型通过样本车辆的行车参数及其对应的标记数据训练得到。
在一种示例性实施例中，目标车辆的行车视频数据可以是指由目标车辆中的行车记录仪所记录的目标车辆在目标道路上的行驶过程的视频数据。
在一种示例性实施例中，目标车辆的行车视频数据可以包括：时间上连续的至少三帧图像。
在一种示例性实施例中，可以通过目标车辆中设置的行车记录仪采集目标车辆的行车视频数据。
在一种示例性实施例中，目标车辆的行车参数可以包括但不限于：用于表征目标车辆的行驶轨迹与目标道路的线形之间的相关程度的第一参数和用于表征目标车辆的转向角度变化数据与目标道路的线形角度变化数据之间的相关程度的第二参数。
在一种示例性实施例中，样本车辆的行车参数可以包括但不限于：用于表征样本车辆的行驶轨迹与样本道路的线形之间的相关程度的第三参数和用于表征样本车辆的转向角度变化与样本道路的线形角度变化之间的相关程度的第四参数。
在一种示例性实施例中，标记数据可以是用于表征样本车辆的驾驶员是否存在异常驾驶行为的人工标记数据。例如，标记数据可以为布尔值，包括：用于表征样本车辆的驾驶员存在异常驾驶行为的预设第一值或者用于表征样本车辆的驾驶员不存在异常驾驶行为的预设第二值。例如，预设第一值可以为1，预设第二值可以为0。
由上述内容可知，本公开示例性实施例中所提供的异常驾驶行为检测方法，由于预先训练好的异常驾驶行为检测模型是通过样本车辆的行车参数及其对应的标记数据训练得到的，具有检测异常驾驶行为的能力，那么，通过目标车辆的行车视频数据以及目标道路的道路数据，确定出目标车辆的行车参数之后，通过该异常驾驶行为检测模型就可以检测出目标车辆的驾驶员是否存在异常驾驶行为，如此，可以提升检测异常驾驶行为的准确度和效率，可以降低检测成本。而且，相比于需要采集驾驶员的生理参数的技术方案或者需要采集驾驶员的面部特征的技术方案，由于目前的车辆普遍集成了行车记录仪和定位***，便于获取车辆的行车视频数据和道路的道路数据，可以降低检测成本，不容易引起用户反感，从而，有利于在智能交通与交通安全领域普及与应用。
在一种示例性实施例中，步骤11可以包括以下步骤111至步骤113：
步骤111：获取目标车辆中的行车记录仪所采集的行车视频数据；
步骤112：获取目标车辆中的定位***所采集的目标车辆的位置信息；
步骤113：基于目标车辆的位置信息，从交通路网中获取目标道路的道路数据。
在一种示例性实施例中，目标车辆中的定位***可以是指全球定位***(GlobalPositioning System，GPS)等能够提供车辆的位置信息，即车辆所行驶的道路的位置信息的***。这里，本公开实施例对此不做限定。
举例来说，步骤111中获取到的目标车辆的行车视频数据可以是指行车记录仪所采集的预定长度时间段内的目标车辆的行车视频数据，对应地，步骤112中获取到的目标车辆的位置信息可以是指目标车辆在该预设长度时间段的多个位置信息。其中，预定长度时间段可由***默认设定，或者由本领域技术人员自行设定等。这里，本公开实施例对此不做限定。
在一种示例性实施例中，步骤12可以包括以下步骤121至步骤123：
步骤121：对目标车辆的行车视频数据进行预处理，提取多个目标行车图像序列；其中，目标行车图像序列包括：时间上连续的至少三帧图像；
步骤122：通过训练后的姿态估计模型对多个目标行车图像序列进行处理，获得目标车辆的运动轨迹数据；其中，训练后的姿态估计模型通过提取到的样本行车图像序列对初始的自运动估计网络和初始的深度估计网络进行训练得到；
步骤123：基于目标车辆的运动轨迹数据和目标道路的道路数据，确定目标车辆的行车参数。
在一种示例性实施例中，步骤123可以包括以下步骤1231至步骤1232：
步骤1231：基于目标车辆的运动轨迹数据和目标道路的道路数据，计算得到用于表征目标车辆的行驶轨迹与目标道路的线形之间的相关程度的第一参数；其中，第一参数可以包括：目标车辆的运动轨迹数据与目标道路的道路数据之间的相关系数、目标车辆的运动轨迹数据与目标道路的道路数据的距离的L1范数、以及目标车辆的运动轨迹数据与目标道路的道路数据的距离的L2范数；
步骤1232：分别对目标车辆的运动轨迹数据和目标道路的道路数据进行微分运算，获得目标车辆的转向角度变化数据和目标道路的线形角度变化数据；
步骤1233：基于目标车辆的转向角度变化数据和目标道路的线形角度变化数据，计算得到用于表征目标车辆的转向角度变化与目标道路的线形角度变化之间的相关程度的第二参数；其中，第二参数可以包括：目标车辆的转向角度变化数据与目标道路的线形角度变化数据之间的相关系数、目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差的L1范数、以及目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差的L2范数。
在一种示例性实施例中，步骤1231可以包括：以目标车辆的运动轨迹数据作为随机变量X，并以目标道路的道路数据作为随机变量Y，通过以下公式(1)至公式(2)，计算得到目标车辆的运动轨迹数据与目标道路的道路数据之间的相关系数；以目标车辆的运动轨迹数据与目标道路的道路数据的距离作为向量x，通过以下公式(3)，计算得到目标车辆的运动轨迹数据与目标道路的道路数据的距离的L1范数；以目标车辆的运动轨迹数据与目标道路的道路数据的距离作为向量x，通过以下公式(4)，计算得到目标车辆的运动轨迹数据与目标道路的道路数据的距离的L2范数。如此，可以得到用于表征目标车辆的行驶轨迹与目标道路的线形之间的相关程度的第一参数。
例如，目标车辆的运动轨迹数据可以包括：表征目标车辆的行驶轨迹的曲线，表征目标车辆的行驶轨迹的曲线可以包括：以帧为单位的行驶轨迹点目标道路的道路数据可以包括表征目标道路的线形的曲线。正常驾驶行为下，行驶轨迹点在表征目标道路的线形的曲线上，此时，目标车辆的运动轨迹数据与目标道路的道路数据的距离可以为0，L1范数和L2范数可以为0。而当出现异常驾驶行为时，行驶轨迹点出现偏离目标道路的情况，此时，目标车辆的运动轨迹数据与目标道路的道路数据的距离增大，L1范数和L2范数增大。
在一种示例性实施例中，步骤1233可以包括：以目标车辆的转向角度变化数据作为随机变量X，并以目标道路的线形角度变化数据作为随机变量Y，通过以下公式(1)至公式(2)，计算得到目标车辆的转向角度变化数据与目标道路的线形角度变化数据之间的相关系数；以目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差作为向量x，通过以下公式(3)，计算得到目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差的L1范数；以目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差作为向量x，通过以下公式(4)，计算得到目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差的L2范数。如此，可以得到用于表征目标车辆的转向角度变化与目标道路的线形角度变化之间的相关程度的第二参数。
Cov(X,Y)＝E(XY)-E(X)E(Y) 公式(2)；
||x||1＝|x1|+|x2|+...+|xn| 公式(3)；
其中，X、Y为随机变量，r(X,Y)为X与Y之间的相关系数(CorrelationCoefficient)，Cov(X,Y)为X与Y之间的协方差(Covariance)，E(·)为期望，Var(·)为方差，x为向量，x1至xn为向量x中的元素，||x||1为x的L1范数(L1 norm)，||x||2为x的L2范数(L2 norm)。
在一种示例性实施例中，步骤13可以包括：将目标车辆的行车参数输入预先训练好的异常驾驶行为检测模型，得到对应的输出结果；根据对应的输出结果，确定目标车辆的驾驶员是否存在异常驾驶行为。
例如，输出结果可以为用于表征样本车辆的驾驶员存在异常驾驶行为的预设第一值或者用于表征样本车辆的驾驶员不存在异常驾驶行为的预设第二值。例如，预设第一值可以为1，预设第二值可以为0。这里，本公开实施例对此不做限定。
在一种示例性实施例中，在步骤11之前，上述方法还可以包括以下步骤14至步骤15：
步骤14：获得样本数据集；其中，样本数据集中的每一个样本数据包括：样本车辆的行车参数和标记数据；
步骤15：基于样本数据集进行训练，获得异常驾驶行为检测模型。如此，通过样本车辆的行车参数及其对应的标记数据进行训练，就可以得到预先训练好的异常驾驶行为检测模型。其中，异常驾驶行为检测模型用于基于目标车辆的行车参数检测目标车辆的驾驶员是否存在异常驾驶行为。
在一种示例性实施例中，在步骤11之前，该方法还可以包括以下步骤16：通过提取到的样本行车图像序列，对初始的自运动估计网络(PoseNet)和初始的深度估计网络(DepthNet)进行训练，得到训练后的姿态估计模型。
在一种示例性实施例中，步骤16可以包括以下步骤161至步骤167：
步骤161：获取样本车辆的行车视频数据；
步骤162：对样本车辆的行车视频数据进行预处理，提取多个样本行车图像序列；其中，样本行车图像序列包括：时间上连续的至少三帧图像；
步骤163：针对每一个样本行车图像序列，执行以下训练操作：
步骤1631：将每一个样本行车图像序列中的中间帧图像，确定为目标图像，并将每一个样本行车图像序列中除了中间帧图像之外的其它帧图像，确定为参考图像；
步骤1632：将目标图像和参考图像，输入初始的自运动估计网络(PoseNet)，获得目标图像相对于参考图像的自运动数据；
在一种示例性实施例中，目标图像相对于参考图像的自运动数据，可以是指目标图像与参考图像之间的运动估计数据，又可称为视觉里程计(Visual Odometry，VO)。
步骤1633：将目标图像，输入初始的深度估计网络(DepthNet)，获得目标图像的深度数据；
步骤1634：基于目标图像相对于参考图像的自运动数据和目标图像的深度数据，进行图像重建，获得重建的目标图像；
步骤1635：基于重建的目标图像和目标图像，采用预设损失函数，调整初始的自运动估计网络的参数和初始的深度估计网络的参数；
步骤164：针对下一个样本行车图像序列进行上述训练操作，直至预设损失函数的值低于预设阈值，获得训练后的姿态估计模型。如此，实现了通过提取到的样本行车图像序列，对初始的自运动估计网络和初始的深度估计网络进行训练，可以得到训练后的姿态估计模型。
在一种示例性实施例中，预设阈值可由本领域技术人员根据经验或实验结果设定，这里，本公开实施例对此不做限定。
在一种示例性实施例中，步骤166可以包括：按照以下公式(5)所示的投影关系进行图像重建，以得到重建的目标图像。
pr～KEt→rDt(pt)K-1pt 公式(5)；
其中，pr为参考图像中对应目标图像中像素的位置，K为相机的内参矩阵，Et→r为姿态转移矩阵(即目标图像相对于参考图像的自运动数据)，Dt(pt)为目标图像中像素对应的深度数据，K-1为内参矩阵的逆矩阵，pt为目标图像中的像素。
在一种示例性实施例中，相机内参可以通过标定相机得到。例如，相机内参可以包括：相机的焦距和光圈中心等参数。
在一种示例性实施例中，预设损失函数可以包括：光度一致性(PhotometricConsistency)损失函数、结构相似性(Structural SIMilarity，SSIM)损失函数和边缘感知平滑度(Edge-aware Smoothness)损失函数中的任意一种或多种的组合。这里，本公开实施例对此不做限定。
举例来说，如下公式(6)至公式(9)所示，可以采用光度一致性损失函数、SSIM损失函数和边缘感知平滑度损失函数的加权和，实现预设损失函数，作为自运动估计网络和深度估计网络的目标函数，来指导学习过程：
其中，α、β、γ为权重，
为SSIM损失函数，
为光度损失函数，
为边缘感知平滑度损失函数，Ni为从参考图像投影到目标图像时的有效像素点的数量，n为参考图像的数量，
为第i张参考图像在目标图像平面上的投影(即重建的目标图像)，It为目标图像，Dt(p)为p点的深度，
为一阶梯度，e为常数。
在一种示例性实施例中，α可以设置为0.85，β可以设置为0.15，γ可以设置为0.1。当然，还可以采用其它权重值，这里，本公开实施例对此不做限定。
在一种示例性实施例中，初始的自运动估计网络可以包括：多个卷积块，其中，每一个卷积块可以包括：卷积层和激活层，多个卷积块中的第一个卷积块的输入为目标图像和参考图像，多个卷积块中的最后一个卷积块的输出为初始的自运动估计网络的输出，多个卷积块中的第i个卷积块的输出为多个卷积块中的第i+1个卷积块的输入，i为正整数。
在一种示例性实施例中，卷积层可以采用conv2d函数实现。当然，除了所列出的conv2d函数之外，卷积层还可以采用其它卷积函数来实现，这里，本公开实施例对此不做限定。
在一种示例性实施例中，卷积层中的卷积核(Kernel)的大小可以采用3×3或者5×5等。这里，本公开实施例对此不做限定。
在一种示例性实施例中，初始的自运动估计网络可以包括：七个卷积块，其中，七个卷积块中卷积层的通道数依次可以设置为16、32、64、128、256、256和256。当然，还可以设置为其它通道数，这里，本公开实施例对此不做限定。
在一种示例性实施例中，每一个卷积块的激活层可以采用修正线性单元(Rectified Linear Unit，ReLU)函数实现。当然，激活层还可以采用其它激活函数来实现，这里，本公开实施例对此不做限定。
在一种示例性实施例中，初始的深度估计网络可以包括：编码器(encoder)和解码器(decoder)，其中，编码器(encoder)可以采用残差网络(Residual Network，ResNet)实现，解码器可以包括：反卷积层，编码器的输入为参考图像，编码器的输出为解码器的输入，编码器的输出为初始的深度估计网络的输出，编码器和解码器之间可以添加跳跃连接(skip connections)进行传递。
在一种示例性实施例中，编码器(encoder)的结构可以采用ResNet50、ResNet101等典型的残差网络(ResNet)的结构。当然，除了所列出的残差网络(ResNet)之外，编码器还可以采用其它神经网络的结构。这里，本公开实施例对此不做限定。
在一种示例性实施例中，以对初始的深度估计网络(DepthNet)的参数进行迭代调整时采用小批量梯度下降法(Mini-Batch Gradient Descent，MBGD)作为优化算法为例，深度网络(DepthNet)对目标图像可以采用mini-batch(小批量)方式进行学习，即在获得待训练的多个目标图像后，可以将多个目标图像划分为多个小批量(mini-batch)数据，然后对每一个小批量(mini-batch)数据进行学习，按批来更新深度估计网络(DepthNet)的参数，这样，一个批中的一组数据共同决定了本次梯度的方向。深度网络(DepthNet)可以采用编码器(encoder)+解码器(decoder)的结构，编码器部分可以以ResNet50作为基本结构，解码器部分可以由反卷积层构成，并且在编码器(encoder)和解码器(decoder)之间的相同分辨率上采用跳跃连接(skip connections)进行了多尺度下的预测。如此，能够同时保留全局高层次特征和局部细节信息。
在一种示例性实施例中，步骤14可以包括以下步骤141至步骤145：
步骤141：获取样本车辆的行车视频数据以及对应的样本道路的道路数据；
步骤142：对样本车辆的行车视频数据进行预处理，提取多个样本行车图像序列；其中，样本行车图像序列包括：时间上连续的至少三帧图像；
步骤143：通过训练后的姿态估计模型对多个样本行车图像序列进行处理，获得样本车辆的运动轨迹数据；其中，训练后的姿态估计模型通过提取到的样本行车图像序列对初始的自运动估计网络和初始的深度估计网络进行训练得到；
步骤144：基于样本车辆的运动轨迹数据和样本道路的道路数据，确定样本车辆的行车参数；
步骤145：基于样本车辆的行车参数，获取对应的标记数据。
在一种示例性实施例中，样本车辆的数量可以为多个，样本道路的数量可以为多个。这里，本公开实施例对此不做限定。
在一种示例性实施例中，样本道路可以是指某一道路本身，或者，可以是指某一道路中的某一段(例如，满足预设长度和预设线形的道路段)等。这里，本公开实施例对此不做限定。
在一种示例性实施例中，样本车辆的行车视频数据可以是指在样本车辆在样本道路上行驶的过程中，样本车辆中的行车记录仪所记录的记录样本车辆行驶过程中的视频数据。
在一种示例性实施例中，标记数据可以是用于表征样本车辆的驾驶员是否存在异常驾驶行为的人工标记数据。例如，标记数据可以为布尔值，包括：用于表征样本车辆的驾驶员存在异常驾驶行为的预设第一值或者用于表征样本车辆的驾驶员不存在异常驾驶行为的预设第二值。例如，预设第一值可以为1，预设第二值可以为0。
在一种示例性实施例中，样本车辆的行车参数可以包括但不限于：用于表征样本车辆的行驶轨迹与样本道路的线形之间的相关程度的第三参数和用于表征样本车辆的转向角度变化与样本道路的线形角度变化之间的相关程度的第四参数。
在一种示例性实施例中，步骤141可以包括以下步骤1411至步骤1413：
步骤1411：获取样本车辆中的行车记录仪所采集的行车视频数据；
步骤1412：获取样本车辆中的定位***(例如，GPS)所采集的样本车辆的位置信息；
步骤1413：基于样本车辆的位置信息，从交通路网中获取样本道路的道路数据。
在一种示例性实施例中，在步骤142之后，该方法还可以包括：对样本行车图像序列进行预处理。例如，预处理可以包括：去噪处理、去均值处理、归一化处理和图像标准化处理中的任意一种或多种。例如，去噪处理可以采用双边滤波、高斯滤波、分箱去噪、基于KD-Tree(K-Dimensional Tree)去噪、直通滤波、随机采样一致性滤波和基于统计方法去噪中的任意一种或多种。这里，本公开实施例对此不做限定。
在一种示例性实施例中，步骤144可以包括以下步骤1441至步骤1443：
步骤1441：基于样本车辆的运动轨迹数据和样本道路的道路数据，计算得到用于表征样本车辆的行驶轨迹与样本道路的线形之间的相关程度的第三参数；其中，第三参数可以包括：样本车辆的运动轨迹数据与样本道路的道路数据之间的相关系数、样本车辆的运动轨迹数据与样本道路的道路数据的距离的L1范数、以及样本车辆的运动轨迹数据与样本道路的道路数据的距离的L2范数；
步骤1442：分别对样本车辆的运动轨迹数据和样本道路的道路数据进行微分运算，获得样本车辆的转向角度变化数据和样本道路的线形角度变化数据；
步骤1443：基于样本车辆的转向角度变化数据和样本道路的线形角度变化数据，计算得到用于表征样本车辆的转向角度变化与样本道路的线形角度变化之间的相关程度的第四参数；其中，第四参数可以包括：样本车辆的转向角度变化数据与样本道路的线形角度变化数据之间的相关系数、样本车辆的转向角度变化数据与样本道路的线形角度变化数据的角度差的L1范数、以及样本车辆的转向角度变化数据与样本道路的线形角度变化数据的角度差的L2范数。
在一种示例性实施例中，步骤1441可以包括：基于样本车辆的运动轨迹数据和样本道路的道路数据，通过上述公式(1)至公式(4)，计算得到第三参数。其中，通过上述公式(1)至公式(4)，可以计算得到第三参数。其中，关于计算得到第三参数的过程，可参考上文关于计算得到第一参数的过程的描述而理解，这里不再过多赘述。
步骤1443可以包括：基于样本车辆的转向角度变化数据和样本道路的线形角度变化数据，通过上述公式(1)至公式(4)，计算得到第四参数。其中，关于计算得到第四参数的过程，本领域技术人员可以参考上文关于计算得到第二参数的过程的描述而理解，这里不再过多赘述。
图2为本公开示例性实施例中的姿态估计模型的训练过程的示意图，图3为本公开示例性实施例中的异常驾驶行为检测模型的训练过程的示意图。其中，在图2和图3中，以姿态估计模型包括自运动估计网络和深度估计网络，自运动估计网络包括七个卷积块，深度估计网络包括：编码器和解码器为例进行示意。那么，训练得到异常驾驶行为检测模型的过程可以包括：
第一步，获取大量的样本车辆的行车视频数据以及对应的样本道路的道路数据。
举例来说，可以从交通路网中预先选择出多个道路，并按照预设策略(例如，预设长度)，将每一个选择出的道路划分为多个道路段，这样，就可以预先设置多个样本道路。在不同的样本车辆分别在多个样本道路上行驶的过程中，针对每一个样本车辆，通过该样本车辆中的行车记录仪，采集该样本车辆的行车视频数据，并且，通过该样本车辆中的定位***(例如，GPS)采集样本车辆的位置信息，以根据该样本车辆的位置信息，从交通路网中获取样本道路的道路数据。这样，就获取到了多个样本车辆的多个行车视频数据以及对应的多个样本道路的道路数据。
接下来，基于多个样本车辆的多个行车视频数据，通过以下第二步至第五步，可以获取到多个样本车辆的运动轨迹数据。
第二步，针对每一个样本车辆的行车视频数据进行预处理，提取多个样本行车图像序列，其中，样本行车图像序列可以包括：时间上连续的至少三帧图像。如此，可以获得大量的样本行车图像序列。
第三步，根据所获得的样本行车图像序列的数据量的大小，可以将所获得的样本行车图像序列划分为三部分，包括：训练集、验证集和测试集，其中，训练集可用于在训练阶段进行训练，验证集和测试集可用于对训练后的模型效果进行验证(如效果不好，可返回重新训练)。如此，可以使异常驾驶行为检测模型的检测效果更好。
举例来说，当获得的样本行车图像序列的总数据量为0至10000时，可以按照7：2：1划分训练集、验证集和测试集。或者，当获得的样本行车图像序列的总数据量为10000至1000000时，可以按照8：1：1划分训练集、验证集和测试集。这里，本公开实施例对此不做限定。
举例来说，可以采用KITTI数据集，其中，训练集所包含的样本行车图像序列的总数据量可以设置为40109个，验证集所包含的样本行车图像序列的总数据量可以设置为4431个，测试集所包含的样本行车图像序列的总数据量可以设置为697个。
第四步，如图3所示，针对每一个样本行车图像序列，执行以下训练操作：将每一个样本行车图像序列中的中间帧图像，确定为目标图像；将每一个样本行车图像序列中除了中间帧图像之外的其它帧图像，确定为参考图像；将目标图像和参考图像，输入初始的自运动估计网络(PoseNet)，获得目标图像相对于参考图像的自运动数据；将目标图像输入初始的深度估计网络(DepthNet)，获得目标图像的深度数据；基于目标图像相对于参考图像的自运动数据和目标图像的深度数据，进行图像重建，获得重建的目标图像；基于重建的目标图像和目标图像，采用预设损失函数，调整初始的自运动估计网络的参数和初始的深度估计网络的参数；针对下一个样本行车图像序列进行上述训练操作，直至预设损失函数的值低于预设阈值，获得训练后的姿态估计模型。
如此，实现了通过提取到的行车图像序列，对初始的自运动估计网络和初始的深度估计网络进行训练，可以得到训练后的姿态估计模型。
在训练完成后，可以采用验证集和测试集，对训练后的姿态估计模型进行测试和验证，以判定训练后的姿态估计模型的模型效果是否满足预先设定的要求。
第五步，如图3所示，针对每一个样本行车图像序列，执行以下操作：将每一个样本行车图像序列中的中间帧图像，确定为目标图像；将每一个样本行车图像序列中除了中间帧图像之外的其它帧图像，确定为参考图像；将目标图像和参考图像，输入训练后的姿态估计模型，获得样本车辆的运动轨迹数据。
第六步，基于样本车辆的运动轨迹数据和样本道路的道路数据，计算得到用于表征样本车辆的行驶轨迹与样本道路的线形之间的相关程度的第三参数；其中，第三参数可以包括：样本车辆的运动轨迹数据与样本道路的道路数据之间的相关系数、样本车辆的运动轨迹数据与样本道路的道路数据的距离的L1范数、以及样本车辆的运动轨迹数据与样本道路的道路数据的距离的L2范数。
第七步，分别对样本车辆的运动轨迹数据和样本道路的道路数据进行微分运算，获得样本车辆的转向角度变化数据和样本道路的线形角度变化数据；基于样本车辆的转向角度变化数据和样本道路的线形角度变化数据，计算得到用于表征样本车辆的转向角度变化与样本道路的线形角度变化之间的相关程度的第四参数；其中，第四参数可以包括：样本车辆的转向角度变化数据与样本道路的线形角度变化数据之间的相关系数、样本车辆的转向角度变化数据与样本道路的线形角度变化数据的角度差的L1范数、以及样本车辆的转向角度变化数据与样本道路的线形角度变化数据的角度差的L2范数。
例如，通过上述公式(1)至公式(4)，计算得到第三参数和第四参数。其中，关于计算得到第三参数和第四参数的过程，本领域技术人员可以参考上述关于计算得到第一参数和第二参数的过程的描述而理解，这里，本公开实施例在此不再过多赘述。
如此，如图3所示，通过样本车辆的运动轨迹数据和样本道路的道路数据，就可以获得大量的样本车辆的行车参数。
第八步，对样本车辆的行车参数进行人工标记。如此，就可以获得对应的标记数据。
第九步，如图3所示，将样本车辆的行车参数及其对应的标记数据，封装成新的数据并进行训练，获得异常驾驶行为检测模型。如此，就可以得到异常驾驶行为检测模型。其中，异常驾驶行为检测模型用于基于目标车辆的行车参数检测目标车辆的驾驶员是否存在异常驾驶行为。
在一种示例性实施例中，可以通过深度神经网络(Deep Neural Networks，DNN)或者卷积神经网络(Convolutional Neural Network，CNN)等机器学习(Machine Learning，ML)技术，对由样本车辆的行车参数及其对应的标记数据封装得到新的数据进行训练，以得到异常驾驶行为检测模型。
至此，便完成了训练得到异常驾驶行为检测模型的过程。
本公开实施例还提供一种检测模型训练方法。在实际应用中，该检测模型训练方法可以用于训练上述一个或多个实施例中的异常驾驶行为检测模型。
图4为本公开示例性实施例中的检测模型训练方法的流程示意图，如图4所示，该检测模型训练方法可以包括：
步骤41：获得样本数据集；其中，样本数据集中的每一个样本数据包括：样本车辆的行车参数和标记数据；
步骤42：基于样本数据集进行训练，获得异常驾驶行为检测模型；其中，异常驾驶行为检测模型用于基于目标车辆的行车参数检测目标车辆的驾驶员是否存在异常驾驶行为。
以上检测模型训练方法实施例的描述，与上述异常驾驶行为检测方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开检测模型训练方法实施例中未披露的技术细节，本领域的技术人员请参照本公开异常驾驶行为检测方法实施例中的描述而理解，这里不再赘述。
本公开实施例还提供一种检测装置。该检测装置可以包括：处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，处理器执行计算机程序时实现上述一个或多个示例性实施例中的异常驾驶行为检测方法的步骤，或者，上述一个或多个示例性实施例中的检测模型训练方法的步骤。
在一种示例性实施例中，如图5所示，该检测装置50可以包括：至少一个处理器51；以及与处理器51连接的至少一个存储器52、总线53；其中，处理器51、存储器52通过总线53完成相互间的通信；处理器51用于调用存储器52中的程序指令，以执行上述一个或多个示例性实施例中的异常驾驶行为检测方法的步骤，或者，上述一个或多个示例性实施例中的检测模型训练方法的步骤。
在一种示例性实施例中，上述处理器可以是中央处理单元(Central ProcessingUnit，CPU)、其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、专用集成电路等。通用处理器可以是微处理器(MicroProcessor Unit，MPU)或者该处理器也可以是任何常规的处理器等。这里，本公开实施例对此不做限定。
在一种示例性实施例中，存储器可能包括计算机可读存储介质中的非永久性存储器，随机存储器(Random Access Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash RAM)，存储器包括至少一个存储芯片。这里，本公开实施例对此不做限定。
在一种示例性实施例中，总线除了可以包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图5中将各种总线都标为总线53。这里，本公开实施例对此不做限定。
在一种示例性实施例中，检测装置所在车辆还可以包括但不限于以下部件：行车记录仪或者定位***等。例如，行车记录仪可以被配置为采集车辆的行车视频数据。例如，行车记录仪可以包括至少一个摄像头等。例如，定位***可以被配置为采集车辆的位置信息。例如，定位***可以为GPS。
在实现过程中，检测装置所执行的处理可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。即本公开实施例的方法步骤可以体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本公开实施例还提供一种计算机可读存储介质，包括存储的程序，其中，在程序运行时实现执行上述一个或多个示例性实施例中的异常驾驶行为检测方法的步骤或者，上述一个或多个示例性实施例中的检测模型训练方法的步骤。
在一种示例性实施例中，上述计算机可读存储介质可以包括但不限于采用：ROM/RAM、磁碟或者光盘等。这里，本公开实施例对此不做限定。
以上检测装置或计算机可读存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开检测装置或计算机可读存储介质实施例中未披露的技术细节，本领域的技术人员请参照本公开方法实施例的描述而理解。在此不再赘述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
虽然本公开所揭露的实施方式如上，但上述的内容仅为便于理解本公开而采用的实施方式，并非用以限定本公开。任何本公开所属领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (15)
1.一种异常驾驶行为检测方法，其特征在于，包括：
获得目标车辆的行车视频数据以及目标道路的道路数据；
基于所述目标车辆的行车视频数据和所述目标道路的道路数据，确定所述目标车辆的行车参数；
基于所述目标车辆的行车参数和预先训练好的异常驾驶行为检测模型，检测所述目标车辆的驾驶员是否存在异常驾驶行为，其中，所述异常驾驶行为检测模型通过样本车辆的行车参数及其对应的标记数据训练得到。
2.根据权利要求1所述的方法，其特征在于，所述获得目标车辆的行车视频数据以及目标道路的道路数据，包括：
获取所述目标车辆中的行车记录仪所采集的所述行车视频数据；
获取所述目标车辆中的定位***所采集的所述目标车辆的位置信息；
基于所述目标车辆的位置信息，从交通路网中获取所述目标道路的道路数据。
3.根据权利要求1所述的方法，其特征在于，所述目标车辆的行车参数包括：用于表征所述目标车辆的行驶轨迹与所述目标道路的线形之间的相关程度的第一参数和用于表征所述目标车辆的转向角度变化与所述目标道路的线形角度变化之间的相关程度的第二参数，所述样本车辆的行车参数包括：用于表征样本车辆的行驶轨迹与样本道路的线形之间的相关程度的第三参数和用于表征样本车辆的转向角度变化与样本道路的线形角度变化之间的相关程度的第四参数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标车辆的行车视频数据和所述目标道路的道路数据，确定所述目标车辆的行车参数，包括：
对所述目标车辆的行车视频数据进行预处理，提取多个目标行车图像序列；其中，所述目标行车图像序列包括：时间上连续的至少三帧图像；
通过训练后的姿态估计模型，对所述多个目标行车图像序列进行处理，获得所述目标车辆的运动轨迹数据；其中，所述训练后的姿态估计模型通过提取到的样本行车图像序列对初始的自运动估计网络和初始的深度估计网络进行训练得到；
基于所述目标车辆的运动轨迹数据和所述目标道路的道路数据，确定所述目标车辆的行车参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标车辆的运动轨迹数据和所述目标道路的道路数据，确定所述目标车辆的行车参数，包括：
基于所述目标车辆的运动轨迹数据和所述目标道路的道路数据，计算得到所述第一参数；其中，所述第一参数包括：目标车辆的运动轨迹数据与所述目标道路的道路数据之间的相关系数、目标车辆的运动轨迹数据与目标道路的道路数据的距离的L1范数、以及目标车辆的运动轨迹数据与目标道路的道路数据的距离的L2范数；
分别对所述目标车辆的运动轨迹数据和所述目标道路的道路数据进行微分运算，获得所述目标车辆的转向角度变化数据和所述目标道路的线形角度变化数据；
基于所述目标车辆的转向角度变化数据和所述目标道路的线形角度变化数据，计算得到所述第二参数；其中，所述第二参数包括：目标车辆的转向角度变化数据与所述目标道路的线形角度变化数据之间的相关系数、目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差的L1范数、以及目标车辆的转向角度变化数据与目标道路的线形角度变化数据的角度差的L2范数。
6.根据权利要求1所述的方法，其特征在于，所述异常驾驶行为检测模型通过样本车辆的行车参数及其对应的标记数据训练得到，包括：
获得样本数据集；其中，所述样本数据集中的每一个样本数据包括：样本车辆的行车参数和标记数据；
基于所述样本数据集进行训练，获得所述异常驾驶行为检测模型。
7.根据权利要求6所述的方法，其特征在于，所述获得样本数据集，包括：
获取样本车辆的行车视频数据以及对应的样本道路的道路数据；
对所述样本车辆的行车视频数据进行预处理，提取多个样本行车图像序列；其中，所述样本行车图像序列包括：时间上连续的至少三帧图像；
通过训练后的姿态估计模型，对所述多个样本行车图像序列进行处理，获得所述样本车辆的运动轨迹数据；其中，所述训练后的姿态估计模型通过提取到的样本行车图像序列对初始的自运动估计网络和初始的深度估计网络进行训练得到；
基于所述样本车辆的运动轨迹数据和所述样本道路的道路数据，确定所述样本车辆的行车参数；
基于所述样本车辆的行车参数，获取对应的标记数据。
8.根据权利要求4或7所述的方法，其特征在于，所述训练后的姿态估计模型通过提取到的样本行车图像序列对初始的自运动估计网络和初始的深度估计网络进行训练得到，包括：
获取样本车辆的行车视频数据；
对所述样本车辆的行车视频数据进行预处理，提取多个样本行车图像序列；其中，所述样本行车图像序列包括：时间上连续的至少三帧图像；
针对每一个样本行车图像序列，执行以下训练操作：
将每一个样本行车图像序列中的中间帧图像确定为目标图像，并将每一个样本行车图像序列中除了所述中间帧图像之外的其它帧图像确定为参考图像；
将所述目标图像和所述参考图像输入初始的自运动估计网络，获得所述目标图像相对于所述参考图像的自运动数据；
将所述目标图像输入初始的深度估计网络，获得所述目标图像的深度数据；
基于所述自运动数据和所述深度数据进行图像重建，获得重建的目标图像；
基于所述重建的目标图像和所述目标图像，采用预设损失函数，调整所述初始的自运动估计网络的参数和所述初始的深度估计网络的参数；
针对下一个样本行车图像序列进行上述训练操作，直至所述预设损失函数的值低于预设阈值，获得所述训练后的姿态估计模型。
9.根据权利要求8所述的方法，其特征在于，所述初始的自运动估计网络包括：多个卷积块，其中，每一个卷积块包括：卷积层和激活层，所述多个卷积块中的第一个卷积块的输入为所述目标图像和所述参考图像，所述多个卷积块中的最后一个卷积块的输出为所述初始的自运动估计网络的输出，所述多个卷积块中的第i个卷积块的输出为所述多个卷积块中的第i+1个卷积块的输入，i为正整数。
10.根据权利要求9所述的方法，其特征在于，所述多个卷积块包括：七个卷积块，其中，所述七个卷积块中卷积层的通道数依次为16、32、64、128、256、256和256，每一个卷积块的激活层采用修正线性单元函数实现。
11.根据权利要求8所述的方法，其特征在于，所述初始的深度估计网络包括：编码器和解码器，其中，所述编码器采用残差网络实现，所述解码器包括：反卷积层，所述编码器的输入为所述参考图像，所述编码器的输出为所述解码器的输入，所述编码器的输出为所述初始的深度估计网络的输出，所述编码器和所述解码器之间添加跳跃连接进行传递。
12.根据权利要求8所述的方法，其特征在于，所述预设损失函数包括：光度一致性损失函数、结构相似性损失函数和边缘感知平滑度损失函数中的任意一种或多种的组合。
13.一种检测模型训练方法，包括：
获得样本数据集；其中，所述样本数据集中的每一个样本数据包括：样本车辆的行车参数和标记数据；
基于所述样本数据集进行训练，获得异常驾驶行为检测模型；其中，所述异常驾驶行为检测模型用于基于目标车辆的行车参数检测所述目标车辆的驾驶员是否存在异常驾驶行为。
14.一种检测装置，包括：处理器以及存储有可在处理器上运行的计算机程序的存储器，其中，所述处理器执行所述程序时实现如权利要求1至12任一项所述的异常驾驶行为检测方法的步骤，或者，如权利要求13所述的检测模型训练方法的步骤。
15.一种计算机可读存储介质，包括存储的程序，其中，在所述程序运行时实现如权利要求1至12任一项所述的异常驾驶行为检测方法的步骤，或者，如权利要求13所述的检测模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630136.7A CN114299433A (zh) | 2021-12-28 | 2021-12-28 | 异常驾驶行为检测方法、训练方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111630136.7A CN114299433A (zh) | 2021-12-28 | 2021-12-28 | 异常驾驶行为检测方法、训练方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299433A true CN114299433A (zh) | 2022-04-08 |
Family
ID=80971323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111630136.7A Pending CN114299433A (zh) | 2021-12-28 | 2021-12-28 | 异常驾驶行为检测方法、训练方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299433A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076711A (zh) * | 2023-10-12 | 2023-11-17 | 北京汇通天下物联科技有限公司 | 驾驶行为识别模型的训练方法、识别方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100000388A (ko) * | 2008-06-24 | 2010-01-06 | 현대자동차주식회사 | 차선이탈 경보시스템 |
| CN106203626A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇虎科技有限公司 | 汽车驾驶行为检测方法及装置、汽车 |
| CN111710128A (zh) * | 2020-08-19 | 2020-09-25 | 李斯特技术中心（上海）有限公司 | 车辆异常驾驶的预警方法及装置、电子设备、存储介质 |
| WO2021077760A1 (zh) * | 2019-10-23 | 2021-04-29 | 江苏智通交通科技有限公司 | 基于路口车辆合理行驶范围的异常行驶预警方法 |
| CN113688652A (zh) * | 2020-05-18 | 2021-11-23 | 魔门塔(苏州)科技有限公司 | 一种异常驾驶行为的处理方法和装置 |
-
2021
- 2021-12-28 CN CN202111630136.7A patent/CN114299433A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100000388A (ko) * | 2008-06-24 | 2010-01-06 | 현대자동차주식회사 | 차선이탈 경보시스템 |
| CN106203626A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇虎科技有限公司 | 汽车驾驶行为检测方法及装置、汽车 |
| WO2021077760A1 (zh) * | 2019-10-23 | 2021-04-29 | 江苏智通交通科技有限公司 | 基于路口车辆合理行驶范围的异常行驶预警方法 |
| CN113688652A (zh) * | 2020-05-18 | 2021-11-23 | 魔门塔(苏州)科技有限公司 | 一种异常驾驶行为的处理方法和装置 |
| CN111710128A (zh) * | 2020-08-19 | 2020-09-25 | 李斯特技术中心（上海）有限公司 | 车辆异常驾驶的预警方法及装置、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 周后飞等: "智能手机车辆异常驾驶行为检测方法", 《智能***学报》, 30 June 2016 (2016-06-30) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076711A (zh) * | 2023-10-12 | 2023-11-17 | 北京汇通天下物联科技有限公司 | 驾驶行为识别模型的训练方法、识别方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200424B2 (en) | Space-time memory network for locating target object in video content | |
| KR20200094652A (ko) | 자동 주차 시스템을 제공하기 위해 결정 지점 간의 관계 및 결정 지점에 대한 리그레션 결과를 이용하여 주차 공간을 검출하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
| CN112380921A (zh) | 一种基于车联网的道路检测方法 | |
| CN118196828A (zh) | 物体识别方法及装置 | |
| CN105628951A (zh) | 用于测量对象的速度的方法和装置 | |
| US20100310159A1 (en) | Semantic scene segmentation using random multinomial logit (rml) | |
| CN106952308A (zh) | 运动物体的位置确定方法及*** | |
| CN111242127A (zh) | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 | |
| CN112015847A (zh) | 一种障碍物的轨迹预测方法、装置、存储介质及电子设备 | |
| CN111256693B (zh) | 一种计算位姿变化方法及车载终端 | |
| CN106780727B (zh) | 一种车头检测模型重建方法及装置 | |
| KR20200094075A (ko) | 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 | |
| CN112686274A (zh) | 目标对象的检测方法及设备 | |
| GB2579262A (en) | Space-time memory network for locating target object in video content | |
| CN116433903A (zh) | 实例分割模型构建方法、***、电子设备及存储介质 | |
| CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
| CN114299433A (zh) | 异常驾驶行为检测方法、训练方法、装置及存储介质 | |
| CN111460854B (zh) | 一种远距离目标检测方法、装置及*** | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| CN117011819A (zh) | 基于特征引导注意力的车道线检测方法、装置及设备 | |
| CN116453020A (zh) | 一种双目识别方法及***、设备及介质 | |
| CN112133100B (zh) | 一种基于r-cnn的车辆检测方法 | |
| CN111091061B (zh) | 一种基于视频分析的车辆刮蹭检测方法 | |
| CN114511740A (zh) | 车辆图像分类方法、车辆轨迹还原方法、装置及设备 | |
| CN114764905A (zh) | 用于交通环境检测的方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |