CN111242015B - 一种基于运动轮廓语义图预测行车危险场景的方法 - Google Patents

一种基于运动轮廓语义图预测行车危险场景的方法 Download PDF

Info

Publication number
CN111242015B
CN111242015B CN202010026768.1A CN202010026768A CN111242015B CN 111242015 B CN111242015 B CN 111242015B CN 202010026768 A CN202010026768 A CN 202010026768A CN 111242015 B CN111242015 B CN 111242015B
Authority
CN
China
Prior art keywords
driving
layer
motion profile
event
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010026768.1A
Other languages
English (en)
Other versions
CN111242015A (zh
Inventor
高珍
欧明锋
余荣杰
许靖宁
冯巾松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010026768.1A priority Critical patent/CN111242015B/zh
Publication of CN111242015A publication Critical patent/CN111242015A/zh
Application granted granted Critical
Publication of CN111242015B publication Critical patent/CN111242015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于运动轮廓语义图预测行车危险场景的方法，包括以下步骤：步骤S1：获取驾驶视频，分割感兴趣区域；步骤S2：将感兴趣区域使用目标检测算法来检测交通对象并生成运动轮廓语义图；步骤S3：统计运动数据，加速度阈值，将运动轮廓语义图划分为高风险事件或正常事件；步骤S4：输入到随机森林分类器，根据特征重要性进行排序获得重要运动学特征；步骤S5：构建多模态深度神经网络模型；步骤S6：获得待检测驾驶视频的运动轮廓语义图和重要运动学特征并输入至多模态深度神经网络模型，预测行车是否具有风险，若有风险则向驾驶员报警。与现有技术相比，本发明具有提高行车危险场景的预测准确度、减少测量波动等优点。

Description

一种基于运动轮廓语义图预测行车危险场景的方法
技术领域
本发明涉及汽车辅助驾驶领域，尤其是涉及一种基于运动轮廓语义图预测行车危险场景的方法。
背景技术
使用深度学习的数据融合模型是交通安全性预测的新趋势，因为视频数据和运动学数据都有各自的局限性，以合理的方式融合这两类数据从而提高在场景风险预测的精度是当前研究的热点。目前已有一些关于高风险驾驶场景辨识的研究，但仍存在一定问题。有研究采用车辆速度和方向突变并结合视频的帧差异来检测危险情况，其中自动编码器比较视频的帧差异的方式较适用于拐角危险情况，在一般情况准确率仅为71％，不够理想。另外有研究基于运动学数据使用了经典机器学习分类器，包括kNN、随机森林、SVM、决策树、高斯邻域和AdaBoost，但测试结果的精度具有波动性，受预测范围的影响很大。此外，还有研究提出基于驾驶前向视频创建Motion图像，通过轨迹进行TTC计算或者其他信息的捕捉来预测风险，该方法需要采集大量的行车视频，用Motion图像将庞大的视频数据高效压缩，才能有效提取运动特征来判断风险。
发明内容
本发明的目的就是为了克服上述现有技术存在的准确率较低、测量精度波动较大的缺陷而提供一种基于运动轮廓语义图预测行车危险场景的方法。
本发明的目的可以通过以下技术方案来实现：
一种基于运动轮廓语义图预测行车危险场景的方法，包括以下步骤：
步骤S1：获取车辆的驾驶视频，分割所述驾驶视频的感兴趣(ROI)区域；
步骤S2：将所述驾驶视频的感兴趣区域使用目标检测算法来检测交通对象并生成包含语义的运动轮廓语义图；
步骤S3：统计车辆的运动数据，根据统计结果设置加速度阈值将所述运动轮廓语义图划分为高风险事件或正常事件；
步骤S4：将所述高风险事件或正常事件输入到随机森林分类器，根据特征重要性对分类结果进行排序，获得重要运动学特征；
步骤S5：根据所述运动轮廓语义图和重要运动学特征，构建多模态深度神经网络模型；
步骤S6：对待检测驾驶视频执行步骤S1-S4，获得所述待检测驾驶视频的运动轮廓语义图和重要运动学特征并输入至所述多模态深度神经网络模型，预测行车是否具有风险，若有风险则向驾驶员报警。
步骤S1中分割所述驾驶视频的感兴趣区域具体过程如下：
步骤S101：通过高斯滤波器滤除所述驾驶视频中不相关的图像纹理，然后通过边缘检测算法提取所述驾驶视频中道路的轮廓，具体包括：
步骤S1011：将彩色的驾驶视频的视频帧图转为灰度图，具体如下：
f＝0.299*R+0.587*G+0.114*B
其中，R、G、B分别代表RGB三通道每个通道的矩阵；
步骤S1012：通过高斯滤波器对灰度图进行过滤，具体如下：
Figure BDA0002362750200000021
其中，f(m，n)代表位置(m，n)处的原始图像灰度值，g(m，n)代表经过高斯滤波后的灰度值；
步骤S1013：通过Sobel算子计算经高斯滤波器过滤后的灰度图中相应像素的梯度强度和梯度方向，具体如下：
Figure BDA0002362750200000022
Figure BDA0002362750200000023
Figure BDA0002362750200000024
Figure BDA0002362750200000025
Figure BDA0002362750200000031
Figure BDA0002362750200000032
其中，Gx(m，n)为横向的梯度强度，Gy(m，n)为纵向的梯度强度，Sx为横向的Sobel算子，Sy为纵向的Sobel算子，G(m，n)为梯度强度，θ(m，n)为梯度方向；
步骤S1014：将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制，即设置为0；
步骤S1015：设定上阈值和下阈值vmin和vmax，其中大于vmax的像素都被检测为边缘，而低于vmin的都被检测为非边缘。对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘，从而获得对应的二值图(边缘点灰度值为1，非边缘点灰度值为0)。
步骤S102：通过霍夫线变换来检测所述道路的轮廓中直线的变换，在霍夫空间中，执行累加器以计算映射到线的点数，如果在霍夫空间中有足够的映射点，则检测到直线；
步骤S103：在霍夫线变换之后，可以在图像中检测到两条以上的线。由于只需要两条线来计算消失点的位置，所以将这些线分为左侧和右侧两组，计算每组的平均参数，从平均参数获得两条交叉线，计算两条交叉线的交叉点坐标为xd，yd即消失点；
步骤S104：以消失点的纵坐标作yd作为ROI区域的上边界yu，以检测到的两组线的起点中最大的纵坐标作为ROI区域的下边界yl，ROI区域的宽度即为驾驶视频的宽度。
步骤S2中生成运动轮廓语义图具体过程如下：
步骤S201：对所述驾驶视频的每一帧图像的感兴趣区域进行均值化处理，转化为一行像素，具体过程为：
步骤S2011：获取驾驶视频的每帧画面中纵向[yl，yu]、横向[0，w]的矩形范围内的RGB像素值，即(yu-yl，w，3)三维整数矩阵，w为视频宽度；
步骤S2012：对矩形范围内RGB中每个通道，取纵向像素的均值作为一个点的像素值，即取(yu-yl，w，3)三维整数矩阵的第一维的平均值，排列成1×w的一行像素，即(1，w，3)矩阵；
步骤S202：将每帧获得的一行像素矩阵，按时间顺序进行拼接，形成(fps×(tb-ta)，w，3)矩阵，fps为视频每秒帧数，根据像素矩阵生成彩色的运动轮廓图；
步骤S203：通过实时对象检测框架对所述运动轮廓图进行识别，判断识别出的交通环境中的交通对象是否位于感兴趣区域内，若是则按照所述交通对象在驾车视频对于的帧画面中的横向位置，将所述交通对象以有色像素线段的形式标在所述运动轮廓图中相应帧线的位置上，形成运动轮廓语义图，具体过程为：
步骤S2031：对tf时刻视频帧画面，使用YOLO实时对象检测框架识别出画面中的所有交通对象，并获得其位置、大小、类型、置信度四个信息；
步骤S2032：筛选所有交通对象中置信度大于ct，且中心坐标位于ROI区域内的交通对象，交通对象包括行人和车辆；
步骤S2033：计算出驾驶视频的视频帧中每个交通对象对应的像素线段位置，具体如下：
Figure BDA0002362750200000041
Figure BDA0002362750200000042
其中，[x1，x2]为交通对象对应的像素线段位置，xc，wo分别为YOLO检测出对象的中心坐标及宽度，w为视频画面宽度；
步骤S2034：在运动轮廓图中的tf对应的像素行(即第tf行)，将不同类类型对象的像素线段[x1，x2]设定为不同的颜色，若对象为车辆，[x1，x2]范围内的像素设定为红色；若该对象为行人，则设定为绿色；
最终形成包含运动对象语义特征的运动轮廓语义图，图中对象的线段随着时间排列形成连续轨迹，轨迹的宽窄程度反映了交通对象距离本车的相对纵向位置。轨迹越宽，代表交通对象越近，对应的危险系数越高。
步骤S3的具体过程如下：
步骤S301：车辆运动学特征变量多数符合正态分布，通过正态分布的3σ原则来检测和过滤车辆运动数据的异常值，即将一条行车记录的每个非空运动学特征变量中进行判断，符合条件的为异常值，具体为：
|x-μ|＞3σ
其中，x为运动学参数，μ为x的平均值，σ为x的标准差；
并通过线性插值法填补缺失值，具体为：
Figure BDA0002362750200000051
其中，
Figure BDA0002362750200000052
是缺失值，di-1为缺失值的上一个非空最邻近值，di+1是缺失值的下一个非空最邻近值，n是记录总数，ti-1，ti，ti+1分别为di-1，
Figure BDA0002362750200000053
di+1对应的时刻；
步骤S302：提取自然驾驶数据中的车辆加速度数据a，绘制并观察分布曲线，确定明显减速行为的加速度阈值，记为THd；
步骤S303：扫描行车时序数据，根据加速度条件a≤THd采集紧急刹车时刻td，对每一时刻td，取前d1到d2秒的时间片段，组成潜在高风险事件片段ec，结合视频校核，排除因数据采集错误带来的误报，将nconflict_candidate个高风险事件片段组成高风险事件预备集合
Figure BDA0002362750200000054
为了避免事件重叠，确保相邻的紧急刹车时刻满足td[i+1]-td[i]≥|d1-d2|。
步骤S304：从剩下的行车时序数据中以|d1-d2|为时间窗口，随机采样出nnormal_candidate个正常非冲突事件作为正常事件预备集
Figure BDA0002362750200000055
步骤S4的具体过程如下：
步骤S401：将一个包含ml条记录，每条记录有多个运动学特征的事件，提取出n个运动学特征{m1，…，mn}作为该样本的重要特征，以事件分类作为该样本的分类标签值，生成样本集合；
步骤S402：通过抽样放回的方法从样本集合中选取ns个样本作为训练集，重复q次生成q个训练集{S1，…，Sq}；
步骤S403：以每个训练集作为一棵决策树的输入，构建包含q棵CART决策树的随机森林{T1，…，Tq}，其中对于Ti上的每一个节点随机不重复的选择mnode个特征，利用这mnode个特征对Si进行划分，并使用使基尼指数最小化作为标准获得最佳划分，从而训练出q棵CART决策树；
步骤S404：根据特征重要性对分类结果进行排序，获得重要运动学特征，具体为：
步骤S4041：计算出{m1，…，mn}中每个运动学特征mj在所有决策树中节点***不纯度的平均改变量Ij(即重要性)，节点o的不纯度使用基尼指数来衡量，具体如下：
Figure BDA0002362750200000061
其中，GIo为节点o的不纯度，k表示类别(高风险、正常)，pok表示节点o中类别k所占的比例，pok′表示非类别k所占的比例；
步骤S4042：计算mj在第i棵树的重要性Iji，公式如下：
Figure BDA0002362750200000062
其中，O为第i棵树的包含运动学特征mj的节点集合，GIjio为第i棵树的节点o的基尼指数，Gjiol，Gjior为节点o分支后的左右两个新节点的基尼指数；
步骤S4043：计算mj在所有树中的重要性Ij，公式如下：
Figure BDA0002362750200000063
其中，q为CART决策树的数量；
步骤S4044：获得所有运动学特征的重要性集合{I1，…，IX}后，将重要性做归一化处理，具体如下：
Figure BDA0002362750200000064
将完成归一化处理的特征的重要性集合从大到小排序，获得重要性排名前nimmportant的特征
Figure BDA0002362750200000065
步骤S405：将正常事件预备集
Figure BDA0002362750200000066
和高风险事件预备集合
Figure BDA0002362750200000067
的每个事件使用该事件中的上述nimportant个运动学特征来代表，即每个事件的为
Figure BDA0002362750200000068
其中id为事件编号，label为事件类型，形成正常事件集
Figure BDA0002362750200000069
和高风险事件集
Figure BDA00023627502000000610
多模态深度神经网络模型具体包括：
输入层，将运动轮廓语义图转化为矩阵m1；
Conv1层，设定卷积层参数，包括过滤器个数、大小及步长和激活函数，输入m1得到矩阵m2；
Pooll层，设定池化层参数，包括过滤器大小及类型和步长等，输入m2进行最大池化得到矩阵m3；
Conv2层，设定卷积层参数，输入m3经过ReLU激活函数得到矩阵m4；
Pool2层，设定池化层参数，输入m4进行最大池化得到矩阵m5；
Conv3层，设定卷积层参数，输入m5经过ReLU激活函数得到矩阵m6；
Conv4层，设定卷积层参数，输入m6经过ReLU激活函数得到矩阵m7；
Conv5层，设定卷积层参数，输入m7经过ReLU激活函数得到矩阵m8；
Pool5层，设定池化层参数，输入m8进行最大池化得到矩阵m9；
FC6平滑层，将输入的矩阵m9平滑为一维矩阵m10；
Drop6层，输入矩阵m10，以一定比例的Dropout概率丢弃部分神经节点，防止过拟合，并得到矩阵m11；
FC7全连接层，输入矩阵m11，输出r×1的一维矩阵m12；
将m12与fkinematic合并，即[fkinematic m12]作为FC8全连接层的输入，输出为2×1的矩阵，该矩阵中的两个值对应着属于有风险类别和属于无风险类别的概率的预测值，接着使用Softmax处理预测值使两类的概率和为1。
步骤S5的具体过程如下：
步骤S501：将步骤S4划分出正常事件集
Figure BDA0002362750200000071
和高风险事件集
Figure BDA0002362750200000072
分别以2∶1划分为训练集Θtrain测试集Θtest；
步骤S502：训练多模态深度神经网络模型，经过nepoch个epoch，模型的损失值收敛到较小值，停止训练，保存最终的多模态深度神经网络模型MDCNN；
步骤S503：对测试集合Θtest(包含ec个正常事件和en个高风险事件)中的每个事件调用训练好的MDCNN模型，获得其预测的分类值，统计得到模型预测出的正常事件
Figure BDA0002362750200000073
和冲突事件
Figure BDA0002362750200000074
根据测试集的预测结果，生成如表1所述的混淆矩阵：
表1混淆矩阵
Figure BDA0002362750200000075
根据混淆矩阵计算得到模型的灵敏度Isensitivity，特异度Ispecificity，公式如下：
Isensitivity＝TP/(TP+FN)
Ispecificity＝TN/(FP+TN)
并根据Isensitivity和Ispecificity生成ROC曲线，用于评估模型预测效果。
与现有技术相比，本发明具有以下有益效果：
1.本发明融合视频数据与运动学数据进行风险预测，模型准确度达到91.6％，远优于其他单源数据模型。
2.本发明使用实时对象检测框架对驾驶视频的帧画面进行运动物体检测，在视频生成的运动轮廓图中添加交通对象轨迹的语义信息，以有色线段的形式重点突出机动车、非机动车、行人等潜在冲突对象的轨迹，大量减少交通环境中静态要素的轨迹对预测结果的干扰。
3.本发明使用了随机森林来筛选重要的运动学特征变量，提高了多模态深度神经网络模型的精准度。
附图说明
图1为本发明的流程示意图；
图2为本发明由边缘检测提取出的道路轮廓的示意图；
图3为本发明基于前向驾驶视频的感兴趣区域的示意图；
图4为本发明前向驾驶视频的感兴趣区域转换为运动轮廓图的示意图；
图5(a)为本发明基于YOLO目标识别后的正常事件的运动轮廓语义图；
图5(b)为本发明基于YOLO目标识别后且过滤噪声的运动轮廓语义图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，一种基于运动轮廓语义图预测行车危险场景的方法，包括以下步骤：
步骤S1：获取车辆的驾驶视频，分割驾驶视频的感兴趣(ROI)区域；
步骤S2：将驾驶视频的感兴趣区域使用目标检测算法来检测交通对象并生成包含语义的运动轮廓语义图；
步骤S3：统计车辆的运动数据，根据统计结果设置加速度阈值将运动轮廓语义图划分为高风险事件或正常事件；
步骤S4：将高风险事件或正常事件输入到随机森林分类器，根据特征重要性对分类结果进行排序，获得重要运动学特征；
步骤S5：根据运动轮廓语义图和重要运动学特征，构建多模态深度神经网络模型；
步骤S6：对待检测驾驶视频执行步骤S1-S4，获得待检测驾驶视频的运动轮廓语义图和重要运动学特征并输入至多模态深度神经网络模型，预测行车是否具有风险，若有风险则向驾驶员报警。
步骤S1中分割驾驶视频的感兴趣区域具体过程如下：
步骤S101：如图2所示，通过高斯滤波器滤除驾驶视频中不相关的图像纹理，然后通过边缘检测算法提取驾驶视频中道路的轮廓，具体包括：
步骤S1011：将彩色的驾驶视频的视频帧图转为灰度图，具体如下：
f＝0.299*R+0.587*G+0.114*B
其中，R、G、B分别代表RGB三通道每个通道的矩阵；
步骤S1012：通过高斯滤波器对灰度图进行过滤，具体如下：
Figure BDA0002362750200000091
其中，f(m，n)代表位置(m，n)处的原始图像灰度值，g(m，n)代表经过高斯滤波后的灰度值；
步骤S1013：通过Sobel算子计算经高斯滤波器过滤后的灰度图中相应像素的梯度强度和梯度方向，具体如下：
Figure BDA0002362750200000092
Figure BDA0002362750200000093
Figure BDA0002362750200000094
Figure BDA0002362750200000095
Figure BDA0002362750200000096
Figure BDA0002362750200000097
其中，Gx(m，n)为横向的梯度强度，Gy(m，n)为纵向的梯度强度，Sx为横向的Sobel算子，Sy为纵向的Sobel算子，G(m，n)为梯度强度，θ(m，n)为梯度方向；
步骤S1014：将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制，即设置为0；
步骤S1015：设定上阈值和下阈值vmin和vmax，其中大于vmax的像素都被检测为边缘，而低于vmin的都被检测为非边缘。对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘，从而获得对应的二值图(边缘点灰度值为1，非边缘点灰度值为0)。
步骤S102：通过霍夫线变换来检测道路的轮廓中直线的变换，在霍夫空间中，执行累加器以计算映射到线的点数，如果在霍夫空间中有足够的映射点，则检测到直线；
步骤S103：在霍夫线变换之后，可以在图像中检测到两条以上的线。由于只需要两条线来计算消失点的位置，所以将这些线分为左侧和右侧两组，计算每组的平均参数，从平均参数获得两条交叉线，计算两条交叉线的交叉点坐标为xd，yd即消失点；
步骤S104：以消失点的纵坐标作yd作为ROI区域的上边界yu，以检测到的两组线的起点中最大的纵坐标作为ROI区域的下边界yl，ROI区域的宽度即为驾驶视频的宽度。
步骤S2中生成运动轮廓语义图具体过程如下：
步骤S201：对驾驶视频的每一帧图像的感兴趣区域进行均值化处理，转化为一行像素，具体过程为：
步骤S2011：获取驾驶视频的每帧画面中纵向[yl，yu]、横向[0，w]的矩形范围内的RGB像素值，即(yu-yl，w，3)三维整数矩阵，w为视频宽度；
步骤S2012：对矩形范围内RGB中每个通道，取纵向像素的均值作为一个点的像素值，即取(yu-yl，w，3)三维整数矩阵的第一维的平均值，排列成1×w的一行像素，即(1，w，3)矩阵；
步骤S202：将每帧获得的一行像素矩阵，按时间顺序进行拼接，形成(fps×(tb-ta)，w，3)矩阵，fps为视频每秒帧数，根据像素矩阵生成彩色的运动轮廓图；
步骤S203：，如图3所示，通过实时对象检测框架对运动轮廓图进行识别，判断识别出的交通环境中的交通对象是否位于感兴趣区域内，若是则按照交通对象在驾车视频对于的帧画面中的横向位置，将交通对象以有色像素线段的形式标在运动轮廓图中相应帧线的位置上，形成运动轮廓语义图，具体过程为：
步骤S2031：对tf时刻视频帧画面，使用YOLO实时对象检测框架识别出画面中的所有交通对象，并获得其位置、大小、类型、置信度四个信息；
步骤S2032：筛选所有交通对象中置信度大于0.5，且中心坐标位于ROI区域内的交通对象，交通对象包括行人和车辆；
步骤S2033：计算出驾驶视频的视频帧中每个交通对象对应的像素线段位置，具体如下：
Figure BDA0002362750200000111
Figure BDA0002362750200000112
其中，[x1，x2]为交通对象对应的像素线段位置，xc，wo分别为YOLO检测出对象的中心坐标及宽度，w为视频画面宽度；
步骤S2034：如图4所示，在运动轮廓图中的tf对应的像素行(即第tf行)，将不同类类型对象的像素线段[x1，x2]设定为不同的颜色，若对象为车辆，[x1，x2]范围内的像素设定为红色；若该对象为行人，则设定为绿色；
如图5(a)和图5(b)所示，最终形成包含运动对象语义特征的运动轮廓语义图，图中对象的线段随着时间排列形成连续轨迹，轨迹的宽窄程度反映了交通对象距离本车的相对纵向位置。轨迹越宽，代表交通对象越近，对应的危险系数越高。
步骤S3的具体过程如下：
步骤S301：车辆运动学特征变量多数符合正态分布，通过正态分布的3σ原则来检测和过滤车辆运动数据的异常值，即将一条行车记录的每个非空运动学特征变量中进行判断，符合条件的为异常值，具体为：
|x-μ|＞3σ
其中，x为运动学参数，μ为x的平均值，σ为x的标准差；
并通过线性插值法填补缺失值，具体为：
Figure BDA0002362750200000113
其中，
Figure BDA0002362750200000114
是缺失值，di-1为缺失值的上一个非空最邻近值，di+1是缺失值的下一个非空最邻近值，n是记录总数，ti-1，ti，ti+1分别为di-1，
Figure BDA0002362750200000121
di+1对应的时刻；
步骤S302：提取自然驾驶数据中的车辆加速度数据a，绘制并观察分布曲线，确定明显减速行为的加速度阈值-0.3；
步骤S303：扫描行车时序数据，根据加速度条件a≤-0.3采集紧急刹车时刻td，对每一时刻td，取前8到1秒的时间片段，组成潜在高风险事件片段ec，结合视频校核，排除因数据采集错误带来的误报，将179个事件片段组成高风险事件预备集合
Figure BDA0002362750200000123
为了避免事件重叠，确保相邻的紧急刹车时刻满足条件：td[i+1]-td[i]≥7。
步骤S304：从剩下的行车时序数据中以7秒为时间窗口，随机采样出1055个正常非冲突事件作为正常事件预备集
Figure BDA0002362750200000124
步骤S4的具体过程如下：
步骤S401：将一个包含ml条记录，每条记录有10个运动学特征的事件，提取表2中的26个特征运动学特征作为该样本的重要特征，表2具体如下所示：
表2事件样本字段说明表
Figure BDA0002362750200000122
Figure BDA0002362750200000131
以事件分类作为该样本的分类标签值，生成样本集合；
步骤S402：通过抽样放回的方法选取616个样本作为训练集(其中高风险事件的样本89个，正常事件的样本527)，重复1000次生成1000个训练集{S1，…，S1000}；
步骤S403：以每个训练集作为一棵决策树的输入，构建包含1000棵CART决策树的随机森林{T1，…，T1000}，其中对于Ti上的每一个节点随机不重复的选择mnode＝2个特征，利用这2个特征对Si进行划分，并使用使基尼指数最小化作为划分标准获得最佳的划分，从而训练出1000棵CART决策树；
步骤S404：根据特征重要性对分类结果进行排序，获得重要运动学特征，具体为：
步骤S4041：计算出26个运动学特征中每个运动学特征mj在所有决策树中节点***不纯度的平均改变量Ij(即重要性)，节点o的不纯度使用基尼指数来衡量，具体如下：
Figure BDA0002362750200000132
其中，GIo为节点o的不纯度，k表示类别(高风险、正常)，pok表示节点o中类别k所占的比例，pok′表示非类别k所占的比例；
步骤S4042：计算mj在第i棵树的重要性Iji，公式如下：
Figure BDA0002362750200000133
其中，O为第i棵树的包含运动学特征mj的节点集合，GIjio为第i棵树的节点o的基尼指数，Gjiol，Gjior为节点o分支后的左右两个新节点的基尼指数；
步骤S4043：计算mj在所有树中的重要性Ij，公式如下：
Figure BDA0002362750200000141
其中，q为CART决策树的数量；
步骤S4044：获得所有运动学特征的重要性集合{I1，…，IX}后，将重要性做归一化处理，具体如下：
Figure BDA0002362750200000142
将完成归一化处理的特征的重要性集合从大到小排序，获得重要性排名前5的特征如表3所示：
表3特征重要性排序表
特征变量名 描述
ACCEL_MEAN 风险时刻前8秒至前2秒内加速度平均值
ACCEL_MAX 风险时刻前8秒至前2秒内加速度最大值
ACCEL_MIN 风险时刻前8秒至前2秒内加速度最小值
ACCEL_5S 风险时刻前5秒时刻的加速度
ACCEL_6S 风险时刻前6秒时刻的加速度
；
步骤S405：将正常事件预备集
Figure BDA0002362750200000143
和高风险事件预备集合
Figure BDA0002362750200000144
的每个事件使用该事件中的上述5个特征来代表，即每个事件的为{id，Accel_mean，Accel_max，Accel_min，Accel_5s，Accel_6s，label}其中id为事件的编号，label为事件的类型，形成正常事件集
Figure BDA0002362750200000145
和高风险事件集
Figure BDA0002362750200000146
多模态深度神经网络模型具体包括：
输入层，将运动轮廓语义图转化为矩阵m1；
Conv1层，设定卷积层参数，包括过滤器个数、大小及步长和激活函数，输入m1得到矩阵m2；
Pool1层，设定池化层参数，包括过滤器大小及类型和步长等，输入m2进行最大池化得到矩阵m3；
Conv2层，设定卷积层参数，输入m3经过ReLU激活函数得到矩阵m4；
Pool2层，设定池化层参数，输入m4进行最大池化得到矩阵m5；
Conv3层，设定卷积层参数，输入m5经过ReLU激活函数得到矩阵m6；
Conv4层，设定卷积层参数，输入m6经过ReLU激活函数得到矩阵m7；
Conv5层，设定卷积层参数，输入m7经过ReLU激活函数得到矩阵m8；
Pool5层，设定池化层参数，输入m8进行最大池化得到矩阵m9；
FC6平滑层，将输入的矩阵m9平滑为一维矩阵m10；
Drop6层，输入矩阵m10，以一定比例的Dropout概率丢弃部分神经节点，防止过拟合，并得到矩阵m11；
FC7全连接层，输入矩阵m11，输出r×1的一维矩阵m12；
将m12与fkinematic合并，即[fkinematic m12]作为FC8全连接层的输入，输出为2×1的矩阵，该矩阵中的两个值对应着属于有风险类别和属于无风险类别的概率的预测值，接着使用Softmax处理预测值使两类的概率和为1，多模态深度神经网络模型中的矩阵变换具体如表1所示：
表1多模态网络结构表
层 输入 输出
Conv1 224×224×3 54×54×96
Pool1 54×54×96 28×28×96
Conv2 28×28×96 28×28×256
Pool2 28×28×256 13×13×256
Conv3 13×13×256 13×13×384
Conv4 13×13×384 13×13×384
Conv5 13×13×384 13×13×256
Pool5 13×13×256 6×6×256
FC6 6×6×256 4096×1
Drop6 4096×1 2048×1
FC7 2048×1 5×1
FC8 10×1(5×1+5×1) 2×1
步骤S5的具体过程如下：
步骤S501：将步骤S4划分出正常事件集
Figure BDA0002362750200000151
和高风险事件集
Figure BDA0002362750200000152
分别以2∶1划分为训练集Θtrain测试集Θtest；
步骤S502：训练多模态深度神经网络模型，经过nepoch个epoch，模型的损失值收敛到较小值，停止训练，保存最终的多模态深度神经网络模型MDCNN；
步骤S503：对测试集合Θtest(包含ec个正常事件和en个高风险事件)中的每个事件调用训练好的MDCNN模型，获得其预测的分类值，统计得到模型预测出的正常事件
Figure BDA0002362750200000161
和冲突事件
Figure BDA0002362750200000162
根据测试集的预测结果，生成如表2的混淆矩阵：
表2混淆矩阵
Figure BDA0002362750200000163
根据混淆矩阵计算得到模型的灵敏度Isensitivity，特异度Ispecificity，公式如下：
Isensitivity＝TP/(TP+FN)
Ispecificity＝TN/(FP+TN)
并根据Isensitivity和Ispeciicity生成ROC曲线，用于评估模型预测效果。多模态深度神经网络模型对应的ROC曲线的AUC为0.9，决策树模型的AUC为0.56，随机森林模型的AUC为0.75，贝叶斯网络模型的AUC为0.69，逻辑回归模型的AUC为0.69。对比之下，多模态深度神经网络模型在精度和真实性方面均优于其他模型。
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，包括以下步骤：
步骤S1：获取车辆的驾驶视频，分割所述驾驶视频的感兴趣区域；
步骤S2：将所述驾驶视频的感兴趣区域使用目标检测算法来检测交通对象并生成包含语义的运动轮廓语义图；
步骤S3：统计车辆的运动数据，根据统计结果设置加速度阈值将所述运动轮廓语义图划分为高风险事件或正常事件；
步骤S4：将所述高风险事件或正常事件输入到随机森林分类器，根据特征重要性对分类结果进行排序，获得重要运动学特征；
步骤S5：根据所述运动轮廓语义图和重要运动学特征，构建多模态深度神经网络模型；
步骤S6：对待检测驾驶视频执行步骤S1-S4，获得所述待检测驾驶视频的运动轮廓语义图和重要运动学特征并输入至所述多模态深度神经网络模型，预测行车是否具有风险，若有风险则向驾驶员报警；
所述步骤S2中生成运动轮廓语义图具体过程如下：
步骤S201：对所述驾驶视频的每一帧图像的感兴趣区域进行均值化处理，转化为一行像素；
步骤S202：将所有的所述一行像素按时间顺序拼接在一起形成运动轮廓图；
步骤S203：通过实时对象检测框架对所述运动轮廓图进行识别，判断识别出的交通环境中的交通对象是否位于感兴趣区域内，若是则按照所述交通对象在驾车视频对于的帧画面中的横向位置，将所述交通对象以有色像素线段的形式标在所述运动轮廓图中相应帧线的位置上，形成运动轮廓语义图；
所述特征重要性通过所述高风险事件或正常事件相应特征的基尼指数决定；
步骤S4的具体过程如下：
步骤S401：将一个包含ml条记录，每条记录有多个运动学特征的事件，提取出n个运动学特征{m1,…,mn}作为该样本的重要特征，以事件分类作为该样本的分类标签值，生成样本集合；
步骤S402：通过抽样放回的方法从样本集合中选取ns个样本作为训练集，重复q次生成q个训练集{S1,…,Sq}；
步骤S403：以每个训练集作为一棵决策树的输入，构建包含q棵CART决策树的随机森林{T1,…,Tq}，其中对于Ti上的每一个节点随机不重复的选择mnode个特征，利用这mnode个特征对Si进行划分，并使用使基尼指数最小化作为标准获得最佳划分，从而训练出q棵CART决策树；
步骤S404：根据特征重要性对分类结果进行排序，获得重要运动学特征，具体为：
步骤S4041：计算出{m1,…,mn}中每个运动学特征mj在所有决策树中节点***不纯度的平均改变量Ij，即重要性，节点o的不纯度使用基尼指数来衡量，具体如下：
Figure FDA0004136855640000021
其中，GIo为节点o的不纯度，k表示类别：高风险、正常，pok表示节点o中类别k所占的比例，pok′表示非类别k所占的比例；
步骤S4042：计算mj在第i棵树的重要性Iji，公式如下：
Iji＝∑o∈OIjio＝∑o∈O(GIjio-Gjiol-Gjior)
其中，O为第i棵树的包含运动学特征mj的节点集合，GIjio为第i棵树的节点o的基尼指数，Gjiol,Gjior为节点o分支后的左右两个新节点的基尼指数；
步骤S4043：计算mj在所有树中的重要性Ij，公式如下：
Figure FDA0004136855640000022
其中，q为CART决策树的数量；
步骤S4044：获得所有运动学特征的重要性集合{I1,…,IX}后，将重要性做归一化处理，具体如下：
Figure FDA0004136855640000023
将完成归一化处理的特征的重要性集合从大到小排序,获得重要性排名前nimportant的特征
Figure FDA0004136855640000026
步骤S405：将正常事件预备集
Figure FDA0004136855640000024
和高风险事件预备集合
Figure FDA0004136855640000025
的每个事件使用该事件中的上述nimportant个运动学特征来代表，即每个事件的为
Figure FDA0004136855640000031
其中id为事件编号，label为事件类型，形成正常事件集
Figure FDA0004136855640000032
和高风险事件集
Figure FDA0004136855640000033
多模态深度神经网络模型具体包括：
输入层，将运动轮廓语义图转化为矩阵m1；
Conv1层，设定卷积层参数，包括过滤器个数、大小及步长和激活函数，输入m1得到矩阵m2；
Pool1层，设定池化层参数，包括过滤器大小及类型和步长等，输入m2进行最大池化得到矩阵m3；
Conv2层，设定卷积层参数，输入m3经过ReLU激活函数得到矩阵m4；
Pool2层，设定池化层参数，输入m4进行最大池化得到矩阵m5；
Conv3层，设定卷积层参数，输入m5经过ReLU激活函数得到矩阵m6；
Conv4层，设定卷积层参数，输入m6经过ReLU激活函数得到矩阵m7；
Conv5层，设定卷积层参数，输入m7经过ReLU激活函数得到矩阵m8；
Pool5层，设定池化层参数，输入m8进行最大池化得到矩阵m9；
FC6平滑层，将输入的矩阵m9平滑为一维矩阵m10；
Drop6层，输入矩阵m10，以一定比例的Dropout概率丢弃部分神经节点，防止过拟合，并得到矩阵m11；
FC7全连接层，输入矩阵m11，输出r×1的一维矩阵m12；
将m12与fkinematic合并，即[fkinematicm12]作为FC8全连接层的输入，输出为2×1的矩阵，该矩阵中的两个值对应着属于有风险类别和属于无风险类别的概率的预测值，接着使用Softmax处理预测值使两类的概率和为1。
2.根据权利要求1所述的一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，所述感兴趣区域包括上边界和下边界。
3.根据权利要求2所述的一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，所述步骤S1中分割所述驾驶视频的感兴趣区域具体过程如下：
步骤S101：通过高斯滤波器滤除所述驾驶视频中不相关的图像纹理，然后通过边缘检测算法提取所述驾驶视频中道路的轮廓；
步骤S102：通过霍夫线变换来检测所述道路的轮廓中直线的变换；
步骤S103：对检测到的多组直线计算交叉线，根据所述交叉线得到交叉点以确定所述感兴趣区域的上边界，根据所述多组直线的起点确定所述感兴趣区域的下边界。
4.根据权利要求1所述的一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，所述交通对象包括行人和车辆。
5.根据权利要求1所述的一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，所述步骤S3的具体过程如下：
步骤S301：通过正态分布的3σ原则来检测和过滤车辆运动数据的异常值，并通过线性插值法填补缺失值；
步骤S302：根据完成过滤和填补的车辆运动数据，获取相应的加速度分布，判断车辆规避行为，根据判断结果设置危险驾驶事件的加速度阈值；
步骤S303：根据所述加速度阈值提取潜在危险驾驶事件；
步骤S304：结合所述驾驶视频的校核结果，在所述潜在危险驾驶事件上标定出正常事件集和冲突事件集。
6.根据权利要求1所述的一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，所述多模态深度神经网络模型包括视觉数据处理层、运动学数据处理层、数据融合层和预测层。
CN202010026768.1A 2020-01-10 2020-01-10 一种基于运动轮廓语义图预测行车危险场景的方法 Active CN111242015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010026768.1A CN111242015B (zh) 2020-01-10 2020-01-10 一种基于运动轮廓语义图预测行车危险场景的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010026768.1A CN111242015B (zh) 2020-01-10 2020-01-10 一种基于运动轮廓语义图预测行车危险场景的方法

Publications (2)

Publication Number Publication Date
CN111242015A CN111242015A (zh) 2020-06-05
CN111242015B true CN111242015B (zh) 2023-05-02

Family

ID=70872597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026768.1A Active CN111242015B (zh) 2020-01-10 2020-01-10 一种基于运动轮廓语义图预测行车危险场景的方法

Country Status (1)

Country Link
CN (1) CN111242015B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767851A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 突发事件的监控方法、装置、电子设备和介质
CN111767850A (zh) * 2020-06-29 2020-10-13 北京百度网讯科技有限公司 突发事件的监控方法、装置、电子设备和介质
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN111950478B (zh) * 2020-08-17 2021-07-23 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
CN112115819B (zh) * 2020-09-03 2022-09-20 同济大学 基于目标检测及tet扩展指标的行车危险场景识别方法
CN112132193A (zh) * 2020-09-10 2020-12-25 中国科学院深圳先进技术研究院 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
CN112084968B (zh) * 2020-09-11 2023-05-26 清华大学 基于空中监控视频的语义表征方法、***及电子设备
CN112396093B (zh) * 2020-10-29 2022-10-14 中国汽车技术研究中心有限公司 驾驶场景分类方法、装置、设备及可读存储介质
CN117724137A (zh) * 2023-11-21 2024-03-19 江苏北斗星通汽车电子有限公司 一种基于多模态传感器的汽车事故自动检测***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013487A1 (zh) * 2011-07-26 2013-01-31 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296796B2 (en) * 2016-04-06 2019-05-21 Nec Corporation Video capturing device for predicting special driving situations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013487A1 (zh) * 2011-07-26 2013-01-31 华南理工大学 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rongjie Yu等.Driving Style Analyses for Car-sharing Users Utilizing Low-frequency Trajectory Data.2019 5th International Conference on Transportation Information and Safety (ICTIS).2019,927-933. *
高珍等.连续数据环境下的道路交通事故风险预测模型.中国公路学报.2018,(第04期),284-291. *

Also Published As

Publication number Publication date
CN111242015A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242015B (zh) 一种基于运动轮廓语义图预测行车危险场景的方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及***
CN113421269B (zh) 一种基于双分支深度卷积神经网络的实时语义分割方法
CN104036323B (zh) 一种基于卷积神经网络的车辆检测方法
CN110210475B (zh) 一种非二值化和边缘检测的车牌字符图像分割方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN111860274A (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN112818871B (zh) 一种基于半分组卷积的全融合神经网络的目标检测方法
CN113724286A (zh) 显著性目标的检测方法、检测设备及计算机可读存储介质
CN104915642A (zh) 前方车辆测距方法及装置
CN116383685A (zh) 一种基于时空交互图注意力网络的车辆变道检测方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别***及方法
CN103177248B (zh) 一种基于视觉的快速行人检测方法
CN107832732B (zh) 基于三叉树遍历的车道线检测方法
Dorrani Traffic Scene Analysis and Classification using Deep Learning
Muthalagu et al. Object and Lane Detection Technique for Autonomous Car Using Machine Learning Approach
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN116434203A (zh) 考虑驾驶人语言因素的愤怒驾驶状态识别方法
CN115761697A (zh) 一种基于改进yolov4的辅助智能驾驶目标检测方法
CN114372556A (zh) 一种基于轻量级多模态神经网络的行车危险场景辨识方法
CN111310607B (zh) 基于计算机视觉和人工智能的公路安全风险识别方法及***
CN114758326A (zh) 一种交通岗位工作行为状态实时检测***
Byzkrovnyi et al. Comparison of Potential Road Accident Detection Algorithms for Modern Machine Vision System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant