CN113343837A - 基于车辆灯语识别的智能驾驶方法、***、装置及介质 - Google Patents

基于车辆灯语识别的智能驾驶方法、***、装置及介质 Download PDF

Info

Publication number
CN113343837A
CN113343837A CN202110618659.3A CN202110618659A CN113343837A CN 113343837 A CN113343837 A CN 113343837A CN 202110618659 A CN202110618659 A CN 202110618659A CN 113343837 A CN113343837 A CN 113343837A
Authority
CN
China
Prior art keywords
vehicle
feature map
attention
target
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110618659.3A
Other languages
English (en)
Other versions
CN113343837B (zh
Inventor
曾德炉
赖瑞丽
钟秀华
吁孟非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110618659.3A priority Critical patent/CN113343837B/zh
Publication of CN113343837A publication Critical patent/CN113343837A/zh
Application granted granted Critical
Publication of CN113343837B publication Critical patent/CN113343837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于车辆灯语识别的智能驾驶方法、***、装置及介质，智能驾驶方法包括：获取车辆行驶环境信息；根据车辆行驶环境信息，通过注意力计算分数网络提取前方车辆尾灯图像的图像特征，确定初始特征图；根据初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；根据非极大值抑制法，对目标特征图进行定位，确定定位特征图；根据逻辑回归法，对定位特征图进行分类，确定车辆灯语检测结果；根据车辆灯语检测结果以及车辆行驶环境信息，通过车辆控制***对车辆进行控制。本发明能够提高对车辆灯语检测的准确度，可以广泛应用于自动驾驶技术领域。

Description

基于车辆灯语识别的智能驾驶方法、***、装置及介质
技术领域
本发明涉及自动驾驶技术领域，尤其是基于车辆灯语识别的智能驾驶方法、***、装置及介质。
背景技术
自发光物体检测是实现汽车智能驾驶的关键技术之一。在智能驾驶过程中，自发光物体检测***可以帮助汽车准确识别其他车辆的行驶状态，并判断它们的行驶意图，然后根据检测结果快速做出决策。例如，当前方车辆减速或刹车时，位于车辆后下方的左右两个灯和车辆上方的一个灯将会同时亮起红灯，后方车辆的检测***将检测并识别前车的红色制动警告灯，并发出减速或刹车的指令。
传统目标检测方法可以分为两类：one-stage目标检测法和two-stage目标检测法。目前常用的典型的one-stage目标检测网络有YOLOv1、YOLOv2、YOLOv3、SSD、DSSD等。One-stage目标检测法直接通过主干网络给出网络和位置信息，没有使用区域建议网络(RPN)。这样的算法速度更快，但是精度相对two-stage目标检测法略低。Two-stage目标检测网络的代表是Ross B.Girshick等人在2015年提出的Faster R-CNN算法，其主要通过一个卷积神经网络来完成目标检测过程，其提取的是CNN卷积特征，在训练网络时，其主要训练两个部分，第一步是训练RPN网络，第二步是训练目标区域检测的网络。Two-stage目标检测网络的准确度高，但是速度相对one-stage更慢。
尽管现有方法在许多实际场景中都取得了显著进展，例如普通物体检测、道路物体检测和面部检测，传统检测方法尚未克服其在自发光物体检测中的应用缺陷。自发光物体具有模糊的边界和语义多样性，传统方法在自发光物体检测中无法克服环境噪声的干扰，导致区域建议目标框不准确，从而影响到后续对目标物体的定位和分类。
综上所述，如何准确地对自发光物体进行检测实现汽车智能驾驶，是目前本领域的技术人员需要解决的技术问题。
发明内容
有鉴于此，本发明实施例提供基于车辆灯语识别的智能驾驶方法、***、装置及介质，以实现提高车辆灯语检测的准确性，从而实现汽车智能驾驶。
一方面，本发明提供了基于车辆灯语识别的智能驾驶方法，包括：
获取车辆行驶环境信息，其中，所述车辆行驶环境信息包括前方车辆尾灯图像；
根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图；
根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；
根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图；
根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果；
根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制。
可选地，所述根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图，包括：
对所述注意力计算分数网络进行权重初始化，其中，所述注意力计算分数网络通过在残差网络中添加注意力模块集成得到；所述注意力模块包括通道注意力模块以及空间注意力模块；
输入所述前方车辆尾灯图像到所述注意力计算分数网络；
通过所述注意力计算分数网络对所述前方车辆尾灯图像进行特征提取，确定图像特征；
通过所述通道注意力模块以及所述空间注意力模块对所述图像特征进行注意力计算，确定注意力分数；
根据所述注意力分数，确定初始特征图。
可选地，所述根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图，包括：
输入所述初始特征图到卷积神经网络；
使用滑动窗口对所述初始特征图进行遍历，确定锚框；
通过全连接层对所述锚框进行边框回归操作，确定区域建议框；
根据所述区域建议框，对所述初始特征图进行感兴趣区域池化操作，确定所述目标特征图。
可选地，所述根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图，包括：
选取所述目标特征图中得分最高的窗口，确定第一目标检测边框，同时抑制其他窗口得分；
根据残差拟合法对所述第一目标检测边框进行边框回归，获得每个目标建议的位置偏移量，确定第二目标检测边框；
调整所述第二目标检测边框的大小和位置，确定所述定位特征图。
可选地，所述根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果，包括：
根据多任务损失函数，通过全连接层以及逻辑回归层对所述定位特征图进行类别计算，输出概率向量；
根据所述概率向量对所述定位特征图进行分类，确定所述车辆灯语检测结果。
可选地，所述根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制，包括：
输入所述车辆灯语检测结果以及车辆行驶环境信息到神经网络中，输出计算结果，其中，所述计算结果包括转向方向、转向角度、转向速度、行驶速度以及紧急制动判断结果；
将所述计算结果作为指令输出到所述车辆控制***中，根据所述指令对所述车辆进行控制。
另一方面，本发明实施例还公布了基于车辆灯语识别的智能驾驶***，包括：
获取模块，用于获取车辆行驶环境信息；
计算模块，用于根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图；
生成模块，用于根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；
定位模块，用于根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图；
分类模块，用于根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果；
控制模块，用于根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制。
另一方面，本发明实施例还公开了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明通过获取车辆行驶环境信息；根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图；能够根据注意力计算分数网络，提高对车辆灯语检测的准确性；根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图；能够根据非极大值抑制法，使网络学习的速度得到有效提高；根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果；能够根据逻辑回归法，提高目标检测框的回归精确度；根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对汽车进行控制。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于车辆灯语识别的智能驾驶方法的具体流程图；
图2为本发明实施例的车辆灯语识别***的整体网络框架图；
图3为本发明实施例的注意力计算分数网络框架图；
图4为本发明实施例的通道注意力模块的网络结构图；
图5为本发明实施例的空间注意力模块的网络结构图；
图6为本发明实施例生成建议区域的示例图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本发明实施例提供了基于车辆灯语识别的智能驾驶方法，包括：
S1、获取车辆行驶环境信息，其中，车辆行驶环境信息包括前方车辆尾灯图像；
S2、根据车辆行驶环境信息，通过注意力计算分数网络提取前方车辆尾灯图像的图像特征，确定初始特征图；
S3、根据初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；
S4、根据非极大值抑制法，对目标特征图进行定位，确定定位特征图；
S5、根据逻辑回归法，对定位特征图进行分类，确定车辆灯语检测结果；
S6、根据车辆灯语检测结果以及车辆行驶环境信息，通过车辆控制***对车辆进行控制。
上述步骤S1中，获取车辆行驶环境信息，车辆行驶环境信息包括前方车辆尾灯图像，另外，还包括车辆行驶速度、左右车道后车的距离以及左右车道后车的行驶速度。其中，前方车辆尾灯图像以及左右车道后车的距离通过车辆摄像头获得；车辆行驶速度包括前车行驶速度以及车辆自身行驶速度，前车行驶速度通过雷达获得，车辆自身行驶速度通过传感器获得；左右车道后车行驶速度通过雷达获得。
进一步作为优选的实施方式，上述步骤S2中，根据车辆行驶环境信息，通过注意力计算分数网络提取前方车辆尾灯图像的图像特征，确定初始特征图，包括：
对注意力计算分数网络进行权重初始化，其中，注意力计算分数网络通过在残差网络中添加注意力模块集成得到；注意力模块包括通道注意力模块以及空间注意力模块；
输入前方车辆尾灯图像到注意力计算分数网络；
通过注意力计算分数网络对前方车辆尾灯图像进行特征提取，确定图像特征；
通过通道注意力模块以及空间注意力模块对图像特征进行注意力计算，确定注意力分数；
根据注意力分数，确定初始特征图。
参照图2，本发明实施例通过将残差网络和注意力模块集成得到注意力计算分数网络，也可称为CBAM集成网络(CBAM+ResNet)；注意力模块包括通道注意力模块以及空间注意力模块；将通道注意力模块以及空间注意力模块以顺序的方式组合在一起形成注意力模块，在每个残差块的卷积输出上应用注意力模块，通过CBAM集成网络能聚合目标对象区域在通道和空间维度上的信息。首先，对注意力计算分数网络进行权重随机初始化；然后，将前方车辆尾灯图像输入到注意力计算分数网络中；通过注意力计算网络学习并提取前方车辆尾灯图像的特征，找出最具区分性的通道特征和最具响应性的空间特征，沿着空间和通道两个维度依次推断出注意力权重，确定注意力分数；根据注意力分数，生成高为h1，宽为w1，通道数为c的原始特征图(h1×w1×c)。
参照图3，输入特征图F(h×w×c)到通道注意力模块中，通过使用全局平均池化(average-pooling)和最大池化(max-pooling)两种操作聚合特征图的空间信息，生成两种不同的1×1×c的特征，分别表示为平均池化特征和最大池化特征。将平均池化特征和最大池化特征传递到共享网络中，以产生通道注意力图。共享网络由多层感知器和一个隐藏层组成。共享网络的编码过程为，通过全连接层将特征的c维压缩至c/r维，其中r表示压缩比，一般取值为16。再通过第一个激活函数(RELU激活函数)进行映射，经激活函数映射后的特征维数不变，得到1×1×c/r的特征。共享网络的解码过程为，将编码后的特征(1×1×c/r)通过全连接层将c/r维放大至c维，进行维数复原，得到1×1×c。再通过第二个激活函数(Sigmoid激活函数)进行映射，每个通道得到一个取值为0至1之间的重要性分数，即注意力分数，不同通道得到的分数不同。在共享网络应用两个经过平均池化和最大池化处理的1×1×c特征后，使用元素求和法合并输出特征向量，得到在通道维度上的注意力分数。将上述过程使用公式可以表示为：
Figure BDA0003098739350000061
其中，F表示h×w×c的特征，AvgPool(F)表示对特征图F做平均池化操作，MaxPool(F)表示对特征图F做最大池化操作，MLP表示由编码-解码结构组成的共享神经网络，W0和W1分别为共享网络的参数系数，
Figure BDA0003098739350000062
表示平均池化后的特征，
Figure BDA0003098739350000063
表示最大池化后的特征，σ表示Sigmoid激活函数，MC表示通道注意力。
参照图4，使用平均池化(average-pooling)和最大池化(max-pooling)对输入特征图进行通道层面上的压缩操作，得到了两个h2×w2×1的二维的特征，将两个特征按通道维度拼接在一起得到一个通道数为2的特征图，之后使用一个包含单个卷积核的隐藏层对特征图进行卷积操作，得到在空间维度上的注意力分数。
将上述过程使用公式表示为：
Figure BDA0003098739350000064
其中，MS表示空间注意力分数，F′表示通道注意力分数和原来的特征F相乘得到的新特征，σ表示Sigmoid激活函数，f7×7表示7×7的卷积层，AvgPool(F′)表示通过平均池化得到的特征，MaxPool(F′)表示通过最大池化得到的特征，
Figure BDA0003098739350000065
表示将两个特征拼接后的二通道特征图。
进一步作为优选的实施方式，上述步骤S3中，根据初始特征图，结合卷积神经网络生成带有建议区域的目标特征图，包括：
输入初始特征图到卷积神经网络；
使用滑动窗口对初始特征图进行遍历，确定锚框；
通过全连接层对锚框进行边框回归操作，确定区域建议框；
根据区域建议框，对初始特征图进行感兴趣区域池化操作，确定目标特征图。
参照图5，建议区域是在原始特征图上带有目标可能性得分的建议边框，即网络会给出该建议边框属于前景和后景的概率向量。本发明实施例采用Faster R-CNN网络中的RPN来生成建议区域。一个RPN以分配通道和空间权重后的特征图作为输入，输出一系列的目标建议框，每个目标建议框有一个目标分数，通过在特征图上滑动窗口生成区域建议框。具体为，在经过特征提取模块提取到的特征图上用一个3x3的滑动窗口，去遍历整个特征图。在遍历过程中每个窗口中心设置三种面积尺寸(1282，2562，5122)，然后在每个面积尺寸下，取三种不同的长宽比例(1∶1，1∶2，2∶1)，得到九种面积尺寸各异的锚框。然后再利用全连接层对每个锚框做二分类操作和初步框回归操作(bbox regression)，得到区域建议框。将带有区域建议的原始特征图h1×w1×c经过感兴趣区域池化后得到池化后的目标特征图h2×w2×c。池化层主要放置在连续的卷积层之间，作用是对输入数据和参数进行压缩，减少后续操作的计算量，降低网络过度拟合的可能性。池化层的具体操作和卷积层类似，区别在于池化操作的卷积核表示为特征图中对应区域范围内的最大值或平均值等。
进一步作为优选的实施方式，上述步骤S4中，根据非极大值抑制法，对目标特征图进行定位，确定定位特征图，包括：
选取目标特征图中得分最高的窗口，确定第一目标检测边框，同时抑制其他窗口得分；
根据残差拟合法对第一目标检测边框进行边框回归，获得每个目标建议的位置偏移量，确定第二目标检测边框；
调整第二目标检测边框的大小和位置，确定定位特征图。
其中，根据非极大值抑制法选取目标特征图中得分最高的窗口，确定目标检测边框，同时抑制其他窗口得分。为了降低边框回归的难度，采用残差拟合的方式，即回归学习生成的目标检测边框实际位置(Actual Values)与目标框地面真实值(Ground Truth，GT)之间的偏差。对目标边框进行参数化：
Figure BDA0003098739350000071
其中，x，y，w，h分别表示目标边框的横坐标中心、纵坐标中心、目标边框宽度、目标边框高度，t，a分别表示标签中的真实目标边框(Ground Truth)和实际得到的目标边框(Actual Value)，回归得到四维向量(tx，ty，tw，th)。利用边框回归得到目标检测边框，能够使检测目标边框更加稀疏，能有效提高学习速度和减少计算量。对目标检测边框的大小和位置进行调整，确定定位特征图。
进一步作为优选的实施方式，上述步骤S5中，根据逻辑回归法，对定位特征图进行分类，确定车辆灯语检测结果，包括：
根据多任务损失函数，通过全连接层以及逻辑回归层对定位特征图进行类别计算，输出概率向量；
根据概率向量对定位特征图进行分类，确定车辆灯语检测结果。
其中，多任务损失函数的表达式为：
Figure BDA0003098739350000081
表达式中，i为索引，pi为判断第i个候选边框中的部分为检测目标的概率值大小，pi *为前景值，tj为目标检测边框的四个参数坐标，ti *是目标物体相应真实值的边框坐标参数化向量，Ncls和Nbbox分别为归一化参数，Lcls是分类的损失函数，Lbbox是边框位置回归的损失函数，λ为平衡权值参数。
其中，Lbbox由预估的缩放参数t＝(tx，ty，tw，th)和真实的缩放参数t*＝(tx *，ty *，tw *，th *)的差值确定，Lbbox的表达式如下所示：
Figure BDA0003098739350000082
Figure BDA0003098739350000083
函数表达式如下所示：
Figure BDA0003098739350000084
将定位特征图通过全连接层与逻辑回归层(softmax层)，计算每个目标具体属于哪个类别(如白天正常向前行驶，白天刹车等)，输出概率向量。其中，softmax是一个分类器，用于计算类别的概率。根据概率向量对定位特征图进行分类，确定车辆灯语检测结果。
进一步作为优选的实施方式，上述步骤S6中，根据车辆灯语检测结果以及车辆行驶环境信息，通过车辆控制***对车辆进行控制，包括：
输入车辆灯语检测结果以及车辆行驶环境信息到神经网络中，输出计算结果，其中，计算结果包括转向方向、转向角度、转向速度、行驶速度以及紧急制动判断结果；
将计算结果作为指令输出到车辆控制***中，根据指令对车辆进行控制。
其中，车辆灯语检测结果包括白天正常向前行驶(day-forward)、白天刹车(day-brake)、白天左转弯(day-left)、白天右转弯(day-right)、夜晚正常向前行驶(night-forward)、夜晚刹车(night-brake)、夜晚左转弯(night-left)、夜晚右转弯(night-right)。将车辆灯语检测结果以及车辆行驶环境信息输入到神经网络中，通过神经网络计算得到计算结果。将计算结果作为指令输入到车辆控制***中，根据指令对车辆进行控制。例如，利用神经网络计算汽车转向的最佳方向、角度和速度，并将其作为转向指令输出，由转向控制器执行转向操作；利用神经网络计算汽车在保持与前车的安全距离下的最佳速度，并将其作为速度指令输出，由速度控制器执行加、减速操作；利用神经网络判断汽车是否需要紧急制动，若需要，则将判断结果作为制动指令输出，由制动控制器执行刹车操作。
结合附图1以及附图6，本发明实施例的具体实现方法为：获取前方车辆的尾灯图像，通过特征提取模块对图像进行特征提取，得到分配通道和空间权重后的特征图；将特征图输入到区域建议模块中，得到带有区域建议的特征图；将带有区域建议的特征图进行感兴趣区域池化操作，得到池化后的特诊图；再通过分类定位模块对池化后的特征图进行定位、分类操作，得到车辆灯语检测结果。如图6所示，得到前方车辆的夜晚右转弯概率为0.948的车辆灯语检测结果。将车辆灯语检测结果输入到神经网络中，通过车辆控制***实现智能驾驶。
本发明实施例还提供了基于车辆灯语识别的智能驾驶***，包括：
获取模块，用于获取车辆行驶环境信息；
计算模块，用于根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图；
生成模块，用于根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；
定位模块，用于根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图；
分类模块，用于根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果；
控制模块，用于根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制。
与图1的方法相对应，本发明实施例还提供了一种装置，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：
(1)本发明实施例通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，能够提高对车辆灯语检测的准确性；
(2)本发明实施例通过非极大值抑制法对所述目标特征图进行定位，能够使网络学习的速度得到有效提高；
(3)本发明实施例通过逻辑回归法对所述定位特征图进行分类，能够提高目标检测框的回归精确度。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.基于车辆灯语识别的智能驾驶方法，其特征在于，包括：
获取车辆行驶环境信息，其中，所述车辆行驶环境信息包括前方车辆尾灯图像；
根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图；
根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；
根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图；
根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果；
根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制。
2.根据权利要求1所述的基于车辆灯语识别的智能驾驶方法，其特征在于，所述根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图，包括：
对所述注意力计算分数网络进行权重初始化，其中，所述注意力计算分数网络通过在残差网络中添加注意力模块集成得到；所述注意力模块包括通道注意力模块以及空间注意力模块；
输入所述前方车辆尾灯图像到所述注意力计算分数网络；
通过所述注意力计算分数网络对所述前方车辆尾灯图像进行特征提取，确定图像特征；
通过所述通道注意力模块以及所述空间注意力模块对所述图像特征进行注意力计算，确定注意力分数；
根据所述注意力分数，确定初始特征图。
3.根据权利要求1所述的基于车辆灯语识别的智能驾驶方法，其特征在于，所述根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图，包括：
输入所述初始特征图到卷积神经网络；
使用滑动窗口对所述初始特征图进行遍历，确定锚框；
通过全连接层对所述锚框进行边框回归操作，确定区域建议框；
根据所述区域建议框，对所述初始特征图进行感兴趣区域池化操作，确定所述目标特征图。
4.根据权利要求1所述的基于车辆灯语识别的智能驾驶方法，其特征在于，所述根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图，包括：
选取所述目标特征图中得分最高的窗口，确定第一目标检测边框，同时抑制其他窗口得分；
根据残差拟合法对所述第一目标检测边框进行边框回归，获得每个目标建议的位置偏移量，确定第二目标检测边框；
调整所述第二目标检测边框的大小和位置，确定所述定位特征图。
5.根据权利要求1所述的基于车辆灯语识别的智能驾驶方法，其特征在于，所述根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果，包括：
根据多任务损失函数，通过全连接层以及逻辑回归层对所述定位特征图进行类别计算，输出概率向量；
根据所述概率向量对所述定位特征图进行分类，确定所述车辆灯语检测结果。
6.根据权利要求1所述的基于车辆灯语识别的智能驾驶方法，其特征在于，所述根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制，包括：
输入所述车辆灯语检测结果以及车辆行驶环境信息到神经网络中，输出计算结果，其中，所述计算结果包括转向方向、转向角度、转向速度、行驶速度以及紧急制动判断结果；
将所述计算结果作为指令输出到所述车辆控制***中，根据所述指令对所述车辆进行控制。
7.基于车辆灯语识别的智能驾驶***，其特征在于，包括：
获取模块，用于获取车辆行驶环境信息，其中，所述车辆行驶环境信息包括前方车辆尾灯图像；
计算模块，用于根据所述车辆行驶环境信息，通过注意力计算分数网络提取所述前方车辆尾灯图像的图像特征，确定初始特征图；
生成模块，用于根据所述初始特征图，结合卷积神经网络生成带有建议区域的目标特征图；
定位模块，用于根据非极大值抑制法，对所述目标特征图进行定位，确定定位特征图；
分类模块，用于根据逻辑回归法，对所述定位特征图进行分类，确定车辆灯语检测结果；
控制模块，用于根据所述车辆灯语检测结果以及所述车辆行驶环境信息，通过车辆控制***对车辆进行控制。
8.一种装置，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。
CN202110618659.3A 2021-06-03 2021-06-03 基于车辆灯语识别的智能驾驶方法、***、装置及介质 Active CN113343837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110618659.3A CN113343837B (zh) 2021-06-03 2021-06-03 基于车辆灯语识别的智能驾驶方法、***、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110618659.3A CN113343837B (zh) 2021-06-03 2021-06-03 基于车辆灯语识别的智能驾驶方法、***、装置及介质

Publications (2)

Publication Number Publication Date
CN113343837A true CN113343837A (zh) 2021-09-03
CN113343837B CN113343837B (zh) 2023-08-22

Family

ID=77473394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110618659.3A Active CN113343837B (zh) 2021-06-03 2021-06-03 基于车辆灯语识别的智能驾驶方法、***、装置及介质

Country Status (1)

Country Link
CN (1) CN113343837B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807516A (zh) * 2021-09-13 2021-12-17 长城计算机软件与***有限公司 神经网络模型的训练方法及图像检索方法
CN114242113A (zh) * 2021-12-16 2022-03-25 北京百度网讯科技有限公司 语音检测方法、训练方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909666A (zh) * 2019-11-20 2020-03-24 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN110942179A (zh) * 2019-11-04 2020-03-31 中国第一汽车股份有限公司 一种自动驾驶路线规划方法、装置及车辆
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942179A (zh) * 2019-11-04 2020-03-31 中国第一汽车股份有限公司 一种自动驾驶路线规划方法、装置及车辆
CN110909666A (zh) * 2019-11-20 2020-03-24 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807516A (zh) * 2021-09-13 2021-12-17 长城计算机软件与***有限公司 神经网络模型的训练方法及图像检索方法
CN113807516B (zh) * 2021-09-13 2024-05-14 新长城科技有限公司 神经网络模型的训练方法及图像检索方法
CN114242113A (zh) * 2021-12-16 2022-03-25 北京百度网讯科技有限公司 语音检测方法、训练方法、装置和电子设备
CN114242113B (zh) * 2021-12-16 2023-08-08 北京百度网讯科技有限公司 语音检测方法、训练方法、装置和电子设备

Also Published As

Publication number Publication date
CN113343837B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN113785302A (zh) 自主机器应用中的路口姿态检测
CN111695717A (zh) 自主机器应用中的时间信息预测
CN114040869A (zh) 用于倒行车辆的规划适应
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
CN113454636A (zh) 自主机器应用中障碍物检测的距离
CN107972662A (zh) 一种基于深度学习的车辆前向碰撞预警方法
US20080069400A1 (en) Context adaptive approach in vehicle detection under various visibility conditions
CN113343837B (zh) 基于车辆灯语识别的智能驾驶方法、***、装置及介质
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
He et al. A feature fusion method to improve the driving obstacle detection under foggy weather
CN109871792B (zh) 行人检测方法和装置
CN111292366A (zh) 一种基于深度学习和边缘计算的视觉行车测距算法
CN113568416B (zh) 无人车轨迹规划方法、装置和计算机可读存储介质
Bruno et al. Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning
US20230311932A1 (en) Merging object and background radar data for autonomous driving simulations
CN113052071B (zh) 危化品运输车驾驶员分心行为快速检测方法及***
Kang et al. High performance and fast object detection in road environments
CN115953660A (zh) 面向自动驾驶基于伪标签的点云3d目标检测方法
Chen et al. Research on vehicle detection and tracking algorithm for intelligent driving
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN115481724A (zh) 用于训练用于语义图像分割的神经网络的方法
Karg et al. Deep learning-based pedestrian detection for automated driving: achievements and future challenges
CN113895439A (zh) 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant