CN111062347A - 一种自动驾驶中交通要素分割方法、电子设备及存储介质 - Google Patents

一种自动驾驶中交通要素分割方法、电子设备及存储介质 Download PDF

Info

Publication number
CN111062347A
CN111062347A CN201911332028.4A CN201911332028A CN111062347A CN 111062347 A CN111062347 A CN 111062347A CN 201911332028 A CN201911332028 A CN 201911332028A CN 111062347 A CN111062347 A CN 111062347A
Authority
CN
China
Prior art keywords
feature matrix
traffic
segmentation
matrix
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911332028.4A
Other languages
English (en)
Other versions
CN111062347B (zh
Inventor
熊迹
惠念
肖圣
刘春成
罗跃军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN201911332028.4A priority Critical patent/CN111062347B/zh
Publication of CN111062347A publication Critical patent/CN111062347A/zh
Application granted granted Critical
Publication of CN111062347B publication Critical patent/CN111062347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种自动驾驶中交通要素分割方法、电子设备及存储介质，该方法包括：获取采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；其中，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。通过该方案解决了现有交通要素分割模型泛化能力差的问题，可以有效提高网络模型的泛化能力，增强对不同交通场景的适应能力。

Description

一种自动驾驶中交通要素分割方法、电子设备及存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种自动驾驶中交通要素分割方法、电子设备及存储介质。
背景技术
在自动驾驶领域，需要通过安装在车上摄像头，对交通场景中的道路、指示牌等交通要素进行识别分析，以便驾驶***进一步根据场景作出决策。一般在交通场景中会存在多种不同物体，为保证检测识别的准确，需要准确分割不同交通要素。
目前，基于反卷积的图像分割方法可以较为准确分割出交通要素，保留细节丢失，然而，由于自动驾驶中采集的交通场景图像多样，简单根据采集的样本采用反卷积、空洞卷积等方法训练得到的图像分割模型，泛化能力较差，难以适应多场景的交通要素分割识别。
发明内容
有鉴于此，本发明实施例提供了一种自动驾驶中交通要素分割方法、电子设备及存储介质，以解决现有交通场景图像分割识别模型泛化能力差的问题。
在本发明实施例的第一方面，提供了一种自动驾驶中交通要素分割方法，包括：
获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；
具体的，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；
将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。
在本发明实施例的第二方面，提供了一种自动驾驶中交通要素分割的电子设备，包括：
分割模块，用于获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；
具体的，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；
生成模块，用于将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，通过预训练的分割模型对交通场景图像进行分割，将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像，其中，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果。基于对抗网络对分割模型进行反向调整，可以增强神经网络模型的泛化能力，从而解决了现有分割模型泛化能力差的问题，减少传统卷积神经网络对样本集的依赖，更好的适应不同交通场景。同时，基于上采样和下采样，通过ASPP模块和注意力机制处理可以提高交通要素分割精度，获取采集图像中的更多信息，使训练出来的模型具有更强的识别能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的自动驾驶中交通要素分割方法的流程示意图；
图2为本发明的一个实施例提供的自动驾驶中交通要素分割方法的另一流程示意图；
图3为本发明的一个实施例提供的用于自动驾驶中交通要素分割的电子设备的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。
请参阅图1，图1为本发明实施例提供的一种自动驾驶中交通要素分割方法的流程示意图，包括：
S101、获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；
所述交通场景图像为车辆行驶过程采集各方位的图像，一般为车辆在道路行驶过程中的影响数据，根据所述交通场景图像可以获取道路、道路标线、指示牌、信号灯等交通要素，以方便驾驶***做出驾驶决策。
所述预训练的分割模型用于对交通场景图像的交通要素进行检测分割，通过构建的交通要素训练集对分割模型进行预训练，使得基于卷积神经网络的分割模型可以对交通场景图形进行分割处理。
优选地，从采集的交通场景图像中提取交通要素，将所述交通要素作为样本对分割模型进行训练，其中，所述分割模型的迭代更新算法为二分类交叉熵损失函数BCELoss。
具体的，所述预训练的分割模型中对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；
其中，设置相关训练网络参数，以通过将所述交通场景图像作为样本对深度学习网络进行训练。将交通场景图像裁剪至预定尺寸，可以方便将其作为样本对分割模型进行训练，获取交通要素特征，以检测分割交通图像中的交通要素。
所述下采样用于缩小图像，使图像符合显示区域的大小，所述上采样可以放大图像，使图像具有更多信息，上采样和下采样通过池化技术实现，可以降低特征维度，保留有效信息。下采样是对图像特征进行编码，并获得更多的图像特征，下采样的过程中，图像特征尺寸在减小，特征图的数量在增加，这样可以尽可能获得一幅图像中各种尺寸的特征。上采样是对图像进行解码，用各种插值方法将特征图放大，然后和下采样相同尺寸的特征图相融合，并可定位到特征图在原图的位置。这样有利于特征图每个像素最有的分类以及分类后的位置信息的获取。
在所述ASPP模块中使用扩展卷积(Atrous Convolution)能够在不牺牲特征空间分辨率的同时扩大特征提取的视野，ASPP利用了多尺度信息进一步强化分割效果。所述注意力机制(attention机制)会用在图像编码和解码之间，可减少编码过程中占用有限的特征存储空间，同时解码过程会根据不同阶段的有用的信息，使输入存在区别，即注意力机制可减少共同性，只关注特征之间的差异性。
将样本交通场景图像进行卷积计算得到特征矩阵，特征矩阵经过ASPP模块和注意力机制处理，得到新的特征矩阵，并对原特征矩阵进行下采样，卷及计算后，继续进行过ASPP模块和注意力机制处理，多次卷积得到的特征矩阵进行上采样，与经过过ASPP模块和注意力机制处理得到的特征矩阵进行叠加得到目标特征矩阵。
在本发明另一个实施例中，对原始交通场景图像进行处理，得到目标特征的过程包括：
对剪裁后的交通场景图像进行卷积计算得到特征矩阵R1；
对所述特征矩阵R1通过ASPP模块和注意力机制处理得到特征矩阵Q1；
所述特征矩阵R1进行下采样后，进行卷积计算得到特征矩阵R2；
对所述特征矩阵R2通过ASPP模块和注意力机制处理得到特征矩阵Q2；
所述特征矩阵R2进行下采样后，进行卷积计算得到特征矩阵R3；
对所述特征矩阵R3通过ASPP模块和注意力机制处理得到特征矩阵Q3；
所述特征矩阵R3多次卷积生成特征矩阵W1；
将特征矩阵W1上采样后与特征矩阵Q3叠加得到特征矩阵T1；
特征矩阵T1卷积计算后得到特征矩阵U1，将特征矩阵U1上采样后与特征矩阵Q2叠加得到特征矩阵T2；
特征矩阵T2卷积计算后得到特征矩阵U2，将特征矩阵U2上采样后与特征矩阵Q1叠加得到特征矩阵T3；
得到的特征矩阵T3即为目标特征矩阵，将特征矩阵T3作为目标特征矩阵。
将所述目标特征矩阵经过sigmoid函数分类输出，以检测分割所述交通场景图像中交通要素。
在原linknet算法的基础上增加了ASPP算法，可以使提取的交通要素的边缘精度更高，上下文信息会更多。增加Attention算法，可以降低算法的计算复杂度，同时能加快模型的推理速度。
所述sigmoid函数为一种激活函数，通过sigmoid函数可以对目标特征矩阵进行识别分类。基于sigmoid函数对特征矩阵的分类输出，可以实现实现对交通要素的分割。基于历史样本的特征学习，通过所述sigmoid函数对所述目标特征矩阵进行二分类，从所述交通场景图像中分割出交通要素。
S102、将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。
所述分割结果为由训练后卷积神经网络模型分割得到的分割的交通要素，即通过分割模型得到的分割结果，所述预定标准数据即标准的交通要素图像数据(或称金标准)。所述对抗网络包括生成器网络和判别器网络，生成器网络主要根据输入的随机向量，学习随机向量与真实标准数据间的映射关系，判别器网络为一个二分类器，用于根据真实样本数据与生成网络输出的差异，调整生成器网络。
在分割网络中引入对抗网络可提高分割模型的分割性能，在对抗网络中将两张输入的高维图像映射到低纬的输出空间内，输出结果中使用规定的距离度量计算公式计算之间距离，从而判断图像之间的相似度，生成具有置信度的分割图像。
在一个实施例中，如图2所示，图2为本实施例提供的在步骤S102基础上通过对抗网络生成带置信度的分割图的流程示意图，包括：
将通过预训练的分割模型分割得到的交通要素图像分割结果2010和金标准(即预定标准的交通要素图像)2020一起输入至对抗网络模块2030，由所述网络模块2030生成带置信度的分割图。
其中，对抗网络的更新算法为：
Figure BDA0002329889290000071
通过设置对抗网络模块2030衡量卷积神经网络输出与金标准之间的差距来反向调整卷积神经网络的参数，进而改进分割结果。分割模块和对抗模块在训练中相互对抗，开始训练的网络模型可能达不到理想的分割效果，精确度会很低，造成很大的损失值，而对抗网络模块则会很容易比较图片之间的匹配度，后面图片间的匹配度逐渐提高，分割模型也会逐渐达到理想分割效果。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3为本发明实施例提供的一种用于自动驾驶中交通要素分割方法的电子设备结构示意图，该电子设备包括：
分割模块310，用于获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；
具体的，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；
可选的，所述分割模块310包括：
训练单元，用于从采集的交通场景图像中提取交通要素，将所述交通要素作为样本对分割模型进行训练，其中，所述分割模型的迭代更新算法为二分类交叉熵损失函数。
可选的，所述对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵具体为：
对剪裁后的交通场景图像进行卷积计算得到特征矩阵R1；
对所述特征矩阵R1通过ASPP模块和注意力机制处理得到特征矩阵Q1；
所述特征矩阵R1进行下采样后，进行卷积计算得到特征矩阵R2；
对所述特征矩阵R2通过ASPP模块和注意力机制处理得到特征矩阵Q2；
所述特征矩阵R2进行下采样后，进行卷积计算得到特征矩阵R3；
对所述特征矩阵R3通过ASPP模块和注意力机制处理得到特征矩阵Q3；
所述特征矩阵R3多次卷积生成特征矩阵W1，将特征矩阵W1上采样后与特征矩阵Q1叠加得到特征矩阵T1；
特征矩阵T1卷积计算后得到特征矩阵U1，将特征矩阵U1上采样后与特征矩阵Q2叠加得到特征矩阵T2；
特征矩阵T2卷积计算后得到特征矩阵U2，将特征矩阵U2上采样后与特征矩阵Q2叠加得到特征矩阵T3，将特征矩阵T3作为目标特征矩阵。
生成模块320，用于将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。
可选的，所述将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像具体为：
获取通过所述预训练的分割模型分割得到的交通要素图像，将分割得到的交通要素图像和预定标准的交通要素图像输入至训练后的对抗网络，通过训练后的对抗网络计算判断两张图像的相似度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101至S102，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种自动驾驶中交通要素分割方法，其特征在于，包括：
获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；
具体的，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；
将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。
2.根据权利要求1所述的方法，其特征在于，所述获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割还包括：
从采集的交通场景图像中提取交通要素，将所述交通要素作为样本对分割模型进行训练，其中，所述分割模型的迭代更新算法为二分类交叉熵损失函数。
3.根据权利要求1所述的方法，其特征在于，所述对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵具体为：
对剪裁后的交通场景图像进行卷积计算得到特征矩阵R1；
对所述特征矩阵R1通过ASPP模块和注意力机制处理得到特征矩阵Q1；
所述特征矩阵R1进行下采样后，进行卷积计算得到特征矩阵R2；
对所述特征矩阵R2通过ASPP模块和注意力机制处理得到特征矩阵Q2；
所述特征矩阵R2进行下采样后，进行卷积计算得到特征矩阵R3；
对所述特征矩阵R3通过ASPP模块和注意力机制处理得到特征矩阵Q3；
所述特征矩阵R3多次卷积生成特征矩阵W1，将特征矩阵W1上采样后与特征矩阵Q3叠加得到特征矩阵T1；
特征矩阵T1卷积计算后得到特征矩阵U1，将特征矩阵U1上采样后与特征矩阵Q2叠加得到特征矩阵T2；
特征矩阵T2卷积计算后得到特征矩阵U2，将特征矩阵U2上采样后与特征矩阵Q1叠加得到特征矩阵T3，将特征矩阵T3作为目标特征矩阵。
4.根据权利要求1所述的方法，其特征在于，所述将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像包括：
获取通过所述预训练的分割模型分割得到的交通要素图像，将分割得到的交通要素图像和预定标准的交通要素图像输入至训练后的对抗网络，通过训练后的对抗网络计算判断两张图像的相似度。
5.一种用于自动驾驶中交通要素分割的电子设备，其特征在于，包括：
分割模块，用于获取车载相机采集的交通场景图像，通过预训练的分割模型对所述交通场景图像进行分割；
具体的，对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵，将所述目标特征矩阵经过sigmoid函数分类得到交通要素分割结果；
生成模块，用于将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像。
6.根据权利要求5所述的电子设备，其特征在于，所述分割模块包括：
训练单元，用于从采集的交通场景图像中提取交通要素，将所述交通要素作为样本对分割模型进行训练，其中，所述分割模型的迭代更新算法为二分类交叉熵损失函数。
7.根据权利要求5所述的电子设备，其特征在于，所述对所述交通场景图像进行卷积计算得到特征矩阵，对所述特征矩阵进行下采样和上采样后，与基于ASPP模块和注意力机制处理后的特征矩阵叠加得到目标特征矩阵具体为：
对剪裁后的交通场景图像进行卷积计算得到特征矩阵R1；
对所述特征矩阵R1通过ASPP模块和注意力机制处理得到特征矩阵Q1；
所述特征矩阵R1进行下采样后，进行卷积计算得到特征矩阵R2；
对所述特征矩阵R2通过ASPP模块和注意力机制处理得到特征矩阵Q2；
所述特征矩阵R2进行下采样后，进行卷积计算得到特征矩阵R3；
对所述特征矩阵R3通过ASPP模块和注意力机制处理得到特征矩阵Q3；
所述特征矩阵R3多次卷积生成特征矩阵W1，将特征矩阵W1上采样后与特征矩阵Q1叠加得到特征矩阵T1；
特征矩阵T1卷积计算后得到特征矩阵U1，将特征矩阵U1上采样后与特征矩阵Q2叠加得到特征矩阵T2；
特征矩阵T2卷积计算后得到特征矩阵U2，将特征矩阵U2上采样后与特征矩阵Q2叠加得到特征矩阵T3，将特征矩阵T3作为目标特征矩阵。
8.根据权利要求5所述的电子设备，其特征在于，所述将分割结果和预定标准数据同时输入至对抗网络对所述对抗网络进行训练，通过所述对抗网络生成具有置信度的交通要素分割图像具体为：
获取通过所述预训练的分割模型分割得到的交通要素图像，将分割得到的交通要素图像和预定标准的交通要素图像输入至训练后的对抗网络，通过训练后的对抗网络计算判断两张图像的相似度。
9.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述自动驾驶中交通要素分割方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述自动驾驶中交通要素分割方法的步骤。
CN201911332028.4A 2019-12-21 2019-12-21 一种自动驾驶中交通要素分割方法、电子设备及存储介质 Active CN111062347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911332028.4A CN111062347B (zh) 2019-12-21 2019-12-21 一种自动驾驶中交通要素分割方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911332028.4A CN111062347B (zh) 2019-12-21 2019-12-21 一种自动驾驶中交通要素分割方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111062347A true CN111062347A (zh) 2020-04-24
CN111062347B CN111062347B (zh) 2023-04-28

Family

ID=70301465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911332028.4A Active CN111062347B (zh) 2019-12-21 2019-12-21 一种自动驾驶中交通要素分割方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111062347B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914482A (zh) * 2020-07-27 2020-11-10 武汉中海庭数据技术有限公司 用于自动驾驶测试的行驶工况生成方法及***
CN112597825A (zh) * 2020-12-07 2021-04-02 深延科技(北京)有限公司 驾驶场景分割方法、装置、电子设备和存储介质
CN113486716A (zh) * 2021-06-04 2021-10-08 电子科技大学长三角研究院(衢州) 机场场面目标分割方法及其***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961253A (zh) * 2018-06-19 2018-12-07 深动科技（北京）有限公司 一种图像分割方法和装置
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109643377A (zh) * 2018-11-19 2019-04-16 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及***
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及***
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法
WO2019238560A1 (en) * 2018-06-12 2019-12-19 Tomtom Global Content B.V. Generative adversarial networks for image segmentation
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238560A1 (en) * 2018-06-12 2019-12-19 Tomtom Global Content B.V. Generative adversarial networks for image segmentation
CN108961253A (zh) * 2018-06-19 2018-12-07 深动科技（北京）有限公司 一种图像分割方法和装置
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109643377A (zh) * 2018-11-19 2019-04-16 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN109685813A (zh) * 2018-12-27 2019-04-26 江西理工大学 一种自适应尺度信息的u型视网膜血管分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及***
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及***
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110490884A (zh) * 2019-08-23 2019-11-22 北京工业大学 一种基于对抗的轻量级网络语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
廖旋等: "融合分割先验的多图像目标语义分割", 《中国图象图形学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914482A (zh) * 2020-07-27 2020-11-10 武汉中海庭数据技术有限公司 用于自动驾驶测试的行驶工况生成方法及***
CN112597825A (zh) * 2020-12-07 2021-04-02 深延科技(北京)有限公司 驾驶场景分割方法、装置、电子设备和存储介质
CN113486716A (zh) * 2021-06-04 2021-10-08 电子科技大学长三角研究院(衢州) 机场场面目标分割方法及其***

Also Published As

Publication number Publication date
CN111062347B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US11475681B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
CN111461039B (zh) 基于多尺度特征融合的地标识别方法
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111062347B (zh) 一种自动驾驶中交通要素分割方法、电子设备及存储介质
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN111008576B (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN112560831A (zh) 一种基于多尺度空间校正的行人属性识别方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN110991414B (zh) 一种交通要素高精度分割方法、电子设备及存储介质
CN114037640A (zh) 图像生成方法及装置
CN115147648A (zh) 一种基于改进YOLOv5目标检测的茶叶嫩梢识别方法
CN110119736B (zh) 车牌位置识别方法、装置及电子设备
CN110969104A (zh) 基于二值化网络检测可行驶区域的方法、***及存储介质
CN114220087A (zh) 一种车牌检测方法、车牌检测器及相关设备
CN113989814A (zh) 图像生成方法、装置、计算机设备及存储介质
CN117612136A (zh) 一种基于增量小样本学习的自动驾驶目标检测方法
CN111160282B (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN116778470A (zh) 对象识别及对象识别模型训练方法、装置、设备及介质
CN114898306A (zh) 一种检测目标朝向的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant