CN113128386B - 一种障碍物识别方法、障碍物识别装置及电子设备 - Google Patents
一种障碍物识别方法、障碍物识别装置及电子设备 Download PDFInfo
- Publication number
- CN113128386B CN113128386B CN202110394670.6A CN202110394670A CN113128386B CN 113128386 B CN113128386 B CN 113128386B CN 202110394670 A CN202110394670 A CN 202110394670A CN 113128386 B CN113128386 B CN 113128386B
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- target
- training
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 97
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000004888 barrier function Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 63
- 238000010586 diagram Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种障碍物识别方法、障碍物识别装置、电子设备及计算机可读存储介质。其中，该障碍物识别方法包括：获取预设摄像头所采集的道路图像，其中，所述预设摄像头安装于目标车辆；将所述道路图像输入已训练的语义分割模型，其中，所述语义分割模型基于训练样本集结合注意力机制训练而得，所述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；若得到所述语义分割模型所输出的分割结果，则将所述分割结果映射回所述道路图像，以提取出所述道路图像包含的障碍物信息。通过本申请方案，可以及时且准确的识别出道路中所出现的障碍物。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种障碍物识别方法、障碍物识别装置、电子设备及计算机可读存储介质。
背景技术
随着汽车保有量越来越多，人们越来越关注与道路安全相关的问题。考虑到驾驶员的素质参差不齐，可能出现随手扔垃圾的情况；以及部分车辆在运输过程中也可能由于路面颠簸而导致车辆所运输的物体出现抛洒情况。目前，多数城市仍由环卫工人进行主动巡逻来发现道路上的障碍物。由于车流及环卫工人的巡逻速度的影响，可能导致障碍物无法被及时且准确的识别出来，这会给道路安全留下隐患。
发明内容
本申请提供了一种障碍物识别方法、障碍物识别装置、电子设备及计算机可读存储介质，可以及时且准确的识别出道路中所出现的障碍物。
第一方面，本申请提供了一种障碍物识别方法，包括：
获取预设摄像头所采集的道路图像，其中，上述预设摄像头安装于目标车辆；
将上述道路图像输入已训练的语义分割模型，其中，上述语义分割模型基于训练样本集结合注意力机制训练而得，上述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；
若得到上述语义分割模型所输出的分割结果，则将上述分割结果映射回上述道路图像，以提取出上述道路图像包含的障碍物信息。
第二方面，本申请提供了一种障碍物识别装置，包括：
获取单元，用于获取预设摄像头所采集的道路图像，其中，上述预设摄像头安装于目标车辆；
分割单元，用于将上述道路图像输入已训练的语义分割模型，其中，上述语义分割模型基于训练样本集结合注意力机制训练而得，上述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；
映射单元，用于若得到上述语义分割模型所输出的分割结果，则将上述分割结果映射回上述道路图像，以提取出上述道路图像包含的障碍物信息。
第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
本申请与现有技术相比存在的有益效果是：在车辆行驶的过程中，通过架设于车辆的摄像头对道路进行拍摄，电子设备随即可通过语义分割模型对拍摄所得到的道路图像进行分割操作，以此从道路图像提取出障碍物信息，以及时发现道路中所可能出现的障碍物。由于该语义分割模型是基于训练样本集结合注意力机制训练而得，因而，该语义分割模型可更多的考虑训练图像中已有的障碍物信息的影响，使得该语义分割模型在面对包含有障碍物信息的道路图像时，能更快的识别出障碍物信息，兼顾识别精度和识别时效性。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的障碍物识别方法的实现流程示意图；
图2是本申请实施例提供的语义分割模型的训练流程示意图；
图3是本申请实施例提供的语义分割模型的训练过程示例图；
图4是本申请实施例提供的训练图像的示例图；
图5是本申请实施例提供的热力图的示例图；
图6是本申请实施例提供的障碍物识别装置的结构框图；
图7是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。
请参阅图1，图1示出了本申请实施例提供的一种障碍物识别方法，详述如下：
步骤101，获取预设摄像头所采集的道路图像。
在本申请实施例中，可预先在车辆上设置摄像头，也即预设摄像头，以通过该预设摄像头来采集道路图像。为便于说明，该车辆可记作目标车辆。仅作为示例，该摄像头可以安装于车身前部(例如目标车辆的前风窗处)，也可以安装于车身后部(例如目标车辆的后风窗处)；若该摄像头安装于车身前部，则该摄像头朝向该目标车辆的前方，可采集获得目标车辆前方的道路图像；若该摄像头安装于车身后部，则该摄像头朝向该目标车辆的后方，可采集获得目标车辆后方的道路图像。需要注意的是，不管摄像头安装于哪一位置，该摄像头均不应被其它物体所遮挡。
该预设摄像头可将自己所采集到的道路图像低延时上报给电子设备，由电子设备执行本申请实施例所提出的各个步骤，实现对道路中障碍物的检测。其中，该电子设备可设置于目标车辆上，并使用目标车辆的电源；或者，该电子设备也可设置于云端，此处不作限定。
在一些实施例中，预设摄像头可以是在目标车辆点火启动后即刻开始运行；或者，预设摄像头也可以是在目标车辆处于行驶状态时才开始运行，也即，当目标车辆处于行驶状态时，电子设备才会获取到预设摄像头所采集的道路图像。
步骤102，将上述道路图像输入已训练的语义分割模型。
在本申请实施例中，电子设备可以基于预设的语义分割模型来对预设摄像头所采集到的道路图像进行分析，以确定该道路图像是否有拍摄到障碍物。为了提升语义分割模型的处理时效，该语义分割模型可以基于训练样本集结合注意力机制训练而得。
其中，该训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像。也即，训练样本集包含至少一个图像对，且一个图像对由一个训练图像及该训练图像所对应的掩码图像所构成。考虑到本申请实施例的障碍物识别方法主要是为了识别道路上的障碍物，因而，可以先对道路中所可能出现的障碍物情况进行模拟，然后对模拟的现场进行拍摄，得到多张训练图像。之后，针对每张训练图像，基于该训练图像中的障碍物区域标注得到掩码图像；也即，障碍物区域的像素点的像素值标注为1，背景区域(也即障碍物区域外的其它区域)的像素点的像素值标注为0，由此可得到每张训练图像所唯一对应的掩码图像。当然，也可以是将目标车辆行驶过程中该预设摄像头所采集到的图像作为训练图像，并人工标注得到对应的掩码图像，以构成新的图像对，丰富训练样本集。
步骤103，若得到上述语义分割模型所输出的分割结果，则将上述分割结果映射回上述道路图像，以提取出上述道路图像包含的障碍物信息。
在本申请实施例中，语义分割模型仅用于分割出图像中的障碍物区域。因而，对于那些不存在障碍物信息的图像(例如，对干净的道路进行拍摄所得到的道路图像)，语义分割模型会认为该图像中的各个像素点均为背景，而导致无法输出分割结果。基于此，只有在语义分割模型输出有分割结果时，才认为道路图像中存在有障碍物区域。实际上，语义分割模型所输出的分割结果也表示为掩码的形式，也即，障碍物区域的像素点的像素值被标识为1，背景区域的像素点的像素值标注为0。由此，将该分割结果映射回原来的道路图像中，也即，将分割结果中的各个像素点的像素值与道路图像中对应位置的像素点的像素值做乘法，即可将障碍物区域的像素点从道路图像中提取出来，得到道路图像所包含的障碍物信息。为便于理解，可将上述过程理解为抠像操作。
在一些实施例中，可不对预设摄像头的数量作出限定，例如，可以考虑在目标车辆的车身前部及车身后部均安装摄像头。为便于说明，可记安装于目标车辆的车身前部的摄像头为第一摄像头，记安装于目标车辆的车身后部的摄像头为第二摄像头，并记第一摄像头所采集的道路图像为第一道路图像，记第二摄像头所采集的图像为第二道路图像。若第一道路图像中不存在障碍物信息，且与该第一道路图像相匹配的第二道路图像中存在障碍物信息，则可判定目标车辆存在障碍物抛洒行为，此时可向目标车辆输出提醒消息。
由于第一道路图像是目标车辆前方的图像，考虑到车辆一般都是向前行驶，因而，在第一道路图像中所检测到的障碍物可以认为不是目标车辆所抛洒的障碍物；反之，若某一区域本来是干净的，目标车辆在还未行驶到该区域时，该区域处于目标车辆前方，因而会先通过第一摄像头拍摄到包含该区域的第一道路图像，此时，第一道路图像不存在障碍物图像；当目标车辆行驶到该区域时，也即，目标车辆与该区域重合时，若目标车辆出现抛洒现象，例如，驾驶员向外扔垃圾或者目标车辆所运输的物体发生撒漏，则会导致该区域出现障碍物；之后目标车辆继续向前行驶，该区域会处于目标车辆后方，这时会再通过第二摄像头拍摄到包含该区域的第二道路图像，此时，第二道路图像存在障碍物。基于上述过程可知，当第一道路图像中不存在障碍物图像，且与该第一道路图像相匹配的第二道路图像中存在障碍物图像时，认为是目标车辆出现了障碍物抛洒行为，此时可向目标车辆输出提醒消息。
需要注意的是，显然第一摄像头及第二摄像头不可能同时拍摄到同一区域；往往是第一摄像头先拍摄到包含某一区域的第一道路图像，之后等待预设时间，待目标车辆行驶了一段距离后，第二摄像头才会拍摄到包含同一区域的第二道路图像。可以认为，相匹配的第一道路图像及第二道路图像，也即包含相同区域(拍摄对象为相同区域)的第一道路图像及第二道路图像之间存在时延，该时延由目标车辆的车速所决定：车速越快，该时延越小；车速越慢，该时延越大。
下面对该语义分割模型的训练作出介绍：该语义分割模型包括至少一个卷积-池化结构，上述卷积-池化结构包括至少一个卷积层及一个池化层；在该上述语义分割模型的训练过程中，针对每个卷积-池化结构，上述障碍物识别方法还包括：
步骤201，获取上述卷积-池化结构所输出的第一特征图。
在本申请实施例中，若该卷积-池化结构是该语义分割模型中的第一个卷积-池化结构，则该卷积-池化结构的输入即为本次训练所输入的训练图像；反之，若该卷积-池化结构不是该语义分割模型中的第一个卷积-池化结构，则该卷积-池化结构的输入即为基于上一个卷积-池化结构的输出所传递过来的特征图。为便于说明，本申请实施例将本次训练所输入的训练图像记作目标训练图像。
对于任一卷积-池化结构来说，该卷积-池化结构的输入会先通过该卷积-池化结构的至少一个卷积层来进行卷积操作，然后再通过一池化层来对该卷积操作的结果进行池化操作，即可得到该卷积-池化结构所输出的特征图。需要注意的是，上述池化层所做的池化操作，通常为最大值池化。为便于说明，本申请实施例将卷积-池化结构所输出的特征图记作第一特征图。实际上，语义分割模型中，不管卷积-池化结构处于语义分割模型的哪个位置，其所输出的第一特征图均直接或间接的是基于该目标训练图像而得的。
步骤202，将上述第一特征图与目标掩码图像进行拼接，得到拼接特征图。
在本申请实施例中，采用注意力机制，主要是为了让语义分割模型更多的考虑图像中的障碍物信息；也即，相对于图像中的背景信息来说，障碍物信息为所要检测的目标。基于此，电子设备会从训练样本集中获取到目标掩码图像，该目标掩码图像指的是该目标训练图像在训练样本集中所关联的掩码图像。通过直接的拼接操作，先将目标掩码图像与第一特征图拼接在一起，所构成的新的图像可被记作拼接特征图。
在一些实施例中，电子设备在进行第一特征图与目标掩码图像的拼接时，会先将该目标掩码图像调整至目标尺寸，该目标尺寸即为该第一特征图的尺寸，也即，使得第一特征图与目标掩码图像的尺寸达到统一；然后再复制该目标掩码图像，使得目标掩码图像的数量与该第一特征图的通道数相同，最后就可在通道维度，将上述第一特征图与所有的目标掩码图像进行拼接，得到拼接特征图。经由上述过程所获得的拼接特征图的尺寸仍保持为目标尺寸，通道数变为第一特征图的通道数的两倍。仅作为示例，电子设备可采用线性插值操作对目标掩码图像进行缩放，以实现第一特征图与目标掩码图像的尺寸统一，此处不对该线性插值操作作出限定。
步骤203，对上述拼接特征图进行融合，得到第二特征图。
在本申请实施例中，简单的拼接操作并不能让目标掩码图像对第一特征图向产生直接的影响，而电子设备想要的是使得目标掩码图像中的信息对第一特征图产生直接的影响，使得语义分割模型可相对关注第一特征图中与障碍物信息相关的数据，相对忽略第一特征图中与背景信息相关的数据。基于此，电子设备会对拼接特征图进行融合，也即，将多个通道上同一位置的像素点的数据融合到一起，由此可得到第二特征图。
在一些实施例中，电子设备可采用1×1卷积核对上述拼接特征图在通道维度进行融合，以此来得到第二特征图。
步骤204，向上述卷积-池化结构在上述语义分割模型中的下一网络层传递上述第二特征图。
在本申请实施例中，在获得第二特征图之后，该第二特征图即可通过激活函数传递至下一网络层，作为下一网络层的输入；或者，也可以是将第二特征图经过均值池化进行二次降维，并将二次降维后的第二特征图通过激活函数传递至下一网络层，作为下一网络层的输入，此处不作限定。假定当前的卷积-池化结构不是最后一个卷积-池化结构，则下一网络层通常为卷积层(该卷积层是下一个卷积-池化结构的第一个卷积层)；假定当前的卷积-池化结构是最后一个卷积-池化结构，则下一网络层通常为全连接层。
可以理解的是，本申请实施例实际上是对现有的语义分割模型的训练过程作出了改进，结合了注意力机制在每个卷积-池化结构后新增了上述步骤201-204。在训练过程中，该语义分割模型最终输出的仍是目标训练图像所对应的训练结果(该训练结果表现为掩码的形式)，通过该训练结果与目标掩码图像进行比对即可计算得到损失，基于该损失可对语义分割模型的参数作出调整，直至该损失收敛后，训练结束，可得到已训练的语义分割模型投入应用。
下面通过简单的具体实例，对上述过程作出介绍：
请参阅图3，假定语义分割模型有多个卷积-池化结构，分别为卷积-池化结构1、2、……、n。
对于卷积-池化结构1来说，其输入为H*W(例如300*300)的目标训练图像，其中，H为高，W为宽。在经过了卷积-池化结构1中的卷积层11、卷积层12及池化层13之后，得到H’*W’*C’(例如32*32*64)的第一特征图F11，其中，C’为通道数。
H*W的目标掩码图像被调整至H’*W’的尺寸后经过复制，得到C个H’*W’的目标掩码图像；这C个H’*W’的目标掩码图像在通道维度上与H’*W’*C’的第一特征图F11进行拼接，得到H’*W’*(C’+C’)(也即H’*W’*2C’)的拼接特征图F12。
通过1×1的卷积核对H’*W’*(C’+C’)的拼接特征图F12进行融合，一方面可以减少后续语义分割模型所需的算力，另一方面实现了通道降维，使得拼接特征图F12在通道维度上被融合为了H’*W’*C”的第二特征图F13。
该H’*W’*C”的第二特征图F13通过激活函数被传递到卷积-池化结构2，作为卷积-池化结构2的输入，其工作过程与卷积-池化结构1的工作过程基本相同，此处不再赘述。
在一些实施例中，该第二特征图上各个位置的值实际上表示了对该位置的关注程度，由此，可在获得第二特征图之后，将第二特征图中随机一个通道下的特征图抽取出来作为待显示特征图，并基于该待显示特征图生成热力图，反映在数学上就是指：针对某个三维的特征图(也即H’*W’*C”的第二特征图)，有效的转换成对应一个二维的矩阵(也即H’*W’的待显示特征图)。其中，基于该待显示特征图生成热力图的步骤可具体为：将待显示特征图调整至原始尺寸，该原始尺寸即为目标训练图像的尺寸，然后基于调整后的待显示特征图生成热力图。对于调整后的待显示特征图中坐标为(x,y)的像素点来说，该像素点的像素值越大，则所生成的热力图中相同位置处(也即坐标为(x,y))的像素点越高亮。
在一些实施例中，语义分割模型通常采用UNet网络结构。对于越靠后的卷积-池化结构，基于该卷积-池化结构所得的第二特征图越能真实描述对目标训练图像的关注程度。也即，对于语义分割模型的多个卷积-池化结构1、2、3、……、n来说，基于卷积-池化结构n所得到的第二特征图而生成的热力图相对来说效果更好。
为便于理解，可参阅图4及图5，图4给出了一个训练图像的示例，图5给出了基于图4的训练图像所得到的一个热力图的示例。
可以理解的是，其它深度学习模型也可以采用上述结合注意力机制的方式进行训练。举例来说，可以在车辆上设置一终端，该终端通过目标检测模型实现对道路图像是否存在障碍物信息的初步检测；在终端通过该目标检测模型初步确认道路图像存在障碍物信息时，将道路图像上报至云端，由云端通过语义分割模型实现对该道路图像是否存在障碍物信息的进一步检测；不管是终端所采用的目标检测模型，还是云端所采用的语义分割模型，均可结合注意力机制进行训练。
由上可见，通过本申请实施例，在车辆行驶的过程中，通过架设于车辆的摄像头对道路进行拍摄，电子设备随即可通过语义分割模型对拍摄到的道路图像进行分割操作，以此从道路图像提取出障碍物信息，以及时发现道路中所可能出现的障碍物。由于该语义分割模型是基于训练样本集结合注意力机制训练而得，因而，该语义分割模型可更多的考虑训练样本中已有的障碍物信息的影响，使得该语义分割模型在面对包含有障碍物信息的道路图像时，能更快的识别出障碍物信息，兼顾识别精度和识别时效性。
对应于前文所提出的障碍物识别方法，本申请实施例提供了一种障碍物识别装置，上述障碍物识别装置集成于电子设备。请参阅图6，本申请实施例中的障碍物识别装置600包括：
获取单元601，用于获取预设摄像头所采集的道路图像，其中，上述预设摄像头安装于目标车辆；
分割单元602，用于将上述道路图像输入已训练的语义分割模型，其中，上述语义分割模型基于训练样本集结合注意力机制训练而得，上述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；
映射单元603，用于若得到上述语义分割模型所输出的分割结果，则将上述分割结果映射回上述道路图像，以提取出上述道路图像包含的障碍物信息。
可选地，上述语义分割模型包括至少一个卷积-池化结构，上述卷积-池化结构包括至少一个卷积层及一个池化层；在上述语义分割模型的训练过程中，针对每个卷积-池化结构，上述障碍物识别装置600还包括：
特征图获取单元，用于获取上述卷积-池化结构所输出的第一特征图；
特征图拼接单元，用于将上述第一特征图与目标掩码图像进行拼接，得到拼接特征图，其中，上述目标掩码图像为目标训练图像所关联的掩码图像，上述第一特征图基于上述目标训练图像而得；
特征图融合单元，用于对上述拼接特征图进行融合，得到第二特征图；
特征图传递单元，用于向上述卷积-池化结构在上述语义分割模型中的下一网络层传递上述第二特征图。
可选地，上述特征图拼接单元，包括：
调整子单元，用于将上述目标掩码图像调整至目标尺寸，其中，上述目标尺寸为上述第一特征图的尺寸；
复制子单元，用于复制上述目标掩码图像，使得上述目标掩码图像的数量与上述第一特征图的通道数相同；
拼接子单元，用于在通道维度，将上述第一特征图与所有的目标掩码图像进行拼接，得到拼接特征图，其中，上述拼接特征图的尺寸为上述目标尺寸，上述拼接特征图的通道数为上述第一特征图的通道数的两倍。
可选地，上述特征图融合单元，具体用于采用1×1卷积核对上述拼接特征图在通道维度进行融合，得到第二特征图。
可选地，上述障碍物识别装置600还包括：
待显示特征图获取单元，用于获取待显示特征图，上述待显示特征图为上述第二特征图中随机一个通道的特征图；
热力图生成单元，用于基于上述待显示特征图生成热力图。
可选地，上述热力图生成单元，包括：
尺寸调整子单元，用于将上述待显示特征图调整至原始尺寸，上述原始尺寸为上述目标训练图像的尺寸；
热力图生成子单元，用于基于调整后的上述待显示特征图生成热力图。
由上可见，通过本申请实施例，在车辆行驶的过程中，通过架设于车辆的摄像头对道路进行拍摄，电子设备随即可通过语义分割模型对拍摄到的道路图像进行分割操作，以此从道路图像提取出障碍物信息，以及时发现道路中所可能出现的障碍物。由于该语义分割模型是基于训练样本集结合注意力机制训练而得，因而，该语义分割模型可更多的考虑训练样本中已有的障碍物信息的影响，使得该语义分割模型在面对包含有障碍物信息的道路图像时，能更快的识别出障碍物信息，兼顾识别精度和识别时效性。
本申请实施例还提供了一种电子设备，请参阅图7，本申请实施例中的电子设备7包括：存储器701，一个或多个处理器702(图7中仅示出一个)及存储在存储器701上并可在处理器上运行的计算机程序。其中：存储器701用于存储软件程序以及单元，处理器702通过运行存储在存储器701的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器702通过运行存储在存储器701的上述计算机程序时实现以下步骤：
获取预设摄像头所采集的道路图像，其中，上述预设摄像头安装于目标车辆；
将上述道路图像输入已训练的语义分割模型，其中，上述语义分割模型基于训练样本集结合注意力机制训练而得，上述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；
若得到上述语义分割模型所输出的分割结果，则将上述分割结果映射回上述道路图像，以提取出上述道路图像包含的障碍物信息。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述语义分割模型包括至少一个卷积-池化结构，上述卷积-池化结构包括至少一个卷积层及一个池化层；在上述语义分割模型的训练过程中，针对每个卷积-池化结构，处理器702通过运行存储在存储器701的上述计算机程序时还实现以下步骤：
获取上述卷积-池化结构所输出的第一特征图；
将上述第一特征图与目标掩码图像进行拼接，得到拼接特征图，其中，上述目标掩码图像为目标训练图像所关联的掩码图像，上述第一特征图基于上述目标训练图像而得；
对上述拼接特征图进行融合，得到第二特征图；
向上述卷积-池化结构在上述语义分割模型中的下一网络层传递上述第二特征图。
在第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述将上述第一特征图与目标掩码图像进行拼接，包括：
将上述目标掩码图像调整至目标尺寸，其中，上述目标尺寸为上述第一特征图的尺寸；
复制上述目标掩码图像，使得上述目标掩码图像的数量与上述第一特征图的通道数相同；
在通道维度，将上述第一特征图与所有的目标掩码图像进行拼接，得到拼接特征图，其中，上述拼接特征图的尺寸为上述目标尺寸，上述拼接特征图的通道数为上述第一特征图的通道数的两倍。
在上述第二种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述对上述拼接特征图进行融合，得到第二特征图，包括：
采用1×1卷积核对上述拼接特征图在通道维度进行融合，得到第二特征图。
在上述第二种可能的实施方式作为基础而提供的第五种可能的实施方式中，在上述对上述拼接特征图进行融合，得到第二特征图之后，处理器702通过运行存储在存储器701的上述计算机程序时还实现以下步骤：
获取待显示特征图，上述待显示特征图为上述第二特征图中随机一个通道的特征图；
基于上述待显示特征图生成热力图。
在上述第五种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述基于上述待显示特征图生成热力图，包括：
将上述待显示特征图调整至原始尺寸，上述原始尺寸为上述目标训练图像的尺寸；
基于调整后的上述待显示特征图生成热力图。
应当理解，在本申请实施例中，所称处理器702可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器701可以包括只读存储器和随机存取存储器，并向处理器702提供指令和数据。存储器701的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器701还可以存储设备类别的信息。
由上可见，通过本申请实施例，在车辆行驶的过程中，通过架设于车辆的摄像头对道路进行拍摄，电子设备随即可通过语义分割模型对拍摄到的道路图像进行分割操作，以此从道路图像提取出障碍物信息，以及时发现道路中所可能出现的障碍物。由于该语义分割模型是基于训练样本集结合注意力机制训练而得，因而，该语义分割模型可更多的考虑训练样本中已有的障碍物信息的影响，使得该语义分割模型在面对包含有障碍物信息的道路图像时，能更快的识别出障碍物信息，兼顾识别精度和识别时效性。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (7)
1.一种障碍物识别方法，其特征在于，包括：
获取预设摄像头所采集的道路图像，其中，所述预设摄像头安装于目标车辆；
将所述道路图像输入已训练的语义分割模型，其中，所述语义分割模型基于训练样本集结合注意力机制训练而得，所述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；
若得到所述语义分割模型所输出的分割结果，则将所述分割结果映射回所述道路图像，以提取出所述道路图像包含的障碍物信息；
其中，所述语义分割模型包括至少一个卷积-池化结构，所述卷积-池化结构包括至少一个卷积层及一个池化层；在所述语义分割模型的训练过程中，针对每个卷积-池化结构，所述障碍物识别方法还包括：
获取所述卷积-池化结构所输出的第一特征图；
将所述第一特征图与目标掩码图像进行拼接，得到拼接特征图，其中，所述目标掩码图像为目标训练图像所关联的掩码图像，所述第一特征图基于所述目标训练图像而得；
采用1×1卷积核对所述拼接特征图在通道维度进行融合，得到第二特征图；
向所述卷积-池化结构在所述语义分割模型中的下一网络层传递所述第二特征图。
2.如权利要求1所述的障碍物识别方法，其特征在于，所述将所述第一特征图与目标掩码图像进行拼接，包括：
将所述目标掩码图像调整至目标尺寸，其中，所述目标尺寸为所述第一特征图的尺寸；
复制所述目标掩码图像，使得所述目标掩码图像的数量与所述第一特征图的通道数相同；
在通道维度，将所述第一特征图与所有的目标掩码图像进行拼接，得到拼接特征图，其中，所述拼接特征图的尺寸为所述目标尺寸，所述拼接特征图的通道数为所述第一特征图的通道数的两倍。
3.如权利要求1所述的障碍物识别方法，其特征在于，在所述采用1×1卷积核对所述拼接特征图在通道维度进行融合，得到第二特征图之后，所述障碍物识别方法还包括：
获取待显示特征图，所述待显示特征图为所述第二特征图中随机一个通道的特征图；
基于所述待显示特征图生成热力图。
4.如权利要求3所述的障碍物识别方法，其特征在于，所述基于所述待显示特征图生成热力图，包括：
将所述待显示特征图调整至原始尺寸，所述原始尺寸为所述目标训练图像的尺寸；
基于调整后的所述待显示特征图生成热力图。
5.一种障碍物识别装置，其特征在于，包括：
获取单元，用于获取预设摄像头所采集的道路图像，其中，所述预设摄像头安装于目标车辆；
分割单元，用于将所述道路图像输入已训练的语义分割模型，其中，所述语义分割模型基于训练样本集结合注意力机制训练而得，所述训练样本集包含至少一个训练图像及各个训练图像所关联的掩码图像；
映射单元，用于若得到所述语义分割模型所输出的分割结果，则将所述分割结果映射回所述道路图像，以提取出所述道路图像包含的障碍物信息；
其中，所述语义分割模型包括至少一个卷积-池化结构，所述卷积-池化结构包括至少一个卷积层及一个池化层；在所述语义分割模型的训练过程中，针对每个卷积-池化结构，所述障碍物识别装置还包括：
特征图获取单元，用于获取所述卷积-池化结构所输出的第一特征图；
特征图拼接单元，用于将所述第一特征图与目标掩码图像进行拼接，得到拼接特征图，其中，所述目标掩码图像为目标训练图像所关联的掩码图像，所述第一特征图基于所述目标训练图像而得；
特征图融合单元，用于采用1×1卷积核对所述拼接特征图在通道维度进行融合，得到第二特征图；
特征图传递单元，用于向所述卷积-池化结构在所述语义分割模型中的下一网络层传递所述第二特征图。
6.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110394670.6A CN113128386B (zh) | 2021-04-13 | 2021-04-13 | 一种障碍物识别方法、障碍物识别装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110394670.6A CN113128386B (zh) | 2021-04-13 | 2021-04-13 | 一种障碍物识别方法、障碍物识别装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113128386A CN113128386A (zh) | 2021-07-16 |
| CN113128386B true CN113128386B (zh) | 2024-02-09 |
Family
ID=76776664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110394670.6A Active CN113128386B (zh) | 2021-04-13 | 2021-04-13 | 一种障碍物识别方法、障碍物识别装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113128386B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113947204A (zh) * | 2021-10-13 | 2022-01-18 | 北京百度网讯科技有限公司 | 图像识别方法、装置、存储介质和计算机程序产品 |
| CN113936268B (zh) * | 2021-12-16 | 2022-04-15 | 比亚迪股份有限公司 | 用于轨道车辆的障碍物检测方法、计算机设备及存储介质 |
| CN116434151B (zh) * | 2023-06-14 | 2023-08-29 | 云途信息科技(杭州)有限公司 | 路面异物识别方法、装置、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805889A (zh) * | 2018-05-07 | 2018-11-13 | 中国科学院自动化研究所 | 边缘引导的精细化显著性物体分割方法与***、设备 |
| CN110443818A (zh) * | 2019-07-02 | 2019-11-12 | 中国科学院计算技术研究所 | 一种基于涂鸦的弱监督语义分割方法与*** |
| CN111428726A (zh) * | 2020-06-10 | 2020-07-17 | 中山大学 | 基于图神经网络的全景分割方法、***、设备及存储介质 |
| CN111951249A (zh) * | 2020-08-13 | 2020-11-17 | 浙江理工大学 | 基于多任务学习网络的手机导光板缺陷可视化检测方法 |
| CN112016476A (zh) * | 2020-08-31 | 2020-12-01 | 山东大学 | 由目标检测引导的复杂交通视觉显著性预测方法及*** |
| CN112200226A (zh) * | 2020-09-27 | 2021-01-08 | 北京达佳互联信息技术有限公司 | 基于强化学习的图像处理方法、图像处理方法及相关装置 |
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
| CN112424793A (zh) * | 2020-10-14 | 2021-02-26 | 深圳市锐明技术股份有限公司 | 一种物体识别方法、物体识别装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10679351B2 (en) * | 2017-08-18 | 2020-06-09 | Samsung Electronics Co., Ltd. | System and method for semantic segmentation of images |
| US11003945B2 (en) * | 2019-05-22 | 2021-05-11 | Zoox, Inc. | Localization using semantically segmented images |
-
2021
- 2021-04-13 CN CN202110394670.6A patent/CN113128386B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805889A (zh) * | 2018-05-07 | 2018-11-13 | 中国科学院自动化研究所 | 边缘引导的精细化显著性物体分割方法与***、设备 |
| CN110443818A (zh) * | 2019-07-02 | 2019-11-12 | 中国科学院计算技术研究所 | 一种基于涂鸦的弱监督语义分割方法与*** |
| CN111428726A (zh) * | 2020-06-10 | 2020-07-17 | 中山大学 | 基于图神经网络的全景分割方法、***、设备及存储介质 |
| CN111951249A (zh) * | 2020-08-13 | 2020-11-17 | 浙江理工大学 | 基于多任务学习网络的手机导光板缺陷可视化检测方法 |
| CN112016476A (zh) * | 2020-08-31 | 2020-12-01 | 山东大学 | 由目标检测引导的复杂交通视觉显著性预测方法及*** |
| CN112200226A (zh) * | 2020-09-27 | 2021-01-08 | 北京达佳互联信息技术有限公司 | 基于强化学习的图像处理方法、图像处理方法及相关装置 |
| CN112424793A (zh) * | 2020-10-14 | 2021-02-26 | 深圳市锐明技术股份有限公司 | 一种物体识别方法、物体识别装置及电子设备 |
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| Built-in Foreground/Background Prior for Weakly-Supervised Semantic Segmentation;Fatemehsadat Saleh et al.;《arXiv.org》;第1-17页 * |
| Concept Mask: Large-Scale Segmentation from Semantic Concepts;Yufei Wang et al.;《arXiv.org》;第1-32页 * |
| 一种基于深度学习的大尺寸病理图像分割 诊断方法;王艳红等;《中国数字医学》;第第16卷卷(第第3期期);第80-83页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113128386A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113128386B (zh) | 一种障碍物识别方法、障碍物识别装置及电子设备 | |
| US20210342637A1 (en) | Generating ground truth for machine learning from time series elements | |
| CN109949594B (zh) | 实时的交通灯识别方法 | |
| CN113646772A (zh) | 预测用于自主驾驶的三维特征 | |
| CN110471058A (zh) | 用于拖车属性的自动检测的***和方法 | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及*** | |
| CN108860166A (zh) | 无人驾驶汽车事故发生处理***及处理方法 | |
| CN112424793A (zh) | 一种物体识别方法、物体识别装置及电子设备 | |
| CN110738150B (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
| CN110188482B (zh) | 一种基于智能驾驶的测试场景创建方法及装置 | |
| CN104103100A (zh) | 驾驶行为分析*** | |
| CN113255439B (zh) | 一种障碍物识别方法、装置、***、终端及云端 | |
| EP3839823A1 (en) | Data integration from multiple sensors | |
| US11620522B2 (en) | Vehicular system for testing performance of headlamp detection systems | |
| CN110834667B (zh) | 车辆转向控制方法、装置、车辆、终端设备及存储介质 | |
| CN105894818A (zh) | 车辆路***通违法取证***及方法 | |
| CN111539268A (zh) | 车辆行驶中的路况预警方法、装置和电子设备 | |
| US20220092313A1 (en) | Method for deep neural network functional module deduplication | |
| CN113160272B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| DE102021131480A1 (de) | Sensorangriffssimulationssystem | |
| CN106991415A (zh) | 用于车载鱼眼相机的图像处理方法和装置 | |
| WO2021037350A1 (en) | Method and system for processing a plurality of images so as to detect lanes on a road | |
| CN207115438U (zh) | 用于车载鱼眼相机的图像处理装置 | |
| CN115762153A (zh) | 倒车检测方法及装置 | |
| Zhang et al. | Smart-rain: A degradation evaluation dataset for autonomous driving in rain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |