CN111860072A - 泊车控制方法、装置、计算机设备及计算机可读存储介质 - Google Patents

泊车控制方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111860072A
CN111860072A CN201910362438.7A CN201910362438A CN111860072A CN 111860072 A CN111860072 A CN 111860072A CN 201910362438 A CN201910362438 A CN 201910362438A CN 111860072 A CN111860072 A CN 111860072A
Authority
CN
China
Prior art keywords
obstacle
coordinate frame
coordinate
parking control
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910362438.7A
Other languages
English (en)
Inventor
谷俊
何俏君
尹超凡
李彦琳
付颖
彭斐
毛茜
王薏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201910362438.7A priority Critical patent/CN111860072A/zh
Publication of CN111860072A publication Critical patent/CN111860072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种泊车控制方法，包括：获取传感器采集的车辆周围的图像信息；根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络,障碍物坐标框与障碍物一一对应，并且障碍物的边缘被坐标框包围以使障碍物处坐标框内；根据所述障碍物类别和障碍物坐标框进行泊车控制。本发明还公开了一种泊车控制装置、一种计算机设备及一种计算机可读存储介质。采用本发明，可为自动泊车提供实时准确的障碍物感知信息，成本更加低廉，识别率高。

Description

泊车控制方法、装置、计算机设备及计算机可读存储介质
技术领域
本发明涉及智能泊车技术领域，尤其涉及一种泊车控制方法、一种泊车控制装置一种计算机设备及一种计算机可读存储介质。
背景技术
随着城市人口日益增长，私家车的数量也越来越多，相较而言，停车位数量有限且位置越来越紧凑，因此需要采用快捷有效的自动泊车技术，以使汽车正确地停靠位泊车。
泊车过程中，泊车位内的障碍物检测十分重要。现有的障碍物检测技术大多依赖超声波雷达检测、激光雷达检测或计算机视觉检测的方法。
如，现有技术中公开了一种智能泊车***的障碍物检测与库位判别方法及实现***，其依赖于车辆定位数据与雷达数据，对数据点进行坐标转换、拟合处理后，拟合出障碍物外接矩形，并判断泊车位是否符合泊车条件，从而实现库位检测功能。但是，该方案需要融合二维雷达信息(如激光雷达)与定位信息(如GPS全球定位***)，针对室内情况，定位信息难以获得，且激光雷达价格昂贵，成本较高。
还有现有技术中利用改进的混合高斯背景建模方法建立背景，将原视频图像与背景图像相减，通过Otsu自动阈值的获取进行前景目标分离，再通过动态特征、静态特征提取几何约束障碍物检测方法对障碍物进行检测。但是，该方案易受到阴影、光照等环境条件的影响，且背景建模方法对于静态障碍物不敏感，不宜用于静态障碍物的检测。
但是上述技术方案依赖于车身周围的多个超声波传感器实时捕获车身周围的环境信息，利用来自存在于车辆周边附近的物体(障碍物)的反射波，从而推定从车辆到障碍物的距离和该障碍物的大小。但是，上述两种技术方案受超声波传感器自身特性的局限，在圆角处存在接收不到回波的现象，且回波信息包含大量干扰信息，不易确定障碍物大小。
发明内容
本发明所要解决的技术问题在于，提供一种成本低廉，识别率高的泊车控制方法、计算机设备及计算机可读存储介质，可为自动泊车提供实时准确的障碍物感知信息。
为了解决上述技术问题，本发明提供了一种泊车控制方法，包括：获取传感器采集的车辆周围的图像信息；根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络，所述障碍物坐标框与障碍物一一对应，并且所述障碍物的边缘被坐标框包围以使障碍物处坐标框内；根据所述障碍物类别和障碍物坐标框进行泊车控制。
作为上述方案的改进，所述轻量级卷积神经网络的网络架构模型至少包括16层用于特征提取，并采用至少两个尺度的特征图进行分类和检测框回归。
作为上述方案的改进，所述16层包括10个卷积层和6个最大池化层，并输出X个通道的特征图以实现障碍物分类和坐标框回归，其中：X＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；所述两个尺度包括，尺寸为A*A的特征图进行障碍物分类，尺寸为A*A的特征图经过上采样后与尺寸为2A*2A的特征图合并以进行坐标框回归，其中，A为根据原图尺寸经过n倍缩小后的数值，n为正整数。
作为上述方案的改进，所述方法还包括障碍物识别模型训练，具体包括：获取样本数据集、基础卷积神经网络模型以及损失函数；将所述基础卷积神经网络模型与所述损失函数结合，生成初始卷积神经网络模型；根据所述样本数据集训练所述初始卷积神经网络模型，生成障碍物识别模型。
作为上述方案的改进，所述样本数据集的构建步骤包括：获取图像样本集，所述图像样本集包括多个含有障碍物的图像样本；对每一图像样本分别进行标注处理以生成标注信息，所述标注信息包括障碍物类别信息及障碍物的坐标框坐标信息；将含有标注信息的图像样本集组合为样本数据集。
作为上述方案的改进，所述损失函数为坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数之和；所述坐标框坐标误差函数为
Figure BDA0002047234750000021
其中，xi为坐标框的左上角的横坐标，yi为坐标框的左上角的纵坐标，ωi为坐标框的宽度，hi为坐标框的高度，λcoord为坐标框位置的损失权重，S是指将图像划分成S*S个网格，B为每个网格对应先验框的数量，
Figure BDA0002047234750000031
为第一检测参数；所述坐标框交并比误差函数为
Figure BDA0002047234750000032
其中，ci为第i个坐标框与真实框的交并比，λnoobj为单个网格内没有目标物体的损失权重，
Figure BDA0002047234750000033
为第二检测参数；所述分类误差函数为
Figure BDA0002047234750000034
其中，pi为识别物体的置信度。
相应地，本发明还提供了一种泊车控制装置，包括：获取模块，用于获取传感器采集的车辆周围的图像信息；识别模块，用于根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络，所述障碍物坐标框与障碍物一一对应，并且所述障碍物的边缘被坐标框包围以使障碍物处坐标框内；控制模块，用于根据所述障碍物类别和障碍物坐标框进行泊车控制。
进一步的，所述识别模块中的所述轻量级卷积神经网络的网络架构模型至少包括16层用于特征提取，并采用至少两个尺度的特征图进行分类和检测框回归。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述泊车控制方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述泊车控制方法的步骤。
实施本发明，具有如下有益效果：
本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息，与现有技术相比，本发明对静态物体及障碍物类别仍然较高的识别率。
附图说明
图1是本发明泊车控制方法的第一实施例流程图；
图2是本发明中障碍物识别模型的结构示意图；
图3是本发明中障碍物识别模型的构建步骤流程图；
图4是本发明中损失函数的曲线图；
图5是本发明中样本数据集的构建步骤流程图；
图6是本发明泊车控制装置的第一实施例结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，图1是本发明泊车控制方法的第一实施例流程图，其包括：
S101，获取传感器采集的车辆周围的图像信息。
所述传感器可以为摄像头，但不以此为限制；同时，所述传感器的数量优选为四个，可设置于车辆外壳的前、后、左、右四个方向，实现车辆周围(即泊车位内外)的图像信息的全方位采集。
S102，根据图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框。
需要说明的是，本发明中障碍物识别模型为轻量级卷积神经网络。具体地，本发明中的障碍物识别模型由卷积神经网络模型通过样本数据集训练而成，通过障碍物识别模型可实时检测出图像信息中是否含有障碍物并识别出障碍物的类型及坐标，为自动泊车提供实时准确的障碍物感知信息。
具体地，泊车控制装置可根据障碍物识别模型识别图像信息中的障碍物类别。优选地，所述障碍物可以为雪糕筒、占位牌、占位杆、打开状态下的地锁、关闭状态下的地锁、行人、自行车、汽车等类别，但不以此为限制。
同时，泊车控制装置可根据障碍物识别模型识别障碍物坐标框。本发明中采用坐标框的形式对障碍物进行标注，障碍物的边缘被坐标框包围以使障碍物完全或绝大部分处于坐标框内，障碍物与坐标框一一对应。其中，坐标框优选为矩形坐标框，所述坐标框坐标信息包括矩形坐标框左上角像素坐标和右下角像素坐标。因此，通过坐标框坐标信息可有效地确定障碍物的坐标。
相应地，障碍物识别模型可安装于车载计算平台中。
如图2所示，所述障碍物识别模型至少包括16层用于特征提取。具体地，所述16层包括10个卷积层和6个最大池化层，并输出X个通道的特征图以实现障碍物分类和坐标框回归，其中：X＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；具体地，b的取值范围为0～1。
例如，模型中采用了3种先验框来预测，选用矩形坐标框形式(即包括横坐标、纵坐标、宽度、高度等4个坐标值)，1个边框置信度值，10种障碍物的各个检测概率。因此，每个先验框预测输出一个(4+1+10)维向量，即3个先验框最终输出(4+1+10)*3＝45个通道。
需要说明的是，为了兼顾检测图像中不同尺寸大小的物体，障碍物识别模型采用了两个尺度进行障碍物分类和坐标框回归，具体地，所述两个尺度包括，尺寸为A*A的特征图进行障碍物分类，尺寸为A*A的特征图经过上采样后与尺寸为2A*2A的特征图合并以进行坐标框回归，其中，A为根据原图尺寸经过n倍缩小后的数值，n为正整数。比如，模型输入原图尺寸为416*416，经过n＝32倍的下采样后得到尺寸为13*13的特征图，则一个用的是尺寸为13*13的特征图进行障碍物分类，另一个用的是尺寸为13*13的特征图经过上采样后与尺寸为26*26的特征图合并后进行坐标框回归。由于下采样倍数高，感受野比较大，适合检测图像中尺寸较大的物体。而另一个用的是尺寸为13*13经过上采样后与尺寸为26*26的特征图合并后检测回归，相对原图尺寸为416*416的经过16倍下采样最终融合后得到尺寸为26*26的特征图，感受野减小但细粒度增强，适合检测图像中尺寸较小的物体。
S103，根据障碍物类别和障碍物坐标框进行泊车控制。
当泊车控制装置识别出泊车位内外的障碍物的类型信息及坐标信息后，将障碍物的类型信息及坐标信息发送至显示器进行显示，从而方便用户直观地了解不同障碍物之间的相对位置和大小，最终，方便泊车控制装置根据障碍物类别和障碍物坐标框进行泊车控制。
所述显示器优选为车载显示器，但不以此为限制，只要具有显示功能的设备即可，灵活性强。显示时，障碍物类别信息、坐标框及坐标框坐标信息与图像信息相融合(即，障碍物类别信息、坐标框及坐标框坐标信息绘制至图像上进行显示)，直观性强。
因此，本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，通过障碍物识别模型精准地识别碍物类别及坐标框坐标，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息，从而实现了静态物体的高识别率，方便泊车控制装置根据障碍物类别和障碍物坐标框进行泊车控制。
如图3所示，障碍物识别模型的训练步骤包括：
S201，获取样本数据集、基础卷积神经网络模型以及损失函数；
样本数据集包括多个含有障碍物的样本数据。
本发明中，样本数据集的数量为5000个，但不以此为限制，只要满足训练要求即可；同时，用户可根据实际需求选择基础卷积神经网络模型；另外，结合样本特性，本发明通过提取障碍物类别、坐标框坐标等边缘参数，设计独特的损失函数，本发明中损失函数包括坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数。具体地：
坐标框坐标误差函数用于表示坐标框坐标累计误差，其包括坐标框纵横坐标误差函数及坐标框宽高误差函数。坐标框纵横坐标误差函数为
Figure BDA0002047234750000061
其中，xi表示坐标框的左上角的横坐标，yi表示坐标框的左上角的纵坐标，λcoord为坐标框位置的损失权重，S是指将图像划分成S*S个网格，B为每个网格对应先验框的数量，
Figure BDA0002047234750000062
为第一检测参数，当单个网格中检测到目标物体且交并比在B个先验框中为最大时，
Figure BDA0002047234750000063
取值为1，否则为0；坐标框宽高误差函数为
Figure BDA0002047234750000064
其中，ωi表示坐标框的宽度，hi表示坐标框的高度，λcoord为坐标框位置的损失权重，S是指将图像划分成S*S个网格，B为每个网格对应先验框的数量，
Figure BDA0002047234750000065
为第一检测参数，当单个网格中检测到目标物体且交并比在B个先验框中为最大时，
Figure BDA0002047234750000066
取值为1，否则为0。
坐标框交并比误差函数用于表示坐标框交并比累计误差，其函数公式为
Figure BDA0002047234750000067
其中，ci为第i个坐标框与真实框的交并比，λnoobj为单个网格内没有目标物体的损失权重，S是指将图像划分成S*S个网格，B为每个网格对应先验框的数量，
Figure BDA0002047234750000068
为第二检测参数，当单个网格中没有检测到目标物体时，
Figure BDA0002047234750000069
取值为1，否则为0。
分类误差函数用于表示障碍物分类累计误差，其函数公式为
Figure BDA00020472347500000610
其中，pi表示为识别物体的置信度，S是指将图像划分成S*S个网格，当检测物体的中心落在第i个网格中时，
Figure BDA00020472347500000611
为1，否则为0。
进一步，损失函数为坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数之和，即损失函数为：
Figure BDA00020472347500000612
Figure BDA0002047234750000071
S202，将基础卷积神经网络模型与损失函数结合，生成初始卷积神经网络模型。
在基础卷积神经网络模型中设置损失函数，形成初始卷积神经网络模型。
S203，根据样本数据集训练初始卷积神经网络模型，生成障碍物识别模型。
向初始卷积神经网络模型中输入样本数据集，通过损失函数迭代训练所述初始卷积神经网络模型，即可获得训练后的障碍物识别模型。
需要说明的是，训练的目标就是让损失函数逐渐降低至一个较稳定值，训练过程中的损失函数曲线如图4所示，随着迭代次数上升，损失函数先急剧下降再平缓降低，当达到500000次迭代时，损失函数loss值降至稳定值(约0.22)，训练完成后得到后缀为.weights格式参数权重文件。
本发明中，训练采用了总数为5000张样本的样本数据集，训练学习率为0.001，每次训练一批(batch)图片数量为64张，最大迭代次数500000次。
因此，本发明通过设计独特的损失函数，构建出准确的障碍物识别模型，实现了障碍物的高效识别，精确性高。
如图5所示，样本数据集的构建步骤包括：
S301，获取图像样本集，图像样本集包括多个含有障碍物的图像样本。
本发明采集了大于5000张不同拍摄场景下包含雪糕筒、占位牌、占位杆、打开状态下的地锁、关闭状态下的地锁、行人、自行车、汽车等障碍物的图像样本，以构成图像样本集。
S302，对每一图像样本分别进行标注处理以生成标注信息。
采用标注工具对每张图进行的标注以生成标注信息，标注信息包括图像中的障碍物类别信息及坐标框坐标信息(坐标框左上角像素坐标和右下角像素坐标)。同时，将每一图像样本的标注信息存储为xml格式。
S303，将含有标注信息的图像样本集组合为样本数据集。
因此，本发明通过采用特点的标注方式，实现了障碍物的精确分类及定位，为构建准确的障碍物识别模型打下了坚实的基础。
参见图6，图6显示了本发明泊车控制装置100的第一实施例，其包括：
获取模块1，用于获取传感器1采集的车辆周围的图像信息。所述传感器可以为摄像头，但不以此为限制；同时，所述传感器的数量优选为四个，可设置于车辆外壳的前、后、左、右四个方向，实现车辆周围(即泊车位内外)的图像信息的全方位采集。
识别模块2，用于根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框。需要说明的是，本发明中障碍物识别模型为轻量级卷积神经网络。具体地，本发明中的障碍物识别模型由卷积神经网络模型通过样本数据集训练而成，通过障碍物识别模型可实时检测出图像信息中是否含有障碍物并识别出障碍物的类型及坐标，为自动泊车提供实时准确的障碍物感知信息。优选地，本发明中障碍物识别模型至少包括16层用于特征提取。具体地，所述16层包括10个卷积层和6个最大池化层，并输出X个通道的特征图以实现障碍物分类和坐标框回归，其中：X＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；具体地，b的取值范围为0～1。同时，为了兼顾检测图像中不同尺寸大小的物体，障碍物识别模型采用了两个尺度进行障碍物分类和坐标框回归，具体地，所述两个尺度包括，尺寸为A*A的特征图进行障碍物分类，尺寸为A*A的特征图经过上采样后与尺寸为2A*2A的特征图合并以进行坐标框回归，其中，A为根据原图尺寸经过n倍缩小后的数值，n为正整数。
具体地，识别模块2可根据障碍物识别模型识别图像信息中的障碍物类别信息。所述障碍物可以为雪糕筒、占位牌、占位杆、打开状态下的地锁、关闭状态下的地锁、行人、自行车、汽车等类别，但不以此为限制。
识别模块2还可根据障碍物识别模型识别障碍物的坐标框坐标信息。坐标识别单元222采用坐标框的形式对障碍物进行注，障碍物的边缘被坐标框包围以使障碍物完全设于坐标框内，障碍物与坐标框一一对应。其中，坐标框优选为矩形坐标框，所述坐标框坐标信息包括矩形坐标框左上角像素坐标和右下角像素坐标。因此，通过坐标框坐标信息可有效地确定障碍物的坐标。
识别模块2还可根据障碍物类别信息及坐标框坐标信息生成障碍物检测结果。所述障碍物检测结果包括障碍物类别信息及坐标框坐标信息，显示时，障碍物类别信息、坐标框及坐标框坐标信息与图像信息相融合(即，障碍物类别信息、坐标框及坐标框坐标信息绘制至图像上进行显示)，直观性强。同时，所述显示器优选为车载显示器，但不以此为限制，只要具有显示功能的设备即可，灵活性强。
控制模块3，用于根据所述障碍物类别和障碍物坐标框进行泊车控制。
因此，本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，通过障碍物识别模型精准地识别碍物类别及坐标框坐标，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息。
进一步的，上述样本数据集包括多个含有障碍物的样本数据。本发明中，样本数据集的数量为5000个，但不以此为限制，只要满足训练要求即可；同时，用户可根据实际需求选择基础卷积神经网络模型。另外，结合样本特性，本发明提取障碍物类别、坐标框坐标等边缘参数，设计独特的损失函数，本发明中损失函数包括坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数。
需要说明的是，训练的目标就是让损失函数逐渐降低至一个较稳定值，训练过程中的损失函数曲线如图5所示，随着迭代次数上升，损失函数先急剧下降再平缓降低，当达到500000次迭代时，损失函数loss值降至稳定值(约0.22)，训练完成后得到后缀为.weights格式参数权重文件。
本发明中，训练采用了总数为5000张样本的样本数据集，训练学习率为0.001，每次训练一批(batch)图片数量为64张，最大迭代次数500000次。
因此，本发明通过设计独特的损失函数，构建出准确的障碍物识别模型，实现了障碍物的高效识别，精确性高。关于模型和样本构建的细节请参考前述实施例，此处不做一一赘述。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述泊车控制方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述泊车控制方法的步骤。
由上可知，本发明可服务于自动泊车和自动驾驶，本发明将轻量级卷积神经网络框架引入泊车位障碍物识别领域，实现了障碍物的精准识别，可为自动泊车提供实时准确的障碍物感知信息，与现有技术相比，本发明对静态物体及障碍物类别仍然较高的识别率。进一步，本发明根据障碍物类别、坐标框坐标等边缘参数设计独特的损失函数，构建出准确的障碍物识别模型，实现了障碍物的高效识别，精确性高。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种泊车控制方法，其特征在于，包括：
获取传感器采集的车辆周围的图像信息；
根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络，所述障碍物坐标框与障碍物一一对应，并且所述障碍物的边缘被坐标框包围以使障碍物处坐标框内；
根据所述障碍物类别和障碍物坐标框进行泊车控制。
2.如权利要求1所述的泊车控制方法，其特征在于，所述轻量级卷积神经网络的网络架构模型至少包括16层用于特征提取，并采用至少两个尺度的特征图进行分类和检测框回归。
3.如权利要求2所述的泊车控制方法，其特征在于，
所述16层包括10个卷积层和6个最大池化层，并输出X个通道的特征图以实现障碍物分类和坐标框回归，其中：
X＝(a+b+c)*d，其中，a为坐标框的坐标值数量，b为坐标框的置信度值，c为障碍物类别数量，d为先验框的数量；
所述两个尺度包括，尺寸为A*A的特征图进行障碍物分类，尺寸为A*A的特征图经过上采样后与尺寸为2A*2A的特征图合并以进行坐标框回归，其中，A为根据原图尺寸经过n倍缩小后的数值，n为正整数。
4.如权利要求1至3中任一项所述的泊车控制方法，其特征在于，所述方法还包括障碍物识别模型训练，具体包括：
获取样本数据集、基础卷积神经网络模型以及损失函数；
将所述基础卷积神经网络模型与所述损失函数结合，生成初始卷积神经网络模型；
根据所述样本数据集训练所述初始卷积神经网络模型，生成障碍物识别模型。
5.如权利要求4所述的泊车控制方法，其特征在于，所述样本数据集的构建步骤包括：
获取图像样本集，所述图像样本集包括多个含有障碍物的图像样本；
对每一图像样本分别进行标注处理以生成标注信息，所述标注信息包括障碍物类别信息及障碍物的坐标框坐标信息；
将含有标注信息的图像样本集组合为样本数据集。
6.如权利要求4所述的泊车控制方法，其特征在于，所述损失函数为坐标框坐标误差函数、坐标框交并比误差函数及分类误差函数之和；
所述坐标框坐标误差函数为
Figure FDA0002047234740000021
其中，xi为坐标框的左上角的横坐标，yi为坐标框的左上角的纵坐标，ωi为坐标框的宽度，hi为坐标框的高度，λcoord为坐标框位置的损失权重，S是指将图像划分成S*S个网格，B为每个网格对应先验框的数量，
Figure FDA0002047234740000024
为第一检测参数；
所述坐标框交并比误差函数为
Figure FDA0002047234740000022
其中，Ci为第i个坐标框与真实框的交并比，λnoobj为单个网格内没有目标物体的损失权重，
Figure FDA0002047234740000025
为第二检测参数；
所述分类误差函数为
Figure FDA0002047234740000023
其中，pi为识别物体的置信度。
7.一种泊车控制装置，其特征在于，包括：
获取模块，用于获取传感器采集的车辆周围的图像信息；
识别模块，用于根据所述图像信息和事先训练的障碍物识别模型获得障碍物类别和障碍物坐标框，其中，所述障碍物识别模型为轻量级卷积神经网络，所述障碍物坐标框与障碍物一一对应，并且所述障碍物的边缘被坐标框包围以使障碍物处坐标框内；
控制模块，用于根据所述障碍物类别和障碍物坐标框进行泊车控制。
8.如权利要求7所述的泊车控制装置，其特征在于，所述识别模块中的所述轻量级卷积神经网络的网络架构模型至少包括16层用于特征提取，并采用至少两个尺度的特征图进行分类和检测框回归。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN201910362438.7A 2019-04-30 2019-04-30 泊车控制方法、装置、计算机设备及计算机可读存储介质 Pending CN111860072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910362438.7A CN111860072A (zh) 2019-04-30 2019-04-30 泊车控制方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910362438.7A CN111860072A (zh) 2019-04-30 2019-04-30 泊车控制方法、装置、计算机设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111860072A true CN111860072A (zh) 2020-10-30

Family

ID=72966663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910362438.7A Pending CN111860072A (zh) 2019-04-30 2019-04-30 泊车控制方法、装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111860072A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884831A (zh) * 2021-02-02 2021-06-01 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN113205059A (zh) * 2021-05-18 2021-08-03 北京纵目安驰智能科技有限公司 车位的检测方法、***、终端及计算机可读存储介质
CN113264037A (zh) * 2021-06-18 2021-08-17 安徽江淮汽车集团股份有限公司 应用于自动泊车的障碍物识别方法
CN113610056A (zh) * 2021-08-31 2021-11-05 的卢技术有限公司 障碍物检测方法、装置、电子设备及存储介质
CN114046796A (zh) * 2021-11-04 2022-02-15 南京理工大学 一种智能轮椅自主行走算法、装置及介质
CN114802261A (zh) * 2022-04-21 2022-07-29 合众新能源汽车有限公司 泊车控制方法、障碍物识别模型训练方法、装置
CN115100377A (zh) * 2022-07-15 2022-09-23 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
RU2785822C1 (ru) * 2022-11-14 2022-12-14 Ольга Дмитриевна Миронова Способ предупреждения о наличии препятствия на пути следования

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986526A (zh) * 2018-07-04 2018-12-11 深圳技术大学（筹） 一种基于视觉传感跟踪车辆的智能停车方法及***
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986526A (zh) * 2018-07-04 2018-12-11 深圳技术大学（筹） 一种基于视觉传感跟踪车辆的智能停车方法及***
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CRISTIAN VASILESCU等: "Collaborative Object Recognition for Parking Management", 《THE 15TH INTERNATIONAL SCIENTIFIC CONFERENCE ELEARNING AND SOFTWARE FOR EDUCATION》, pages 194 - 201 *
JOSEPH REDMON等: "You Only Look Once: Unified, Real-Time Object Detection", 《ARXIV》, pages 2 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884831B (zh) * 2021-02-02 2022-10-04 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN112884831A (zh) * 2021-02-02 2021-06-01 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN113205059A (zh) * 2021-05-18 2021-08-03 北京纵目安驰智能科技有限公司 车位的检测方法、***、终端及计算机可读存储介质
CN113205059B (zh) * 2021-05-18 2024-03-12 北京纵目安驰智能科技有限公司 车位的检测方法、***、终端及计算机可读存储介质
CN113264037A (zh) * 2021-06-18 2021-08-17 安徽江淮汽车集团股份有限公司 应用于自动泊车的障碍物识别方法
CN113610056A (zh) * 2021-08-31 2021-11-05 的卢技术有限公司 障碍物检测方法、装置、电子设备及存储介质
CN113610056B (zh) * 2021-08-31 2024-06-07 的卢技术有限公司 障碍物检测方法、装置、电子设备及存储介质
CN114046796A (zh) * 2021-11-04 2022-02-15 南京理工大学 一种智能轮椅自主行走算法、装置及介质
CN114802261A (zh) * 2022-04-21 2022-07-29 合众新能源汽车有限公司 泊车控制方法、障碍物识别模型训练方法、装置
CN114802261B (zh) * 2022-04-21 2024-04-19 合众新能源汽车股份有限公司 泊车控制方法、障碍物识别模型训练方法、装置
CN115100377A (zh) * 2022-07-15 2022-09-23 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
CN115100377B (zh) * 2022-07-15 2024-06-11 小米汽车科技有限公司 地图构建方法、装置、车辆、可读存储介质及芯片
RU2785822C1 (ru) * 2022-11-14 2022-12-14 Ольга Дмитриевна Миронова Способ предупреждения о наличии препятствия на пути следования

Similar Documents

Publication Publication Date Title
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN110163930B (zh) 车道线生成方法、装置、设备、***及可读存储介质
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111169468B (zh) 一种自动泊车的***及方法
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、***、装置
CN112836633A (zh) 停车位检测方法以及停车位检测***
CN112740225B (zh) 一种路面要素确定方法及装置
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN115451964B (zh) 基于多模态混合特征的船舶场景同时建图与定位方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114648551B (zh) 轨迹预测方法及装置
CN115147328A (zh) 三维目标检测方法及装置
CN115953747A (zh) 车端目标分类检测方法及车端雷视融合设备
CN116030130A (zh) 一种动态环境下的混合语义slam方法
CN113361528B (zh) 一种多尺度目标检测方法及***
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
US20220164595A1 (en) Method, electronic device and storage medium for vehicle localization
EP4293622A1 (en) Method for training neural network model and method for generating image
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及***
CN114648639B (zh) 一种目标车辆的检测方法、***及装置
CN115861481A (zh) 一种基于激光惯性实时动态对象去除的slam***
CN113624223B (zh) 一种室内停车场地图构建方法及装置
CN113901903A (zh) 道路识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination