CN113034583A - 基于深度学习的车辆停车测距方法、装置及电子设备 - Google Patents

基于深度学习的车辆停车测距方法、装置及电子设备 Download PDF

Info

Publication number
CN113034583A
CN113034583A CN202110360717.7A CN202110360717A CN113034583A CN 113034583 A CN113034583 A CN 113034583A CN 202110360717 A CN202110360717 A CN 202110360717A CN 113034583 A CN113034583 A CN 113034583A
Authority
CN
China
Prior art keywords
image
distortion
vehicle
camera
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110360717.7A
Other languages
English (en)
Inventor
侯剑侠
黄涛
吴峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wheel Interconnection Technology Shanghai Co ltd
Original Assignee
Wheel Interconnection Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wheel Interconnection Technology Shanghai Co ltd filed Critical Wheel Interconnection Technology Shanghai Co ltd
Priority to CN202110360717.7A priority Critical patent/CN113034583A/zh
Publication of CN113034583A publication Critical patent/CN113034583A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于深度学习的车辆停车测距方法、装置及电子设备，其中方法包括：确定摄镜头畸变系数，基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；车辆处于靠边停车状态时获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，输出二值图像；基于畸变系数和去畸变算法去除二值图像中的镜头畸变，得到去畸变图像；经过单应性变换矩阵进行反投影变换，得到分辨率均匀图像，测量车辆与路边白线之间的距离。本发明能够在不同场景下准确检测到路边白线位置，提升白线位置检测的准确率和实际应用场景，去除摄像头成像中的镜头畸变，准确测量车辆与白线间的距离。

Description

基于深度学习的车辆停车测距方法、装置及电子设备
技术领域
本发明涉及计算机视觉和高级驾驶辅助领域，具体涉及一种基于深度学习的车辆停车测距方法、装置及电子设备。
背景技术
在驾考科目三考试中，路考仪的靠边停车模块通过随车安装的摄像头以拍照的方式测量车辆和路边白线之间的距离，以此判断学员是否达到考试所要求的车距离路边白线30cm到50cm的范围以内。
然而，现有的路考仪产品大多使用传统的图像处理方法，例如阈值分割、霍夫变换等简单方法从图像中检测白线，这些简单方法无法应对真实环境复杂多变的光照、天气和路面状况，只能在非常有限的环境下正确检测到路边白线。
并且，在驾考科目三的训练过程中，靠边停车时车辆与路边白线之间的精确距离对学员是一个重要反馈，学员可以依据这个反馈调整自己的操作，不断得到进步，但是，现有的路考仪产品大多只能做是非判断，告诉学员当前距离是否在30cm到50cm的范围内，但无法告诉学员精确的距离具体是多少厘米，导致无法对学员的训练形成有效反馈。
发明内容
本发明的主要目的在于提供一种基于深度学习的车辆停车测距方法及装置，以解决现有路考仪无法正确检测到路边白线、无法测量出车辆与白线之间准确距离的问题。
为了实现上述目的，本发明的第一方面提供了一种基于深度学习的车辆停车测距方法，包括：
预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数，并基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；
当车辆处于靠边停车状态时，获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像；
基于所述所有畸变系数和去畸变算法去除所述二值图像中的镜头畸变，得到去畸变图像；
将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像；
根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离。
可选地，所述预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数包括：
所述摄像头造成的镜头畸变包括径向畸变和切向畸变；
在安装所述摄像头前，预先通过opencv的相机标定算法确定所述径向畸变和切向畸变中的所有畸变系数；
将确定出的所有畸变系数作为预载数据进行保存。
进一步地，所述径向畸变由下述方程组描述：
xdistort＝x(1+k1r2+k2r4+k3r6)
ydistort＝y(1+k1r2+k2r4+k3r6)
所述切向畸变由下述方程组描述：
xdistort2＝x+[2p1xy+p2(r2+2x2)]
ydistort2＝y+[p1(r2+2y2)+2p2xy]
其中，xdistort是径向畸变中的横向畸变，ydistort是径向畸变中的纵向畸变，xdistort2是切向畸变中的横向畸变，ydistort2是切向畸变中的纵向畸变，x是无畸变时的横坐标，y是无畸变时的纵坐标，r是无畸变时图像上各个点与图像中心之间的距离，k1、k2、k3、p1和p2是镜头畸变中的五个畸变系数；
通过opencv的相机标定算法，确定所述五个畸变系数。
可选地，所述根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵包括：
利用摄像头采集图像，所述图像包含预设标识物中各标识点；
根据各标识点在图像中的位置建立图像坐标系，确定预设标识物中各标识点的图像坐标；
根据各标识点在实际物理世界中的位置建立实际物理坐标系，确定预设标识物中各标识点的实际物理坐标；
将各标识点的图像坐标和实际物理坐标一一对应，通过opencv确定单应性变换矩阵。
可选地，所述采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像包括：
所述语义分割算法采用的语义分割神经网络模型为基于膨胀卷积的deeplab语义分割模型；
调整所述deeplab语义分割模型中神经网络的层数和特征通道数，以满足车辆靠边停车的运行速度要求；
利用调整后的deeplab语义分割模型检测摄像头所采集图像中路边的白线；
使用白色像素显示所述白线的位置，并将所采集图像中除白线外的其他内容过滤，输出二值图像。
可选地，所述将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像，包括：
将去畸变图像中各标识点进行反投影变换，得到各标识点在三维空间中的坐标；
其中，令三维空间中各标识点位于马路地面这一平面上，三维空间中各标识点的Z轴坐标恒为0；
根据去畸变图像中各标识点和所述单应性变换矩阵，确定三维空间中各标识点的X轴坐标和Y轴坐标，得到分辨率均匀图像。
可选地，所述根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离，包括：
利用水平方向的梯度算子提取所述分辨率均匀图像中白线的左边缘，进行直线拟合；
根据分辨率均匀图像的图像分辨率，以及直线拟合后所拟合线段的中点与图像左边缘之间的像素数目，测量车辆与路边白线之间的实际物理距离。
本发明的第二方面提供了一种基于深度学习的车辆停车测距装置，包括：
确定单元，用于预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数，并基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；
检测单元，用于当车辆处于靠边停车状态时，获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像；
去畸变单元，用于基于所述所有畸变系数和去畸变算法去除所述二值图像中的镜头畸变，得到去畸变图像；
反投影变换单元，用于将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像；
测量单元，用于根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离。
本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面任意一项提供的基于深度学习的车辆停车测距方法。
本发明的第四方面提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项提供的基于深度学习的车辆停车测距方法。
在本发明实施例提供的基于深度学习的车辆停车测距方法中，预先确定镜头畸变系数和单应性变换矩阵，后续应用在所采集图像中，提高图像处理的效率；使用基于深度学习的语义分割算法检测所采集图像中的路边白线，能够在夜晚、下雨天以及白线部分磨损的路面准确检测到白线位置，提高了白线位置检测的准确率，同时也提升了实际应用场景；
采用相机标定算法和去畸变算法，可以计算并去除摄像头成像中存在的镜头畸变；通过单应性变换矩阵进行反投影变换，得到分辨率均匀的图像，能够计算图像中任意两点的实际物理距离，计算出的实际距离误差较低，误差在厘米级。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习的车辆停车测距方法流程示意图；
图2为本发明实施例提供的黑白格布存在镜头畸变时的图像；
图3为本发明实施例提供的黑白格布去除镜头畸变后的图像；
图4为本发明实施例提供的去除畸变后黑白格布中的所有内点依次连接的图像；
图5为本发明实施例提供的黑白格布坐标系；
图6为本发明实施例提供的黑白格布中的所有内点按照实际物理坐标依次连接的示意图；
图7为本发明实施例提供的黑白格布经过反投影变换后的图像；
图8为本发明实施例提供的采用基于深度学习的语义分割算法输出的二值图像；
图9为本发明实施例提供的基于encoder-decoder的语义分割模型；
图10为本发明实施例提供的基于膨胀卷积的deeplab语义分割模型；
图11为本发明实施例提供的投影变换的原理图；
图12为本发明实施例提供的使用水平方向的梯度算子提取分辨率均匀图像中白线的左边缘；
图13为本发明实施例提供的基于深度学习的车辆停车测距装置框图；
图14为本发明实施例提供的电子设备框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
对于驾考科目三车辆靠边停车并检测车辆与路边白线之间的距离，现有的路考仪产品大多使用传统的图像处理方法从图像中检测白线，这些简单方法无法应对真实环境复杂多变的光照、天气和路面状况，只能在非常有限的环境下才能正确检测到路边白线。并且，现有路考仪产品无法告诉学员车辆与路边白线之间精确的距离具体是多少厘米，导致无法对学员的训练形成有效反馈。
为了解决上述问题，本发明实施例提供了一种基于深度学习的车辆停车测距方法，如图1所示，该方法包括如下的步骤S101至步骤S105：
步骤S101：预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数，并基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；出于控制成本的需要，路考仪所采用的摄像头成像效果存在镜头畸变，这类畸变可以通过opencv的相机标定算法确定。
具体的，所述步骤S101中的预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数包括：
所述摄像头造成的镜头畸变包括径向畸变和切向畸变；
在安装所述摄像头前，预先通过opencv的相机标定算法确定所述径向畸变和切向畸变中的所有畸变系数；对于同一个型号的摄像头，该摄像头在安装前后所有的畸变系数相同，因此摄像头的所有畸变系数只需在安装摄像头前确定一次即可；
将确定出的所有畸变系数作为预载数据进行保存，畸变系数作为预载数据放到路考仪的软件***中。
具体的，所述径向畸变由下述方程组描述：
xdistort＝x(1+k1r2+k2r4+k3r6)
ydistort＝y(1+k1r2+k2r4+k3r6)
所述切向畸变由下述方程组描述：
xdistort2＝x+[2p1xy+p2(r2+2x2)]
ydistort2＝y+[p1(r2+2y2)+2p2xy]
其中，xdistort是径向畸变中的横向畸变，ydistort是径向畸变中的纵向畸变，xdistort2是切向畸变中的横向畸变，ydistort2是切向畸变中的纵向畸变，x是无畸变时的横坐标，y是无畸变时的纵坐标，r是无畸变时图像上各个点与图像中心之间的距离，k1、k2、k3、p1和p2是镜头畸变中的五个畸变系数；
通过opencv的相机标定算法，确定所述五个畸变系数。
在本发明实施例中，在安装摄像头拍摄包含路边白线的图像之前，以黑白格布为例，通过同一型号的摄像头拍摄预先准备好的黑白格布，得到的存在镜头畸变的图像如图2所示；通过上述opencv的相机标定算法确定镜头畸变的五个畸变系数，并通过这五个畸变系数和后续的去畸变算法去除镜头畸变，去除畸变后的图像如图3所示。
具体的，所述步骤S101中的根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵包括：
利用摄像头采集图像，所述图像包含预设标识物中各标识点；
根据各标识点在图像中的位置建立图像坐标系，确定预设标识物中各标识点的图像坐标；
根据各标识点在实际物理世界中的位置建立实际物理坐标系，确定预设标识物中各标识点的实际物理坐标；
将各标识点的图像坐标和实际物理坐标一一对应，通过opencv确定单应性变换矩阵。
在确定摄像头畸变系数后、安装摄像头时，因为靠边停车是计算车辆的右侧到路边白线的距离，所以摄像头必须安装在车的右侧，本发明实施例采用的具体方案为摄像头安装在车辆右后视镜下方；摄像头安装完成后，确定单应性变换矩阵，由于该单应性变换矩阵与摄像头的具***置和角度有关，所以必须在安装固定好摄像头之后再确定。
在本发明实施例中，拍摄含有路边白线的图像之前，同样以预设标识物为黑白格布为例，对于图3所示的去除畸变后的图像，将黑白格布中的所有内点作为各标识点，标出各标识点并依次连接，如图4所示，其中，共有9×6＝54个内点，即54个标识点。
找到黑白格布中所有内点的位置，以最左上角的内点为原点，向右为x轴正向、向下为y轴正向，构造如图5所示的黑白格布坐标系。
根据黑白格布中每个黑白格的实际物理尺寸，构造这54个内点的实际物理坐标，以毫米(mm)为单位，设每个黑白格实际物理尺寸为30mm x 30mm，标记54个内点的实际物理坐标为下述9行6列的实际物理坐标阵列(为节省篇幅，其中6行不再赘述，以省略号代替)：
(0，0)，(30，0)，(60，0)，(90，0)，(120，0)，(150，0)
(0，30)，(30，30)，(60，30)，(90，30)，(120，30)，(150，30)
……
(0，240)，(30，240)，(60，240)，(90，240)，(120，240)，(150，240)
在实际物理坐标系中，按照从左到右、从上到下的顺序将黑白格布所有内点依次连接，得到如图6所示的所有内点实际物理坐标示意图；
根据图3所示的去除畸变后的图像和图6所示的所有内点实际物理坐标示意图，将图3图像中54个内点的图像坐标和图6实际物理坐标示意图中54个内点的实际物理坐标一一对应，通过opencv的findHomography函数，计算图像坐标和实际物理坐标的单应性变换矩阵；
以黑白格布为例，黑白格布的图3所示去除畸变后的图像经过单应性变换矩阵后，即可得到反投影变换后的图像，如图7所示；图7所示的为经过反投影变换之后的图像，相当于直接对黑白格布做平行投影的结果，没有任何的透视变形，所以整张图的分辨率(分辨率为一个像素代表的实际物理距离，单位是毫米/像素)是均匀的，图像内每一个像素对应的物理距离都是相等的；由于图像中每一个黑白格的尺寸是30像素x30像素，同时对应的真实物理尺寸是30毫米x30毫米，因此，可以得出图7的实际分辨率是1毫米/像素。
步骤S102：当车辆处于靠边停车状态时，获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像；使用基于深度学习的语义分割算法检测所采集图像中的路边白线，能够在夜晚、下雨天以及白线部分磨损的路面准确检测到白线位置，提高了白线位置检测的准确率，同时也提升了实际应用场景。
其中，语义分割的基本定义为：输入一张图像，算法会为每个像素计算一个分类标签，即判断每一个像素是属于哪一类物体；对于本发明实施例而言，就是从摄像头所采集的图像中，找出哪些像素属于白线，哪些像素属于白线外的其他内容。比如获取摄像头所采集的图像，采用基于深度学习的语义分割算法检测到图像中的路边白线后，语义分割算法会输出如图8所示的二值图像，其中用白色像素标出了路边白线所在位置，而除白线外的其他内容都作为无关内容被过滤掉。
具体的，所述步骤S102中的采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像包括：
所述语义分割算法采用的语义分割神经网络模型为基于膨胀卷积的deeplab语义分割模型；使用基于膨胀卷积的deeplab语义分割模型，可以提高网络的感受野，达到集成大范围图像特征的效果；
调整所述deeplab语义分割模型中神经网络的层数和特征通道数，以满足车辆靠边停车的运行速度要求；通过多次深度学习调整参数，包括调整神经网络的层数和特征通道数，确定神经网络结构，以满足车辆靠边停车的运行速度要求；
利用调整后的deeplab语义分割模型检测摄像头所采集图像中路边的白线；
使用白色像素显示所述白线的位置，并将所采集图像中除白线外的其他内容过滤，输出二值图像。
其中，语义分割神经网络模型分为两大类：基于encoder-decoder的语义分割模型和基于膨胀卷积的deeplab语义分割模型。
对于基于encoder-decoder的语义分割模型，如图9所示，这类模型由两部分组成，首先有一个encoder分支，大幅减少特征图(image)的尺寸，能够集成大范围的图像特征用于整体的物体分割；然后有一个decoder分支，逐步恢复特征图的尺寸(2x up)，在利用深层网络的大范围图像特征的同时，通过横向的连接也利用了浅层网络的小范围细节特征；最终得到的是同时集成了大范围和小范围特征的综合特征图，既能分割出图像中的大物件，也能分割出图像中的小物件。
对于基于膨胀卷积的deeplab语义分割模型，如图10所示，这类模型为了物体保留足够多的边缘细节，通常不会将特征图做大幅度的减小变成小分辨率(smallresolution)，而是在网络达到特定深度之后，使用膨胀卷积(dilated convolution，又称为空洞卷积，atrous convolution)来提高网络的感受野，起到集成大范围的图像特征的作用。
本发明实施例提供的基于路考仪的性能在做了对比实验后，采用了上述的基于膨胀卷积的deeplab语义分割模型，只有一个计算分支，运算的复杂度更低。通过多次深度学习调参，调整神经网络的层数和特征通道数，确定神经网络结构，在路考仪上能够以15fps的帧率运行，满足了靠边停车的运行速度要求。
步骤S103：基于所述所有畸变系数和去畸变算法去除所述二值图像中的镜头畸变，得到去畸变图像；根据所安装摄像头获取的含有白线的图像的二值图像，将该二值图像根据预载的五个畸变系数经过去畸变算法，去除该二值图像中的镜头畸变，得到去畸变图像；
上述过程与本发明实施例提供的将预设标识物，即黑白格布畸变的图像进行去畸变后得到去畸变的图像这一过程类似，区别只在于，黑白格布图像的去畸变过程目的是预先得到五个畸变系数，以备此处得到所含白线图像的二值图像的去畸变图像进行使用。
步骤S104：将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像；在上面去畸变的基础上，反投影变换的目的是把透视投影变换得到的图像反变换回去，将二维平面图像中的点反投影变换到三维空间。
具体的，所述步骤S104包括：
将去畸变图像中各标识点进行反投影变换，得到各标识点在三维空间中的坐标；
其中，令三维空间中各标识点位于马路地面这一平面上，三维空间中各标识点的Z轴坐标恒为0；
根据去畸变图像中各标识点和所述单应性变换矩阵，确定三维空间中各标识点的X轴坐标和Y轴坐标，得到分辨率均匀图像。
在本发明实施例中，反投影变换是将二维平面图像中的点反投影变换到三维空间，与之相反的，投影变换是三维空间坐标投影到二维平面上，对应于成像过程，相机成像的一种数学建模是小孔成像原理。
本发明实施例提供的投影变换的原理如图11所示，其中，center of projection为坐标原点，image plane为图像平面，optical axis为光轴，设三维空间中一点Q的坐标为(X,Y,Z)，按下述公式组计算点Q在二维平面上的投影(xscreen，yscreen)：
Figure BDA0003004050670000121
Figure BDA0003004050670000122
其中，fx是镜头焦距乘上成像器横向分辨率之后的综合参数，fy是镜头焦距乘上成像器纵向分辨率之后的综合参数，cx是成像平面横向的偏移参数，cy是成像平面纵向的偏移参数；综合起来，可以按照下述矩阵乘法表达上述公式组的计算过程：
Figure BDA0003004050670000131
其中，
Figure BDA0003004050670000132
是投影得到的齐次坐标，
Figure BDA0003004050670000133
是投影矩阵，
Figure BDA0003004050670000134
是三维空间的坐标点。
投影变换是三维空间坐标投影到二维平面上，对应于成像过程；反投影变换则是二维平面坐标反变换回去，得到三维空间中的点。
在本发明实施例中，总是假定三维空间中的点位于马路地面这一平面上，其Z轴坐标恒为0，因此根据二维平面的点可以反变换回去，得到三维空间中的点；Z轴坐标已知为0，只需要根据去畸变图像中各标识点和单应性变换矩阵计算出X轴和Y轴坐标，得到分辨率均匀图像。由于经过了反投影变换之后的图像，相当于直接做平行投影的结果，没有任何的透视变形，因此整张图的分辨率是均匀的，图像内不同像素对应的物理距离都是相等的，即得到的是分辨率均匀的图像。
步骤S105：根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离。
具体的，所述步骤S105包括：
利用水平方向的梯度算子提取所述分辨率均匀图像中白线的左边缘，进行直线拟合；该水平方向的梯度算子可以是sobel算子；
根据分辨率均匀图像的图像分辨率，以及直线拟合后所拟合线段的中点与图像左边缘之间的像素数目，测量车辆与路边白线之间的实际物理距离。
针对二值图像经过去畸变和反投影变换后得到的分辨率均匀图像，使用水平方向的梯度算子提取分辨率均匀图像中白线的左边缘，如图12所示，然后进行直线拟合，确定所拟合线段的中点与图像左边缘之间的像素数目，最后将该像素数目与图像分辨率相乘，得到车辆与路边白线之间的实际物理距离；
其中，所拟合的线段可以不平行于左边缘，取线段的中点到图像左边缘的距离；摄像头安装位置所拍摄图像中车身与图像边缘平行，并且，将车身左边的图像裁掉，保证图像左边缘即车身，即图像左边缘是车辆的位置，直线拟合后线段中点到左边缘的距离即车辆到路边白线间的实际物理距离。
从以上的描述中，可以看出，本发明实现了如下技术效果：
第一，本发明预先确定镜头畸变系数和单应性变换矩阵，后续应用在所采集图像中，提高图像处理的效率；
第二，采用基于深度学习的语义分割技术，比起传统基于图像处理的方法，能够处理更复杂的光照、天气和路面状况，在下雨天和夜晚也能准确检测到路面的白线位置，提高了白线位置检测的准确率，同时也提升了实际应用场景；
第三，采用相机标定算法和去畸变算法，可以计算并去除摄像头成像中存在的镜头畸变；
第四，通过单应性变换矩阵进行反投影变换，得到分辨率均匀的图像，能够计算图像中任意两点之间的实际物理距离，计算出的实际距离误差较低，误差在厘米级，可以为学员在练车过程中提供精确反馈。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种用于实施上述基于深度学习的车辆停车测距方法的基于深度学习的车辆停车测距装置，如图13所示，该装置包括：
确定单元131，用于预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数，并基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；
检测单元132，用于当车辆处于靠边停车状态时，获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像；
去畸变单元133，用于基于所述所有畸变系数和去畸变算法去除所述二值图像中的镜头畸变，得到去畸变图像；
反投影变换单元134，用于将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像；
测量单元135，用于根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离
本发明实施例还提供了一种电子设备，如图14所示，该电子设备包括一个或多个处理器141以及存储器142，图14中以一个处理器141为例。
该控制器还可以包括：输入装置143和输出装置144。
处理器141、存储器142、输入装置143和输出装置144可以通过总线或者其他方式连接，图3中以通过总线连接为例。
处理器141可以为中央处理器(Central Processing Unit，简称为CPU)，处理器141还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，简称为DSP)、专用集成电路(Application Specific Integrated Circuit，简称为ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称为FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合，通用处理器可以是微处理器或者任何常规的处理器。
存储器142作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的控制方法对应的程序指令/模块。处理器141通过运行存储在存储器142中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于深度学习的车辆停车测距方法。
存储器142可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器142可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器142可选包括相对于处理器141远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置143可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置144可包括显示屏等显示设备。
一个或者多个模块存储在存储器142中，当被一个或者多个处理器141执行时，执行如图1所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，简称为ROM)、随机存储记忆体(RandomAccessMemory，简称为RAM)、快闪存储器(FlashMemory，简称为FM)、硬盘(HardDiskDrive，简称为HDD)或固态硬盘(Solid-StateDrive，简称为SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于深度学习的车辆停车测距方法，其特征在于，包括：
预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数，并基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；
当车辆处于靠边停车状态时，获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像；
基于所述所有畸变系数和去畸变算法去除所述二值图像中的镜头畸变，得到去畸变图像；
将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像；
根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数包括：
所述摄像头造成的镜头畸变包括径向畸变和切向畸变；
在安装所述摄像头前，预先通过opencv的相机标定算法确定所述径向畸变和切向畸变中的所有畸变系数；
将确定出的所有畸变系数作为预载数据进行保存。
3.根据权利要求2所述的方法，其特征在于，所述径向畸变由下述方程组描述：
xdistort＝x(1+k1r2+k2r4+k3r6)
ydistort＝y(1+k1r2+k2r4+k3r6)
所述切向畸变由下述方程组描述：
xdistort2＝x+[2p1xy+p2(r2+2x2)]
Ydistort2＝y+[p1(r2+2y2)+2p2xy]
其中，xdistort是径向畸变中的横向畸变，ydistort是径向畸变中的纵向畸变，xdistort2是切向畸变中的横向畸变，ydistort2是切向畸变中的纵向畸变，x是无畸变时的横坐标，y是无畸变时的纵坐标，r是无畸变时图像上各个点与图像中心之间的距离，k1、k2、k3、p1和p2是镜头畸变中的五个畸变系数；
通过opencv的相机标定算法，确定所述五个畸变系数。
4.根据权利要求1所述的方法，其特征在于，所述根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵包括：
利用摄像头采集图像，所述图像包含预设标识物中各标识点；
根据各标识点在图像中的位置建立图像坐标系，确定预设标识物中各标识点的图像坐标；
根据各标识点在实际物理世界中的位置建立实际物理坐标系，确定预设标识物中各标识点的实际物理坐标；
将各标识点的图像坐标和实际物理坐标一一对应，通过opencv确定单应性变换矩阵。
5.根据权利要求1所述的方法，其特征在于，所述采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像包括：
所述语义分割算法采用的语义分割神经网络模型为基于膨胀卷积的deeplab语义分割模型；
调整所述deeplab语义分割模型中神经网络的层数和特征通道数，以满足车辆靠边停车的运行速度要求；
利用调整后的deeplab语义分割模型检测摄像头所采集图像中路边的白线；
使用白色像素显示所述白线的位置，并将所采集图像中除白线外的其他内容过滤，输出二值图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像，包括：
将去畸变图像中各标识点进行反投影变换，得到各标识点在三维空间中的坐标；
其中，令三维空间中各标识点位于马路地面这一平面上，三维空间中各标识点的Z轴坐标恒为0；
根据去畸变图像中各标识点和所述单应性变换矩阵，确定三维空间中各标识点的X轴坐标和Y轴坐标，得到分辨率均匀图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离，包括：
利用水平方向的梯度算子提取所述分辨率均匀图像中自线的左边缘，进行直线拟合；
根据分辨率均匀图像的图像分辨率，以及直线拟合后所拟合线段的中点与图像左边缘之间的像素数目，测量车辆与路边白线之间的实际物理距离。
8.一种基于深度学习的车辆停车测距装置，其特征在于，包括：
确定单元，用于预先通过opencv的相机标定算法确定摄像头镜头的所有畸变系数，并基于安装的摄像头，根据预设标识物中各标识点的图像坐标和实际物理坐标确定单应性变换矩阵；
检测单元，用于当车辆处于靠边停车状态时，获取摄像头所采集图像，采用基于深度学习的语义分割算法检测所采集图像中路边的白线，并输出二值图像；
去畸变单元，用于基于所述所有畸变系数和去畸变算法去除所述二值图像中的镜头畸变，得到去畸变图像；
反投影变换单元，用于将所述去畸变图像经过所述单应性变换矩阵进行反投影变换，得到分辨率均匀图像；
测量单元，用于根据所述分辨率均匀图像，测量车辆处于靠边停车状态时车辆与路边白线之间的距离。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任意一项所述的基于深度学习的车辆停车测距方法。
10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任意一项所述的基于深度学习的车辆停车测距方法。
CN202110360717.7A 2021-04-01 2021-04-01 基于深度学习的车辆停车测距方法、装置及电子设备 Withdrawn CN113034583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360717.7A CN113034583A (zh) 2021-04-01 2021-04-01 基于深度学习的车辆停车测距方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360717.7A CN113034583A (zh) 2021-04-01 2021-04-01 基于深度学习的车辆停车测距方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113034583A true CN113034583A (zh) 2021-06-25

Family

ID=76453825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360717.7A Withdrawn CN113034583A (zh) 2021-04-01 2021-04-01 基于深度学习的车辆停车测距方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113034583A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449648A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 指示线的检测方法、***、设备及计算机可读存储介质
CN116758063A (zh) * 2023-08-11 2023-09-15 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449648A (zh) * 2021-06-30 2021-09-28 北京纵目安驰智能科技有限公司 指示线的检测方法、***、设备及计算机可读存储介质
CN116758063A (zh) * 2023-08-11 2023-09-15 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法
CN116758063B (zh) * 2023-08-11 2023-11-07 南京航空航天大学 一种基于图像语义分割的工件尺寸检测方法

Similar Documents

Publication Publication Date Title
CN110285793B (zh) 一种基于双目立体视觉***的车辆智能测轨迹方法
CN110322702B (zh) 一种基于双目立体视觉***的车辆智能测速方法
CN112270713B (zh) 标定方法以及装置、存储介质、电子装置
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理***
CN108399403B (zh) 一种基于车牌尺寸计算的车距检测方法
CN105718872B (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及***
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN111141311B (zh) 一种高精度地图定位模块的评估方法及***
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN104021588A (zh) 一种实时恢复车辆三维真实模型的***及方法
CN113034583A (zh) 基于深度学习的车辆停车测距方法、装置及电子设备
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN112330755B (zh) 环视***的标定评价方法及装置、存储介质、终端
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN106803073B (zh) 基于立体视觉目标的辅助驾驶***及方法
CN114428259A (zh) 一种基于地图车采集的地库激光点云中车辆自动提取方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN114724119B (zh) 车道线提取方法、检测设备及存储介质
CN115546216A (zh) 一种托盘检测方法、装置、设备及存储介质
CN113012239B (zh) 一种车路协同路侧感知相机的焦距变化定量计算方法
CN115294211A (zh) 一种车载相机安装外参标定方法、***、装置与存储介质
CN112184605A (zh) 一种车辆驾驶视野增强方法、设备及***
CN113643374A (zh) 基于道路特征的多目相机标定方法、装置、设备和介质
CN117152707B (zh) 一种车辆偏移距离的计算方法、装置以及处理设备
CN113762099B (zh) 一种基于路侧rsu的实时点云三维重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210625