CN112793564B - 一种基于全景鸟瞰图和深度学习的自主泊车辅助*** - Google Patents

一种基于全景鸟瞰图和深度学习的自主泊车辅助*** Download PDF

Info

Publication number
CN112793564B
CN112793564B CN202110169283.2A CN202110169283A CN112793564B CN 112793564 B CN112793564 B CN 112793564B CN 202110169283 A CN202110169283 A CN 202110169283A CN 112793564 B CN112793564 B CN 112793564B
Authority
CN
China
Prior art keywords
parking space
automobile
parking
aerial view
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110169283.2A
Other languages
English (en)
Other versions
CN112793564A (zh
Inventor
杨东杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110169283.2A priority Critical patent/CN112793564B/zh
Publication of CN112793564A publication Critical patent/CN112793564A/zh
Application granted granted Critical
Publication of CN112793564B publication Critical patent/CN112793564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

一种基于全景鸟瞰图和深度学习的自主泊车辅助***，包括：利用360全景技术生成2d真实世界坐标地图的360实时全景模块；通过目标检测进行停车位实时识别和定位的目标识别模块；实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的语义分割模块；实时输出鸟瞰地图及相关物***置信息作为汽车路径规划的数据融合模块。本发明采用了360全景图像拼接技术实时生成汽车周围的全景鸟瞰图，并通过目标检测进行停车位实时识别和定位，同时利用语义分割实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位。

Description

一种基于全景鸟瞰图和深度学习的自主泊车辅助***
技术领域
本发明涉及自动泊车***，尤其是一种基于全景鸟瞰图和深度学习的自主泊车辅助***。
背景技术
随着汽车保有量的急剧增加，泊车位缺少、泊车困难等问题日渐突出，为了解决此类问题，自主泊车辅助***应运而生。现存的自主泊车辅助***主要分为两大类：一类是基于传感器，另一类是基于视觉。目前使用比较广泛的是基于传感器的自主泊车辅助***，该种自主泊车辅助***由较多的安装在车辆上的传感器组成，这样增加了车辆的制造成本。
发明内容
本发明所要解决的技术问题是提供一种基于全景鸟瞰图和深度学习的自主泊车辅助***，解决了泊车过程中泊车困难等问题。
为解决上述技术问题，本发明的技术方案是：一种基于全景鸟瞰图和深度学习的自主泊车辅助***，包括：
利用360全景技术生成2d真实世界坐标地图的360实时全景模块；通过目标检测进行停车位实时识别和定位的目标识别模块；
实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的语义分割模块；
实时输出鸟瞰地图及相关物***置信息作为汽车路径规划的数据融合模块。
本发明采用了360全景图像拼接技术实时生成汽车周围的全景鸟瞰图，并通过目标检测进行停车位实时识别和定位，同时利用语义分割实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位。
作为改进，所述360实时全景模块生成2d真实世界坐标地图的方法：
(1)四路鱼眼摄像头输入；
(2)鱼眼输入矫正；
(3)矫正后图像透射变换；
(4)四路透射变换后图像建立掩模，提取重叠区域；
(5)对重叠区域进行降噪处理；
(6)对重叠区域提取多边形轮廓，利用距离加权计算过渡矩阵；
(7)对四路透射变换图像亮度平衡；
(8)进行图像拼接；
(9)对整体图像进行色彩白平衡调整。
作为改进，所述360实时全景模块生成2d真实世界坐标地图的方法：
(1)四路鱼眼摄像头输入广角畸变图；
(2)利用标定得到的摄像机内参对四路的广角畸变图像进行畸变矫正；
(3)通过透视变换将四路矫正后图像投影到对应汽车的鸟瞰图的汽车前部、后部、左部和右部；
(4)提取四个投影图像的两两之间的重叠区域，灰度化并二值化，利用形态学操作去掉一部分噪点，得到可以提取重叠区域的掩模；
(5)对掩模进行多边形轮廓的提取，获取逼近该多边形轮廓的简单多边形；对重叠区域中每个像素，计算它到两个边界的权重值，对应权值
Figure BDA0002938418020000031
其中dm和dn为该点到两边界的距离，通过权重值，生成一个连续变化的取值由0到1的过渡矩阵G；
(6)对四路RGB三通道共12个通道分别乘上12个系数调整四路图像的亮度，使得鸟瞰图总体亮度保持一致；
(7)对整体图像进行色彩白平衡同样也是对图像RGB三通道的强度进行一定调整；
(8)通过掩模提取重叠区域，再利用过渡矩阵对重叠区域进行处理，使得汽车的鸟瞰图的前后左右四个部分的重叠区域能较好的拼接起来；对四路投影图像进行亮度均衡之后，进行四路图像拼接；鸟瞰图中心位置采用一张汽车图片代替，得到360全景鸟瞰图；
(9)最后选择对360全景鸟瞰图进行色彩白平衡，使得图像更加贴近真实世界。
作为改进，所述目标识别模块对停车位实时识别和定位的方法：
(1)利用目标识别模型识别停车位候选特征点；
(2)基于复数运算，遍历筛选停车位特征点；
(3)通过筛选后的特征点生成候选停车位区域；
(4)通过相应算法筛选出正确停车位区域。
作为改进，所述目标识别模块对停车位实时识别和定位的方法：
(1)通过YOLOv5s模型识别出停车位的角点，以汽车为原点，将停车位角点以幅角大小进行排序；求解每个两个角点之间的斜率，并根据斜率的方差筛选掉可能导致两个连续垂直车位识别成平行车位的情况；
(2)以两个角点作为一组，作为候选车位的两个角点。以通常平行或垂直车位的长度，筛选掉不符合的角点组；
(3)筛选后的角点组，每组生成两个候选车位多边形，根据和汽车的距离筛选掉不符合的候选车位，得到若干正确的停车位；
(4)根据鸟瞰图的投影比例系数，获取停车位对应的真实世界的坐标。
作为改进，语义分割模块实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的方法：
(1)语义分割获得目标物体的掩模；
(2)提取可行驶区域；
(3)提取识别到的汽车，结合目标识别的车位，通过相应算法判断车位是否空闲；
(4)提取识别到的行人，通过相应算法定位行人大致位置。
作为改进，语义分割模块实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的方法：
(1)通过bisenetV2对四路矫正后的图片作为一个batch进行推断，获取可行驶区域，汽车以及行人的掩模；
(2)将可行驶区域掩模叠加到原四路矫正后图像进行四路透视变换转换到鸟瞰图进行显示，获取汽车的可行驶区域；
(3)获取目标识别模块得到的候选车位多边形，对于每个车位计算与透视变换后汽车掩模的重叠区域，根据车位距离汽车远近，设定重叠的阈值以某种单调减函数进行衰减，对于满足阈值的车位，说明该车位是非空闲的；
(4)对行人的掩模进行透视变换，之后提取掩模的多边形轮廓，对每个多边形轮廓，寻找距离汽车的最近点，获得行人的大致位置。
本发明与现有技术相比所带来的有益效果是：
1、系本发明采用了360全景图像拼接技术实时生成汽车周围的全景鸟瞰图，该算法运行流畅，可搭载于嵌入式设备直接进行拼接；全景鸟瞰图重叠区域过渡自然，无明显分界；四路亮度进行算法均衡，产生的鸟瞰图四路无明显区别；
2、本发明目标识别方法识别速度和准确率高，可以实现实时，从而嵌入式设备也可以流畅运行；停车位匹配算法可以同时检测车360环绕各个角度的多个车位；本发明可识别草地、地下、路边等多场景停车位，可识别垂直和平行多类型停车位；
3、基于语义分割的可行驶区域划分，可以分辨雷达难以监测到人行道等低矮物体；单纯基于视觉监测停车位空闲，无需昂贵硬件设备；无需雷达(或SLAM)便可识别行人和大致确定行人的位置。
附图说明
图1为本发明自主泊车辅助***结构图。
图2为主泊车辅助***运行流程图。
图3为全景鸟瞰图模块流程图。
图4为目标识别模块流程图。
图5为语义分割模块流程图。
具体实施方式
下面结合说明书附图对本发明作进一步说明。
如图1所示，一种基于全景鸟瞰图和深度学习的自主泊车辅助***，包括：
利用360全景技术生成2d真实世界坐标地图的360实时全景模块；通过目标检测进行停车位实时识别和定位的目标识别模块；
实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的语义分割模块；
实时输出鸟瞰地图及相关物***置信息作为汽车路径规划的数据融合模块。
如图3所示，360实时全景模块生成2d真实世界坐标地图的方法：
(1)四路鱼眼摄像头输入广角畸变图；
(2)利用标定得到的摄像机内参对四路的广角畸变图像进行畸变矫正；
(3)通过透视变换将四路矫正后图像投影到对应汽车的鸟瞰图的汽车前部、后部、左部和右部；
(4)提取四个投影图像的两两之间的重叠区域，灰度化并二值化，利用形态学操作去掉一部分噪点，得到可以提取重叠区域的掩模；
(5)对掩模进行多边形轮廓的提取，获取逼近该多边形轮廓的简单多边形；对重叠区域中每个像素，计算它到两个边界的权重值，对应权值
Figure BDA0002938418020000061
其中dm和dn为该点到两边界的距离，通过权重值，生成一个连续变化的取值由0到1的过渡矩阵G；
(6)对四路RGB三通道共12个通道分别乘上12个系数调整四路图像的亮度，使得鸟瞰图总体亮度保持一致；
(7)对整体图像进行色彩白平衡同样也是对图像RGB三通道的强度进行一定调整；
(8)通过掩模提取重叠区域，再利用过渡矩阵对重叠区域进行处理，使得汽车的鸟瞰图的前后左右四个部分的重叠区域能较好的拼接起来；对四路投影图像进行亮度均衡之后，进行四路图像拼接；鸟瞰图中心位置采用一张汽车图片代替，得到360全景鸟瞰图；
(9)最后选择对360全景鸟瞰图进行色彩白平衡，使得图像更加贴近真实世界。
摄像机标定获取内参：本***摄像机标定模块采用棋盘格标定板分别对四个鱼眼摄像头进行标定，获得摄像头的内参和畸变系数。在***的摄像机标定界面，输入相机设备号，是否是鱼眼相机，以及棋盘格标定板的网格规格等相关参数，然后手举标定板在相机面前摆几个姿势。如果输入标定板网格规格参数与实际所拿标定板相符，***则会正确捕捉棋盘格的角点，待***成功捕捉至少12张棋盘格角点的图片后，可以按下“c”键开始标定，***会自动获取摄像头内参并保存结果。***会将生成四个相机的内参文件，分别命名为front.yaml、back.yaml、left.yaml、right.yaml，并存放在项目的yaml子目录下。在任何时候，可以按下“q”键退出***的摄像头标定界面。另外，如果在***成功捕捉到12张棋盘格角点图片之前按下开始标定，则***会提示标定不成功。
四路鱼眼摄像头畸变矫正：本***获取四路摄像头的原始图像，并根据摄像机标定的结果，对四路鱼眼图像进行畸变校正，得到畸变校正后的图像，用于下一步透视变换的初始化设置。如果图片畸变矫正效果理想，则可以进行到下一步，否则请重新进行上一步摄像头的标定。
图像透视变换：这一步需要获取每个相机到地面的透视矩阵，这个透视矩阵会把相机校正后的画面转换为对地面上某个矩形区域的鸟瞰图；这四个相机的透视矩阵不是独立的，它们必须保证透视变换后的区域能够正好拼起来；本***是通过联合标定实现的，即在车的四周地面上摆放标定物，拍摄图像，手动选取对应点，然后获取透视矩阵。
首先在车身的四周铺上标定布，标定布的图案和大小并无特殊要求，只要尺寸一致，能在图像中清晰看到即可；车身四个角的应该均有标定布恰好位于相邻的两个相机视野的重合区域中；确定标定布的摆放位置后，本***获取透视矩阵前需要设置几个参数，这些参数由汽车大小及使用的标定布的大小和摆放位置确定：
innerShiftWidth,innerShiftHeight：标定板内侧边缘与车辆左右两侧的距离，标定板内侧边缘与车辆前后方的距离；
shiftWidth,shiftHeight：这两个参数决定了在鸟瞰图中向标定板的外侧看多远，这两个值越大，鸟瞰图看的范围就越大，相应地远处的物体被投影后的形变也越严重，所以应酌情选择；
totalWidth,totalHeight：这两个参数代表鸟瞰图的总宽高，例如标定布宽6m高10m，于是鸟瞰图中地面的范围为(600+2*shiftWidth,1000+2*shiftHeight)，为方便计我们让每个像素对应1厘米，于是鸟瞰图的总宽高为：
totalWidth＝600+2*shiftWidth
totalHeight＝1000+2*shiftHeight；
车辆所在矩形区域的四角，这四个角点的坐标分别为(xl,yt),(xr,yt),(xl,yb),(xr,yb)(l表示left,r表示right，t表示top，b表示bottom)；这个矩形区域相机是看不到的，我们会用一张车辆的图标来覆盖此处。
设置好以上参数以后，每个相机的投影区域也就确定了。
之后需要在***中手动操作获取透视矩阵，之所以需要手动获取，因为根据不同环境和视野需求，***可以生成不同的鸟瞰图，产生的视觉效果会不一样，因为对于一张通过透视变换产生的鸟瞰图，图的视野范围和畸变程度这两个参数是一对矛盾，视野越大畸变则越大，二者不可兼得。因此，在手动操作前，在***中输入以下第二阶段的参数。
指定需要透视变换的相机；校正后画面的横向和纵向放缩比；校正后画面中心的横向和纵向平移距离。
设定完第二阶段的参数后，则可以在***中手动获取透视矩阵，根据视野的需求，在标定布角点用鼠标点击确定映射的4个起点，按回车则成功生成透视矩阵，并且生成透视变换后效果图。这四个点是可以自由设置的，但是你需要在程序中手动修改它们在鸟瞰图中的像素坐标(即对应第一阶段的参数)。如果在用鼠标点选时，位置点错，可以按“d”键删除一个点，重新点选。
四个摄像头的透视矩阵会被***再次写入之前的四路摄像头对应的参数yaml文件进行保存。
图像拼接：四路鱼眼摄像头均获取了透视矩阵后，则进行到生成鸟瞰图的最后一步——图片拼接。如果前三步的操作没有问题，***则会自动生成一张包含用于提取四角的重叠部分的掩模图片，一张四角重叠部分的过渡矩阵通过RGBA四通道存储的图片，以及一张360全景鸟瞰效果图。如果***未能正常生成上述结果，那一定是之前操作有所错误，这时请根据错误提示信息进行纠正。如果***正常生成了上述结果，但是360全景鸟瞰图效果欠佳，请回到1到3步，进行相关设置和调试，直到达到理想的效果。因为只有在***初始化得到了较为理想的鸟瞰效果图，后续的AI泊车辅助才能更好地发挥作用。至此，***的第一阶段关于鸟瞰图的初始化完毕。
如图4所示，所述目标识别模块对停车位实时识别和定位的方法：
训练部分：
(1)通过各种渠道收集停车位图片共20806张，并且对停车位四个角点的进行标签标注，形成训练集；
(2)利用YOLOv5s模型，通过以batch为32，训练了共300epochs，得到模型的权值；
识别部分：
(1)通过YOLOv5s模型识别出停车位的角点，以汽车为原点，将停车位角点以幅角大小进行排序；求解每个两个角点之间的斜率，并根据斜率的方差筛选掉可能导致两个连续垂直车位识别成平行车位的情况；
(2)以两个角点作为一组，作为候选车位的两个角点。以通常平行或垂直车位的长度，筛选掉不符合的角点组；
(3)筛选后的角点组，每组生成两个候选车位多边形，根据和汽车的距离筛选掉不符合的候选车位，得到若干正确的停车位；
(4)根据鸟瞰图的投影比例系数，获取停车位对应的真实世界的坐标。
目标识别停车位并标识位置：对于鸟瞰图视野内出现的车位，该***可以将其识别出来，并且表示出其真实世界相对于汽车的坐标。该***对于自主泊车中运动汽车需要每时每刻知道车位的具***置的需求有着良好的实时性，在嵌入式设备Jetson Nano中采用流水线技术可以达到15FPS，足以应对自主泊车汽车较为低速情况实时更新停车位的位置。在此基础上，该***对于不同的停车环境有着良好的鲁棒性，可以用于并不仅限于地下停车场，草地停车场，路边停车位中平行和垂直等多种停车位。
如图5所示，语义分割模块实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的方法：
训练部分：
利用cityscapes数据集作为训练集对bisenetV2模型进行训练；
功能部分：
(1)通过bisenetV2对四路矫正后的图片作为一个batch进行推断，获取可行驶区域，汽车以及行人的掩模；
(2)将可行驶区域掩模叠加到原四路矫正后图像进行四路透视变换转换到鸟瞰图进行显示，获取汽车的可行驶区域；
(3)获取目标识别模块得到的候选车位多边形，对于每个车位计算与透视变换后汽车掩模的重叠区域，根据车位距离汽车远近，设定重叠的阈值以某种单调减函数进行衰减，对于满足阈值的车位，说明该车位是非空闲的；
(4)对行人的掩模进行透视变换，之后提取掩模的多边形轮廓，对每个多边形轮廓，寻找距离汽车的最近点，获得行人的大致位置。
语义分割识别可行驶区域：通过轻量级语义分割网络，我们实现了实时对可行驶区域以及障碍物(包括汽车，人)的检测，总共可以实现以下三种功能：1、识别可行驶区域，以供自主泊车进一步进行路径规划和避障。2、通过语义分割识别汽车，从而判断车位是否是空车位，可供停车。3、通过实时语义分割识别行人，大致判断行人的真实世界位置，下一步可以借助激光或者超声波雷达实现行人位置准确判断，以供自主泊车进行避障。
如图2所示，对于第一次使用本***，首先应安装好相关的外部硬件设备，并进行***的初始化后再进行使用。***初始化的目的是在于，本***首先要获得外部硬件设备(四路鱼眼摄像头)的相关参数，并且需要根据硬件安装情况，外部环境及用户需求进行***的调试和参数设置，才能正确地进行工作。第一次***初始化完成后，只要外部硬件安装情况未改变，之后***的运行无需再次初始化或者调试。只有***工作不正常或者改变外部硬件设备的安装情况时，才应再次进行***初始化。
***的第二阶段的初始化则是对AI模块进行设置，对泊车辅助根据自身情况对AI进行个性化的设置，从而获得不同的用户体验。首先该***采用了多进程多线程并行处理的方式，在设备性能允许条件下，CPU有四核(或者超线程的四核)及以上时，可以开启流水线加速模式，能大幅提高***运行速度。默认情况下，***使用的是单核四线程对数据进行处理。本***的停车位目标识别采用YOLOV5模型作为基础，有数种规模不一的深度学习模型可供选择，不同大小的模型运行速度和准确率不同。一般情况下，模型越大，准确率越高，但单次推断时间越长，***运行速度越低。用户可以根据自己的需求酌情选择，设备性能越好，则可以调高配置，使用更大的网络模型。

Claims (3)

1.一种基于全景鸟瞰图和深度学习的自主泊车辅助***，其特征在于，包括：
利用360全景技术生成2d真实世界坐标地图的360实时全景模块；
通过目标检测进行停车位实时识别和定位的目标识别模块；
实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的语义分割模块；
实时输出鸟瞰地图及相关物***置信息作为汽车路径规划的数据融合模块；
所述目标识别模块对停车位实时识别和定位的方法：
(1)通过YOLOv5s模型识别出停车位的角点，以汽车为原点，将停车位角点以幅角大小进行排序；求解每个两个角点之间的斜率，并根据斜率的方差筛选掉可能导致两个连续垂直车位识别成平行车位的情况；
(2)以两个角点作为一组，作为候选车位的两个角点，以通常平行或垂直车位的长度，筛选掉不符合的角点组；
(3)筛选后的角点组，每组生成两个候选车位多边形，根据和汽车的距离筛选掉不符合的候选车位，得到若干正确的停车位；
(4)根据鸟瞰图的投影比例系数，获取停车位对应的真实世界的坐标；
语义分割模块实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的方法：
(1)语义分割获得目标物体的掩模；
(2)提取可行驶区域；
(3)提取识别到的汽车，结合目标识别的车位，通过相应算法判断车位是否空闲；
(4)提取识别到的行人，通过相应算法定位行人大致位置；
语义分割模块实时对可行驶区域进行识别，对停车位空闲状态进行判断，以及行人识别和定位的方法：
(1)通过bisenetV2对四路矫正后的图片作为一个batch进行推断，获取可行驶区域，汽车以及行人的掩模；
(2)将可行驶区域掩模叠加到原四路矫正后图像进行四路透视变换转换到鸟瞰图进行显示，获取汽车的可行驶区域；
(3)获取目标识别模块得到的候选车位多边形，对于每个车位计算与透视变换后汽车掩模的重叠区域，根据车位距离汽车远近，设定重叠的阈值以某种单调减函数进行衰减，对于满足阈值的车位，说明该车位是非空闲的；
(4)对行人的掩模进行透视变换，之后提取掩模的多边形轮廓，对每个多边形轮廓，寻找距离汽车的最近点，获得行人的大致位置。
2.根据权利要求1所述的一种基于全景鸟瞰图和深度学习的自主泊车辅助***，其特征在于：
所述360实时全景模块生成2d真实世界坐标地图的方法：
(1)四路鱼眼摄像头输入；
(2)鱼眼输入矫正；
(3)矫正后图像透射变换；
(4)四路透射变换后图像建立掩模，提取重叠区域；
(5)对重叠区域进行降噪处理；
(6)对重叠区域提取多边形轮廓，利用距离加权计算过渡矩阵；
(7)对四路透射变换图像亮度平衡；
(8)进行图像拼接；
(9)对整体图像进行色彩白平衡调整。
3.根据权利要求1所述的一种基于全景鸟瞰图和深度学习的自主泊车辅助***，其特征在于：
所述360实时全景模块生成2d真实世界坐标地图的方法：
(1)四路鱼眼摄像头输入广角畸变图；
(2)利用标定得到的摄像机内参对四路的广角畸变图像进行畸变矫正；
(3)通过透视变换将四路矫正后图像投影到对应汽车的鸟瞰图的汽车前部、后部、左部和右部；
(4)提取四个投影图像的两两之间的重叠区域，灰度化并二值化，利用形态学操作去掉一部分噪点，得到可以提取重叠区域的掩模；
(5)对掩模进行多边形轮廓的提取，获取逼近该多边形轮廓的简单多边形；对重叠区域中每个像素，计算它到两个边界的权重值，对应权值
Figure FDA0003652692580000031
其中dm和dn为该点到两边界的距离，通过权重值，生成一个连续变化的取值由0到1的过渡矩阵G；
(6)对四路RGB三通道共12个通道分别乘上12个系数调整四路图像的亮度，使得鸟瞰图总体亮度保持一致；
(7)对整体图像进行色彩白平衡同样也是对图像RGB三通道的强度进行一定调整；
(8)通过掩模提取重叠区域，再利用过渡矩阵对重叠区域进行处理，使得汽车的鸟瞰图的前后左右四个部分的重叠区域能较好的拼接起来；对四路投影图像进行亮度均衡之后，进行四路图像拼接；鸟瞰图中心位置采用一张汽车图片代替，得到360全景鸟瞰图；
(9)最后选择对360全景鸟瞰图进行色彩白平衡，使得图像更加贴近真实世界。
CN202110169283.2A 2021-02-07 2021-02-07 一种基于全景鸟瞰图和深度学习的自主泊车辅助*** Active CN112793564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110169283.2A CN112793564B (zh) 2021-02-07 2021-02-07 一种基于全景鸟瞰图和深度学习的自主泊车辅助***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169283.2A CN112793564B (zh) 2021-02-07 2021-02-07 一种基于全景鸟瞰图和深度学习的自主泊车辅助***

Publications (2)

Publication Number Publication Date
CN112793564A CN112793564A (zh) 2021-05-14
CN112793564B true CN112793564B (zh) 2022-07-22

Family

ID=75814685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110169283.2A Active CN112793564B (zh) 2021-02-07 2021-02-07 一种基于全景鸟瞰图和深度学习的自主泊车辅助***

Country Status (1)

Country Link
CN (1) CN112793564B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113370993A (zh) * 2021-06-11 2021-09-10 北京汽车研究总院有限公司 车辆自动驾驶的控制方法和车辆自动驾驶的控制***
CN113468991B (zh) * 2021-06-21 2024-03-05 沈阳工业大学 一种基于全景视频的停车位检测方法
CN113320474A (zh) * 2021-07-08 2021-08-31 长沙立中汽车设计开发股份有限公司 基于全景图像及人机交互的自动泊车方法及装置
CN113561897B (zh) * 2021-07-15 2022-08-12 河北三国新能源科技有限公司 一种基于全景环视的驾考车坡道停车位置判断方法和***
CN113551679A (zh) * 2021-07-23 2021-10-26 杭州海康威视数字技术股份有限公司 一种示教过程中的地图信息构建方法、构建装置
CN113936139B (zh) * 2021-10-29 2024-06-11 江苏大学 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及***
CN114516336B (zh) * 2022-02-24 2023-09-26 重庆长安汽车股份有限公司 一种考虑道路约束条件的车辆轨迹预测方法
CN114372919B (zh) * 2022-03-22 2022-07-12 鹰驾科技（深圳）有限公司 一种双挂汽车列车全景环视图像拼接方法及***
CN114822216B (zh) * 2022-06-23 2022-09-16 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片
CN115273028B (zh) * 2022-07-14 2023-05-12 清华大学 一种基于全域感知的智慧停车场语义地图构建方法及***
CN115953764B (zh) * 2023-03-13 2023-05-30 深圳魔视智能科技有限公司 基于鸟瞰图的车辆哨兵方法、装置、设备及存储介质
CN117601848A (zh) * 2023-12-20 2024-02-27 广州车全影电子科技有限公司 基于汽车全景的泊车控制方法、***、介质及设备
CN117953470B (zh) * 2024-03-26 2024-06-18 杭州感想科技有限公司 全景拼接相机的高速公路事件识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091316A (zh) * 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种车辆鸟瞰辅助***图像数据处理方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视***标定及拼接方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111942372A (zh) * 2020-07-27 2020-11-17 广州汽车集团股份有限公司 一种自动泊车方法及***
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉***的机械式停车位泊车方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091316A (zh) * 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种车辆鸟瞰辅助***图像数据处理方法
CN108263283A (zh) * 2018-01-25 2018-07-10 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视***标定及拼接方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉***的机械式停车位泊车方法
CN111942372A (zh) * 2020-07-27 2020-11-17 广州汽车集团股份有限公司 一种自动泊车方法及***

Also Published As

Publication number Publication date
CN112793564A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助***
CN110825101B (zh) 一种基于深度卷积神经网络的无人机自主降落方法
CN111191485B (zh) 一种车位检测方法及其***、汽车
CN109074668A (zh) 路径导航方法、相关装置及计算机可读存储介质
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
CN109918977B (zh) 确定空闲车位的方法、装置及设备
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
WO2012043045A1 (ja) 画像処理装置及びそれを用いた撮像装置
CN111856963A (zh) 一种基于车载环视***的泊车仿真方法及装置
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
JP2011209896A (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
CN115496923A (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN114782810A (zh) 一种基于全景视觉的农业机械远程辅助驾驶***及方法
CN111626241A (zh) 一种人脸检测方法及装置
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
WO2023038369A1 (en) Semantic three-dimensional (3d) building augmentation
CN114820485B (zh) 一种基于机载图像测量波浪爬高的方法
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
CN115511970A (zh) 一种面向自主泊车的视觉定位方法
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
CN110008918B (zh) 一种摩托车模拟器驾驶员姿态识别方法
Son et al. Detection of nearby obstacles with monocular vision for earthmoving operations
CN113723373B (zh) 一种基于无人机全景影像的违建检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant