CN111243034A - 一种全景辅助泊车标定方法、装置、设备及存储介质 - Google Patents
一种全景辅助泊车标定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111243034A CN111243034A CN202010053495.XA CN202010053495A CN111243034A CN 111243034 A CN111243034 A CN 111243034A CN 202010053495 A CN202010053495 A CN 202010053495A CN 111243034 A CN111243034 A CN 111243034A
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- lane line
- panoramic
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 26
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 5
- 238000010276 construction Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种全景辅助泊车标定方法、装置、设备及存储介质。方法包括在车辆行驶过程中获取图像采集器采集的图像;从所述图像中提取车道线的边缘;确定所述车道线的边缘的像素坐标;基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。相对传统工厂内部固定场地的标定方案,减少场地建设,方便操作。相对于4S店的维修车辆,采用此方案可以避免4S店进行标定场地搭建,标定棋盘格摆放等繁琐动作,方便快捷,且避免人工摆放标定板造成的标定误差,提高标定精度。对于已售汽车,用户可以自行行驶到车道线场景对全景泊车***进行重新标定。
Description
技术领域
本发明实施例涉及辅助泊车技术,尤其涉及一种全景辅助泊车标定方法、装置、设备及存储介质。
背景技术
全景环视泊车辅助***由四个摄像头分别安装在车身的前后左右以采集车身四周的图像,经图像合成后在显示器端显示。为获得广阔的视角,目前全景环视泊车辅助***大多采用鱼眼镜头。而鱼眼镜头摄入的图像存在一定的畸变,为调整这种畸变,需结合实车车身进行对应调整以还原实际场景图像,即全景环视泊车辅助***的图像标定。
目前传统的标定方法是在车辆四周固定位置放置标准形状及大小的棋盘格模版,全景***获取棋盘格上的参考点,通过算法对四个摄像头图像进行矫正与拼接,从而形成完整的全景画面。
汽车生产线上有特定的标定工位,能将棋盘格精准的印刷在地面,车辆驶入后通过四轮定位设备准确调整到工位中间,提高标定效果与标定效率。然而车辆出厂后在平时使用过程中,由于各种原因,比如车身振动导致摄像头安装位置偏移,从而导致全景拼接效果变差,此时就得对车辆进行重新标定。现有的方法是将车辆开到4S店,工作人员在车辆四周摆放棋盘格标定板,对车辆进行标定。在车辆四周精准摆放标定板需要繁琐的定位工作,即便如此,人工摆放标定板还是会存在误差,从而导致最终标定效果不是很理想。
发明内容
本发明提供一种全景辅助泊车标定方法、装置、设备及存储介质,基于车道线完成全景辅助泊车标定,减少场地建设,节省成本,提高标定效率和标定精度。
第一方面,本发明实施例提供了一种全景辅助泊车标定方法,包括:
在车辆行驶过程中获取图像采集器采集的图像;
从所述图像中提取车道线的边缘;
确定所述车道线的边缘的像素坐标;
基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。
可选的,所述从所述图像中提取车道线的边缘,包括:
将所述图像转换为灰度图像;
采用边缘检测算法从所述灰度图像中提取所述车道线的边缘。
可选的,所述确定所述车道线的边缘的像素坐标,包括:
通过霍夫变换将所述车道线的边缘的笛卡尔坐标转换为极坐标,得到所述车道线的边缘的像素坐标。
可选的,在对所述图像采集器进行标定之后,还包括:
获取标定后的校正图像;
将相邻的所述图像采集器采集的校正图像进行拼接,得到全景辅助图像。
可选的,所述将相邻的所述图像采集器采集的校正图像进行拼接,包括:
确定相邻的所述图像采集器采集的校正图像中重叠区域的车道线的边缘;
基于所述车道线的边缘建立相邻的所述图像采集器采集的校正图像的拼接线;
基于所述拼接线将相邻的所述图像采集器采集的校正图像拼接,得到全景辅助图像。
可选的,在确定相邻的所述图像采集器采集的校正图像中重叠区域的车道线的边缘之后,还包括:
根据所述车道线的边缘确定所述车道线的有效区域;
确定所述有效区域符合标准车道线的宽度。
可选的,在将相邻的所述图像采集器采集的校正图像进行拼接,得到全景辅助图像之后,还包括:
对所述全景辅助图像加权融合,消除拼接痕迹。
第二方面,本发明实施例还提供了全景辅助泊车标定装置,该装置包括:
图像获取模块,用于获取车辆行驶过程中图像采集器采集的图像;
提取模块,用于从所述图像中提取车道线的边缘;
像素坐标确定模块,用于确定所述车道线的边缘的像素坐标;
校正模块,用于基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。
第三方面,本发明实施例还提供了一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明第一方面提供的全景辅助泊车标定方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第一方面提供的全景辅助泊车标定方法。
本发明实施例提供的全景辅助泊车标定方法,在车辆行驶过程中获取图像采集器采集的图像,从图像中提取车道线的边缘,确定车道线的边缘的像素坐标,并基于车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系,对图像采集器进行标定,相对传统工厂内部固定场地的标定方案,减少场地建设,方便操作。相对于4S店的维修车辆,采用此方案可以避免4S店进行标定场地搭建,标定棋盘格摆放等繁琐动作,方便快捷,且避免人工摆放标定板造成的标定误差,提高标定精度。对于已售汽车,用户可以自行行驶到车道线场景对全景泊车***进行重新标定。
附图说明
图1A为本发明实施例一提供的一种全景辅助泊车标定方法的流程图;
图1B为车辆在车道线内稳定直线行驶的示意图;
图2为本发明实施例二提供的另一种全景辅助泊车标定方法的流程图;
图3为本发明实施例提供的一种全景辅助泊车标定装置的结构示意图;
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本发明实施例一提供了一种全景辅助泊车标定方法,该方法可以由本发明实施例提供的全景辅助泊车标定装置来执行,该装置可采用软件和/或硬件的方式实现,并集成于计算机设备中,图1A为本发明实施例一提供的一种全景辅助泊车标定方法的流程图,如图1A所示,该方法具体包括如下步骤:
S101、在车辆行驶过程中获取图像采集器采集的图像。
示例性的,图1B为车辆在车道线内稳定直线行驶的示意图,如图1B所示,在车辆处于车道内稳定直线行驶的过程中,通过多个图像采集器采集车辆周围所有视角范围内的多个图像。可以理解的是,图像采集器可以采集视频,所述图像可以是从所述视频中截取的一帧图像。
示例性的,在本发明实施例中,图像采集器可以是摄像头,具体可以是鱼眼镜头。在其中一个实施例中,鱼眼镜头的数量为四个,分别为前鱼眼镜头、后鱼眼镜头、左鱼眼镜头和右鱼眼镜头。
可以理解的是,鱼眼镜头视角范围大,可以近距离拍摄大范围景物。四个鱼眼镜头足够获取车辆周围所有视角范围内的图像。当然,在另一实施方式中,摄像头也可采用其他类型的摄像头,只须保证摄像头能够获取车辆周围所有视角范围内的图像即可。摄像头的数量在此不做限定,摄像头的数量也可根据实际需要具体设定。
具体地,前鱼眼镜头安装在车前的位置,用于采集车辆前方区域的图像(下称前视图);后鱼眼镜头安装在车尾位置,用于采集车辆后方区域的图像(下称后视图);左鱼眼镜头安装在左后视镜,用于采集车辆左方区域的图像(下称左视图);右鱼眼镜头安装在右后视镜,用于采集车辆右方区域的图像(下称右视图)。
S102、从图像中提取车道线的边缘。
示例性的,各鱼眼镜头采集的图像中包含车道线,通过对各鱼眼镜头采集的图像进行处理,提取出各鱼眼镜头采集的图像中车道线的边缘。
示例性的,步骤S102、从图像中提取车道线的边缘,包括如下步骤:
S1021、将图像转换为灰度图像。
示例性的,鱼眼镜头采集的图像为彩色图像,包括R、G、B三个通道。自然界中,颜色本身非常容易受到光照的影响,颜色变化很大,所以颜色本身难以提供关键信息。识别物体最关键的因素是梯度,梯度意味着边缘,是最本质的部分。将彩色图像转换为灰度图像后,图像由原来的三个通道,变为一个通道(L),去除原图像的彩色信息,能够减少运算量,提高运算速度。
示例性的,在本发明的一个实施例中,采用平均法将图像转换为灰度图像,即将同一个像素位置3个通道RGB的值进行平均,得到L通道的值。
在本发明的另一实施例中,也可以采用最大最小平均法,将图像转换为灰度图像,即取同一个像素位置的RGB中亮度最大的和最小的进行平均,得到L通道的值。
在本发明的另一实施例中,也可以采用加权平均法,将图像转换为灰度图像,即将三个通道的值以不同的权值进行加权平均,得到L通道的值。具体的,由于人眼对绿色的敏感最高,对蓝色敏感最低,R、G、B各通道对应的权值可以取0.299、0.578和0.114。
需要说明的是,上述将图像转换为灰度图像的方法为对本发明的示例性说明,而非对本发明的具体限定,在本发明的其他实施例中,也可以采用其他方法将图像转换为灰度图像,本发明在此不做限定。
进一步的,在将采集的图像转换为灰度图像后,还可以对灰度图像进行滤波处理,具体的,对灰度图像进行高斯滤波,消除高斯噪声,避免噪声对后续边缘提取的影响,提高边缘提取的准确性。
S1022、采用边缘检测算法从灰度图像中提取车道线的边缘。
所谓边缘是指其周围像素灰度急剧变化的那些像素的集合,它是图像最基本的特征。边缘存在于目标、背景和区域之间,所以,它是图像分割所依赖的最重要的依据。边缘检测的目的就是找到图像中亮度变化剧烈的像素点构成的集合,表现出来往往是轮廓。
示例性的,可以采用一阶微分边缘算子或二阶微分边缘算子来提取车道线的边缘。一阶微分边缘算子也称为梯度边缘算子,它是利用图像在边缘处的阶跃性,即图像梯度在边缘取得极大值的特性进行边缘检测。二阶微分边缘检测算子就是利用图像在边缘处的阶跃性导致图像二阶微分在边缘处出现零值这一特性进行边缘检测的。
一阶微分边缘算子可以是Sobel边缘检测算子,Sobel边缘检测算子是两个Prewitte模板中心像素的权重取2倍的值。是由向量方式确定边缘的两个mask组成的。Sobel边缘检测算子的这个通用形式缩合了一条坐标轴上最优平滑和另一条坐标轴上的最优差分。换而言之,Sobel边缘检测算子有两个,一个是检测水平边缘的;另一个是检测垂直边缘的。它对于像素的位置的影响做了加权,可以降低边缘模糊程度,因此效果更好。
一阶微分边缘算子也可以是Canny边缘检测算子,Canny边缘检测算子由三个主要目标形成:第一、无附加响应的最优检测,即不失去重要的边缘,不应有虚假的边缘;第二、实际边缘与检测到的边缘位置之间的偏差最小;第三、减少单边缘的多重响应而得到单响应。这一点被第一个目标是减少噪声响应。第二个目标是正确性,即要在正确位置检测到边缘。第三个目标限制的是单个边缘点结于亮度变化定位。
二阶微分边缘算子可以是Laplace算子,将原始图像通过拉普拉斯变换后增强了图像中灰度突变处的对比度,使图像中小的细节部分得到增强并保留了图像的背景色调,使图像的细节比原始图像更加清晰。
虽然上述使用Laplace算子检测边缘的方法简单,但它的缺点是对噪声十分敏感,同时也没有能够提供边缘的方向信息。为了实现对噪声的抑制,本发明实施例中的二阶微分边缘算子也可以采用LOG算子或DoG算子。
需要说明的是,上述实施例中,Sobel边缘检测算子、Canny边缘检测算子以及Laplace算子等为对本发明的示例性性说明,而非对本发明的具体限定,本领域技术人员应当理解,从灰度图像中提取车道线的边缘不限于上述具体的边缘检测算子。
S103、确定车道线的边缘的像素坐标。
图像都是由像素组成的,像素坐标是像素在图像中的位置。示例性的,通过霍夫变换将车道线的边缘的笛卡尔坐标转换为极坐标,得到车道线的边缘的像素坐标。
笛卡尔坐标系就是直角坐标系和斜坐标系的统称,相交于原点的两条数轴,构成了平面放射坐标系。如两条数轴上的度量单位相等,则称此放射坐标系为笛卡尔坐标系。两条数轴互相垂直的笛卡尔坐标系,称为笛卡尔直角坐标系,否则称为笛卡尔斜角坐标系。
本发明实施例中,提取到的车道线的边缘为平直的线段,通过霍夫变换将笛卡尔坐标下车道线的边缘的线段转换为霍夫空间内一个点,并得到该点的极坐标,即为车道线的边缘的像素坐标。
具体的,笛卡尔坐标下的一条直线y=kx+q可由两个点A=(X1,Y1)和B=(X2,Y2)确定,另一方面,也可以将该直线在霍夫空间内写成关于(k,q)的函数表达式。所以,笛卡尔坐标下的一条直线y=kx+q在霍夫空间内表示为一个点(k,q),为了计算方便,并解决k(直线的斜率)接近无穷大的问题,使用了一种标准的直线标识法,将霍夫空间的坐标表示为极坐标下的γ和θ,即为该点的极坐标。
S104、基于车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系,对图像采集器进行标定。
世界坐标系是***的绝对坐标系,在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。
示例性的,在得到车道线的边缘的像素坐标后,通过车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系,确定图像采集器(即鱼眼镜头)的畸变系数。所谓标定,其实是为了建立图像中的像素坐标和真实三维世界坐标的联系,同样标定同时也得到了畸变系数,为畸变校正做准备。
具体的,车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系可以通过世界坐标系—相机坐标系—图像坐标系—像素坐标系的转换得到。
世界坐标系变换为相机坐标系:
从世界坐标系变换到相机坐标系属于刚体变换:即物体不会发生形变,只需要进行旋转和平移。通常用R:表示旋转矩阵T:表示偏移向量。
那么,世界坐标系内的点P(Xw,Yw,Zw)转换相机坐标系的坐标:
进一步的,上式可表示为:
相机坐标系转换为图像坐标系:
从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D。
具体的,转换公式如下:
其中,f为镜头的焦距。
此时投影点P的单位还是mm,并不是pixel,需要进一步转换到像素坐标系。
图像坐标系转换为像素坐标系:
像素坐标系和图像坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm,属于物理单位,而像素坐标系的单位是pixel,我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下:
其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm,图像坐标系的原点在图像坐标系中的坐标为(u0,v0)。
那么,通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的,具体转换如下:
将车道线边缘的世界坐标和像素坐标代入上述转换过程,即可求出镜头的内参矩阵和外参矩阵,并求出畸变参数,完成对鱼眼镜头的标定。
本发明实施例提供的全景辅助泊车标定方法,在车辆行驶过程中获取图像采集器采集的图像,从图像中提取车道线的边缘,确定车道线的边缘的像素坐标,并基于车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系,对图像采集器进行标定,相对传统工厂内部固定场地的标定方案,减少场地建设,方便操作。相对于4S店的维修车辆,采用此方案可以避免4S店进行标定场地搭建,标定棋盘格摆放等繁琐动作,方便快捷,且避免人工摆放标定板造成的标定误差,提高标定精度。对于已售汽车,用户可以自行行驶到车道线场景对全景泊车***进行重新标定。
实施例二
在上述实施例的基础上,本发明实施例二提供了另一种全景辅助泊车标定方法,详细阐述了全景辅助图像的拼接过程,图2为本发明实施例二提供的另一种全景辅助泊车标定方法的流程图,如图2所示,该方法具体包括如下步骤:
S201、在车辆行驶过程中获取图像采集器采集的图像。
S202、从图像中提取车道线的边缘。
S203、确定车道线的边缘的像素坐标。
S204、基于车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系,对图像采集器进行标定。
S205、获取标定后的校正图像。
示例性的,如上述实施例所述,在对图像采集器进行标定的过程中,确定镜头的内参矩阵和外参矩阵,并求出畸变参数。基于畸变参数,对采集的图像进行畸变校正,消除图像的畸变效果,得到校正图像。
S206、将相邻的图像采集器采集的校正图像进行拼接,得到全景辅助图像。
本发明实施例中,多个鱼眼镜头安装在车辆的不同位置,每个鱼眼镜头相对于水平地面的角度不同。因此,为了获得地面的全景图,需要利用双线性插值法将多个图像变换为多个鸟瞰图,再进行拼接。
示例性的,步骤S206包括如下步骤:
S2061、确定相邻的图像采集器采集的校正图像中重叠区域的车道线的边缘。
示例性的,本发明实施例中,四个鱼眼摄像头足够获取车辆周围所有视角范围内的图像,且相邻两个鱼眼摄像头所采集的图像具有一定的重叠区域。确定相邻的图像采集器采集的校正图像中重叠区域的车道线的边缘,具体的,车道线的边缘的提取过程在前述实施例中已有详细记载,本发明在此不再赘述。
示例性的,在上述实施例中的基础上,在确定相邻的图像采集器采集的校正图像中重叠区域的车道线的边缘之后,还可以包括:
根据车道线的边缘确定车道线的有效区域。
示例性的,根据提取到的车道线的边缘,确定车道线的有效区域,具体的,以两条相邻的直线段之间的区域作为车道线的有效区域。
确定有效区域符合标准车道线的宽度。
通像素坐标与世界坐标的转换,将图像中两条相邻的直线段之间的距离转换现实世界中该两条相邻的直线段之间的真实距离,标准车道线的宽度为10cm-20cm,在转换得到的该两条相邻的直线段之间的真实距离满足标准车道线的宽度时,确定有效区域符合标准车道线的宽度。本实施例通过确定有效区域符合标准车道线的宽度,以确定提取到的车道线边缘符合车道线的特性,排除了车道上其他线条的干扰,避免将相邻的两条车道线的边缘误认为是一条车道线的边缘。
S2062、基于车道线的边缘建立相邻的图像采集器采集的校正图像的拼接线。
示例性的,以重叠区域的边缘的每个像素点作为拼接线的起点,将相邻的图像采集器采集的校正图像中的车道线边缘进行重叠,确定拼接线。
S2063、基于拼接线将相邻的图像采集器采集的校正图像拼接,得到全景辅助图像。
基于拼接线将相邻的图像采集器采集的校正图像拼接,本发明实施例中,图像采集器包括四个鱼眼镜头,则需要进行四次拼接操作,将各鱼眼镜头采集的校正图像的鸟瞰图进行拼接,得到全景辅助图像。
由于鱼眼镜头拍摄方向和角度不同,相邻两个鱼眼镜头光照可能存在差异,使得拼接后的图像在拼接线处呈现明显的拼接痕迹。进一步的,为了消除拼接痕迹,本实施例对全景辅助图像进行加权融合处理,以消除拼接痕迹,进而提高全景辅助图像的真实度。
本发明实施例提供的全景辅助泊车标定方法,基于车道线完成对图像采集器的标定,并对多个图像采集器采集的图像进行拼接,相对传统工厂内部固定场地的标定方案,减少场地建设,方便操作。相对于4S店的维修车辆,采用此方案可以避免4S店进行标定场地搭建,标定棋盘格摆放等繁琐动作,方便快捷,且避免人工摆放标定板造成的标定误差,提高标定精度。对于已售汽车出现全景拼接效果断线等不理想现象,用户可以自行行驶到车道线场景对全景泊车***进行重新标定,更新全景拼接效果。
实施例三
本发明实施例三提供了一种全景辅助泊车标定装置,图3为本发明实施例提供的一种全景辅助泊车标定装置的结构示意图,如图3所示,该全景辅助泊车标定装置包括:
图像获取模块301,用于获取车辆行驶过程中图像采集器采集的图像;
提取模块302,用于从所述图像中提取车道线的边缘;
像素坐标确定模块303,用于确定所述车道线的边缘的像素坐标;
校正模块304,用于基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。
本发明实施例提供的全景辅助泊车标定装置,图像获取模块在车辆行驶过程中获取图像采集器采集的图像,提取模块从图像中提取车道线的边缘,像素坐标确定模块确定车道线的边缘的像素坐标,校正模块基于车道线的边缘的像素坐标与车道线的边缘的世界坐标的对应关系,对图像采集器进行标定,相对传统工厂内部固定场地的标定方案,减少场地建设,方便操作。相对于4S店的维修车辆,采用此方案可以避免4S店进行标定场地搭建,标定棋盘格摆放等繁琐动作,方便快捷,且避免人工摆放标定板造成的标定误差,提高标定精度。对于已售汽车,用户可以自行行驶到车道线场景对全景泊车***进行重新标定。
在上述实施例的基础上,提取模块302可以包括:
转换单元,用于将所述图像转换为灰度图像;
提取单元,用于采用边缘检测算法从所述灰度图像中提取所述车道线的边缘。
在上述实施例的基础上,像素坐标确定模块303通过霍夫变换将所述车道线的边缘的笛卡尔坐标转换为极坐标,得到所述车道线的边缘的像素坐标。
在上述实施例的基础上,该装置还可以包括:
校正图像获取模块,用于在对所述图像采集器进行标定之后,获取标定后的校正图像;
拼接模块,用于将相邻的所述图像采集器采集的校正图像进行拼接,得到全景辅助图像。
在上述实施例的基础上,拼接模块,包括:
边缘确定单元,用于确定相邻的所述图像采集器采集的校正图像中重叠区域的车道线的边缘;
拼接线确定单元,用于基于所述车道线的边缘建立相邻的所述图像采集器采集的校正图像的拼接线;
拼接单元,用于基于所述拼接线将相邻的所述图像采集器采集的校正图像拼接,得到全景辅助图像。
在上述实施例的基础上,该装置还可以包括:
有效区域确定模块,用于在确定相邻的所述图像采集器采集的校正图像中重叠区域的车道线的边缘之后,根据所述车道线的边缘确定所述车道线的有效区域;
宽度确定模块,用于确定所述有效区域符合标准车道线的宽度。
在上述实施例的基础上,该装置还可以包括:
加权融合模块,用于在将相邻的所述图像采集器采集的校正图像进行拼接,得到全景辅助图像之后,对所述全景辅助图像加权融合,消除拼接痕迹。
本实施例提供的全景辅助泊车标定装置可用于执行上述实施提供的全景辅助泊车标定方法,具有相应的功能和有益效果。
实施例四
本发明实施例四提供了一种计算机设备,该计算机设备可以搭载在车辆上,图4为本发明实施例四提供的一种计算机设备的结构示意图,如图4所示,该计算机设备包括处理器401、存储器402、通信模块403、输入装置404和输出装置405;计算机设备中处理器401的数量可以是一个或多个,图4中以一个处理器401为例;计算机设备中的处理器401、存储器402、通信模块403、输入装置404和输出装置405可以通过总线或其他方式连接,图4中以通过总线连接为例。上述处理器401、存储器402、通信模块403、输入装置404和输出装置405可以集成在计算机设备上。
存储器402作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的一种全景辅助泊车标定方法对应的模块(例如,一种全景辅助泊车标定装置中的图像获取模块301、提取模块302、像素坐标确定模块303和校正模块304)。处理器401通过运行存储在存储器402中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的全景辅助泊车标定方法。
存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器402可进一步包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块403,用于与外界设备(例如智能终端)建立连接,并实现与外界设备的数据交互。输入装置404可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种计算机设备,可执行本发明实施例提供的全景辅助泊车标定方法,具体相应的功能和有益效果。
实施例五
本发明实施例五提供了一种包含计算机可执行指令的存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例提供的全景辅助泊车标定方法,该方法包括:
在车辆行驶过程中获取图像采集器采集的图像;
从所述图像中提取车道线的边缘;
确定所述车道线的边缘的像素坐标;
基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明实施例所提供的全景辅助泊车标定方法中的相关操作。
需要说明的是,对于装置、设备和存储介质实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是机器人,个人计算机,服务器,或者网络设备等)执行本发明任意实施例所述的全景辅助泊车标定方法。
值得注意的是,上述装置中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种全景辅助泊车标定方法,其特征在于,包括:
在车辆行驶过程中获取图像采集器采集的图像;
从所述图像中提取车道线的边缘;
确定所述车道线的边缘的像素坐标;
基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。
2.根据权利要求1所述的全景辅助泊车标定方法,其特征在于,所述从所述图像中提取车道线的边缘,包括:
将所述图像转换为灰度图像;
采用边缘检测算法从所述灰度图像中提取所述车道线的边缘。
3.根据权利要求1所述的全景辅助泊车标定方法,其特征在于,所述确定所述车道线的边缘的像素坐标,包括:
通过霍夫变换将所述车道线的边缘的笛卡尔坐标转换为极坐标,得到所述车道线的边缘的像素坐标。
4.根据权利要求1所述的全景辅助泊车标定方法,其特征在于,在对所述图像采集器进行标定之后,还包括:
获取标定后的校正图像;
将相邻的所述图像采集器采集的校正图像进行拼接,得到全景辅助图像。
5.根据权利要求4所述的全景辅助泊车标定方法,其特征在于,所述将相邻的所述图像采集器采集的校正图像进行拼接,包括:
确定相邻的所述图像采集器采集的校正图像中重叠区域的车道线的边缘;
基于所述车道线的边缘建立相邻的所述图像采集器采集的校正图像的拼接线;
基于所述拼接线将相邻的所述图像采集器采集的校正图像拼接,得到全景辅助图像。
6.根据权利要求5所述的全景辅助泊车标定方法,其特征在于,在确定相邻的所述图像采集器采集的校正图像中重叠区域的车道线的边缘之后,还包括:
根据所述车道线的边缘确定所述车道线的有效区域;
确定所述有效区域符合标准车道线的宽度。
7.根据权利要求4所述的全景辅助泊车标定方法,其特征在于,在将相邻的所述图像采集器采集的校正图像进行拼接,得到全景辅助图像之后,还包括:
对所述全景辅助图像加权融合,消除拼接痕迹。
8.一种全景辅助泊车标定装置,其特征在于,包括:
图像获取模块,用于获取车辆行驶过程中图像采集器采集的图像;
提取模块,用于从所述图像中提取车道线的边缘;
像素坐标确定模块,用于确定所述车道线的边缘的像素坐标;
校正模块,用于基于所述车道线的边缘的像素坐标与所述车道线的边缘的世界坐标的对应关系,对所述图像采集器进行标定。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的全景辅助泊车标定方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的全景辅助泊车标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010053495.XA CN111243034A (zh) | 2020-01-17 | 2020-01-17 | 一种全景辅助泊车标定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010053495.XA CN111243034A (zh) | 2020-01-17 | 2020-01-17 | 一种全景辅助泊车标定方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111243034A true CN111243034A (zh) | 2020-06-05 |
Family
ID=70879553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010053495.XA Pending CN111243034A (zh) | 2020-01-17 | 2020-01-17 | 一种全景辅助泊车标定方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111243034A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529966A (zh) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | 一种车载环视***的在线标定方法及其车载环视*** |
CN112785652A (zh) * | 2020-12-24 | 2021-05-11 | 广州小鹏自动驾驶科技有限公司 | 一种全景标定方法和装置 |
CN113436275A (zh) * | 2021-07-12 | 2021-09-24 | 超级视线科技有限公司 | 一种基于标定板的泊位尺寸确定方法及*** |
CN115082573A (zh) * | 2022-08-19 | 2022-09-20 | 小米汽车科技有限公司 | 参数标定方法、装置、车辆及存储介质 |
CN117274402A (zh) * | 2023-11-24 | 2023-12-22 | 魔视智能科技(武汉)有限公司 | 相机外参的标定方法、装置、计算机设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463935A (zh) * | 2014-11-11 | 2015-03-25 | 中国电子科技集团公司第二十九研究所 | 一种用于交通事故还原的车道重建方法和*** |
CN106994936A (zh) * | 2016-01-22 | 2017-08-01 | 广州求远电子科技有限公司 | 一种3d全景泊车辅助*** |
CN107146255A (zh) * | 2017-04-05 | 2017-09-08 | 纵目科技(上海)股份有限公司 | 全景图像误差校正方法及装置 |
CN108052910A (zh) * | 2017-12-19 | 2018-05-18 | 深圳市保千里电子有限公司 | 一种车辆全景成像***的自动调整方法、装置及存储介质 |
CN108256470A (zh) * | 2018-01-16 | 2018-07-06 | 鹰驾科技(深圳)有限公司 | 一种车道偏移判断方法及汽车 |
CN108898638A (zh) * | 2018-06-27 | 2018-11-27 | 江苏大学 | 一种车载摄像头在线自动标定方法 |
CN109087251A (zh) * | 2018-08-30 | 2018-12-25 | 上海大学 | 一种车载全景图像显示方法及*** |
CN109325389A (zh) * | 2017-07-31 | 2019-02-12 | 比亚迪股份有限公司 | 车道线识别方法、装置及车辆 |
CN109624851A (zh) * | 2018-11-23 | 2019-04-16 | 深圳市航盛电子股份有限公司 | 基于增强现实的辅助驾驶方法、***及可读存储介质 |
CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
CN110390640A (zh) * | 2019-07-29 | 2019-10-29 | 齐鲁工业大学 | 基于模板的泊松融合图像拼接方法、***、设备及介质 |
-
2020
- 2020-01-17 CN CN202010053495.XA patent/CN111243034A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463935A (zh) * | 2014-11-11 | 2015-03-25 | 中国电子科技集团公司第二十九研究所 | 一种用于交通事故还原的车道重建方法和*** |
CN106994936A (zh) * | 2016-01-22 | 2017-08-01 | 广州求远电子科技有限公司 | 一种3d全景泊车辅助*** |
CN107146255A (zh) * | 2017-04-05 | 2017-09-08 | 纵目科技(上海)股份有限公司 | 全景图像误差校正方法及装置 |
CN109325389A (zh) * | 2017-07-31 | 2019-02-12 | 比亚迪股份有限公司 | 车道线识别方法、装置及车辆 |
CN108052910A (zh) * | 2017-12-19 | 2018-05-18 | 深圳市保千里电子有限公司 | 一种车辆全景成像***的自动调整方法、装置及存储介质 |
CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
CN108256470A (zh) * | 2018-01-16 | 2018-07-06 | 鹰驾科技(深圳)有限公司 | 一种车道偏移判断方法及汽车 |
CN108898638A (zh) * | 2018-06-27 | 2018-11-27 | 江苏大学 | 一种车载摄像头在线自动标定方法 |
CN109087251A (zh) * | 2018-08-30 | 2018-12-25 | 上海大学 | 一种车载全景图像显示方法及*** |
CN109624851A (zh) * | 2018-11-23 | 2019-04-16 | 深圳市航盛电子股份有限公司 | 基于增强现实的辅助驾驶方法、***及可读存储介质 |
CN110390640A (zh) * | 2019-07-29 | 2019-10-29 | 齐鲁工业大学 | 基于模板的泊松融合图像拼接方法、***、设备及介质 |
Non-Patent Citations (2)
Title |
---|
吴铁峰: "《无人机测量***及其数据处理技术研究》", 31 January 2013, 航空工业出版社, pages: 161 - 162 * |
大学生嵌入式***专题邀请赛组委会: "《大学生嵌入式***专题邀请赛优秀作品选编》", 31 March 2010, 上海交通大学出版社, pages: 67 - 68 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529966A (zh) * | 2020-12-17 | 2021-03-19 | 豪威科技(武汉)有限公司 | 一种车载环视***的在线标定方法及其车载环视*** |
CN112529966B (zh) * | 2020-12-17 | 2023-09-15 | 豪威科技(武汉)有限公司 | 一种车载环视***的在线标定方法及其车载环视*** |
CN112785652A (zh) * | 2020-12-24 | 2021-05-11 | 广州小鹏自动驾驶科技有限公司 | 一种全景标定方法和装置 |
CN113436275A (zh) * | 2021-07-12 | 2021-09-24 | 超级视线科技有限公司 | 一种基于标定板的泊位尺寸确定方法及*** |
CN113436275B (zh) * | 2021-07-12 | 2024-06-25 | 超级视线科技有限公司 | 一种基于标定板的泊位尺寸确定方法及*** |
CN115082573A (zh) * | 2022-08-19 | 2022-09-20 | 小米汽车科技有限公司 | 参数标定方法、装置、车辆及存储介质 |
CN117274402A (zh) * | 2023-11-24 | 2023-12-22 | 魔视智能科技(武汉)有限公司 | 相机外参的标定方法、装置、计算机设备及存储介质 |
CN117274402B (zh) * | 2023-11-24 | 2024-04-19 | 魔视智能科技(武汉)有限公司 | 相机外参的标定方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
CN106558080B (zh) | 一种单目相机外参在线标定方法 | |
CN103517041B (zh) | 基于多相机旋转扫描的实时全景监控方法和装置 | |
CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
CN110288527B (zh) | 一种车载环视相机全景鸟瞰图生成方法 | |
CN102609941A (zh) | 基于ToF深度相机的三维注册方法 | |
CN113362228A (zh) | 基于改进畸变校正和标记拼接的环视图像拼接方法及*** | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN111461963B (zh) | 一种鱼眼图像拼接方法及装置 | |
CN111723801A (zh) | 鱼眼相机图片中目标检测矫正的方法与*** | |
CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
US11880993B2 (en) | Image processing device, driving assistance system, image processing method, and program | |
CN115239820A (zh) | 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法 | |
KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
CN109883433B (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控***及存储介质 | |
CN114549666B (zh) | 一种基于agv的环视图像拼接标定方法 | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
CN116839564A (zh) | 一种高精地图构建辅助方法、设备及介质 | |
CN114219850B (zh) | 一种应用360全景环视技术的车辆测距*** | |
CN114331835A (zh) | 一种基于最优映射矩阵的全景图像拼接方法及装置 | |
CN108961155B (zh) | 一种高保真的鱼眼镜头畸变校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |