CN106373091B - 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 - Google Patents
全景泊车中鸟瞰图像的自动拼接方法、***及车辆 Download PDFInfo
- Publication number
- CN106373091B CN106373091B CN201610803313.XA CN201610803313A CN106373091B CN 106373091 B CN106373091 B CN 106373091B CN 201610803313 A CN201610803313 A CN 201610803313A CN 106373091 B CN106373091 B CN 106373091B
- Authority
- CN
- China
- Prior art keywords
- image
- bird
- eye view
- point
- getting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000004744 fabric Substances 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000002594 fluoroscopy Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 241000949648 Angulus Species 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000193935 Araneus diadematus Species 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 244000170916 Paeonia officinalis Species 0.000 description 1
- 235000006484 Paeonia officinalis Nutrition 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- YJQZYXCXBBCEAQ-UHFFFAOYSA-N ractopamine Chemical compound C=1C=C(O)C=CC=1C(O)CNC(C)CCC1=CC=C(O)C=C1 YJQZYXCXBBCEAQ-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20041—Distance transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了全景泊车中鸟瞰图像的自动拼接方法、***及车辆,该方法首先借助预先设计的标定布和拼接模板,利用图像的骨架技术自动获取相邻标定鸟瞰图像中摄像头重叠区域的十字交叉线中心点,利用该中心点将标定鸟瞰图像进行拼接,然后根据相邻标定鸟瞰图像的摄像头覆盖区域内的子图像的亮度差值,利用像素点离拼接缝隙的远近对其中一幅鸟瞰图像的摄像头覆盖区域的亮度进行加权调整。该拼接方法能够自动实现,拼接精度较高,且全景拼接图像亮度变换自然、无明显的拼接缝隙。使用本发明能够减少人工拼接的时间,提高全景拼接图像的质量。
Description
技术领域
本发明属于图像处理领域,涉及全景泊车中鸟瞰图像的自动拼接方法、***及车辆。
背景技术
驾驶员在倒车以及泊车时,发生倒车事故的概率占据了道路交通事故很大的比例。发生倒车事故的原因是多方面的,如倒车镜存在视觉盲区、恶劣天气造成的驾驶员视线模糊、驾驶员驾驶技术不熟练等。虽然倒车事故很少引起严重的交通事故,但是经常给车主带来麻烦和一些经济损失。全景辅助泊车***通过安装在车身周围的多个鱼眼摄像头,同时采集车辆多个方向的实时图像,图像处理单元对这些图像进行处理,最终能够为驾驶员提供周边360度的全景图像,无任何死角,并且以俯视图的方式在车辆中控台上显示。全景辅助泊车***能够以视频图像的方式告知驾驶员周围的情况除了可以帮助减轻泊车压力、辅助驾驶员倒车之外,还能避免一些安全事故,提高泊车的安全性。
全景辅助泊车***在使用之前,需要对***进行标定,获取全景拼接参数,这是***的核心。目前的全景辅助泊车产品,在获取拼接参数时,很多需要技术人员手工操作来完成最终的鸟瞰图像的拼接,这种工作方式将增加技术人员的工作难度,同时也降低了全景拼接的精度,此外,因四个摄像头安装的高度和角度都各不相同,使得组成全景拼接图像的各个部分亮度变化不自然,不利于驾驶员的泊车。
发明内容
本发明的目的是为克服上述现有技术的不足,提供全景泊车中鸟瞰图像的自动拼接方法,该方法能够自动实现鸟瞰图像的拼接,且全景拼接图像亮度变化自然,无明显的拼接缝隙。
本发明提供的第二目的是提供一种全景泊车***的标定***,该标定***通过对图像的获取,处理后,可实现鸟瞰图像的自动拼接,提高全景拼接图像的质量。
本发明还提供一种车辆,该车辆采用上述的一种全景泊车***的标定***,通过该标定***的使用,可实现车辆的辅助泊车。
为了达成上述目的,本发明采用如下技术方案:
本发明提供的第一个方案是:
全景泊车中鸟瞰图像的自动拼接方法,对每个摄像头覆盖区域子图像,先进行市街区距离变换,然后利用图像的市街区距离提取该子图像的骨架,接着根据骨架点的横坐标统计直方图和纵坐标统计直方图,确定这个子图像的十字交叉线中心点;根据该十字交叉线中心点实现鸟瞰图像的拼接;采用图像的市街区距离提取该子图像的骨架,有利于实现鸟瞰图像的准确拼接。
上述利用图像的市街区距离提取该子图像的骨架的方法如下:采用迭代的方法计算图像的动态阈值,根据该阈值对图像进行二值化处理,然后对图像中的目标像素点进行市街区距离变换,将每个目标像素的市街区距离和其周围像素的市街区距离进行比较,如果周围像素的市街区距离比当前像素的市街区距离都要小的话,则当前像素留下作为骨架,否则消去为背景。
上述自动拼接方法,具体步骤如下:
1)根据拼接模板将汽车周围用于标定的鸟瞰图像进行旋转,保证旋转后的鸟瞰图像的棋盘格方向与拼接方向一致,确定旋转后的鸟瞰图像中的棋盘格内角点构成的矩形区域;
2)根据鸟瞰图像中单位棋盘方格的图像尺寸,对鸟瞰图像进行尺寸归一化处理;
3)确定鸟瞰图像中摄像头覆盖区域子图像,对每个子图像进行市街区距离变换并提取子图像的骨架,确定子图像的十字交叉线中心点;
4)根据步骤3)确定的十字交叉线中心点,按照预先设定好的拼接模板,将鸟瞰图像拼接为一幅全景拼接图像。
进一步地,所述步骤1)的具体步骤如下:
1-1)图像坐标系的建立:以摄像头拍摄的图像左上顶点为坐标原点,水平向右为横坐标x的正方向,垂直向下方向为纵坐标y的正方向;
1-2)摄像头参数的确定:通过张正友标定方法确定;
1-3)对汽车四周的标定图像Ai进行畸变校正后,获得普通透视图像Bi;
1-4)根据普通透视图像Bi中棋盘格内角点的实际坐标、图像坐标及摄像头参数,计算透视图像Bi的单应性变换矩阵Hi,i=0,1,2,3;
1-5)根据确定的单应性变换矩阵Hi将透视图像Bi进行鸟瞰变换,得到鸟瞰图像Ci。
进一步地,所述步骤1)中确定旋转后鸟瞰图像中棋盘格内角点构成的矩形区域方法如下:
2-1)根据透视图像Bi中已经识别出的棋盘格内角点,确定这些内角点组成的矩形区域的左上、右上、左下和右下四个内角点的图像坐标,将其记为PQTij(xij,yij),其中j=0,1,2,3,利用单应性变换矩阵Hi,将PQTij按照公式(2)进行坐标变换,其中x′ij、y′ij分别是xij、yij坐标变换后对应的坐标值;
2-2)变换后内角点坐标对应于鸟瞰图像Ci中棋盘格内角点构成的矩形区域的四个顶点位置的坐标,这样能够确定鸟瞰图像Ci中棋盘格内角点构成的矩形区域R1i,将矩形区域R1i的四个顶点坐标记为PPTij(x′ij,y′ij);
2-3)根据拼接模板对鸟瞰图像Ci进行角度旋转操作,以鸟瞰图像Ci的左上点为旋转中心,若逆时针旋转角度为Agi度,根据公式(4)、公式(5)、公式(6)和公式(7)可以确定变换矩阵Mi,其中xim、yim指的是旋转后图像的横坐标x和纵坐标y的最小值;根据已经确定的旋转变换矩阵Mi、旋转角度和鸟瞰图像Ci旋转前图像中的棋盘格内角点构成的矩形区域R1i,利用公式(8)能够确定旋转后的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i,矩形区域R2i的四个顶点坐标可记为PTij(x″ij,y″ij)
mi2=-xim (6)
mi5=-yim (7)
x″ij=mi0x′ij+mi1y′ij+mi2,y″ij=mi3x′ij+mi4y′ij+mi5 (8)
进一步地,所述步骤2)中对鸟瞰图像进行尺寸归一化处理的方法为:
根据确定的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i,可以计算出鸟瞰图像Ci中单位棋盘方格的图像尺寸ui,若预先设定的单位棋盘方格的归一化尺寸为u,那么图像Ci的缩放因子根据si对鸟瞰图像Ci进行尺寸变换处理,根据缩放因子si和棋盘格内角点矩形区域R2i,能够确定在尺寸归一化处理后的鸟瞰图像Ci中的棋盘格内角点矩形区域R3i。
进一步地,所述步骤3)中提取图像骨架的方法为:
根据图像Ci中的棋盘格内角点矩形区域R3i,借助标定布上棋盘格、十字交叉线的尺寸和布局,能够确定图像Ci中的十字交叉线公共区域子图像R4iC1、R4iC2,将R4iC1、R4iC2分别作为感兴趣区域图像做如下的处理:
3-1)计算感兴趣区域图像的自适应阈值;
3-2)根据3-1)计算的阈值将感兴趣区域进行二值化处理;
3-3)对子图像中的目标像素点进行市街区距离变换;
3-4)将每个目标像素的市街区距离与该目标周围像素的市街区距离进行比较,若周围像素的市街区距离小于目标像素的市街区距离,将该目标像素留下作为骨架,若否,则消去为背景。
若R是一个区域,B是R的边界,对于R中的点p,找p在B上“最近”的邻点,如果有2个或以上的B中的点与p同时最近,则称点p是R的骨架点。若d(p,z)表示点p与点z之间的距离、ds(p,B)表示点p到点集B的最小距离,那么骨架的数学定义可以写成公式(9),其中距离量度可以是欧式的、城区的或者棋盘的。二值图像的市街区距离dA的定义如公式(10),其中(i1,j1)是图像中目标像素坐标值,(i2,j2)是距离目标像素最近的背景像素点的坐标。
dA=|i1-i2|+|j1-j2| (10)
进一步地,所述感兴趣区域图像的自适应阈值的计算方法如下:
3-1-1)计算感兴趣区域图像的灰度直方图H[k](其中k=0,1,2,…,255),H[k]表示灰度值为k的像素点有H[k]个,根据H[k]可以得到图像的最大灰度值fmax和最小灰度值fmin,若C表示图像中灰度值小于等于k的像素点个数,S表示图像中灰度值小于等于k的像素点的灰度值的和,令初始阈值nT=(fmax+fmin)/2,k=fmin,C=0,S=0;
3-1-2)根据公式(11)、公式(12)和公式(13)计算dL[k],这样计算的dL[k]表示图像中灰度值小于等于k的像素的灰度平均值,令k=k+1,若满足k≤fmax,则重复步骤(3-1-2)。同理可以计算出灰度值大于k的像素的灰度平均值dH[k];
C+=H[k] (11)
S+=H[k]·k (12)
3-1-3)令nOldT=nT,计算新的阈值如果满足nOldT≠nT,则重复步骤3-1-3),否则迭代结束。
进一步地,所述步骤4)中子图像的十字交叉线中心点的确定方法如下:
若f(x,y)为R4iC1的骨架图像,计算骨架图像中骨架点的横坐标统计直方图和纵坐标统计直方图,若(k,l)属于骨架点横坐标统计直方图,则表示横坐标为k的骨架点个数为l个,若(u,v)属于骨架点纵坐标统计直方图,则表示纵坐标为u的骨架点的个数为v个,分别统计骨架点的横坐标统计直方图和纵坐标统计直方图的波峰,若它们的峰值点分别为(k0,l0)和(u0,v0),那么(k0,u0)即为R4iC1的十字交叉线中心点,同理可计算出R4iC2的十字交叉线中心点。
进一步地,由于用于拼接的鱼眼图像是由4个安装位置不同的鱼眼摄像头获取到的,使得拼接后的全景图像亮度变化不自然,这将导致全景拼接图像拼接缝隙明显。因此,步骤4)中鸟瞰图像拼接为一幅全景拼接图像后,需要对两两摄像头公共覆盖区域进行亮度调整,亮度调整的方法如下:
确定两两相邻的组成全景拼接图像的鸟瞰图像Ci、Ck,在鸟瞰图像Ci、Ck中分别确定摄像头公共覆盖的矩形区域子图像IMSri、IMSrk,计算子图像IMSri和IMSrk的平均亮度值mi和mk,确定亮度差值msk=mi-mk,将子图像IMSrk在全景拼接图像中对应的三角形区域记为IMSsrk,IMSsrk由拼接缝隙和图像IMSrk的两条边组成,根据亮度差值msk对子图像IMSsrk亮度进行局部调整,像素点离拼接缝隙越近,要调整的亮度值越大。
本发明提供的第二方案是:
一种全景泊车***的标定***,包括以下模块:
摄像头输入模块,根据首次泊车时放置于地面的多个标定布,即在汽车的前后左右的地面上距离车身设定距离分别放置前标定布、后标定布、左标定布和右标定布,保证相邻标定布棋盘格矩形区域相互垂直,且保证标定布位于前后左右鱼眼摄像的可视范围内,根据放置于汽车前后左右四个方向的标定布,利用摄像头获取汽车四周的标定图像信息;
图像畸变校正模块,利用已知的摄像头内参、外参和失真矫正模型对标定图像进行去除失真处理;
鸟瞰变换模块,根据标定图像中棋盘格内角点计算标定图像的单应性变换矩阵,进而进行鸟瞰变换,得到标定图像的鸟瞰图像;
基于所述的自动拼接方法的图像拼接模块,通过对鸟瞰图像中的十字交叉线中心点的确定自动拼接标定图像,得到标定图像的全景拼接图像,对两两鸟瞰图像拼接缝隙处进行局部亮度调整,形成过渡自然无明显拼接缝隙的拼接图像;
图像融合模块,将两两摄像头获取的鸟瞰图像中的公共区域内的互补信息或显著信息融合到一副图像中,去除冗余信息。
进一步地,前标定布、后标定布、左标定布、右标定布上绘制有黑白棋盘格和十字交叉线,前标定布和后标定布中部绘制有黑白棋盘格,且两端部分绘制有黑色的十字交叉线,左标定布和右标定布上绘制有黑白棋盘格,所有标定布上的单个棋盘方格的尺寸均相同,并且涉及的四个十字交叉线的尺寸也相同,标定布上棋盘格和十字交叉线的尺寸与要标定的汽车的长宽尺寸相关,具体地要求在标定布铺好后,能够保证棋盘格区域位于前后左右鱼眼摄像头的可视范围内,同时保证十字交叉线区域在两两相邻的摄像头的视野的覆盖区域内。所述摄像头为鱼眼摄像头。
本发明提供的另一方案是:一种车辆,采用所述的一种全景泊车***的标定***,在汽车车身上固定好鱼眼摄像头后,来标定车辆上所使用的全景泊车***,利用该全景泊车***实现车辆的辅助泊车。
本发明的有益效果是:
本发明以汽车周围环境的鸟瞰图像为研究对象,实现自动地将这些鸟瞰图像拼接为一副亮度变化自然、无明显拼接缝隙的全景图像。使用本发明能够减少人工拼接的时间、提高全景拼接图像的质量。本发明结合全景辅助泊车产品开发中的实际需求,能够解决全景辅助泊车***中的关键问题。本发明的成功应用,将有助于推进全景辅助泊车的应用推广,对于缓解我国日益严峻的交通安全形势具有重要的推动作用。
附图说明
图1拼接模板;
图2全景拼接算法流程。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。
首先需要确定鱼眼摄像头的径向畸变系数和切向畸变系数,这里采用手动标定方法,将鱼眼相机模型近似用针孔相机模型表示,采用张正友标定方法确定摄像头参数,具体实施时摄像头标定算法选用OpenCV(open source computer vision)来实现,利用要标定的摄像头拍摄25-30张棋盘格标定板图像,标定板图像太少误差太大,注意拍摄标定板图像的时候不要和成像面平行,而且角度和成像面不能太小,两幅标定板图像也不能平行,否则误差较大。
然后在汽车的前左后右方向固定好四个180°鱼眼摄像头并按规定铺好标定布,注意摄像头的正向朝向,其中标定布上的棋盘格区域放置在汽车的四周,十字交叉线区域放置在两两摄像头覆盖区域内,车前车后各空出30cm。利用鱼眼摄像头获取汽车前左后右方向的标定图像A0、A1、A2和A3,将其记为Ai,其中i=0,1,2,3,根据已经确定的摄像头参数,借助于OpenCV提供的函数计算形变和非形变图像的对应关系,从而确定数据映射表,根据该组数据映射表对图像进行几何变换实现对鱼眼图像Ai的畸变校正,畸变校正的结果为普通透视图像Bi。在透视图像Bi中识别棋盘格内角点,然后根据棋盘格内角点的实际坐标、图像坐标以及摄像头的参数,计算图像的单应性变换矩阵根据确定的单应性变换矩阵Hi将图像Bi进行鸟瞰变换,从而得到鸟瞰图像Ci。
全景拼接算法流程如图2所示,实现步骤描述如下:
(1)根据标定布中的棋盘格和十字交叉线的尺寸和布局,确定与之相对应的拼接模板,拼接模板由5部分组成,如图1所示,中心区域用于显示车体模型图像,将摄像头覆盖矩形区域的对角线设定为两两相邻的鸟瞰图像的拼接缝隙,前方、左方、后方和右方的不规则多边形区域分别用于显示相应方向的鸟瞰图像的子图像。
(2)根据透视图像Bi中已经识别出的棋盘格内角点,能够确定这些内角点组成的矩形区域中的左上、右上、左下和右下四个内角点的图像坐标,将其记为PQTij(xij,yij),其中j=0,1,2,3,利用已知的鸟瞰变换矩阵Hi,将PQTij按照公式(2)进行坐标变换,其中x′ij、y′ij分别是xij、yij坐标变换后对应的坐标值,变换后的内角点坐标对应于鸟瞰变换图像Ci中棋盘格内角点构成的矩形区域的四个顶点位置的坐标,这样能够确定鸟瞰图像Ci中棋盘格内角点矩形区域R1i,将矩形区域R1i的四个顶点坐标记为PPTij(x′ij,y′ij)。
(3)以鸟瞰图像的左上点为旋转中心,将前左后右方向的鸟瞰图像分别逆时针旋转,保证旋转后的鸟瞰图像的棋盘格方向与拼接方向一致。若逆时针旋转角度为Agi度,旋转变换矩阵为根据公式(4)、公式(5)、公式(6)和公式(7)可以确定变换矩阵Mi,借助于OpenCV提供的仿射变换函数可实现鸟瞰图像的旋转操作。根据已经确定的旋转变换矩阵Mi、旋转角度和鸟瞰图像Ci旋转前图像中的棋盘格内角点矩形区域R1i,利用公式(8)能够确定旋转后的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i,将矩形区域R2i的四个顶点坐标记为PTij(x″ij,y″ij)。
mi2=-xim (6)
mi5=-yim (7)
x″ij=mi0x′ij+mi1y′ij+mi2,y″ij=mi3x′ij+mi4y′ij+mi5 (8)
(4)根据确定的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i,可知图像Ci中单位棋盘方格的图像尺寸其中xri0、xri1分别是矩形区域R2i的横坐标的最小值和最大值、bwi是R2i中的水平方向棋盘格格子数,若预先设定的单位棋盘方格的归一化尺寸u=12,那么可以确定图像Ci的缩放因子根据si将图像Ci进行缩放处理,这样处理后所有鸟瞰图像的单位棋盘方格尺寸都是一致的,即为对鸟瞰图像进行了尺寸归一化处理。此外根据缩放因子si和棋盘格内角点矩形区域R2i,能够确定在尺寸归一化处理后的鸟瞰图像Ci中的棋盘格内角点矩形区域R3i。
(5)根据图像Ci中的棋盘格内角点矩形区域R3i,借助标定布的上棋盘格和十字交叉线的尺寸和布局,能够确定图像Ci中的十字交叉线公共区域子图像R4iC1、R4iC2。将R4iC1、R4iC2分别作为感兴趣区域图像做如下的处理:首先计算感兴趣区域图像的自适应阈值,根据该阈值将感兴趣区域进行二值化处理,然后计算二值化处理后图像的市街区距离,最后利用感兴趣区域图像的市街区距离提取图像的骨架。
所述的自适应阈值计算方法描述如下:
步骤1:计算感兴趣区域图像的灰度直方图H[k](其中k=0,1,2,…,255),H[k]表示灰度值为k的像素点有H[k]个,根据H[k]可以得到图像的最大灰度值fmax和最小灰度值fmin,若C表示图像中灰度值小于等于k的像素点个数,S表示图像中灰度值小于等于k的像素点的灰度值的和,令初始阈值nT=(fmax+fmin)/2,k=fmin,C=0,S=0;
步骤2:根据公式(9)、公式(10)和公式(11)计算dL[k],这样计算的dL[k]表示图像中灰度值小于等于k的像素的灰度平均值,令k=k+1,若满足k≤fmax,则重复步骤2。同理可以计算出灰度值大于k的像素的灰度平均值dH[k];
C+=H[k] (9)
S+=H[k]·k (10)
步骤3:令nOldT=nT,计算新的阈值如果满足nOldT≠nT,则重复步骤3,否则迭代结束。
所述的将二值图像进行市街区距离变换方法如下。
步骤1:如果当前处理的像素是目标,则将当前像素值和其四邻域像素值相比较,如果它们的像素值相同,则将当前处理的像素的市街区距离值加1,否则重复步骤1对下一个像素做处理,直到处理完感兴趣区域内的所有像素。
步骤2:如果当前像素是目标,则将当前像素的市街区距离和其四邻域像素的市街区距离相比较,如果它们的市街区距离一样,则标记该像素,否则重复步骤2对下一个像素做处理,直到处理完感兴趣区域内的所有像素。当将二值图像中所有像素都处理完后,检查是否有被标记的像素,如果有被标记的像素,则将所有被标记的像素的市街区距离值加1,重复步骤2。
步骤3:对二值图像中的像素依次做如下处理,如果当前像素的市街区距离比其四邻域市街区距离值都高,则将当前像素作为骨架,否则作为背景像素。
(6)分别根据图像Ci的十字交叉线公共区域子图像R4iC1、R4iC2的骨架图像确定十字交叉线中心点。若R4iC1的骨架图像为f(x,y),宽度和高度分别为w0和h0,骨架图像的横坐标x统计直方图为HX[kx]和纵坐标y统计直方图为HY[ky],其中0≤kx<w0,0≤ky<h0,令m=0、n=0,获取骨架图像f(x,y)的十字交叉线中心点具体方法描述如下:
步骤1:若f(m,n)=1,则HX[m]=HX[m]+1、HY[n]=HY[n]+1,令m=m+1,若m<w0,则重复步骤1。
步骤2:令n=n+1,若n<h0,则令m=0,同时跳转到步骤1。
步骤3:令m=0、xmax=0,若HX[m]>xmax,则xmax=HX[m],令m=m+1,若m<w0,则重复步骤3。
步骤4:令n=0、ymax=0,若HY[n]>ymax,则ymax=HY[n],令n=n+1,若n<h0,则重复步骤4。否则可知(xmax,ymax)即为图像R4iC1的十字交叉线中心点。
(7)当识别出前、后、左、右4个方向的鸟瞰图像中的所有十字交叉线中心点后,就可以将这4个方向的鸟瞰图像拼接为一副完整的汽车周围环境的全景俯视图像。
(8)由于采用上述拼接方法得到的全景拼接图像是由四个曝光度不同的摄像头获取到的,使得全景拼接后的图像往往亮度变化不均衡、存在较为明显的拼接缝隙,为此需要进行亮度调整处理。全景拼接图像的亮度调整实现步骤可描述为:
设Ci、Ck为两幅相邻的鸟瞰图像,其中k=(i+1)mod4,若Ci、Ck在全景拼接图像中所共同包含的公共矩形区域分别为IMSri、IMSrk,分别计算子图像IMSri和IMSrk的平均亮度mi和mk,令msk=mi-mk,将子图像IMSrk在全景拼接图像中对应的三角形区域记为IMSsrk,IMSsrk由拼接缝隙和图像IMSrk的两条边组成,若像素点p在图像IMSsrk内,过点p到拼接缝隙的垂直线段记为RQ,其中Q是拼接缝隙上的一点,R是三角形IMSsrk中除拼接缝隙之外的一条边上的一点,计算PQ的长度l1,计算PR的长度l2,根据公式(14)对三角形区域子图像IMSsrk的亮度进行加权调整;
由于受到成像环境的影响,在获取到汽车周围标定布的鸟瞰图像后,按照上述介绍的拼接方法将鸟瞰图像进行拼接后,仍然无法实现拼接部分图像的完全重合,为此还需要对这部分区域图像进行融合处理。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.全景泊车中鸟瞰图像的自动拼接方法,其特征在于,对每个摄像头覆盖区域子图像,先进行市街区距离变换,然后利用图像的市街区距离提取该子图像的骨架,接着根据骨架点的横坐标统计直方图和纵坐标统计直方图,确定这个子图像的十字交叉线中心点;根据该十字交叉线中心点实现鸟瞰图像的拼接;
利用图像的市街区距离提取该子图像的骨架的方法如下:采用迭代的方法计算图像的动态阈值,根据该阈值对图像进行二值化处理,然后对图像中的目标像素点进行市街区距离变换,将每个目标像素的市街区距离和其周围像素的市街区距离进行比较,如果周围像素的市街区距离比当前像素的市街区距离都要小的话,则当前像素留下作为骨架,否则消去为背景;
具体步骤如下:
1)根据拼接模板将汽车周围用于标定的鸟瞰图像进行旋转,保证旋转后的鸟瞰图像的棋盘格方向与拼接方向一致,确定旋转后的鸟瞰图像中的棋盘格内角点构成的矩形区域;
2)根据鸟瞰图像中单位棋盘方格的图像尺寸,对鸟瞰图像进行尺寸归一化处理;
3)确定鸟瞰图像中两两摄像头覆盖区域子图像,对每个子图像进行市街区距离变换并提取子图像的骨架,确定子图像的十字交叉线中心点;
4)根据步骤3)确定的十字交叉线中心点,按照预先设定好的拼接模板,将鸟瞰图像拼接为一幅全景拼接图像;
所述步骤4)中鸟瞰图像拼接为一幅全景拼接图像后,需要对全景拼接图像进行亮度调整,亮度调整的方法如下:
确定两两相邻的组成全景拼接图像的鸟瞰图像Ci、Ck,在鸟瞰图像Ci、Ck中分别确定摄像头公共覆盖的矩形区域子图像IMSri、IMSrk,计算子图像IMSri和IMSrk的平均亮度值mi和mk,确定亮度差值msk=mi-mk,将子图像IMSrk在全景拼接图像中对应的三角形区域记为IMSsrk,IMSsrk由拼接缝隙和图像IMSrk的两条边组成,根据亮度差值msk对子图像IMSsrk亮度进行局部调整,像素点离拼接缝隙越近,要调整的亮度值越大。
2.如权利要求1所述的自动拼接方法,其特征在于,所述步骤1)的具体步骤如下:
1-1)图像坐标系的建立:以摄像头拍摄的图像左上顶点为坐标原点,水平向右为横坐标x的正方向,垂直向下方向为纵坐标y的正方向;
1-2)摄像头参数的确定:通过张正友标定方法确定;
1-3)对汽车四周的标定布图像Ai进行畸变校正后,获得普通透视图像Bi;
1-4)根据普通透视图像Bi棋盘格内角点的实际坐标、图像坐标及摄像头参数,计算透视图像Bi的单应性变换矩阵Hi,i=0,1,2,3;
1-5)根据确定的单应性变换矩阵Hi将透视图像Bi进行鸟瞰变换,得到鸟瞰图像Ci。
3.如权利要求1所述的自动拼接方法,其特征在于,所述步骤1)中对鸟瞰图像的旋转方法如下:
2-1)根据透视图像Bi中已经识别出的棋盘格内角点,确定这些内角点组成的矩形区域的左上、右上、左下和右下四个内角点的图像坐标,将其记为PQTij(xij,yij),其中j=0,1,2,3,利用单应性变换矩阵Hi,将PQTij按照公式(2)进行坐标变换,其中x′ij、y′ij分别是xij、yij坐标变换后对应的坐标值;
2-2)变换后内角点坐标对应于鸟瞰图像Ci中棋盘格内角点构成的矩形区域的四个顶点位置的坐标,这样能够确定鸟瞰图像Ci中棋盘格内角点构成的矩形区域R1i,将矩形区域R1i的四个顶点坐标记为PPTij(x′ij,y′ij);
2-3)根据拼接模板对鸟瞰图像Ci进行角度旋转操作,以鸟瞰图像Ci的左上点为旋转中心,若逆时针旋转角度为Agi度,根据公式(4)、公式(5)、公式(6)和公式(7)可以确定变换矩阵Mi,其中xim、yim指的是旋转后图像的横坐标x和纵坐标y的最小值;根据已经确定的旋转变换矩阵Mi、旋转角度和鸟瞰图像Ci旋转前图像中的棋盘格内角点构成的矩形区域R1i,利用公式(8)能够确定旋转后的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i,将矩形区域R2i的四个顶点坐标记为PTij(x″ij,y″ij);
mi2=-xim (6)
mi5=-yim (7)
x″ij=mi0x′ij+mi1y′ij+mi2,y″ij=mi3x′ij+mi4y′ij+mi5 (8)。
4.如权利要求1所述的自动拼接方法,其特征在于,所述步骤2)中对鸟瞰图像进行尺寸归一化处理的方法为:
根据确定的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i,可以计算出鸟瞰图像Ci中单位棋盘方格的图像尺寸ui,若预先设定的单位棋盘方格的归一化尺寸为u,那么图像Ci的缩放因子根据si对鸟瞰图像Ci进行尺寸变换处理,根据缩放因子si和棋盘格内角点矩形区域R2i,能够确定在尺寸归一化处理后的鸟瞰图像Ci中的棋盘格内角点矩形区域R3i。
5.如权利要求1所述的自动拼接方法,其特征在于,所述步骤4)中子图像的十字交叉线中心点的确定方法如下:
若f(x,y)为R4iC1的骨架图像,计算骨架图像中骨架点的横坐标统计直方图和纵坐标统计直方图,若(k,l)属于骨架点横坐标统计直方图,则表示横坐标为k的骨架点个数为l个,若(u,v)属于骨架点纵坐标统计直方图,则表示纵坐标为u的骨架点的个数为v个,分别统计骨架点的横坐标统计直方图和纵坐标统计直方图的波峰,若它们的峰值点分别为(k0,l0)和(u0,v0),那么(k0,u0)即为R4iC1的十字交叉线中心点,同理可计算出R4iC2的十字交叉线中心点。
6.一种全景泊车***的标定***,其特征在于,包括以下模块:
摄像头输入模块,根据首次泊车时放置于地面的多个标定布,利用摄像头获取汽车四周的标定布图像信息;
图像畸变校正模块,利用已知的摄像头内参、外参和失真矫正模型对标定图像进行去除失真处理;
鸟瞰变换模块,根据标定图像中棋盘格内角点计算标定图像的单应性变换矩阵,进而进行鸟瞰变换,得到标定图像的鸟瞰图像;
基于权利要求1-5中任一项所述的全景泊车中鸟瞰图像的自动拼接方法的图像拼接模块,通过对鸟瞰图像中的十字交叉线中心点的确定自动拼接标定图像,得到标定图像的全景拼接图像;
图像融合模块,将两两摄像头获取的鸟瞰图像中的公共区域内的互补信息或显著信息融合到一副图像中,去除冗余信息。
7.一种车辆,其特征在于,采用权利要求6所述的一种全景泊车***的标定***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610803313.XA CN106373091B (zh) | 2016-09-05 | 2016-09-05 | 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610803313.XA CN106373091B (zh) | 2016-09-05 | 2016-09-05 | 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106373091A CN106373091A (zh) | 2017-02-01 |
CN106373091B true CN106373091B (zh) | 2019-05-07 |
Family
ID=57899997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610803313.XA Active CN106373091B (zh) | 2016-09-05 | 2016-09-05 | 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106373091B (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106952311B (zh) * | 2017-03-02 | 2020-04-07 | 山东省科学院自动化研究所 | 基于全景拼接数据映射表的辅助泊车***及方法 |
JP2018206323A (ja) * | 2017-06-09 | 2018-12-27 | アイシン精機株式会社 | 画像処理装置 |
CN107507131B (zh) * | 2017-08-08 | 2021-02-23 | 广州市安晓科技有限责任公司 | 基于单摄像头的360度全景倒车影像生成方法 |
CN107480678A (zh) * | 2017-09-29 | 2017-12-15 | 北京深度奇点科技有限公司 | 一种棋盘识别方法和识别*** |
CN108550106B (zh) | 2018-03-30 | 2021-06-01 | 影石创新科技股份有限公司 | 一种全景图像的颜色校正方法、装置和电子设备 |
CN108648218B (zh) * | 2018-04-04 | 2021-12-10 | 广州市安晓科技有限责任公司 | 一种汽车环视全景中模糊棋盘格的匹配方法及*** |
CN108712604B (zh) * | 2018-05-07 | 2022-02-01 | 维沃移动通信有限公司 | 一种全景拍摄方法及移动终端 |
CN110517188B (zh) * | 2018-05-22 | 2024-02-23 | 杭州海康威视数字技术股份有限公司 | 确定鸟瞰图像的方法和装置 |
CN108898628B (zh) * | 2018-06-21 | 2024-07-23 | 北京纵目安驰智能科技有限公司 | 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质 |
CN109472750B (zh) * | 2018-10-29 | 2021-11-30 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
CN109484303A (zh) * | 2018-11-27 | 2019-03-19 | 山东省科学院自动化研究所 | 一种辅助泊车装置、***及辅助泊车方法 |
CN109544647A (zh) * | 2018-11-30 | 2019-03-29 | 郑州天迈科技股份有限公司 | 用于360°全景泊车辅助***的标定布、场地及方法 |
CN109523491A (zh) * | 2018-12-13 | 2019-03-26 | 深圳市路畅智能科技有限公司 | 用于环视辅助泊车的环视光照均一化方法和装置 |
CN109767473B (zh) * | 2018-12-30 | 2022-10-28 | 惠州华阳通用电子有限公司 | 一种全景泊车装置标定方法及装置 |
CN109859263B (zh) * | 2019-01-26 | 2023-06-27 | 中北大学 | 一种基于鱼眼镜头的宽视角定位方法 |
CN110288527B (zh) * | 2019-06-24 | 2023-10-24 | 北京智行者科技股份有限公司 | 一种车载环视相机全景鸟瞰图生成方法 |
CN111169463A (zh) * | 2019-10-10 | 2020-05-19 | 中国第一汽车股份有限公司 | 一种泊车控制***及方法 |
CN110796597B (zh) * | 2019-10-10 | 2024-02-02 | 武汉理工大学 | 基于时空补偿的车载环视图像拼接装置 |
CN110736472A (zh) * | 2019-10-10 | 2020-01-31 | 武汉理工大学 | 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法 |
CN111080707B (zh) * | 2019-10-17 | 2023-06-16 | 深圳亿智时代科技有限公司 | 一种单目全景泊车标定方法 |
CN110942023A (zh) * | 2019-11-25 | 2020-03-31 | 鹰驾科技(深圳)有限公司 | 车辆视觉盲区的指示方法、装置、设备及存储介质 |
CN110956846B (zh) * | 2019-12-11 | 2021-06-25 | 济宁市众帮来袭信息科技有限公司 | 一种停车服务方法、装置、***及存储介质 |
CN111161148B (zh) * | 2019-12-30 | 2024-01-30 | 上海闻泰电子科技有限公司 | 一种全景图像生成方法、装置、设备和存储介质 |
CN111242842B (zh) * | 2020-01-15 | 2023-11-10 | 江苏中天安驰科技有限公司 | 图像转换方法、终端及存储介质 |
CN113255405B (zh) * | 2020-02-12 | 2024-06-25 | 广州汽车集团股份有限公司 | 车位线识别方法及其***、车位线识别设备、存储介质 |
CN112606829A (zh) * | 2020-12-16 | 2021-04-06 | 广州市车智连电子有限公司 | 一种基于全景拼接数据映射的辅助泊车*** |
CN112802109B (zh) * | 2021-02-07 | 2024-05-10 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
CN114881863B (zh) * | 2022-06-30 | 2022-09-30 | 湖北芯擎科技有限公司 | 一种图像拼接方法、电子设备及计算机可读存储介质 |
CN116029900A (zh) * | 2022-12-30 | 2023-04-28 | 小米汽车科技有限公司 | 图像处理方法、装置、存储介质以及车辆 |
CN117237237B (zh) * | 2023-11-13 | 2024-07-05 | 深圳元戎启行科技有限公司 | 一种车载360度全景影像的光度均衡方法及装置 |
CN117437306B (zh) * | 2023-12-21 | 2024-02-20 | 知行汽车科技(苏州)股份有限公司 | 一种摄像头的标定方法、装置、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助*** |
US8189031B2 (en) * | 2006-01-09 | 2012-05-29 | Samsung Electronics Co., Ltd. | Method and apparatus for providing panoramic view with high speed image matching and mild mixed color blending |
CN103035005A (zh) * | 2012-12-13 | 2013-04-10 | 广州致远电子股份有限公司 | 一种全景泊车的标定方法,及装置,一种自动标定方法 |
CN103177439A (zh) * | 2012-11-26 | 2013-06-26 | 惠州华阳通用电子有限公司 | 一种基于黑白格角点匹配的自动标定方法 |
CN103646385A (zh) * | 2013-11-21 | 2014-03-19 | 江西好帮手电子科技有限公司 | 一种全景泊车图像的自动拼接方法及其*** |
-
2016
- 2016-09-05 CN CN201610803313.XA patent/CN106373091B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8189031B2 (en) * | 2006-01-09 | 2012-05-29 | Samsung Electronics Co., Ltd. | Method and apparatus for providing panoramic view with high speed image matching and mild mixed color blending |
CN102045546A (zh) * | 2010-12-15 | 2011-05-04 | 广州致远电子有限公司 | 一种全景泊车辅助*** |
CN103177439A (zh) * | 2012-11-26 | 2013-06-26 | 惠州华阳通用电子有限公司 | 一种基于黑白格角点匹配的自动标定方法 |
CN103035005A (zh) * | 2012-12-13 | 2013-04-10 | 广州致远电子股份有限公司 | 一种全景泊车的标定方法,及装置,一种自动标定方法 |
CN103646385A (zh) * | 2013-11-21 | 2014-03-19 | 江西好帮手电子科技有限公司 | 一种全景泊车图像的自动拼接方法及其*** |
Also Published As
Publication number | Publication date |
---|---|
CN106373091A (zh) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106373091B (zh) | 全景泊车中鸟瞰图像的自动拼接方法、***及车辆 | |
CN106952311B (zh) | 基于全景拼接数据映射表的辅助泊车***及方法 | |
CN105354796B (zh) | 用于行车辅助的图像处理方法及*** | |
US11350073B2 (en) | Disparity image stitching and visualization method based on multiple pairs of binocular cameras | |
CN107301620B (zh) | 基于相机阵列的全景成像方法 | |
CN106408511B (zh) | 鱼眼图像的俯视变换、俯视图像获取及映射表构建方法 | |
CN110782394A (zh) | 全景视频快速拼接方法及*** | |
CN104732482B (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
CN105516654B (zh) | 一种基于场景结构分析的城市监控视频融合方法 | |
CN110390640A (zh) | 基于模板的泊松融合图像拼接方法、***、设备及介质 | |
CN106994936A (zh) | 一种3d全景泊车辅助*** | |
CN106960414A (zh) | 一种多视角ldr图像生成高分辨率hdr图像的方法 | |
CN107993263A (zh) | 环视***自动标定方法、汽车、标定装置及存储介质 | |
CN109767473A (zh) | 一种全景泊车装置标定方法及装置 | |
US20160005316A1 (en) | Around view system and operating method thereof | |
CN106709878B (zh) | 一种快速图像融合方法 | |
CN101605211A (zh) | 将虚拟三维建筑与现实环境实拍视频无缝合成的方法 | |
CN103985133A (zh) | 基于图割能量优化的影像间最优拼接线寻找方法及*** | |
CN108876723A (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
CN109741456A (zh) | 基于gpu并行运算的3d环视车辆辅助驾驶方法及*** | |
CN106899782A (zh) | 一种实现交互式全景视频流地图的方法 | |
CN110290365B (zh) | 一种边缘融合方法 | |
He et al. | Panoramic video stitching in multi-camera surveillance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |