CN106627373B - 一种用于智能泊车的图像处理方法和*** - Google Patents
一种用于智能泊车的图像处理方法和*** Download PDFInfo
- Publication number
- CN106627373B CN106627373B CN201710025369.1A CN201710025369A CN106627373B CN 106627373 B CN106627373 B CN 106627373B CN 201710025369 A CN201710025369 A CN 201710025369A CN 106627373 B CN106627373 B CN 106627373B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- ambient image
- closed disk
- continuous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 238000010276 construction Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 19
- 238000013178 mathematical model Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 12
- 230000007613 environmental effect Effects 0.000 abstract description 9
- 230000007704 transition Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于智能泊车的图像处理方法和***,该方法包括:采集目标车辆四周的环境图像;对各环境图像进行俯视变换,得到对应的俯视环境图像;根据各俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射;根据连续映射,构造闭圆盘上的连续函数;根据对应的连续函数,对各俯视环境图像进行融合。将目标车辆四周的环境图像转换为俯视环境图像,根据两两俯视环境图像构造对应重合区域的连续函数,可同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙,实现平滑过渡,使得图像的融合达到更优的效果,在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,辅助驾驶员安全准确地将车辆停在停车位等位置。
Description
技术领域
本发明涉及汽车智能技术领域,特别是涉及一种用于智能泊车的图像处理方法和***。
背景技术
随着经济的发展,人们的生活发生了极大的变化,为了节省时间成本,很多人选择了驾车出行。
随着驾车出行的人数的增加,且我国多数城市人口密度大,这使得停车位越来越紧凑,准确将车倒入车位或者说准确将车停好已经成为每个驾驶员所必须具备的技能。但是,在倒车过程中往往会存在视角盲区,这使得驾驶员在倒车过程中会出现刮碰的情况,为了解决这一问题,很多车辆配备了车辆辅助安全倒车***,以将车辆周围的环境信息和车辆的位置信息以俯视图的方式反馈到车内的显示屏上,驾驶员根据显示屏的提示进行安全准确的倒车和停车。
但是,目前车辆的辅助安全倒车***的显示屏并不能很好的显示车辆四周的环境信息,这是由于辅助安全倒车***往往会将同一场景的至少两张图像进行拼接,形成一幅大场景图像。例如申请号为CN201110070860.9的专利文件公开了一种车辆辅助***中图像处理方法以及子***,其对图像进行了拼接处理,但是其仅仅通过像素点与两边界的距离之比来估计权重,这导致重叠区域过渡不够均匀,使得图像拼接过程中仍然存在缝隙。这使得车辆辅助安全倒车***的显示屏不能很好的呈现车辆四周的环境信息,不能给用户以良好的视觉效果。
因而,如何在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,以辅助驾驶员安全准确地将车辆停在停车位等位置,是本领域技术人员目前需要解决的技术问题。
发明内容
本发明的目的是提供一种用于智能泊车的图像处理方法和***,可以在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,以辅助驾驶员安全准确地将车辆停在停车位等位置。
为解决上述技术问题,本发明提供了如下技术方案:
一种用于智能泊车的图像处理方法,包括:
采集目标车辆四周的环境图像;
对各所述环境图像进行俯视变换,得到对应的俯视环境图像;
根据各所述俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射;
根据所述连续映射,构造所述闭圆盘上的连续函数;
根据对应的连续函数,对各所述俯视环境图像进行融合。
优选地,在对各所述环境图像进行俯视变换之前,还包括:
获取所述目标车辆的位置信息;
根据所述目标车辆的位置信息对各所述环境图像进行图像几何校正。
优选地,在根据各所述俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射之前,还包括:
通过SIFT图像拼接算法对各所述俯视环境图像进行图像配准。
优选地,所述构造两两俯视环境图像的重合区域到闭圆盘上的连续映射,包括:
根据两两俯视环境图像及对应的重合区域,建立第一数学模型,其中,所述第一数学模型为h(x,y)=a(x,y)*f1(x,y)+b(x,y)*f2(x,y),a(x,y)+b(x,y)=1,h(x,y)为两两俯视环境图像融合后所得图像的像素值,f1(x,y)为第一俯视环境图像的像素值,f2(x,y)为第二俯视环境图像的像素值,a(x,y)为所述第一俯视环境图像的权重函数,b(x,y)为所述第二俯视环境图像的权重函数;
构造该重合区域到闭圆盘上的连续映射f→Δ,其中Δ为一个闭圆盘。
优选地,根据所述连续映射,构造所述闭圆盘上的连续函数,包括:
分析判断出所述权重函数在对应的重合区域的两个不连续点,定义为第一不连续点和第二不连续点;
以所述两个不连续点的连线中点O为圆心作圆,其中,该圆的直径大于该两个不连续点之间的距离;
在所述重合区域内取一非O的点P,连接点O和点P并延长交该重合区域的边界于点M,交该圆的边界于点N;
在点O与点N的连线上取一点Q,且OP/OM=OQ/ON;
定义f(P)=Q,并设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y);
建立u-v坐标系,并以所述第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点;
在所述闭圆盘内取任一点G作u轴的垂线并交所述闭圆盘的边界于点H和点K,点H为所述垂线与所述闭圆盘的下半圆的交点;
定义闭圆盘上的连续函数z(u,v)=GH/HK,且z在所述闭圆盘的上半圆的取值为1,在所述闭圆盘的下半圆的取值为0;
通过公式解析所述闭圆盘上的连续函数。
一种用于智能泊车的图像处理***,包括:
分别设置在目标车辆前后左右,用于采集所述目标车辆四周的环境图像的四个图像采集装置;
与各所述图像采集装置连接,将各所述图像采集装置所采集的环境图像进行俯视变换的图像变换模块;
与所述图像变换模块连接,根据所有经过俯视变换得到的俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射的图像映射处理模块;
与所述图像映射处理模块连接,构造所述闭圆盘上的连续函数的函数构造模块;
根据所述函数构造模块的所述连续函数对各所述俯视环境图像进行融合的图像融合处理模块。
优选地,还包括:
获取所述目标车辆的位置信息,并对各所述环境图像进行图像几何校正的图像几何校正模块。
优选地,还包括:
与所述图像映射处理模块连接,根据SIFT图像拼接算法对各所述俯视环境图像进行图像配准的图像配准模块。
优选地,所述图像映射处理模块包括:
根据两两俯视环境图像及对应的重合区域,建立第一数学模型的第一建模单元,其中,所述第一数学模型为h(x,y)=a(x,y)*f1(x,y)+b(x,y)*f2(x,y),a(x,y)+b(x,y)=1,h(x,y)为两两俯视环境图像融合后所得图像的像素值,f1(x,y)为第一俯视环境图像的像素值,f2(x,y)为第二俯视环境图像的像素值,a(x,y)为所述第一俯视环境图像的权重函数,b(x,y)为所述第二俯视环境图像的权重函数;
构造该重合区域到闭圆盘上的连续映射f→Δ的映射构造单元,其中Δ为一个闭圆盘。
优选地,所述函数构造模块包括:
用于分析判断出所述权重函数在对应的重合区域的两个不连续点,并定义为第一不连续点和第二不连续点的不连续点获取单元;
用于以所述两个不连续点的连线中点O为圆心作圆,其中,该圆的直径大于该两个不连续点之间的距离,并在所述重合区域内取一非O的点P,连接点O和点P并延长交该重合区域的边界于点M,交该圆的边界于点N,在点O与点N的连线上取一点Q,且OP/OM=OQ/ON,定义f(P)=Q,并设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y)的第二数学模型单元;
用于建立u-v坐标系,并以所述第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点,在所述闭圆盘内取任一点G作u轴的垂线并交所述闭圆盘的边界于点H和点K,点H为所述垂线与所述闭圆盘的下半圆的交点,定义闭圆盘上的连续函数z(u,v)=GH/HK,且z在所述闭圆盘的上半圆的取值为1,在所述闭圆盘的下半圆的取值为0,通过公式解析所述闭圆盘上的连续函数的闭圆盘连续函数生成单元。
与现有技术相比,上述技术方案具有以下优点:
本发明实施例所提供的用于智能泊车的图像处理方法,包括:采集目标车辆四周的环境图像;对各环境图像进行俯视变换,得到对应的俯视环境图像;根据各俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射;根据连续映射,构造闭圆盘上的连续函数;根据对应的连续函数,对各俯视环境图像进行融合。将目标车辆四周的环境图像转换为俯视环境图像,并根据两两俯视环境图像构造对应重合区域的连续函数,可以同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙,实现了平滑过渡,使得图像的融合达到更优的效果,在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,辅助驾驶员安全准确地将车辆停在停车位等位置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种具体实施方式所提供的用于智能泊车的图像处理方法流程图;
图2为本发明一种实施方式所提供的图像融合的第一数学模型示意图;
图3为本发明一种实施方式所提供的闭圆盘上的连续函数示意图;
图4为本发明一种实施方式所提供的用于智能泊车的图像处理***结构示意图。
具体实施方式
正如背景技术部分所述,目前的车辆辅助安全倒车***的显示屏不能很好的呈现车辆四周的环境信息,不能给用户以良好的视觉效果。
发明人研究发现,现有技术中仅通过像素点与两边界的距离之比来估计权重,没有在整个区域构建合适的模型来反映实际问题的变化规律,导致重合区域过渡不够均匀,缝隙消除不明显,从而不能给用户提供优良精确的图像信息。
基于上述研究的基础上,本发明实施例提供了一种用于智能泊车的图像处理方法和***,可以在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,以辅助驾驶员安全准确地将车辆停在停车位等位置。
为了使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
请参考图1,图1为本发明一种具体实施方式所提供的用于智能泊车的图像处理方法流程图。
本发明的一种具体实施方式提供了一种用于智能泊车的图像处理方法,包括:
S11:采集目标车辆四周的环境图像。
即采集目标车辆前后左右四个方向的环境图像。
S12:对各环境图像进行俯视变换,得到对应的俯视环境图像。由于用户是通过显示屏观看车辆四周的环境信息,因而为了方便用户观看,也为了方便后续的图像融合,在本实施方式中,将获得的环境图像转换为对应的俯视环境图像。
S13:根据各俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射。
在本发明的一种实施方式中,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射,包括:
根据两两俯视环境图像及对应的重合区域,建立第一数学模型,其中,第一数学模型为h(x,y)=a(x,y)*f1(x,y)+b(x,y)*f2(x,y),a(x,y)+b(x,y)=1,h(x,y)为两两俯视环境图像融合后所得图像的像素值,f1(x,y)为第一俯视环境图像的像素值,f2(x,y)为第二俯视环境图像的像素值,a(x,y)为第一俯视环境图像的权重函数,b(x,y)为第二俯视环境图像的权重函数;a(x,y),z(x,y)为矩形ABCD区域关于像素的连续函数,后面的z(u,v)是闭圆盘上的连续函数。
构造该重合区域到闭圆盘上的连续映射f→Δ,其中Δ为一个闭圆盘。
在本实施方式中,如图2所示,图2为本发明一种实施方式所提供的图像融合的第一数学模型示意图。在本实施方式中,以第一俯视环境图像和第二俯视环境图像均为矩形,且重合区域也为矩形为例进行说明,其中,矩形ABCD即为两个俯视环境图像的重合区域。由图2可以看出,图像融合之后的缝隙可能出现在左右两边(AD和BC)或者上下两边(AB和CD)。通过现有技术的方法,在消除左右两边的缝隙后,再使用相同的方法消除上下两边的缝隙时,会导致权重函数a(x,y)在左右两边再次变得不连续,从而使得融合之后的图像的左右两边的缝隙再次出现。发明人研究发现,缝隙出现的位置即为权重函数不连续的位置,也就是说,若权重函数a(x,y)的不连续点构成一条直线,则该直线将会是一条缝隙。因此,要想消除缝隙就要构造全图像上的连续函数a(x,y)。由直接平均值法可知,要想权重函数a(x,y)在全图像上连续,那么a(x,y)在边界AD和AB的取值必须为1,在BC和CD上的取值必须为0,这将使得权重函数a(x,y)在B和D两点必然是不连续的,但是只要不连续点不构成一条直线那么从视觉上来说就看不出缝隙,因此,构造在全图像上除去B点和D点的连续函数就可以消除所有的缝隙。
其中,直接平均值法的计算公式为:
其中,f12(x,y)为图像融合后的像素值,f1(x,y),f2(x,y)为两幅待融合的图像,S10为参考图像中未与待匹配图像重合的区域,S20为待匹配图像中未与参考图像重合的区域,S为两幅图像的重合区域。
S14:根据连续映射,构造闭圆盘上的连续函数。
在上述实施方式的基础上,在本发明一种实施方式中,根据连续映射,构造闭圆盘上的连续函数,包括:
分析判断出权重函数在对应的重合区域的两个不连续点,定义为第一不连续点和第二不连续点;
以两个不连续点的连线中点O为圆心作圆,其中,该圆的直径大于该两个不连续点之间的距离;
在重合区域内取一非O的点P,连接点O和点P并延长交该重合区域的边界于点M,交该圆的边界于点N;
在点O与点N的连线上取一点Q,且OP/OM=OQ/ON;
定义f(P)=Q,并设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y);
建立u-v坐标系,并以第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点;
在闭圆盘内取任一点G作u轴的垂线并交闭圆盘的边界于点H和点K,点H为垂线与闭圆盘的下半圆的交点;
定义闭圆盘上的连续函数z(u,v)=GH/HK,且z在闭圆盘的上半圆的取值为1,在闭圆盘的下半圆的取值为0;
通过公式解析闭圆盘上的连续函数。
在本实施方式中,仍旧以重合区域为矩形为例进行说明。构造ABCD围成的矩形区域到闭圆盘上的连续映射f:ABCD→Δ。在本实施方式中,第一不连续点为点B,第二不连续点为点D。连接BD,取BD的中点O为圆心,并以r为半径作圆。其中,f的定义方法为:如图2所示,取矩形ABCD区域内的一个非O点P,连接OP并交矩形ABCD的边界于M,脚圆O的边界于N,在ON上取一点Q,使得OP/OM=OQ/ON,并定义f(P)=Q,易验证该f是连续的,设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y)。
如图2所示,点E和点F为过点B和点D的直径与圆O的边界的两个交点。如图3所示,图3为本发明一种实施方式所提供的闭圆盘上的连续函数示意图。点E和点F通过映射f分别对应到了矩形的点D和点B。由上述实施方式可知,只有构造全图像上除去点B和点D上的连续函数就可以消除缝隙,因此,在本实施方式中所构造的闭圆盘上的连续函数的定义域不包括点E和点F。对圆内任一点G(u,v),作关于u轴的垂线并分别交闭圆盘的上半圆和下半圆于点K和点H,定义函数z(u,v)=GH/HK,易知z(u,v)是关于u和v的连续函数,且对应上述实施方式,函数z在上半圆的取值为1,在下半圆的取值为0,易得该函数的表达式为:因此,可以得知重合区域ABCD(除去点B和点D)边界以及内部的连续函数为
需要说明的是,本实施方式只是以重合区域为矩形为例进行说明,当重合区域为其他形状时,或者具有多个不连续点时,只有至少两个不连续点在一条直线上时才会产生缝隙,因此,只需找出同一直线上的位于两边的不连续点,按照上述的方法进行映射和寻找合适的连续函数,即可排除掉不连续的点,在后续图像融合时,均可以消除掉所有的缝隙。
S15:根据对应的连续函数,对各俯视环境图像进行融合。
在本实施方式中,将目标车辆四周的环境图像转换为俯视环境图像,并根据两两俯视环境图像构造对应重合区域的连续函数,即构造了在全图像上除去不连续点的连续函数,可以同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙,实现了平滑过渡,使得图像的融合达到更优的效果,在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,辅助驾驶员安全准确地将车辆停在停车位等位置。
在本发明的一种实施方式中,在对各环境图像进行俯视变换之前,还包括:获取目标车辆的位置信息;根据目标车辆的位置信息对各环境图像进行图像几何校正。
进一步地,在根据各俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射之前,还包括:
通过SIFT图像拼接算法对各俯视环境图像进行图像配准。
在本实施方式中,无论是对图像进行图像几何校正还是对图像进行图像配准,其目的均在于提高图像融合时的准确性。对图像进行校正才能将目标车辆和所采集的环境图像的位置关系进行精确地配对,而对图像进行图像配准,尤其是采用SIFT图像拼接算法对各俯视环境图像进行图像配准,可以精确地确定各环境图像在融合前的排列位置,方便各图像按照最佳的相对位置来进行图像融合。
请参考图4,图4为本发明一种实施方式所提供的用于智能泊车的图像处理***结构示意图。
相应地,本发明一种实施方式还提供了一种用于智能泊车的图像处理***,包括:
分别设置在目标车辆前后左右,用于采集目标车辆四周的环境图像的四个图像采集装置1,优选地,图像采集装置为安装在目标车辆上的摄像头;
与各图像采集装置1连接,将各图像采集装置1所采集的环境图像进行俯视变换的图像变换模块2;
与图像变换模块2连接,根据所有经过俯视变换得到的俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射的图像映射处理模块3;
与图像映射处理模块3连接,构造闭圆盘上的连续函数的函数构造模块4;
根据函数构造模块4的连续函数对各俯视环境图像进行融合的图像融合处理模块5。
进一步地,该***还包括:
获取目标车辆的位置信息,并对各环境图像进行图像几何校正的图像几何校正模块。
与图像映射处理模块连接,根据SIFT图像拼接算法对各俯视环境图像进行图像配准的图像配准模块。
在上述任一实施方式的基础上,图像映射处理模块包括:根据两两俯视环境图像及对应的重合区域,建立第一数学模型的第一建模单元,其中,第一数学模型为h(x,y)=a(x,y)*f1(x,y)+b(x,y)*f2(x,y),a(x,y)+b(x,y)=1,h(x,y)为两两俯视环境图像融合后所得图像的像素值,f1(x,y)为第一俯视环境图像的像素值,f2(x,y)为第二俯视环境图像的像素值,a(x,y)为第一俯视环境图像的权重函数,b(x,y)为第二俯视环境图像的权重函数;构造该重合区域到闭圆盘上的连续映射f→Δ的映射构造单元,其中Δ为一个闭圆盘。
函数构造模块包括:用于分析判断出权重函数在对应的重合区域的两个不连续点,并定义为第一不连续点和第二不连续点的不连续点获取单元;用于以两个不连续点的连线中点O为圆心作圆,其中,该圆的直径大于该两个不连续点之间的距离,并在重合区域内取一非O的点P,连接点O和点P并延长交该重合区域的边界于点M,交该圆的边界于点N,在点O与点N的连线上取一点Q,且OP/OM=OQ/ON,定义f(P)=Q,并设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y)的第二数学模型单元;用于建立u-v坐标系,并以第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点,在闭圆盘内取任一点G作u轴的垂线并交闭圆盘的边界于点H和点K,点H为垂线与闭圆盘的下半圆的交点,定义闭圆盘上的连续函数z(u,v)=GH/HK,且z在闭圆盘的上半圆的取值为1,在闭圆盘的下半圆的取值为0,通过公式解析闭圆盘上的连续函数的闭圆盘连续函数生成单元。
本实施方式所提供的用于智能泊车的图像处理***,无论是对图像进行图像几何校正还是对图像进行图像配准,其目的均在于提高图像融合时的准确性。对图像进行校正才能将目标车辆和所采集的环境图像的位置关系进行精确地配对,而对图像进行图像配准,尤其是采用SIFT图像拼接算法对各俯视环境图像进行图像配准,可以精确地确定各环境图像在融合前的排列位置,方便各图像按照最佳的相对位置来进行图像融合。
该***的技术方案将目标车辆四周的环境图像转换为俯视环境图像,并根据两两俯视环境图像构造对应重合区域的连续函数,即构造了在全图像上除去不连续点的连续函数,可以同时消除两两俯视环境图像重合区域的水平方向和垂直方向的缝隙,实现了平滑过渡,使得图像的融合达到更优的效果,在驾驶员进行泊车时,能够为驾驶员提供优良的车辆四周环境信息,辅助驾驶员安全准确地将车辆停在停车位等位置。
以上对本发明所提供一种用于智能泊车的图像处理方法和***进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种用于智能泊车的图像处理方法,其特征在于,包括:
采集目标车辆四周的环境图像;
对各所述环境图像进行俯视变换,得到对应的俯视环境图像;
根据各所述俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射;
根据所述连续映射,构造所述闭圆盘上的连续函数;
根据对应的连续函数,对各所述俯视环境图像进行融合。
2.根据权利要求1所述的方法,其特征在于,在对各所述环境图像进行俯视变换之前,还包括:
获取所述目标车辆的位置信息;
根据所述目标车辆的位置信息对各所述环境图像进行图像几何校正。
3.根据权利要求2所述的方法,其特征在于,在根据各所述俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射之前,还包括:
通过SIFT图像拼接算法对各所述俯视环境图像进行图像配准。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述构造两两俯视环境图像的重合区域到闭圆盘上的连续映射,包括:
根据两两俯视环境图像及对应的重合区域,建立第一数学模型,其中,所述第一数学模型为h(x,y)=a(x,y)*f1(x,y)+b(x,y)*f2(x,y),a(x,y)+b(x,y)=1,h(x,y)为两两俯视环境图像融合后所得图像的像素值,f1(x,y)为第一俯视环境图像的像素值,f2(x,y)为第二俯视环境图像的像素值,a(x,y)为所述第一俯视环境图像的权重函数,b(x,y)为所述第二俯视环境图像的权重函数;
构造该重合区域到闭圆盘上的连续映射f→Δ,其中Δ为一个闭圆盘。
5.根据权利要求4所述的方法,其特征在于,根据所述连续映射,构造所述闭圆盘上的连续函数,包括:
分析判断出所述权重函数在对应的重合区域的两个不连续点,定义为第一不连续点和第二不连续点;
以所述两个不连续点的连线中点O为圆心作圆,其中,该圆的直径大于该两个不连续点之间的距离;
在所述重合区域内取一非O的点P,连接点O和点P并延长交该重合区域的边界于点M,交该圆的边界于点N;
在点O与点N的连线上取一点Q,且OP/OM=OQ/ON;
定义f(P)=Q,并设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y);
建立u-v坐标系,并以所述第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点;
在所述闭圆盘内取任一点G作u轴的垂线并交所述闭圆盘的边界于点H和点K,点H为所述垂线与所述闭圆盘的下半圆的交点;
定义闭圆盘上的连续函数z(u,v)=GH/HK,且z在所述闭圆盘的上半圆的取值为1,在所述闭圆盘的下半圆的取值为0;
通过公式解析所述闭圆盘上的连续函数。
6.一种用于智能泊车的图像处理***,其特征在于,包括:
分别设置在目标车辆前后左右,用于采集所述目标车辆四周的环境图像的四个图像采集装置;
与各所述图像采集装置连接,将各所述图像采集装置所采集的环境图像进行俯视变换的图像变换模块;
与所述图像变换模块连接,根据所有经过俯视变换得到的俯视环境图像,构造两两俯视环境图像的重合区域到闭圆盘上的连续映射的图像映射处理模块;
与所述图像映射处理模块连接,构造所述闭圆盘上的连续函数的函数构造模块;
根据所述函数构造模块的所述连续函数对各所述俯视环境图像进行融合的图像融合处理模块。
7.根据权利要求6所述的***,其特征在于,还包括:
获取所述目标车辆的位置信息,并对各所述环境图像进行图像几何校正的图像几何校正模块。
8.根据权利要求7所述的***,其特征在于,还包括:
与所述图像映射处理模块连接,根据SIFT图像拼接算法对各所述俯视环境图像进行图像配准的图像配准模块。
9.根据权利要求6至8任一项所述的***,其特征在于,所述图像映射处理模块包括:
根据两两俯视环境图像及对应的重合区域,建立第一数学模型的第一建模单元,其中,所述第一数学模型为h(x,y)=a(x,y)*f1(x,y)+b(x,y)*f2(x,y),a(x,y)+b(x,y)=1,h(x,y)为两两俯视环境图像融合后所得图像的像素值,f1(x,y)为第一俯视环境图像的像素值,f2(x,y)为第二俯视环境图像的像素值,a(x,y)为所述第一俯视环境图像的权重函数,b(x,y)为所述第二俯视环境图像的权重函数;
构造该重合区域到闭圆盘上的连续映射f→Δ的映射构造单元,其中Δ为一个闭圆盘。
10.根据权利要求9所述的***,其特征在于,所述函数构造模块包括:
用于分析判断出所述权重函数在对应的重合区域的两个不连续点,并定义为第一不连续点和第二不连续点的不连续点获取单元;
用于以所述两个不连续点的连线中点O为圆心作圆,其中,该圆的直径大于该两个不连续点之间的距离,并在所述重合区域内取一非O的点P,连接点O和点P并延长交该重合区域的边界于点M,交该圆的边界于点N,在点O与点N的连线上取一点Q,且OP/OM=OQ/ON,定义f(P)=Q,并设点P坐标为(x,y),点Q坐标为(u,v),构造第一连续函数u=u(x,y)和第二连续函数v=v(x,y)的第二数学模型单元;
用于建立u-v坐标系,并以所述第一不连续点和第二不连续点所在直径的两个端点E、F作为闭圆盘与u轴的两个交点,在所述闭圆盘内取任一点G作u轴的垂线并交所述闭圆盘的边界于点H和点K,点H为所述垂线与所述闭圆盘的下半圆的交点,定义闭圆盘上的连续函数z(u,v)=GH/HK,且z在所述闭圆盘的上半圆的取值为1,在所述闭圆盘的下半圆的取值为0,通过公式解析所述闭圆盘上的连续函数的闭圆盘连续函数生成单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710025369.1A CN106627373B (zh) | 2017-01-13 | 2017-01-13 | 一种用于智能泊车的图像处理方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710025369.1A CN106627373B (zh) | 2017-01-13 | 2017-01-13 | 一种用于智能泊车的图像处理方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106627373A CN106627373A (zh) | 2017-05-10 |
CN106627373B true CN106627373B (zh) | 2019-03-01 |
Family
ID=58844376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710025369.1A Expired - Fee Related CN106627373B (zh) | 2017-01-13 | 2017-01-13 | 一种用于智能泊车的图像处理方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106627373B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274336B (zh) * | 2017-06-14 | 2019-07-12 | 电子科技大学 | 一种针对车载环境的全景图像拼接方法 |
CN111798540B (zh) * | 2020-05-25 | 2023-03-31 | 青海大学 | 图像融合方法和*** |
CN113592949B (zh) * | 2021-07-01 | 2024-03-29 | 广东工业大学 | 用于车辆无线泊车影像的控制***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142138A (zh) * | 2011-03-23 | 2011-08-03 | 深圳市汉华安道科技有限责任公司 | 一种车辆辅助***中的图像处理方法以及子*** |
CN102521817A (zh) * | 2011-11-22 | 2012-06-27 | 广州致远电子有限公司 | 一种用于全景泊车***的图像融合方法 |
CN104091316A (zh) * | 2013-04-01 | 2014-10-08 | 德尔福电子(苏州)有限公司 | 一种车辆鸟瞰辅助***图像数据处理方法 |
-
2017
- 2017-01-13 CN CN201710025369.1A patent/CN106627373B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102142138A (zh) * | 2011-03-23 | 2011-08-03 | 深圳市汉华安道科技有限责任公司 | 一种车辆辅助***中的图像处理方法以及子*** |
CN102521817A (zh) * | 2011-11-22 | 2012-06-27 | 广州致远电子有限公司 | 一种用于全景泊车***的图像融合方法 |
CN104091316A (zh) * | 2013-04-01 | 2014-10-08 | 德尔福电子(苏州)有限公司 | 一种车辆鸟瞰辅助***图像数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106627373A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100565555C (zh) | 基于计算机视觉的违章停车检测装置 | |
CN103236160B (zh) | 基于视频图像处理技术的路网交通状态监测*** | |
CN103516995A (zh) | 一种基于orb特征的实时全景视频拼接方法和装置 | |
CN104512328B (zh) | 汽车环视图像生成方法及汽车环视*** | |
CN109435852A (zh) | 一种针对大型卡车的全景式辅助驾驶***及方法 | |
KR101782670B1 (ko) | 이미 존재하는 정지 이미지 내의 비디오의 시각화 | |
CN109186586A (zh) | 一种面向动态泊车环境的同时定位及混合地图构建方法 | |
CN106627373B (zh) | 一种用于智能泊车的图像处理方法和*** | |
CN106092114A (zh) | 一种图像识别的汽车实景导航装置及方法 | |
CN111209780A (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
CN107203738A (zh) | 车辆车道边界定位 | |
KR20120072020A (ko) | 자율주행 시스템의 주행정보 인식 방법 및 장치 | |
CN101276465A (zh) | 广角图像自动拼接方法 | |
CN109579868A (zh) | 车外目标定位方法、装置及汽车 | |
CN104833368A (zh) | 实景导航***及方法 | |
CN104504904B (zh) | 一种交通设施移动采集方法 | |
CN106856000A (zh) | 一种车载全景图像无缝拼接处理方法及*** | |
CN110689724B (zh) | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 | |
CN106023080A (zh) | 一种车载全景图像无缝拼接处理*** | |
CN205768985U (zh) | 一种汽车全景环视辅助安全*** | |
CN105205785A (zh) | 一种可定位的大型车辆运行管理***及其运行方法 | |
CN105321160B (zh) | 三维立体全景泊车的多摄像头标定方法 | |
CN112396000B (zh) | 一种多模态密集预测的深度信息传输模型的构建方法 | |
CN114640801B (zh) | 一种基于图像融合的车端全景视角辅助驾驶*** | |
CN102458923B (zh) | 用于扩展可视区域的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190301 Termination date: 20210113 |
|
CF01 | Termination of patent right due to non-payment of annual fee |