CN100361157C - 多分辨率的四元小波相位匹配方法 - Google Patents
多分辨率的四元小波相位匹配方法 Download PDFInfo
- Publication number
- CN100361157C CN100361157C CNB2005100247838A CN200510024783A CN100361157C CN 100361157 C CN100361157 C CN 100361157C CN B2005100247838 A CNB2005100247838 A CN B2005100247838A CN 200510024783 A CN200510024783 A CN 200510024783A CN 100361157 C CN100361157 C CN 100361157C
- Authority
- CN
- China
- Prior art keywords
- quaternary
- psi
- phase
- wavelet
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Abstract
一种多分辨率四元小波相位匹配方法,将四元小波理论首次应用在未校正自然图像的相位匹配中,直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配,直接对未校正自然图像进行二维视差估计,相对于未校正图像的立体匹配方法,在计算视差图时,不需估计基础矩阵以及进行外极线重整,给出了除四元Gabor小波之外的四元小波滤波器的构造方法,能自适应地处理四元相位奇点引起的误匹配问题。整个匹配方法的实现结构简单,并具有良好的拓展性,与全局最优技术和遮挡检测技术相结合则能实现更为精确的全局匹配以及遮挡检测。
Description
技术领域
本发明涉及的是一种用于人工智能领域的方法,特别是一种可应用于双目和多目立体匹配、单目序列图像中运动目标跟踪、运动目标分割等应用场合的多分辨率的四元小波相位匹配方法。
技术背景
目前,未校正图像的立体匹配是计算机视觉的一个热点问题,根据所选匹配基元的不同,现有的解决手段分为三类:二维区域匹配、二维特征匹配和二维相位匹配。二维区域匹配在未校正图像的立体匹配算法中占主流形势,但这些算法执行的并非是完全二维空间意义上的视差搜索任务,它们通常需要两个步骤完成整个匹配过程:首先,根据经典的匹配算法获取稀疏的二维匹配结果,并利用鲁棒算子在初始的二维匹配结果中剔除局外点,继而根据高置信度对应点之间的位置关系计算基础矩阵而恢复外极线几何信息;其次,在恢复的外极线上执行一维匹配过程。其中,局外点的剔除和基础矩阵的计算过程十分复杂且难以控制,甚至会导致外极线几何信息不能正确恢复。二维特征匹配通过将图像对之间的匹配问题转化为两幅图形之间的映射问题或子图同构问题,其中图像被描绘成一幅图形,特征基元作为图形的节点,特征基元之间的几何关系则被定义为各节点之间的链节。算法需要首先提取显著的特征基元,比如边缘线段或轮廓,然后在双目图像或多目图像中对其进行匹配。由于图像像素集合中只有某个子集被用于匹配,因此得到的视差场是稀疏的,而且如果提取的特征基元不够可靠,将导致算法的失败。相位匹配算法是一类结合了区域匹配和特征匹配各自优点的立体匹配算法,它对于光照畸变和几何畸变比区域匹配稳定,同时又无须特征提取就能获得亚像素精度的致密视差场。现有的相位匹配算法绝大多数是一维的表达形式,它将图像分解为实部和虚部两个部分,利用单个相位获取一维视差,图像的匹配结果通常由相位差-频率模型计算获得。高维滤波器的构造涉及复杂的高维信号处理知识和技术,同时搜索空间向二维的拓展导致计算量庞大且复杂以及匹配的歧义性显著增加。因此,现有的相位匹配往往限于一维搜索空间,即立体像对必须经过外极线重整。
经对现有技术文献的检索发现,目前仅有Thomas Bülow等的研究工作中涉及到二维相位匹配算法,他们在四元数代数的理论基础上,利用四元Gabor滤波器获得四元解析信号,然后通过提取可分离的四元相位和采用拓展的相位差-频率模型而获得二维视差图。但正如他本人所述,其算法模型旨在证明理论的可行性,并不完整和实用,如:仅实现了四元Gabor滤波器提取2D相位的过程,而滤波器的丰富选择有助于寻找到最佳描述图像的多分辨率方式;只对单尺度的四元解析信号计算视差,算法的准确度低,视差场的密度也很低;相位奇点问题未得到较好的处理,奇点附近的视差无法确定以及奇点附近误匹配的扩散现象无法得到自适应地控制。因此,现有的二维相位匹配算法的实用性较低,无法实现对自然像对的可靠匹配。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种多分辨率的四元小波相位匹配方法。使其整个匹配方法的实现结构简单,并具有良好的拓展性,与全局最优技术和遮挡检测技术相结合则能实现更为精确的全局匹配以及遮挡检测。
本发明是通过以下技术方案实现的,本发明将四元小波理论首次应用在未校正自然图像的相位匹配中,直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配,不需估计基础矩阵,也无须建立检测和剔除相位奇点的约束条件,可以直接对未校正自然图像进行二维视差估计。相对于经典的未校正图像的立体匹配方法,该方法在计算视差图时,不需估计基础矩阵以及进行外极线重整,相比于现有的相位匹配算法,给出了除四元Gabor小波之外的四元小波滤波器的构造方法,能自适应地处理四元相位奇点引起的误匹配问题,首次在相位匹配中实现了对未校正自然图像对的二维视差估计。
在不计算基础矩阵和进行外极线校正的情形下,在频率域中直接执行二维匹配任务,多分辨率的二维匹配过程满足视差搜索的半波长限制,显著降低了视差解空间的大小或匹配的歧义性,而且该二维域的相位匹配过程能自适应地抑制相位奇点的不利影响,实现对未校正自然像对的视差估计。
所述的直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配,包括以下实现步骤:
1)构造二维解析信号以提取二维局部相位结构。首先构造出单维的线性相位的实小波滤波器,然后采用希尔伯特变换在二维空间进行线性相位的四元小波滤波器的构造。
2)将构造所得的四元小波滤波器对未校正图像对作多分辨率的带通滤波并提取局部四元相位信息,通过建立代价函数寻找最大相似的四元相位结构,从而解决二维匹配问题。
3)相位奇点是相位匹配的固有问题,是导致相位误匹配的主要原因。现有的四元相位匹配,仅仅通过检测和剔除相位奇点而降低误匹配,但得到的视差场是稀疏的,而且在多分辨率的匹配过程中会造成误匹配的扩散。该方法建立的代价函数利用带通滤波的输出能量自适应地抑制由相位奇点引起的误匹配。
本发明多分辨率四元小波相位匹配方案包括四元线性小波相位提取步骤以及相位之间的匹配步骤。四元线性小波相位提取步骤包含两个实现单元:构造线性相位的离散四元小波滤波器;对立体像对进行带通滤波而提取可分离的局部四元线性小波相位信息。相位之间的匹配步骤包括根据四元线性相位信息建立有效的代价函数以及采用最优搜索技术寻找最小代价路径。其中,在代价值的计算中利用滤波输出的能量信息自适应地抑制相位奇点对匹配的不利影响。
本发明多分辨率四元小波相位匹配方法在进行未校正立体像对的匹配过程中,以一种更符合人眼生理机理的方式解决对应点的匹配问题,它直接在二维频率域空间中搜索视差,而不计算基础矩阵和求解外极线方程,该方法可以结合并行处理技术提高运算速度;建立的代价方程在确定代价值时自动引入相位稳定的约束条件,能自适应地抑制相位奇点的不利影响;采用的金字塔式的多分辨率匹配结构,大大降低了视差搜索空间的范围。本发明的匹配运算易于实现,并具有良好的拓展性,与目前的全局优化技术相结合,可实现二维全局匹配和二维遮挡检测,进一步提高该方法的实用性。此外,除立体匹配之外,二维域的图像匹配技术可应用于单目序列图像中运动目标跟踪、运动目标分割,甚至于序列图像压缩中的运动矢量估计,使得视频中的运动矢量估计问题与立体视觉中的二维视差估计问题的解决方式可以统一起来,因此该方法的应用范围较广。
附图说明
图1本发明提取四元线性相位的小波滤波器的构造示意图
图2是四元线性小波相位的多分辨率提取过程示意图
图3是多分辨率四元小波相位匹配框架示意图
具体实施方式
以下结合附图对本发明的匹配方案作进一步描述。
如图1所示,本发明中涉及的滤波器构造过程。给出由线性相位的双正交小波基构造出线性相位的四元小波滤波器的过程。对于具有线性相位特征的双正交小波基ψ1(x),ψ2(y)以及它们所对应的尺度函数φ1(x),φ2(y),就可以通过下述方法构造出一组线性相位的四元小波滤波器Ψp q(x,y),p∈{1,2,3},包括一个二维尺度函数Φ(x,y),从而可以得到对图像频率域的一种完整分割。其中,除自变量的变化方向分别为x和y之外,ψ1与ψ2所确定的自变量与因变量之间的映射关系可以是同一的。
Φ(x,y)=φ1(x)φ2(y)
上标Hix和Hiy分别表示对当前函数作x和y方向上的一维希尔伯特变换。i,j,k为四元数代数中的复数单位,满足
i2=j2=k2=-1以及ij=k
如图2所示,本发明四元线性小波相位的多分辨率提取过程。左右图像fl和fr经由尺度函数Φ(x,y)滤波并亚采样后得到一组金字塔式的图像结构Am,c,用数学表达式可以这么描述,
am,s,t=<fc(x,y),Φm,s,t(x,y)>
其中,对于给定的二维图像信号f(x,y),图像大小为Mx×My,符号<·,·>则表示内积运算。系数(am,s,t)组成离散矩阵Am,c,形成多尺度的金字塔式图像匹配结构。在各个尺度m上,我们依靠一组四元小波滤波器Ψp q(x,y),p∈{1,2,3},得到具有线性相位的二维解析信号Dm,c,p:
系数(dm,s,t,p)组成离散矩阵Dm,c,p,形成各尺度m下处于不同窄带的图像信息分量。至此为止,二维图像信号f(x,y)在频率域被尺度函数Φ(x,y)以及四元小波函数Ψp q(x,y),p∈{1,2,3}完整分割,即图像的多分辨率分解过程为
假定m尺度下图像c,c={l,r}中像素(s,t)处的一组小波系数为dm,s,t,p,p∈{1,2,3},并且用四元数的形式可表达为
其中,a,b,c,d∈R,p∈{1,2,3},
符号|·|表示取四元数的模。那么,四元线性小波相位angφc,p q,angψc,p q和angθc,p q以及幅度ρc,p q的提取过程用数学表达式描述为
1)当
时,
2)当
即
时,angφc,p q±angθc,p q有确定主值,但angφc,p q,angθc,p q没有唯一解:
a、如果
时,
b、如果
时,
注意,如果
必须修正上述计算获得的小波相位angφc,p q,即
如图3所示,本发明四元线性小波相位提取后,二维域相位匹配的实现过程。除相位奇点之外,对应点处应满足四元相位相等,因此我们以相位差异建立代价函数,通过寻找最小代价路径或图像对之间最大相似的局部四元相位结构而确定视差。同时,为保证相位的稳定性,在建立代价方程时,引入相位稳定性约束条件,对输出幅度高的候选对应点处的相位差异值予以高的置信度。
对于尺度m下参考图中的离散像素(k,l),假定其与候选对应点之间的二维视差
建立代价方程如下:
其中幅度须进行归一化,即
上式中,[·]2π∈[-π,π),
以及
一旦建立了代价方程,即可在当前的有效视差范围内结合最优搜索技术确定出最小代价路径,由而获得二维视差图。图3给出的匹配框架中采用了粗-精的匹配策略,通过多分辨率采样扩大算法的收敛范围并加快收敛速度,其中粗通道的匹配结果经内插后作为下一细通道的视差初值图,如:尺度m下获得的视差图经内插后将作为m-1尺度下的视差初始图,视差的有效搜索范围是[d0-Δd,d0+Δd]。其中,d0是视差初值,而Δd则满足带通滤波器Ψp q(x,y),p∈{1,2,3}的通带中心频率的半波长限制。
Claims (1)
1、一种多分辨率四元小波相位匹配方法,其特征在于,将四元小波理论应用在未校正自然图像的相位匹配中,直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配,直接对未校正自然图像进行二维视差估计,相对于未校正图像的立体匹配方法,在计算视差图时,不需估计基础矩阵以及进行外极线重整,给出了除四元Gabor小波之外的四元小波滤波器的构造方法,能自适应地处理四元相位奇点引起的误匹配问题;
所述的直接利用频率域的四元小波相位信息实现对未校正自然图像对的可靠匹配,具体步骤以下:
1)构造二维解析信号以提取二维局部相位结构,首先构造出单维的线性相位的实小波滤波器,然后采用希尔伯特变换在二维空间进行线性相位的四元小波滤波器的构造,具体如下:
对于具有线性相位特征的双正交小波基Ψ1(x),Ψ2(y)以及它们所对应的尺度函数φ1(x),φ1(y),通过下述方法构造出一组线性相位的四元小波滤波器Ψp q(x,y),p∈{1,2,3},包括一个二维尺度函数Φ(x,y),从而得到对图像频率域的一种完整分割,其中,除自变量的变化方向分别为x和y之外,Ψ1与Ψ2所确定的自变量与因变量之间的映射关系可以是同一的,
Φ(x,y)=φ1(x)φ2(y)
上标Hix和Hiy分别表示对当前函数作x和y方向上的一维希尔伯特变换,i,j,k为四元数代数中的复数单位,满足:i2=j2=k2=-1以及ij=k;
2)将构造所得的四元小波滤波器对未校正图像对作多分辨率的带通滤波并提取局部四元相位信息,通过建立代价函数寻找最大相似的四元相位结构,从而解决二维匹配问题,具体如下:
未校正图像对fl和fr经由步骤1)所建立的尺度函数Φ(x,y)滤波并亚采样后形成多尺度的金字塔式图像匹配结构Am,c,m为尺度,c={l,r},各个尺度m上,依靠步骤1)所建立的一组四元小波滤波器ψp q(p={1,2,3}),对Am,c作带通滤波得到具有线性相位的二维解析信号,从而提取出局部四元相位信息;以四元相位相似性测度的形式建立代价函数,通过寻找最大相似的四元相位结构解决未校正像对的二维匹配问题;
3)建立代价函数利用带通滤波的输出能量自适应地抑制由相位奇点引起的误匹配,具体如下:
带通滤波的输出能量在四元相位的奇点处降至0,而根据输出能量的连续性,用它来度量相位结构的稳定性程度,在建立代价函数时,用输出能量加权计算四元相位结构的相似性测度,从而在最小化代价函数的过程中能自适应地抑制相位奇点引起的误匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100247838A CN100361157C (zh) | 2005-03-31 | 2005-03-31 | 多分辨率的四元小波相位匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100247838A CN100361157C (zh) | 2005-03-31 | 2005-03-31 | 多分辨率的四元小波相位匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1687968A CN1687968A (zh) | 2005-10-26 |
CN100361157C true CN100361157C (zh) | 2008-01-09 |
Family
ID=35306009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100247838A Expired - Fee Related CN100361157C (zh) | 2005-03-31 | 2005-03-31 | 多分辨率的四元小波相位匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100361157C (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870846B (zh) * | 2012-12-07 | 2017-11-07 | 深圳先进技术研究院 | 一种图像表示方法及其在图像匹配、识别中的应用 |
CN106934335B (zh) * | 2015-12-31 | 2021-02-02 | 南通东华软件有限公司 | 图像识别的方法和装置 |
CN107368819B (zh) * | 2017-08-02 | 2020-03-24 | 首都师范大学 | 人脸识别方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6175639B1 (en) * | 1997-02-24 | 2001-01-16 | Nec Corporation | Digital data encode system |
US6477276B1 (en) * | 1997-11-07 | 2002-11-05 | Matsushita Electric Industrial Co., Ltd. | Apparatus for and method of embedding and extracting digital information and medium having program for carrying out the method recorded thereon |
-
2005
- 2005-03-31 CN CNB2005100247838A patent/CN100361157C/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6175639B1 (en) * | 1997-02-24 | 2001-01-16 | Nec Corporation | Digital data encode system |
US6477276B1 (en) * | 1997-11-07 | 2002-11-05 | Matsushita Electric Industrial Co., Ltd. | Apparatus for and method of embedding and extracting digital information and medium having program for carrying out the method recorded thereon |
Non-Patent Citations (3)
Title |
---|
一种基于小波变换的分形图像编码压缩算法的研究. 傅德胜.计算机应用与软件,第21卷第1期. 2004 * |
基于反馈日志分析的图像检索相关反馈方法. 周向东.计算机研究与发展,第41卷第1期. 2004 * |
对几个小波基本概念的理解. 陈祥训.电国***自动化,第28卷第1期. 2004 * |
Also Published As
Publication number | Publication date |
---|---|
CN1687968A (zh) | 2005-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102074014B (zh) | 一种利用基于图论的图像分割算法的立体匹配方法 | |
CN105956597A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
Qin | Automated 3D recovery from very high resolution multi-view satellite images | |
Ni et al. | HyperSfM | |
CN101625761B (zh) | 一种基于全局和局部算法的计算机双目视觉匹配方法 | |
CN101826206B (zh) | 一种相机自定标的方法 | |
CN103413347A (zh) | 基于前景背景融合的单目图像深度图提取方法 | |
CN113298934B (zh) | 一种基于双向匹配的单目视觉图像三维重建方法及*** | |
CN103236082A (zh) | 面向捕获静止场景的二维视频的准三维重建方法 | |
CN104517317A (zh) | 一种车载红外图像三维重建方法 | |
CN102393958A (zh) | 基于压缩感知的多聚焦图像融合方法 | |
CN104881029A (zh) | 基于一点ransac和fast算法的移动机器人导航方法 | |
CN103793894A (zh) | 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法 | |
CN104484881A (zh) | 基于图像采集的Visual Map数据库建立方法及利用该数据库的室内定位方法 | |
CN110070574A (zh) | 一种基于改进PSMNet的双目视觉立体匹配算法 | |
CN101739683A (zh) | 基于图分割和多线索融合的单幅图深度估计方法及其*** | |
CN100361157C (zh) | 多分辨率的四元小波相位匹配方法 | |
CN102708589B (zh) | 一种基于特征聚类的三维目标多视点视图建模方法 | |
CN101609503A (zh) | 基于双流形对齐的人脸超分图像处理方法 | |
CN110222568A (zh) | 一种基于时空图的跨视角步态识别方法 | |
WO2021167910A1 (en) | A method for generating a dataset, a method for generating a neural network, and a method for constructing a model of a scene | |
Xiao et al. | A topological approach for segmenting human body shape | |
Pouderoux et al. | Global contour lines reconstruction in topographic maps | |
CN112489097A (zh) | 基于混合2d卷积和伪3d卷积的立体匹配方法 | |
Cord et al. | Three-dimensional building detection and modeling using a statistical approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080109 Termination date: 20110331 |