CN102663765B - 一种基于语义分割的三维图像立体匹配方法和*** - Google Patents
一种基于语义分割的三维图像立体匹配方法和*** Download PDFInfo
- Publication number
- CN102663765B CN102663765B CN201210133578.5A CN201210133578A CN102663765B CN 102663765 B CN102663765 B CN 102663765B CN 201210133578 A CN201210133578 A CN 201210133578A CN 102663765 B CN102663765 B CN 102663765B
- Authority
- CN
- China
- Prior art keywords
- continuum
- image
- little image
- probability model
- parallax value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于图像处理领域,提供了一种基于语义分割的三维图像立体匹配方法和***,所述方法包括以下步骤:计算获取的左右图像的整体视差值;将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽;对不同连续区域分别计算精确视差值。本发明实施例,初步计算三维图像左右画面的整体视差值,根据语义分割将图像分割为不同的连续区域,每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值,通过建立连续的连续区域,使得三维图像的视差计算更加准确,不再受到目标大小和窗口大小匹配的限制。
Description
技术领域
本发明属于图像处理领域,尤其涉及一种基于语义分割的三维图像立体匹配方法和***。
背景技术
立体视觉中关键技术就是要对多幅图像的对应点进行匹配并建立对应的关系,这个过程就叫立体匹配,立体匹配的目的是最终获得图像中物体的视差。这种对应关系建立得正确与否决定了立体匹配方法的优劣。同时,完成立体匹配的时间长短也是衡量方法好坏的重要指标。实际上现有的许多方法都难以在匹配准确率和时间效率上都能兼顾。
现有的方法是基于预定窗口或者自适应窗口,并对窗口内像素进行代价计算。这样的一类方法当图像中的目标大小与窗口大小不一致的时候会导致错误的匹配,匹配精度较差。
发明内容
本发明实施例的目的在于提供一种基于语义分割的三维图像立体匹配方法和***,以解决现有技术立体匹配受目标大小和窗口大小匹配限制的问题。
本发明实施例是这样实现的,一种基于语义分割的三维图像立体匹配方法,所述方法包括以下步骤:
计算获取的左右图像的整体视差值;
将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽;
对不同连续区域分别计算精确视差值。
本发明实施例的另一目的在于提供一种基于语义分割的三维立体匹配***,所述***包括:
整体视差值计算单元,用于计算获取的左右图像的整体视差值;
语义分割单元,用于将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽;
视差值分别计算单元,用于对根据所述语义分割单元产生的不同连续区域分别计算精确视差值。
本发明实施例,初步计算三维图像左右画面的整体视差值,根据语义分割将图像分割为不同的连续区域,获取每块连续区域的长宽参数,并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值,通过建立连续的连续区域,使得三维图像的视差计算更加平滑,更加准确,不再受到目标大小和窗口大小匹配的限制。
附图说明
图1是本发明实施例提供的基于语义分割三维图像立体匹配方法的流程图;
图2本发明实施例提供的三维图像立体匹配方法中将图像等分为若干小图像的示例图;
图3是本发明实施例提供的三围图像立体匹配方法中分别计算每块连续区域视差值的示例图;
图4是本发明实施例提供的三围图像立体匹配方法中步骤S103的具体实现流程图;
图5是本发明实施例提供的三围图像立体匹配方法中语义分割的示例图;
图6是本发明实施例提供的三围图像立体匹配方法中图像语义样本库样本的示例图;
图7是本发明实施例提供的三围图像立体匹配方法中图像语义样本库的示例图;
图8是本发明实施例提供的基于语义分割三维图像立体匹配***的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例,初步计算三维图像左右画面的整体视差值,根据语义分割将图像分割为不同的连续区域,获取每块连续区域的长宽参数,并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值,通过建立连续的连续区域,使得三维图像的视差计算更加平滑,更加准确,不再受到目标大小和窗口大小匹配的限制。
实施例一
如图1所示为本发明实施例提供的基于语义分割三维图像立体匹配方法的流程图,详述如下:
在步骤S101中,水平校正获取的左右图像。
在本发明实施例中,对通过平行双目摄像或单目相机平动摄取的左右图像进行初步校正,使得左右两幅图像中的同一物体处于同一水平线上,避免因左右图像不在同一水平线而引起的计算误差。
在步骤S102中,计算获取的左右图像的整体视差值。
在本发明实施例中,使用现有技术的固定窗口法、自适应窗口法、基于图论图像分割的方法计算左右图像的整体视差值。
在步骤S103中,将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽。
在本发明实施例中,将所述左右图像分割为多个小图像,如图2所示。每个小图像的长宽为L*L,那么只需获取每块连续区域小图像的数量即可知道该连续区域的长和宽。将左右图像分为不同的连续区域方法详见图4以及对图4的描述,在此不再赘述。
在步骤S104中,对不同连续区域分别计算精确视差值。
在本发明实施例中,对根据语义分割产生的不同连续区域分别计算视差值,其计算方法具体为:计算每块连续区域水平方向每一行视差的平均值,将该平均值设置为该行的视差值,计算方法为根据公式
Ei(x)=Ei(Wi/2)
计算视差的平均值,其中Ei(x)表示第i行x位置的视差值,其中Wi表示第i行的长度,那么长度的一半即为中间值,即取i行长度一半位置的视差值为i行的平均值,如图3所示。
本发明实施例,初步计算三维图像左右画面的整体视差值,根据语义分割将图像分割为不同的连续区域,获取每块连续区域的长宽参数,并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值,通过建立连续的连续区域,使得三维图像的视差计算更加平滑,更加准确,不再受到目标大小和窗口大小匹配的限制。
实施例二
如图4所示为本发明实施例1提供的步骤S103的具体实现流程图,详述如下:
在步骤S401中,将整幅图像等分为小图像,并计算每块小图像的特征fi。
在本发明实施例中,将整幅图像等分为若干小图像。计算每块小图像块的特征,其计算方法为:
首先根据高斯函数与小图像做卷积可得到尺度为δ(取2的指数级数,例如2,4,8等)的图像特征:
然后求得不同尺度级的差分特征D(x,y,δ)=L(x,y,kδ)-L(x,y,δ),由此可获得多种尺度特征,例如D(x,y,2),D(x,y,4),D(x,y,8),将此三种尺度的特征依次串接起来可得到小图像的特征。例如第i个小图像的尺寸为5×5,那么第i个小图像的特征维度为5×5×3,即75。
在步骤S402中,根据所述小图像的特征fi按照高斯联合JointBoost分类训练法计算小图像的概率模型参数θ1。
在本发明实施例中,根据已标定好的小图像和小图像的特征fi,采用高斯联合JointBoost分类训练法获得小图像的概率模型参数θ1。其基本原理是通过一系列的弱分类器组合成一个强分类器以完成分类结果的判断。
在步骤S403中,根据所述小图像的概率模型参数θ1和小图像的特征fi建立每块连续区域的概率模型,计算该连续区域的概率模型参数θ。
在本发明实施例中,根据公式:
F1(ci,fi,θ1)=-logP(ci|fi,θ1),
F2(ci,cj,fij,θ2)=-λlogP(ci,cj|fij,θ2)
建立每个小图像的概率模型,其中F1度量第i个图像块特征fi和标记类别ci的一致性,F2度量标记类别为ci的第i个图像块与其邻域图像块类别cj的一致性,如图5所示,P(ci|fi,θ1)表示根据第i个图像块的特征fi,将该图像块归属于标记类别ci的概率。同理,P(ci,cj|fij,θ2)表示根据特征fij使得fi的邻域图像块也属于ci的概率。θ=(θ1,θ2)为待求参数,此处θ表示连续区域的概率模型参数,θ1该连续区域中某个小图像的概率模型参数,θ2表示所述概率模型参数为θ1的小图像的相邻小图像的概率模型参数,公式θ=(θ1,θ2)表示连续区域的概率模型参数与组成该区域的小图像的概率模型参数θ1和其相邻小图像的概率模型参数θ2相关,λ表示权重值在[0,1]之间,fij特征通过fij=fi-fj获得,即表示为同一尺度下不同空间位置的差分特征。公式 输出的是标号为C的连续区域的概率模型参数θ。
在步骤S404中,建立语义图像样本库,为每个语义图像样本编号,并为每个编号的语义图像样本设置标准概率模型参数,将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较,获得语义图像样本结果。
在本发明实施例中,通过长期的计算与记录,可以得出不同的语义图像的样本的标准概率模型参数,将这些概率模型参数进行记载,即语义图像样本库中概率模型参数为已知量,如图6、图7所示。将所述概率模型参数θ与语义图像样本库中的概率模型参数相比较,如果θ=1,而语义图像样本库中概率模型参数1所对应的为草地,那么所述连续区域即为草地。
实施例三
如图8所示为本发明实施例提供的基于语义分割三维图像立体匹配***的结构图,为了便于说明,仅示出于本发明实施例相关的部分,包括:
图像校正单元81,用于水平校正获取的左右图像。
整体视差值计算单元82,用于计算所述图像校正单元81校正的左右图像的整体视差值。
语义分割单元83,用于将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽。
视差值分别计算单元84,用于对根据所述语义分割单元83产生的不同连续区域分别计算精确视差值。
在本发明实施例中,对根据语义分割产生的不同连续区域分别计算视差值,其计算方法具体为:计算每块连续区域水平方向每一行视差的平均值,将该平均值设置为该行的视差值,计算方法为根据公式
Ei(x)=Ei(Wi/2)
计算视差的平均值,其中Ei(x)表示第i行x位置的视差值,其中Wi表示第i行的长度,那么长度的一半即为中间值,即为取i行长度一半位置的视差值为i行的平均值。
其中,所述语义分割单元83具体包括:
小图像特征计算子单元831,用于将整幅图像等分为若干小图像,计算每块小图像的特征fi。
小图像概率模型参数计算子单元832,用于根据所述小图像特征计算子单元831计算的小图像的特征,计算小图像的概率模型参数θ1。
语义分割子单元833,用于根据所述小图像的概率模型参数θ1和小图像的特征fi建立每块连续区域的概率模型,计算该连续区域的概率模型参数θ。
语义分割结果比对子单元834,用于建立语义图像样本库,为每个语义图像样本编号,并为每个编号的语义图像样本设置标准概率模型参数,将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较,获得语义图像样本结果。
本实施例提供的基于语义分割三维图像立体匹配***可以使用在前述对应的基于语义分割三维图像立体匹配方法,详情参见上述基于语义分割三维图像立体匹配方法实施例一和二的相关描述,在此不再赘述。
本领域普通技术人员可以理解为实施例三所包括的各个单元、子单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元、子单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本发明实施例,初步计算三维图像左右画面的整体视差值,根据语义分割将图像分割为不同的连续区域,获取每块连续区域的长宽参数,并根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值,通过建立连续的连续区域,使得三维图像的视差计算更加平滑,更加准确,不再受到目标大小和窗口大小匹配的限制。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于语义分割的三维图像立体匹配方法,其特征在于,所述方法包括以下步骤:
计算获取的左右图像的整体视差值;
将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽;
根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值;
所述计算每块连续区域的精确视差值的步骤具体为:
计算每块连续区域水平方向每一行视差的平均值,该平均值为该行的视差值,计算方法为根据公式
Ei(x)=Ei(Wi/2)
计算视差的平均值,其中Ei(x)表示第i行x位置的视差值,Wi表示第i行的长度。
2.如权利要求1所述的方法,其特征在于,在所述计算获取的左右图像的整体视差值的步骤之前,所述方法还包括以下步骤:
水平校正获取的左右图像。
3.如权利要求1所述的方法,其特征在于,所述将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域的步骤具体为:
将整幅图像等分为小图像,并计算每块小图像的特征fi;
根据所述小图像的特征fi按照高斯联合JointBoost分类训练法计算小图像的概率模型参数θ1;
根据所述小图像的概率模型参数θ1和小图像的特征fi建立每块连续区域的概率模型,计算所述连续区域的概率模型参数θ。
4.如权利要求3所述的方法,其特征在于,在所述根据所述小图像的概率模型参数θ1和小图像的特征fi建立每块连续区域的概率模型,计算所述连续区域的概率模型参数θ的步骤之后,所述方法还包括以下步骤:
建立语义图像样本库,为每个语义图像样本编号,并为每个编号的语义图像样本设置标准概率模型参数,将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较,获得语义图像样本结果。
5.一种基于语义分割的三维图像立体匹配***,其特征在于,所述***包括:
整体视差值计算单元,用于计算获取的左右图像的整体视差值;
语义分割单元,用于将所述左右图像分为小图像,分别计算小图像的特征,将相同特征的小图像组合为一个连续的连续区域,计算每个连续区域小图像的数量,进而计算每块连续区域的长和宽;
视差值分别计算单元,用于根据每块连续区域的长和宽以及所述整体视差值分别计算每块连续区域的精确视差值;
所述视差值分别计算单元计算的步骤具体为:
计算每块连续区域水平方向每一行视差的平均值,该平均值为该行的视差值,计算方法为根据公式
Ei(x)=Ei(Wi/2)
计算视差的平均值,其中Ei(x)表示第i行x位置的视差值,Wi表示第i行的长度。
6.如权利要求5所述的***,其特征在于,所述***还包括:
图像校正单元,用于水平校正获取的左右图像。
7.如权利要求5所述的***,其特征在于,所述语义分割单元具体包括:
小图像特征计算子单元,用于将整幅图像等分为若干小图像,计算每块小图像的特征fi;
小图像概率模型参数计算子单元,用于根据所述小图像特征计算子单元计算的小图像的特征,计算小图像的概率模型参数θ1;
语义分割子单元,用于根据所述小图像的概率模型参数θ1和小图像的特征fi建立每块连续区域的概率模型,计算该连续区域的概率模型参数θ。
8.如权利要求7所述的***,其特征在于,所述语义分割单元还包括:
语义分割结果比对子单元,用于建立语义图像样本库,为每个语义图像样本编号,并为每个编号的语义图像样本设置标准概率模型参数,将所述连续区域的概率模型参数θ与语义图像样本库中的标准概率模型参数相比较,获得语义图像样本结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210133578.5A CN102663765B (zh) | 2012-04-28 | 2012-04-28 | 一种基于语义分割的三维图像立体匹配方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210133578.5A CN102663765B (zh) | 2012-04-28 | 2012-04-28 | 一种基于语义分割的三维图像立体匹配方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663765A CN102663765A (zh) | 2012-09-12 |
CN102663765B true CN102663765B (zh) | 2016-03-02 |
Family
ID=46773243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210133578.5A Expired - Fee Related CN102663765B (zh) | 2012-04-28 | 2012-04-28 | 一种基于语义分割的三维图像立体匹配方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663765B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107622270B (zh) * | 2016-07-13 | 2020-05-12 | 中国电信股份有限公司 | 图像相似度计算方法和装置、相似图像检索方法和*** |
CN109191515B (zh) * | 2018-07-25 | 2021-06-01 | 北京市商汤科技开发有限公司 | 一种图像视差估计方法及装置、存储介质 |
CN109902755B (zh) * | 2019-03-05 | 2019-10-11 | 南京航空航天大学 | 一种用于xct切片的多层信息分享与纠正方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719286A (zh) * | 2009-12-09 | 2010-06-02 | 北京大学 | 融合单视点场景分析的多视点三维场景重建方法及其*** |
CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
CN102223556A (zh) * | 2011-06-13 | 2011-10-19 | 天津大学 | 一种多视点立体图像零视差校正方法 |
CN102308320A (zh) * | 2009-02-06 | 2012-01-04 | 香港科技大学 | 从图像生成三维模型 |
-
2012
- 2012-04-28 CN CN201210133578.5A patent/CN102663765B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102308320A (zh) * | 2009-02-06 | 2012-01-04 | 香港科技大学 | 从图像生成三维模型 |
CN101719286A (zh) * | 2009-12-09 | 2010-06-02 | 北京大学 | 融合单视点场景分析的多视点三维场景重建方法及其*** |
CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
CN102223556A (zh) * | 2011-06-13 | 2011-10-19 | 天津大学 | 一种多视点立体图像零视差校正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102663765A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101887589B (zh) | 一种基于立体视觉的实拍低纹理图像重建方法 | |
CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及*** | |
CN102663767B (zh) | 视觉测量***的相机参数标定优化方法 | |
CN106558080A (zh) | 一种单目相机外参在线标定***及方法 | |
CN104574415B (zh) | 一种基于单摄像机的目标空间定位方法 | |
CN104851104A (zh) | 采用柔性靶标高速摄相机近景大视场标定方法 | |
CN106153048A (zh) | 一种基于多传感器的机器人室内定位及制图*** | |
CN104331897A (zh) | 基于极线校正的亚像素级相位立体匹配方法 | |
CN102607535B (zh) | 一种利用视差空间集束调整的高精度实时立体视觉定位方法 | |
CN101625768A (zh) | 一种基于立体视觉的三维人脸重建方法 | |
CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
CN105931222A (zh) | 用低精度二维平面靶标实现高精度相机标定的方法 | |
CN104392435A (zh) | 鱼眼相机标定方法及标定装置 | |
CN104121902A (zh) | 基于Xtion摄像机的室内机器人视觉里程计实现方法 | |
CN106019264A (zh) | 一种基于双目视觉的无人机危险车距识别***及方法 | |
CN104596519A (zh) | 基于ransac算法的视觉定位方法 | |
CN102914295A (zh) | 基于计算机视觉立方体标定的三维测量方法 | |
CN103557792A (zh) | 一种空中加油锥套目标的视觉跟踪与位置测量方法 | |
CN105469389A (zh) | 一种用于视觉传感器标定的网格球靶标及相应标定方法 | |
CN106526593A (zh) | 基于sar严密成像模型的子像素级角反射器自动定位方法 | |
CN103473758A (zh) | 双目立体视觉***的二次标定方法 | |
CN101149836A (zh) | 一种三维重构的双摄像机标定方法 | |
CN102663765B (zh) | 一种基于语义分割的三维图像立体匹配方法和*** | |
CN106340045A (zh) | 三维人脸重建中基于双目立体视觉的标定优化方法 | |
CN104123725B (zh) | 一种单线阵相机单应性矩阵h的计算方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160302 |