CN110211053B - 用于三维测量的快速精确相位匹配方法 - Google Patents
用于三维测量的快速精确相位匹配方法 Download PDFInfo
- Publication number
- CN110211053B CN110211053B CN201910347159.3A CN201910347159A CN110211053B CN 110211053 B CN110211053 B CN 110211053B CN 201910347159 A CN201910347159 A CN 201910347159A CN 110211053 B CN110211053 B CN 110211053B
- Authority
- CN
- China
- Prior art keywords
- parallax
- point
- phase
- points
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005259 measurement Methods 0.000 title claims abstract description 24
- 238000009499 grossing Methods 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000010363 phase shift Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000010587 phase diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000001314 profilometry Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种用于三维测量的快速精确相位匹配方法,包括:获取精确的目标区域;利用加权插值方法,对左右相位进行立体校正,得到亚像素的视差;利用视差滤波器去除毛刺和孤立点;利用高斯滤波器对三维重建的表面进行平滑处理。本发明提供的用于三维测量的快速精确相位匹配方法,能快速、准确地获取重建区域和点云,对复杂目标的测量具有较好的精度。
Description
技术领域
本发明涉及光学测量技术领域,特别涉及用于三维测量的快速精确相位匹配方法。
背景技术
近年来光学三维测量技术发展迅速。立体匹配是保证测量***精度的重要环节。基于特征的立体匹配、基于区域的立体匹配、基于相位的立体匹配等方法很多。随着DLP投影机的发展,相位测量轮廓术(PMP)成为应用最广泛的技术之一,具有测量精度高、测量速度快的优点。传统的基于相位的匹配用于全局搜索或极性方程。然而,这些方法费时且精度低。
发明内容
本发明的目的在于提供用于三维测量的快速精确相位匹配方法,以解决基于相位的匹配用于全局搜索或极性方程的方法费时且精度低的问题。
为了解决上述技术问题,本发明的技术方案是:提供一种用于三维测量的快速精确相位匹配方法,包括:获取精确的目标区域;利用加权插值方法,对左右相位进行立体校正,得到亚像素的视差;利用视差滤波器去除毛刺和孤立点;利用高斯滤波器对三维重建的表面进行平滑处理。
进一步地,采用四步相移法获取精确的目标区域。
进一步地,立体校正后,左右两行图像平行于极外线,在左边相位图中选区一个点(xL,yL),对应的右边相位图的点为(xR,yR),yR等于yL,如果左边的相位值是对应的右边相位值满足方程/>获取关键点(i,j)和(i+1,j),其横坐标为/>所述关键点的环绕点用于计算坐标两个因素为:
相应的纵坐标为
亚像素视差为
para_x=xR-i';para_y=yR-j
进一步地,用一个5×5的模板来判断孤立点,从有效的对象区域中选择一个点(i,j),像素点((i-2,j-2),(i-1,j-2),…(i+1,j+2),(i+2,j+2))确定点(i,j)的特性,如果点((i+m,j+n))是有效的,累计值增加1,然后对这些点的有效视差进行累积,得到视差的平均值,如果累计值大于10,且所选点的视差和平均值之间的差小于2,则保留该点,否则删除该点;采用线性插值消除视差,提取间距,将视差线分割成不同的部分,当断面长度小于10时,采用线性插值法,假设截面长度为n,两个端点的值为para(0)和para(n-1),这个间隔的视差值定义为:
经过上述操作,去除视差上的毛刺和孤立点。
进一步地,采用高斯平滑滤波器对点云进行平滑处理,得到将匹配线划分为不同区段的区间,在每个间隔中,从三个方向使用尺寸为5像素、标准偏差为0.8像素的一维高斯滤波器。
本发明提供的用于三维测量的快速精确相位匹配方法,能快速、准确地获取重建区域和点云,对复杂目标的测量具有较好的精度。
附图说明
下面结合附图对发明作进一步说明:
图1为本发明实施例提供的用于三维测量的快速精确相位匹配方法的流程步骤示意图。
图2a为本发明实施例提供的相机拍摄的条纹图案的图像;
图2b为本发明实施例提供的采用四步相移法得到的包裹相;
图2c为本发明实施例提供的强度图像;
图2d为本发明实施例提供的共现掩模;
图2e为本发明实施例提供的强度掩码;
图2f为本发明实施例提供的分割的前景区域;
图3为本发明实施例提供的用于获得亚像素坐标的模板。
具体实施方式
以下结合附图和具体实施例对本发明提出的用于三维测量的快速精确相位匹配方法作进一步详细说明。根据下面说明和权利要求书,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比率,仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明的核心思想在于,本发明提供的用于三维测量的快速精确相位匹配方法,能快速、准确地获取重建区域和点云,对复杂目标的测量具有较好的精度。
图1为本发明实施例提供的用于三维测量的快速精确相位匹配方法的流程步骤示意图。参照图1,提供一种用于三维测量的快速精确相位匹配方法,包括以下步骤:
S11、获取精确的目标区域;
S12、利用加权插值方法,对左右相位进行立体校正,得到亚像素的视差;
S13、利用视差滤波器去除毛刺和孤立点;
S14、利用高斯滤波器对三维重建的表面进行平滑处理。
采用四步相移法,条纹图像的强度为
I1(x,y)=Ia(x,y)+Im(x,y)cos(φ(x,y))
I2(x,y)=Ia(x,y)+Im(x,y)cos(φ(x,y)+π/2)
I3(x,y)=Ia(x,y)+Im(x,y)cos(φ(x,y)+π)
I4(x,y)=Ia(x,y)+Im(x,y)cos(φ(x,y)+3π/2) (1)
Ia(x,y)表示环境光的强度,Im(x,y)表示调制强度,φ(x,y)是展开相位,从公式(1)中,Ia(x,y)和Im(x,y)可描述为:
Ia(x,y)=(I1+I2+I3+I4)/4
Im(x,y)=(((I4-I2)^2+(I1-I3)^2)^0.5)/2 (2)
共生矩阵定义为Cij表示在Im中具有i值以及在Ia中具有j值的像素总数,Pij是概率值。图2为本发明实施例提供的基于环境光调制的共生矩阵。参照图2,(s,t)是将矩阵分为四个象限的阈值(R1,R2,R3和R4)。在较大的调制和环境光照强度下,相位值更精确。为了获得最佳阈值,我们应确保方程(4)的最小值。
QR1,QR2,QR3和QR4定义如下:
QR1(s,t)=PR1/(s+1)(t+1)0≤i≤s,0≤j≤t
QR2(s,t)=PR2/(t+1)(L1-s-1)s+1≤i≤L1-1,0≤j≤t
QR3(s,t)=PR3/(L2-t-1)(s+1)0≤i≤s,t+1≤j≤L2-1
QR4(s,t)=PR2/(L1-s-1)(L2-t-1)s+1≤i≤L1-1,t+1≤j≤L2-1 (5)
当阈值(s,t)求取时,可以建立一个共生掩模用于图像分割。
OTSU算法应用在强度图像Ia(x,y)中获取强度掩码值Maskia。如果共生矩阵和强度掩码都为真,则对象区域有效。图2a为本发明实施例提供的相机拍摄的条纹图案的图像;图2b为本发明实施例提供的采用四步相移法得到的包裹相。图2c为本发明实施例提供的强度图像。参照图2c,图中显示的强度图像可以用方程(2)计算;图2d为本发明实施例提供的共现掩模。参照图2d共现掩模可以通过方程(6)得到;图2e为本发明实施例提供的强度掩码。参照图2e,在强度图像上采用OTSU方法得到强度掩模;图2f为本发明实施例提供的分割的前景区域,参照图2f,该方法结合了两种掩模的优点,提供了一个精确的目标区域。
立体校正后,左右两行图像平行于极外线。当我们在左边相位图中选取一个点(xL,yL),对应的右边相位图的点为(xR,yR)。因为立体校正的原因,yR等于yL。在这种情况下,yR是固定一个像素。图3为本发明实施例提供的用于获得亚像素坐标的模板。参照图3所示,如果左边的相位值是对应的右边相位值满足方程(7),
基于这个方程,我们可以获取关键点(i,j)和(i+1,j)。相应的横坐标可由式(8)求得。
基于关键点的环绕点可用于计算坐标。这两个因素被定义为:
相应的纵坐标可通过方程(11)得到。
亚像素视差可以通过方程(12)得到
para_x=xR-i';para_y=yR-j (12)
过滤视差有两个步骤。一种是去除孤立点,另一种是平滑视差。首先,我们用一个5×5的模板来判断孤立点。从有效的对象区域中选择一个点(i,j)。像素点((i-2,j-2),(i-1,j-2),…(i+1,j+2),(i+2,j+2))确定点(i,j)的特性。如果点((i+m,j+n))是有效的,累计值增加1。然后对这些点的有效视差进行累积。我们可以得到视差的平均值。如果累计值大于10,且所选点的视差和平均值之间的差小于2,则保留该点,否则删除该点。第二,采用线性插值来消除视差。提取间距,将视差线分割成不同的部分。当断面长度小于10时,采用线性插值法。假设截面长度为n,两个端点的值为para(0)和para(n-1)。这个间隔的视差值可以定义为:
经过这个操作,去除视差上的毛刺和孤立点。
在获得精确的视差后,可以通过标定参数计算三维点云。采用高斯平滑滤波器对点云进行平滑处理。得到了将匹配线划分为不同区段的区间。在每个间隔中,从三个方向使用尺寸为5像素、标准偏差为0.8像素的一维高斯滤波器。在那之后,点云的表面更加平滑。
本发明提供的一种基于绝对相位图的快速精确匹配方法。对象掩模可以减少重建噪声点和运行时间。一种新的加权插值方法在横坐标和纵坐标中引入了精确的亚像素视差。利用视差和点云滤波器去除毛刺和孤立点,获得准确的表面。该方法对复杂目标的测量具有较好的精度。
显然,本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (3)
1.一种用于三维测量的快速精确相位匹配方法,其特征在于,包括:
获取精确的目标区域;
利用加权插值方法,对左右相位进行立体校正,得到亚像素的视差;
利用视差滤波器去除毛刺和孤立点;
利用高斯滤波器对三维重建的表面进行平滑处理;
立体校正后,左右两行图像平行于极外线,在左行相位图中选取一个点(xL,yL),对应的右行相位图的点为(xR,yR),yR等于yL,如果左行的相位值是对应的右行相位值满足方程/>获取关键点(i,j)和(i+1,j),其横坐标为
所述关键点的环绕点用于计算纵坐标两个因素为:
相应的纵坐标为
亚像素视差为
para_x=xR-i′;para_y=yR-j;
用一个5×5的模板来判断孤立点,从有效的对象区域中选择一个点(i,j),像素点((i-2,j-2),(i-1,j-2),…(i+1,j+2),(i+2,j+2))确定点(i,j)的特性,如果点((i+m,j+n))是有效的,累计值增加1,然后对这些点的有效视差进行累积,得到视差的平均值,如果累计值大于10,且所选点的视差和平均值之间的差小于2,则保留该点,否则删除该点;采用线性插值消除视差,提取间距,将视差线分割成不同的部分,当截面长度小于10时,采用线性插值法,假设截面长度为n,两个端点的值为para(0)和para(n-1),插值点的视差值定义为:
经过上述操作,去除视差上的毛刺和孤立点。
2.如权利要求1所述的用于三维测量的快速精确相位匹配方法,其特征在于,采用四步相移法获取精确的目标区域。
3.如权利要求1所述的用于三维测量的快速精确相位匹配方法,其特征在于,采用高斯平滑滤波器对点云进行平滑处理,得到将匹配线划分为不同区段的区间,在每个间隔中,从三个方向使用尺寸为5像素、标准偏差为0.8像素的一维高斯滤波器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910347159.3A CN110211053B (zh) | 2019-04-28 | 2019-04-28 | 用于三维测量的快速精确相位匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910347159.3A CN110211053B (zh) | 2019-04-28 | 2019-04-28 | 用于三维测量的快速精确相位匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110211053A CN110211053A (zh) | 2019-09-06 |
CN110211053B true CN110211053B (zh) | 2023-09-15 |
Family
ID=67786525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910347159.3A Active CN110211053B (zh) | 2019-04-28 | 2019-04-28 | 用于三维测量的快速精确相位匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110211053B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022147670A1 (en) * | 2021-01-06 | 2022-07-14 | Jiangsu Jitri Micro-Nano Automation Institute Co., Ltd | Automatic exposure selection method for high dynamic range 3d optical measurements |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281493A (ja) * | 2007-05-11 | 2008-11-20 | Nippon Steel Corp | 表面欠陥検査システム、方法及びプログラム |
WO2008154989A1 (de) * | 2007-06-18 | 2008-12-24 | Daimler Ag | Verfahren zur optimierung eines stereoskopischen bildes |
CN101398886A (zh) * | 2008-03-17 | 2009-04-01 | 杭州大清智能技术开发有限公司 | 一种基于双目被动立体视觉的快速三维人脸识别方法 |
CN102184540A (zh) * | 2011-05-03 | 2011-09-14 | 哈尔滨工程大学 | 基于尺度空间的亚像素级立体匹配方法 |
EP2592595A1 (en) * | 2010-06-30 | 2013-05-15 | Panasonic Corporation | Stereo image processing apparatus and method of processing stereo image |
CN103440653A (zh) * | 2013-08-27 | 2013-12-11 | 北京航空航天大学 | 双目视觉立体匹配方法 |
CN103729251A (zh) * | 2013-11-06 | 2014-04-16 | 中国科学院上海光学精密机械研究所 | 并行计算光学条纹图相位提取方法 |
CN105043298A (zh) * | 2015-08-21 | 2015-11-11 | 东北大学 | 基于傅里叶变换无需相位展开的快速三维形貌测量方法 |
CN108613637A (zh) * | 2018-04-13 | 2018-10-02 | 深度创新科技(深圳)有限公司 | 一种基于参考图像的结构光***解相方法及*** |
CN108898575A (zh) * | 2018-05-15 | 2018-11-27 | 华南理工大学 | 一种新型自适应权重立体匹配方法 |
CN109499010A (zh) * | 2018-12-21 | 2019-03-22 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助***及其方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012099986A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
-
2019
- 2019-04-28 CN CN201910347159.3A patent/CN110211053B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281493A (ja) * | 2007-05-11 | 2008-11-20 | Nippon Steel Corp | 表面欠陥検査システム、方法及びプログラム |
WO2008154989A1 (de) * | 2007-06-18 | 2008-12-24 | Daimler Ag | Verfahren zur optimierung eines stereoskopischen bildes |
CN101398886A (zh) * | 2008-03-17 | 2009-04-01 | 杭州大清智能技术开发有限公司 | 一种基于双目被动立体视觉的快速三维人脸识别方法 |
EP2592595A1 (en) * | 2010-06-30 | 2013-05-15 | Panasonic Corporation | Stereo image processing apparatus and method of processing stereo image |
CN102184540A (zh) * | 2011-05-03 | 2011-09-14 | 哈尔滨工程大学 | 基于尺度空间的亚像素级立体匹配方法 |
CN103440653A (zh) * | 2013-08-27 | 2013-12-11 | 北京航空航天大学 | 双目视觉立体匹配方法 |
CN103729251A (zh) * | 2013-11-06 | 2014-04-16 | 中国科学院上海光学精密机械研究所 | 并行计算光学条纹图相位提取方法 |
CN105043298A (zh) * | 2015-08-21 | 2015-11-11 | 东北大学 | 基于傅里叶变换无需相位展开的快速三维形貌测量方法 |
CN108613637A (zh) * | 2018-04-13 | 2018-10-02 | 深度创新科技(深圳)有限公司 | 一种基于参考图像的结构光***解相方法及*** |
CN108898575A (zh) * | 2018-05-15 | 2018-11-27 | 华南理工大学 | 一种新型自适应权重立体匹配方法 |
CN109499010A (zh) * | 2018-12-21 | 2019-03-22 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助***及其方法 |
Non-Patent Citations (4)
Title |
---|
Combining spacetime stereo and phase-shift for fast 3D shape measurement;Bao Wei 等;《2017 32nd Youth Academic Annual Conference of Chinese Association of Automation(YAC)》;20170703(第2017期);1079-1083 * |
基于区域调制相移模板的高精度三维结构光重建;张韶越 等;《现代机械》;20191228(第06期);40-45 * |
基于双目视觉立体匹配算法的研究与应用;刘欢;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115(第(2019)01期);I138-3065 * |
复杂光学特性表面视觉测量关键技术研究;唐瑞尹;《中国博士学位论文全文数据库信息科技辑》;20180515(第(2018)05期);I138-24 * |
Also Published As
Publication number | Publication date |
---|---|
CN110211053A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111563921B (zh) | 一种基于双目相机的水下点云获取方法 | |
CN108613637B (zh) | 一种基于参考图像的结构光***解相方法及*** | |
US9360307B2 (en) | Structured-light based measuring method and system | |
CN104065947B (zh) | 一种集成成像***的深度图获取方法 | |
US10223802B2 (en) | Method for determining depth maps from stereo images with improved depth resolution in a range | |
US9025862B2 (en) | Range image pixel matching method | |
CN111612728B (zh) | 一种基于双目rgb图像的3d点云稠密化方法和装置 | |
JP2008123141A (ja) | 対応点探索方法および3次元位置計測方法 | |
CN111563952B (zh) | 基于相位信息与空间纹理特征实现立体匹配方法及*** | |
CN108399631B (zh) | 一种尺度不变性的倾斜影像多视密集匹配方法 | |
CN104331890B (zh) | 一种全局视差估计方法和*** | |
CN110375675B (zh) | 基于空间相位展开的双目光栅投影测量方法 | |
CN104778673B (zh) | 一种改进的高斯混合模型深度图像增强方法 | |
CN116503836A (zh) | 一种基于深度补全和图像分割的3d目标检测方法 | |
CN110211053B (zh) | 用于三维测量的快速精确相位匹配方法 | |
Ebrahimikia et al. | True orthophoto generation based on unmanned aerial vehicle images using reconstructed edge points | |
US20230384085A1 (en) | Phase unwrapping method based on multi-view constraints of light field and related components | |
CN113393413B (zh) | 基于单目与双目视觉协同的水域面积测量方法和*** | |
CN110111339B (zh) | 条纹图像目标区域提取方法 | |
CN110702015B (zh) | 输电线路覆冰厚度测量方法及装置 | |
Hirata et al. | Real-time dense depth estimation using semantically-guided LIDAR data propagation and motion stereo | |
CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测***及方法 | |
JP6388806B2 (ja) | 射影画像生成装置と射影画像生成プログラムと射影画像生成方法 | |
CN104408710B (zh) | 一种全局视差估计方法和*** | |
CN112258635B (zh) | 基于改进双目匹配sad算法的三维重建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |