CN103988048B - 在空间编码幻灯片图像上的模式的对准方法和*** - Google Patents
在空间编码幻灯片图像上的模式的对准方法和*** Download PDFInfo
- Publication number
- CN103988048B CN103988048B CN201280049264.5A CN201280049264A CN103988048B CN 103988048 B CN103988048 B CN 103988048B CN 201280049264 A CN201280049264 A CN 201280049264A CN 103988048 B CN103988048 B CN 103988048B
- Authority
- CN
- China
- Prior art keywords
- image
- projector
- distortion
- pattern
- slide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000013598 vector Substances 0.000 claims abstract description 19
- 238000012552 review Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000004075 alteration Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一种用于制备空间编码幻灯片图像的方法,其中,在一个用于3D测量的***中,沿着一个投影仪的输出处的核线对准该空间编码幻灯片图像的一种模式,包括:获取用于投影仪坐标的失真向量,每个向量表示由该投影仪引起的来自预测坐标的一个失真;检索一个理想模式图像,所述理想模式图像是在理想核线上对准的该空间编码模式的一个理想图像;对于一个真实幻灯片图像的每个真实像素坐标,通过以下方式创建该真实幻灯片图像,检索一个当前失真向量;使用该当前失真向量从该真实像素坐标去除失真从而在该理想模式图像中获得理想像素坐标;在该理想模式图像中,在该理想像素坐标处提取一个像素值;在该真实幻灯片图像中,在该真实像素坐标处复制该像素值。
Description
技术领域
本发明总体上涉及对象的表面几何图形的三维扫描领域,并且更具体地,涉及结构光立体视觉。
背景技术
对象的表面几何图形的三维扫描和数字化在许多行业和服务中是常用的,并且它们的应用非常广泛。此类应用的几个示例是在工业生产体系中的形状一致性的检查和测量、用于工业设计和造型应用的粘土模型的数字化、具有复杂几何图形的现有零件的逆向工程、在多媒体应用中的对象的交互式可视化、艺术品和手工艺品的三维文档、为了更好的矫正适配的人体扫描、生物统计学或定制服装。
使用测距传感器扫描并数字化对象的形状,该测距传感器测量该传感器和表面上的一个点集之间的距离。已经为测距传感器开发了不同的原理。在这些原理中,干涉测量、飞行时间和基于三角测量原理是已知的原理,取决于对精度的要求、传感器和对象之间的相隔距离以及所需要的景深,这些原理的每一个都是或多或少适当的。
一些基于三角测量的测距传感器通常适合于近距离测量,如不足几米。使用这种类型的装置,从被一个基线距离分隔开的两个不同的视点获得至少两条汇聚到对象上的同一特征点的光线。可以从该基线和这两个光线方向恢复观测点的相对位置。使用三角形中的一条长边和两个角的知识来确定两条光线的交点,这实际上是立体视觉中的三角测量的原理。立体视觉中的难题是在每个图像中高效地识别哪些像素相互对应。
为了简化这个问题,可以用一个在已知方向上输出一组光线的光投影仪来代替这些光检测器(摄像机)中的一个。在这种情况下,采用这些投影光线的方向以及反射到对象表面上的每个检测光线来求解该三角形是可能的。那么,计算每个观测特征点相对于该三角形的底边的坐标是可能的。
尽管可以使用专门的光检测器,但是典型地使用数字CCD或CMOS摄像机。
对于投影仪,光源可以是投影一个点的相干光源(激光)或者非相干光源(例如,白光)、一个光平面或者许多其他可能的投影模式,包括全场模式。全场模式是一种2D模式,该模式可以覆盖投影仪的2D照明场的一部分或者全部。在这种情况下,可以在每个图像中匹配对应点的一个密集。光投影仪的使用有助于在该对象表面上各处的反射点的检测,从而提供测量表面点的一个密集。然而,模式越复杂,高效地识别相应的像素和光线的挑战越大。
因为这个原因,将进一步采用来自投影几何学理论的特性。与在整个图像中进行搜索相反的是,可以采用核线约束来限制对与一条单一直线相对应的像素的搜索,这在两个视图的情况下在本领域中至少已经公知了30年。在被动和主动(带有一个投影仪)立体视觉中都广泛地采用这一原理。这种用法的一个示例是如下***,在该***中使用两个摄像机和一个投影十字模式的激光投影仪。如此安排这两个摄像机以及该激光使得组成该十字的激光平面中的每一个在这些摄像机的每一个的核线平面内被对准。因此,独立于所观察到的几何图形,这些激光平面之一将总是被成像在一个图像的同一个位置。然后,在该图像中,在两个激光平面之间消除歧义是可能的。这是对极几何在结构光***中的一种非传统应用。
可以从校准参数或者在两个图像中匹配一个点集之后计算该对极几何。因此,在一个图像中给定一个点,在将要放置该对应点的第二图像中计算直线(核线)方程的参数是可能的。另一种方法在于校正这两个图像,这意味着所有核线将是水平的和对准的。由于不需要在核线上执行进一步的计算用于识别像素,因此校正图像是有利的。可以通过软件或者甚至通过谨慎地对准一个或两个摄像机(或投影仪)的相对定向来应用图像校正。在这种情况下,这种方法被称为硬件对准。
硬件对准摄像机和投影仪的若干示例存在于以下情况中,其中投影仪投影垂直条纹并且摄像机被对准,其方式为使得这些核线是水平的。已经在若干其他采用格雷码垂直模式的结构光***中使用了这种类型的对准。在投影仪和摄像机的对准上,投影垂直条纹的要求不高,但是其降低了来自一个单一投影帧的点的空间密度。也可以投影一个全场代码。再次对准投影仪和摄像机,其方式为使得在投影仪幻灯片中沿着核线投影沿着每条线的编码模式。在这些情况下,该场景几何图形对行编码模式的方向和垂直间隔几乎没有影响。这些编码模式将保持沿着独立于到该对象的距离的一条单线。然而,将在代码的形变中沿着核线来检索捕捉3D测量的相关信息。与核线的这一对准使得沿着每条线来投影一个不同的代码成为可能。
不幸的是,伴随着对极几何原理的应用有一个悬而未决的问题。其可靠性根据投影仪透镜的类型和质量而不同。实际上,其不是镜头失真的原因。在无论是对于投影仪还是摄像机的透镜失真面前,核线将不是直线。它们将被弯曲并且不能被假定为严格地起因于核线平面与图像平面的交点。失真通常对于要求透镜具有短焦距的短距离***来说更加重要。尽管对于摄像机来说可以通过软件计算的校准之后来修正该失真,但是对于投影仪来说该失真不能事后修正。在这种情况下,在投影仪图像(下文称为幻灯片图像)中沿着一条直线(核线)初始地对准的代码不会沿着透镜后的直线被物理地投影,并且因此不会导致沿着摄像机图像中的核线的良好对准。对于大多数透镜而言,图像的边和角的失真增加。要么失去这些点,用更大的频带补偿以沿着失真的核线编码信号(从而降低测量的分辨率),要么应用将偏离简化匹配的初始目标的更复杂的计算。
发明概述
根据本发明的一个广泛的方面,提供了一种用于制备空间编码幻灯片图像的方法,其中,在一个用于对象的形状的3D测量的***中,沿着一个投影仪的输出处的核线对准该空间编码幻灯片图像的一种模式,将该投影仪和一个摄像机放置在一个全场结构光中,包括:获取用于该投影仪的投影仪坐标的一个失真向量集合,每个失真向量表示由该投影仪引起的来自预测坐标的一个失真;检索一个理想模式图像,其中该理想模式图像是在理想核线上对准的该空间编码模式的一个理想图像;对于一个真实幻灯片图像的每个真实像素坐标,通过以下方式创建该真实幻灯片图像,使用真实像素坐标从该设置检索一个当前失真向量;使用该当前失真向量从该真实像素坐标去除失真从而在该理想模式图像中获得理想像素坐标;在该理想模式图像中,在该理想像素坐标处提取一个像素值;在该真实幻灯片图像中,在该真实像素坐标处复制该像素值。
在一个实施例中,创建一个真实幻灯片图像的步骤包括创建该真实幻灯片图像的一个电子版本以及将该电子版本提供给一个可编程投影仪。
在一个实施例中,提取一个像素值的步骤包括对该像素值进行插值。
在一个实施例中,该像素值是一个水平值。
根据本发明的另一个广泛的方面,提供了一种用于在用于对象的形状的3D测量的***中促进投影图像和捕捉图像之间的编码模式的匹配的方法,将一个投影仪和一个摄像机放置在全场结构光中,包括:校准该投影仪和该摄像机的固有和非固有参数;制备一个空间编码幻灯片图像,其中,通过沿着核线对准该空间编码幻灯片图像的一种模式;使用该投影仪将该空间编码模式投影到一个场景对象上;使用该摄像机观察该对象上的空间编码模式从而生成一个摄像机图像;处理该摄像机图像从而将代码与该投影图像进行匹配。
在一个实施例中,该方法进一步包括在处理该摄像机图像之前去失真和校正该摄像机图像。
仍然根据本发明的另一个广泛的方面,提供了一种用于为对象的形状的3D测量***进行设置的方法,将模式代码一个带有固定幻灯片掩模的投影仪和一个摄像机放置在全场结构光中,包括:设置透镜孔径和焦点;制备一张带有空间编码幻灯片图像的幻灯片,牢固地安装所述幻灯片与该投影仪透镜并且将所述幻灯片的中心与该透镜的光轴对准;调整围绕该透镜的光轴的旋转以及沿着该透镜的光轴的投影仪的平移从而沿着这些核线对准该模式代码。
附图简要说明
通过参阅以下说明和与其一起的附图,本披露的上述特征和目的将变得更加明显,其中相似的参考数字指代相似的元素并且其中:
图1包括图1A、图1B和图1C,其中图1A是一个网格的图示,图1B是一个桶形径向镜头失真效果的图示以及图1C是一个枕形径向镜头失真效果的图示;
图2是对极几何的一个展示;
图3包括图3A和图3B,其中图3A描绘了校正配置的一个后视图以及图3B描绘了校正配置的一个俯视图;
图4是校正过程的一个图示;
图5展示了应用于幻灯片图像的失真补偿;
图6展示了由一个真实透镜导致的核线的形变;
图7是一个用于产生真实模式的示例方法的流程图;
图8包括图8A和图8B,其中图8A是一个二值模式的图示以及图8B是一个插值后的阈值效果的图示;
图9包括图9A和图9B,其中图9A描绘了连同其相应理想部分的一个预失真幻灯片部分,图9B描绘了该相应的理想部分;
图10是一种用于适配固定幻灯片掩模的示例方法的流程图。
详细说明
为了在投影仪投影的模式和在摄像机所捕捉的图像中检测的模式之间找到相应的匹配,本发明允许对准更高分辨率的代码,即使接近图像的边和角。投影仪透镜将使在投影仪幻灯片上创建的图像失真。幻灯片是物理成像仪组件,其位于投影仪的光学器件之间。其或者是透射成像仪组件或者是反射成像仪组件。因此,在幻灯片上沿着理想核线对准的模式代码一旦通过透镜投影将导致曲线而非直线。因此,该方法用在透镜之后的实际核线来对准模式代码而非在投影仪幻灯片上的假设的非失真直线上对准模式代码。首先对投影仪的透镜光学器件导致的失真进行建模,然后应用该失真模型来使沿着直线初始地对准的编码模式变形。因此,在幻灯片上产生的编码模式是预弯曲的。然后,投影仪透镜的失真在建模时发生并且在由摄像机捕捉的图像上的编码模式被校直。
图1示出了图1A中所示的在规则栅格101上的径向透镜失真的一个效果。径向失真会导致或者桶型失真(图1B中102处所示),或者枕形失真(图1C中103处所示)。该效果是众所周知的。直线被弯曲并且对于短焦距来说效果将更加重要。尽管径向失真是在机器视觉和摄影测量补偿中的一种非常普遍的失真类型,其他类型的透镜失真也可以得到补偿。另一个此类示例透镜失真是切向失真。
用于摄像机和投影仪这两者的投影模型是一个带有透镜失真补偿的针孔。该针孔模型描述了在世界参考坐标系w中的一个3D点和该相应图像点之间的关系。此处,波浪线上标表示齐次坐标。该关系式是被定义为的一个投影。在这个方程式中,矩阵包括摄像机固有参数,其中(u0,v0)是主点的坐标,α和β分别是图像水平轴和垂直轴的缩放因子,(R,t)是描述从世界参考坐标系向摄像机参考坐标系的转换的3x3旋转矩阵和3x1平移向量,以及λ是一个任意的缩放因子。R和t编码非固有参数。实际上,由于透镜失真,点没有成像在投影所预测的坐标a处,但是成像在失真坐标ad处。为了补偿该失真,用径向项(例如,k1、k2,当使用两个项时)以及任选地两个切向项(例如,p1、p2)来扩展投影仪模型。这些附加的固有参数表示在向量d中。然后,可以使用下面的关系式a=ad-δ(ad,d)来修正坐标ad,其中
以及ad=(xd,yd),[xd,yd,1]T=K-1[ud,vd,1]T和rd 2=xd 2+yd 2。
相反,从理想的、非失真像素坐标获得失真坐标也是有用的。在这种情况下,寻找ad,但是δ是ad的一个函数并且只给出了a。没有直接的方法对失真函数求逆,除非在校准时明确地将其计算。可以使用基于泰勒级数逼近的一个逆模型。然而,对于具有显著失真的短焦距透镜,这种方法增加了复杂性。的确,在级数展开中需要附加的项。一种可替代方法是递归地逼近逆解。在离线校准的情况下,附加计算是不相关的。递归方程是:
大约使用10次迭代来生成逆映射。可以事先在校准阶段计算这些固有参数,包括失真,以及投影仪和摄像机之间的几何变换。描述这一几何变换的参数被称为非固有参数。在本领域中提出了几种方法从而获得用于投影仪-摄像机组合的参数。在获得这些参数之后,计算这些给定的一个或另一个失真的和非失真的像素这两者是可能的。
两个相机的投影几何或者相当于一个摄像机和一个投影仪的组合描述了一个点在一个图像中与其对应点在第二个图像中的位置之间的关系。在一个图像中给定一个点,其对应点在第二个图像中沿着直线放置。这展示在了图2中,其中,点O和O’是设备的投影中心以及P是在3D空间中的一个点。由P、O和O’组成的集合界定了一个核线平面,该核线平面沿着线l和l’与图像平面π和π’都相交。线l和l’是核线。因此在图像110中给定一个点p,可以沿着l’找到其在图像111中的对应点p’。相反,可以沿着l找到p’在图像110中的对应点。在一个图像中给定一个点,使用或者本质矩阵或者基本矩阵来计算相应核线的方程式是可能的。可以在校准之后获得这些矩阵。有趣的是,这些核线的定向是由该立体安排的聚散度来支配的。更精确地,当两个图像平面π和π’是平行的时,核线也将都是平行的。在两个平行图像平面π和π’的特殊情况下(这两个平面也平行于基线并且被定义为连接这两个投影中心的线段),这些核线将也平行于这条基线。
现在参见图3A,可以调整图像平面113和114,其方式为使得这些核线将放置在图像中的相同线上。那么,这两个图像平面被称为校正的。在112处示出了核线平面。在图3B中示出了两个平行图像平面的俯视图。当该投影仪-摄像机安排不匹配这一准确配置时,在该准确配置中定义两个虚拟平面并且通过软件计算将实际图像变换成校正图像也是可能的。在图4中展示了该原理,其中,将原始图像110中的像素p复制到其在校正图像113中的对应位置prect。将相同的原理应用于图像对111和114。
在一个投影空间编码模式从而有助于解码的全场结构光***中,提出了一种方法来沿着核线对准投影仪的代码。然后,该代码在一条线上编码一个与整个图像中的位置相比的无歧义位置。可以提出一种具有空间代码几乎沿着核线对准的***用于协助对应匹配。在失真面前,不能通过简单地使用对极几何沿着核线对准这些代码。事实上,这些核线在幻灯片上不是直线并且不能简单地通过将核线平面与图像(幻灯片)平面进行相交来获得这些核线。可以沿着曲线对准这些代码,一旦从投影仪输出这些曲线,它们将是直的(在一个光平面中)。
如将容易理解的,只需要调整呈现在投影仪幻灯片上的代码用于投影仪失真。在投影仪的输出处将这些代码与核线对准。由摄像机捕捉的图像将不会受制于投影仪失真。如果需要的话,可以简单地处理由摄像机捕捉的图像从而去除由摄像机光学器件引起的摄像机失真。
为了确定沿着核线投影编码模式,首先校准由投影仪和摄像机组成的安排用于固有和非固有参数。然后,考虑在所有理想核线上,典型地在校正配置中的编码模式的一个理想图像,有待被投影的图像幻灯片是相同的图像,在该图像中,在δ(a,d)方向上修正每个像素的位置。这展示在了图5中。在122处示出了理想针孔模型。在121处示出了针孔后的输出图像,同时在120处示出了投影图像。在不存在投影仪导致的失真的理想情况下,在投影图像120的线127上设置的空间代码将被投影在输出图像121的线123上。将选择线127,这样使得将在核线上对准线123。然而,为了补偿由投影仪导致的失真,并非被提供在理想线127上,而是沿着实际投影曲线124之一对准空间代码。这确保了在失真之后仍然将其投影到线123上并且因此在核线上对准。对于一个给定的点,在125处示出了理想像素和失真像素之间的向量。图6展示了用一个真实透镜126所产生的效果。
在图7的130处示出了有待在实践中执行的一种产生真实幻灯片图像的方法的示例。首先获得用于投影仪坐标的失真向量。例如,可以使用上面所描述的投影仪模型来确定这些向量。如将容易理解的,在不背离本发明的具有更多或更少的径向和/或切向项和/或具有失真的其他项的情况下,可以使用其他投影仪模型。每个失真向量表示一个来自由投影仪在具体投影仪坐标处引起的预测坐标的失真。将理想模式图像加载到内存中之后131,将在132处处理真实幻灯片的每个像素,首先通过使用失真向量从真实像素坐标上去除失真,并且获得在该理想参考图象中获得像素坐标133。在这个示例中,光轴将在其中心与幻灯片相交。这一相交点定义了该幻灯片的主点。在该理想模式图像中计算这些像素坐标之后将获得在这些像素坐标处来自该理想模式图像的像素值。可以直接地从该理想图像中的最近的像素提取这一像素值(0次插值)或者可以使用子像素内插来获得该像素值134。该像素值可以是一个表示颜色和/或强度的水平值。最终在该真实幻灯片图像中将该像素值复制到当前像素135。对该真实幻灯片图像的所有像素重复执行这个过程136。
这样,确保即使在透镜失真面前沿着核线投影这些编码模式。然后,在摄像机图像中观测到该模式之前,将其反射到场景对象上。在对图像进行处理以使代码与投影仪匹配之前,基于图4所示的公知原理,摄像机图像将是无失真的并且通过软件校正。可替代地,无需应用校正可以直接地处理该摄像机图像。然后,可以从沿着对应于匹配点的核线的视差来获得到对象的距离。换言之,从投影仪幻灯片和摄像机图像中的对应的位置,通过三角测量获得场景点的3D坐标是可能的。三角形的底边对应于该基线。
当从位于图像边缘的点计算3D位置时,一些编码模式可以是二值图像以增加信噪比或者获得增加的精度。尽管刚刚所描述的过程会很好地工作以补偿透镜失真,但是在子像素内插之后获得所产生的图像,这将引入灰度级像素,即使理想模式是二值化的。通过阈值化强加一个二值化值将使投影图像中的边缘的形状变形。在图8A中,在140处示出了一个理想空间代码的示例。在图8B中的141处示出了阈值化的潜在效果。
为了保留二值化模式同时补偿失真,可以执行一些进一步的步骤。在一个由矩形组成的理想二值化模式中更好地保留垂直边缘是可能的。这样做的一种方法是在计算每个0状态矩形的失真中心并且将其画在幻灯片上之前用值1来初始化该模式图像。图9A在150处展示了所产生的幻灯片的一个部分。在图9B中的151处示出了通过光学器件将会是“无失真的”所期望的投影模式。使用两个径向项(k1和k2)来生成在图9A中的150处所示出的幻灯片部分。在这个示例中,建模透镜是一个固定焦距富士能9mm,利用在f/2的模型HF9HA-1Bf/1.4镜头并且聚焦在在350mm的距离。校准之后为k1和k2获得的值是k1=-0.003162295864393以及k2=0.000023351397144。在将每个矩形划分成若干个具有相同高度的更窄的子矩形并且对这些子矩形中的每一个应用相同的程序之后,也可以获得更多连续的水平边缘。这对于一个分辨率通常高于多数可编程投影仪的固定幻灯片掩模来说是特别有趣的。该方法的其他实施例也可以得到同样的目标。
当该投影仪幻灯片是可编程的时,可以在运行时重新配置该模式。在这种情况下,可以基于校准参数来适配该模式代码。
相反,当投影仪在幻灯片上安装有一个固定模式时,可以从该安排的机械设计获得该对极几何。图10示出了一种用于设置用于3D测量的***的示例方法160。为了考虑透镜失真,在161处已经调整好孔径和焦点之后,在162处事先校准透镜的失真参数。然后,在163处基于这些参数并且使用图7中所详述的以及图10中所表示的示例过程创建一个固定幻灯片掩模。用上面所描述的富士能透镜执行这一过程以产生图9A中在150处所示的图像。在下一个步骤中,在164处该掩模安装有透镜并且精确地对准失真的中心。这是在一个在平面上捕捉投影模式的校准摄像机的帮助下完成的。然后,投影矩阵降低到添加有相同失真模型的单应性。单应性H是在掩模和摄像机图像的2D坐标之间的一个一对一投影映射。因此,将幻灯片的主点与透镜的光轴对准是可能的。实际上,当该光轴与幻灯片的主点相交时,以下表达式被最小化:
在这个表达式中,ap是使用投影仪失真模型去除失真后在投影幻灯片上的一个点,而ac是使用摄像机失真模型去除失真后在摄像机图像中的一个点。Hac是映射到无失真的投影仪幻灯片上的点ac。Ω是在投影仪幻灯片和摄像机图像之间的一组匹配点。最后,结合源、幻灯片掩模和投影透镜的装配的投影仪围绕其光轴旋转并且微调其位置以优化沿着核线的代码的对准。这在165处被示出。为此,使用安装到传感器上的摄像机。校正摄像机图像并且确保沿着水平线的代码的对准。
虽然以上上述描述涉及作为目前由发明者目前考虑的实例示例实施例,将要理解的是本发明在其一个宽泛的方面中包括在此描述的这些元件元素的等效值。
上面描述的这些实施例仅仅是示例性的。因此,本发明的范围旨在单独地适用于由所附权利要求书的限制。
Claims (8)
1.一种用于制备空间编码幻灯片图像的方法,其中,在一个用于对象的形状的3D测量的***中,沿着一个投影仪的输出处的核线对准所述空间编码幻灯片图像的一种模式,将该投影仪和一个摄像机放置在全场结构光中,包括:
获取用于所述投影仪的投影仪坐标的一个失真向量集合,每个所述失真向量表示由所述投影仪引起的来自预测坐标的一个失真;
检索一个理想的模式图像,其中,所述理想模式图像是在理想核线上对准的该空间编码模式的一个理想图像;
对于一个真实幻灯片图像的每个真实像素坐标,通过以下方式创建该真实幻灯片图像,
使用所述真实像素坐标从所述集合检索一个当前失真向量;
使用该当前失真向量从所述真实像素坐标去除失真从而在该理想模式图像中获得理想像素坐标;
在该理想模式图像中,在该理想像素坐标处提取一个像素值;
在该真实幻灯片图像中,在该真实像素坐标处复制该像素值。
2.如权利要求1所述的方法,其中所述创建一个真实幻灯片图像包括创建所述真实幻灯片图像的一个电子版本以及将所述电子版本提供给一个可编程投影仪。
3.如权利要求1和2中任一项所述的方法,其中所述提取一个像素值包括对所述像素值进行插值。
4.如权利要求1至2中任一项所述的方法,其中所述像素值是一个水平值。
5.如权利要求3所述的方法,其中所述像素值是一个水平值。
6.一种用于在用于对象的形状的3D测量的***中促进投影图像和捕捉图像之间的编码模式的匹配的方法,将一个投影仪和一个摄像机放置在全场结构光中,包括:
校准该投影仪的固有和非固有参数以及校准该摄像机的固有和非固有参数;
制备一个空间编码幻灯片图像,其中,通过执行如权利要求1所述的方法沿着核线对准所述空间编码幻灯片图像的一种模式;
使用该投影仪将该空间编码模式投影到一个场景对象上;
使用该摄像机观察该对象上的空间编码模式从而生成一个摄像机图像;
处理该摄像机图像从而将代码与该投影图像进行匹配。
7.如权利要求6所述的方法,进一步包括在所述处理该摄像机图像之前去失真和校正该摄像机图像。
8.一种用于为对象的形状的3D测量***进行设置的方法,将一个带有固定幻灯片掩模的投影仪和一个摄像机放置在全场结构光中,包括:
设置所述投影仪的透镜的孔径和焦点;
执行如权利要求1所述的方法;
牢固地安装所述幻灯片与该透镜并且将所述幻灯片的中心与该透镜的光轴对准;
调整围绕该透镜的光轴的旋转以及沿着该透镜的光轴的投影仪的平移从而沿着这些核线对准模式代码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161563280P | 2011-11-23 | 2011-11-23 | |
US61/563,280 | 2011-11-23 | ||
PCT/IB2012/056112 WO2013076605A1 (en) | 2011-11-23 | 2012-11-02 | Method and system for alignment of a pattern on a spatial coded slide image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103988048A CN103988048A (zh) | 2014-08-13 |
CN103988048B true CN103988048B (zh) | 2016-12-07 |
Family
ID=48469222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280049264.5A Active CN103988048B (zh) | 2011-11-23 | 2012-11-02 | 在空间编码幻灯片图像上的模式的对准方法和*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US8836766B1 (zh) |
EP (1) | EP2751521B1 (zh) |
JP (1) | JP5635218B1 (zh) |
CN (1) | CN103988048B (zh) |
WO (1) | WO2013076605A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10008007B2 (en) * | 2012-09-20 | 2018-06-26 | Brown University | Method for generating an array of 3-D points |
US9947112B2 (en) * | 2012-12-18 | 2018-04-17 | Koninklijke Philips N.V. | Scanning device and method for positioning a scanning device |
US9256943B2 (en) * | 2013-03-28 | 2016-02-09 | Texas Instruments Incorporated | Projector-camera misalignment correction for structured light systems |
US10089739B2 (en) * | 2013-06-28 | 2018-10-02 | Texas Instruments Incorporated | Structured light depth imaging under various lighting conditions |
JP6596433B2 (ja) * | 2014-02-05 | 2019-10-23 | クレアフォーム・インコーポレイテッド | 2つのカメラからの曲線の集合の構造化光整合 |
US10643343B2 (en) * | 2014-02-05 | 2020-05-05 | Creaform Inc. | Structured light matching of a set of curves from three cameras |
JP6394005B2 (ja) * | 2014-03-10 | 2018-09-26 | 株式会社リコー | 投影画像補正装置、投影する原画像を補正する方法およびプログラム |
JP6376809B2 (ja) | 2014-04-03 | 2018-08-22 | キヤノン株式会社 | 三次元形状計測システムに用いられる投影装置および撮像装置 |
TWI511086B (zh) * | 2014-04-18 | 2015-12-01 | Altek Semiconductor Corp | 鏡頭失真校正方法 |
US10275863B2 (en) | 2015-04-03 | 2019-04-30 | Cognex Corporation | Homography rectification |
US9542732B2 (en) * | 2015-04-03 | 2017-01-10 | Cognex Corporation | Efficient image transformation |
US10531073B2 (en) | 2016-03-17 | 2020-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for automatic calibration of RGBZ sensors utilizing epipolar geometry and scanning beam projector |
JP7186019B2 (ja) * | 2017-06-20 | 2022-12-08 | 株式会社ミツトヨ | 三次元形状計測装置及び三次元形状計測方法 |
US11373321B2 (en) | 2017-11-08 | 2022-06-28 | Samsung Electronics Co., Ltd. | Projector including meta-lens |
KR102444288B1 (ko) | 2017-11-08 | 2022-09-16 | 삼성전자주식회사 | 메타 렌즈를 포함하는 프로젝터 |
US20190310373A1 (en) * | 2018-04-10 | 2019-10-10 | Rosemount Aerospace Inc. | Object ranging by coordination of light projection with active pixel rows of multiple cameras |
CN109128788B (zh) * | 2018-10-16 | 2024-02-06 | 昆山迈致治具科技有限公司 | 一种校验批头位置的装置及方法 |
DE102018222796A1 (de) * | 2018-12-21 | 2020-06-25 | Conti Temic Microelectronic Gmbh | Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera |
CN111336949B (zh) * | 2020-04-11 | 2023-06-02 | 武汉玄景科技有限公司 | 一种空间编码结构光三维扫描方法与*** |
EP3926295B1 (de) * | 2020-06-16 | 2024-07-31 | VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH | Verfahren zum erkennen einer verzerrung eines ein codewort definierenden lichtmusters sowie lichtmuster |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2256587A1 (en) * | 1996-06-13 | 1997-12-18 | Filip Pieter Defoort | Method and system for acquiring a three-dimensional shape description |
CN101089551A (zh) * | 2007-07-11 | 2007-12-19 | 华中科技大学 | 一种基于二维编码的三维形貌测量方法 |
CN102042814A (zh) * | 2010-06-24 | 2011-05-04 | 中国人民解放军国防科学技术大学 | 大型堆场三维形貌的投影辅助摄像测量方法 |
CN102175182A (zh) * | 2011-01-27 | 2011-09-07 | 浙江大学宁波理工学院 | 结构光三维测量装置及其完整点云数据的获取方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4453119B2 (ja) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
EP1067362A1 (en) * | 1999-07-09 | 2001-01-10 | Hewlett-Packard Company | Document imaging system |
JP4501239B2 (ja) * | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
JP2003228591A (ja) * | 2002-02-01 | 2003-08-15 | Hitachi Plant Eng & Constr Co Ltd | Cad図面作成支援方法及びその装置 |
JP4095491B2 (ja) * | 2003-05-19 | 2008-06-04 | 本田技研工業株式会社 | 距離測定装置、距離測定方法、及び距離測定プログラム |
EP1877726B1 (en) | 2005-03-11 | 2011-07-27 | Creaform Inc. | Auto-referenced system and apparatus for three-dimensional scanning |
JP4230525B2 (ja) * | 2005-05-12 | 2009-02-25 | 有限会社テクノドリーム二十一 | 3次元形状計測方法およびその装置 |
US8090194B2 (en) * | 2006-11-21 | 2012-01-03 | Mantis Vision Ltd. | 3D geometric modeling and motion capture using both single and dual imaging |
US8265343B2 (en) * | 2006-12-25 | 2012-09-11 | Nec Corporation | Apparatus, method and program for distance measurement |
US7768656B2 (en) | 2007-08-28 | 2010-08-03 | Artec Group, Inc. | System and method for three-dimensional measurement of the shape of material objects |
JP5132832B1 (ja) * | 2011-07-11 | 2013-01-30 | キヤノン株式会社 | 計測装置および情報処理装置 |
JP2013210254A (ja) * | 2012-03-30 | 2013-10-10 | Canon Inc | 三次元計測装置、三次元計測方法及び三次元計測プログラム |
-
2012
- 2012-11-02 EP EP12852417.0A patent/EP2751521B1/en active Active
- 2012-11-02 CN CN201280049264.5A patent/CN103988048B/zh active Active
- 2012-11-02 JP JP2014535225A patent/JP5635218B1/ja active Active
- 2012-11-02 US US13/699,773 patent/US8836766B1/en active Active
- 2012-11-02 WO PCT/IB2012/056112 patent/WO2013076605A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2256587A1 (en) * | 1996-06-13 | 1997-12-18 | Filip Pieter Defoort | Method and system for acquiring a three-dimensional shape description |
CN101089551A (zh) * | 2007-07-11 | 2007-12-19 | 华中科技大学 | 一种基于二维编码的三维形貌测量方法 |
CN102042814A (zh) * | 2010-06-24 | 2011-05-04 | 中国人民解放军国防科学技术大学 | 大型堆场三维形貌的投影辅助摄像测量方法 |
CN102175182A (zh) * | 2011-01-27 | 2011-09-07 | 浙江大学宁波理工学院 | 结构光三维测量装置及其完整点云数据的获取方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2751521A4 (en) | 2014-11-19 |
WO2013076605A1 (en) | 2013-05-30 |
JP2014534428A (ja) | 2014-12-18 |
US20140247326A1 (en) | 2014-09-04 |
JP5635218B1 (ja) | 2014-12-03 |
EP2751521B1 (en) | 2016-03-02 |
US8836766B1 (en) | 2014-09-16 |
CN103988048A (zh) | 2014-08-13 |
EP2751521A1 (en) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103988048B (zh) | 在空间编码幻灯片图像上的模式的对准方法和*** | |
WO2017195801A1 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
CN106127745B (zh) | 结构光3d视觉***与线阵相机的联合标定方法及装置 | |
CN104541127B (zh) | 图像处理***以及图像处理方法 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
CN104335005B (zh) | 3d扫描以及定位*** | |
Ahmadabadian et al. | An automatic 3D reconstruction system for texture-less objects | |
CN106548489A (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
CN110349257B (zh) | 一种基于相位伪映射的双目测量缺失点云插补方法 | |
JP7409443B2 (ja) | 撮像装置 | |
Lanman et al. | Surround structured lighting: 3-D scanning with orthographic illumination | |
CN103366356A (zh) | 通用标定***和方法及其集成成像重构***和方法 | |
CN112489109B (zh) | 一种三维成像***方法、装置及三维成像*** | |
JP7489253B2 (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
JP2013036831A (ja) | キャリブレーション装置及び歪み誤差算出方法 | |
Brousseau et al. | Calibration of axial fisheye cameras through generic virtual central models | |
KR20210046799A (ko) | 실측 깊이정보를 이용한 정밀한 360 이미지 제작기법 | |
CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
CN116625258A (zh) | 链条间距测量***及链条间距测量方法 | |
Lanman et al. | Surround structured lighting for full object scanning | |
CN110708532B (zh) | 一种普适光场单元图像生成方法和*** | |
Gu et al. | 3dunderworld-sls: an open-source structured-light scanning system for rapid geometry acquisition | |
CN108961378A (zh) | 一种多目点云三维重建方法、装置及其设备 | |
CN114821232A (zh) | 一种基于Blender的光场结构光数据集制作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |