CN103090819A - 用于提供三维和距离面间判定的方法和*** - Google Patents

用于提供三维和距离面间判定的方法和*** Download PDF

Info

Publication number
CN103090819A
CN103090819A CN2012103879577A CN201210387957A CN103090819A CN 103090819 A CN103090819 A CN 103090819A CN 2012103879577 A CN2012103879577 A CN 2012103879577A CN 201210387957 A CN201210387957 A CN 201210387957A CN 103090819 A CN103090819 A CN 103090819A
Authority
CN
China
Prior art keywords
matrix
pattern
group
repetition
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103879577A
Other languages
English (en)
Inventor
E·戈登
G·A·比坦
S·尼格瑞
Z·扎列夫斯基
H·杜迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MANTISVISION Ltd
Original Assignee
MANTISVISION Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MANTISVISION Ltd filed Critical MANTISVISION Ltd
Publication of CN103090819A publication Critical patent/CN103090819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及进行场景内的一个或多个物体的3D（三维）物体轮廓面间判定和/或距离面间判定的***、装置和方法，所述方法包括：(a)提供预定有限组的不同类型的特征，产生特征类型，每个特征类型可根据唯一的二维构成来区分；(b)提供包括所述特征类型的多种外观的编码光图样；(c)将具有轴向变强度的所述编码光图样投影在所述场景内的一个或多个物体上，所述场景具有至少两个平面，产生第一平面并产生第二平面；(d)捕捉在其上投影所述投影编码光图样的所述物体的2D（二维）图像，从而产生捕捉的2D图像，所述捕捉的2D图像包括被反射的所述特征类型；(e)确定所述2D捕捉图像的强度值，产生所述确定的强度值；和(f)根据所述确定的强度值进行所述场景内的所述一个或多个物体的3D物体轮廓面间判定和/或距离面间判定。

Description

用于提供三维和距离面间判定的方法和***
本申请是国际申请号为PCT/IL2009/000965，申请日为2009年10月11日，发明名称为“用于提供三维和距离面间判定的方法和***”的PCT申请进入中国国家阶段后申请号为200980142758.6的中国专利申请的分案申请。
技术领域
本发明涉及3D（三维）和距离判定，更具体而言，本发明涉及SOP（单光路）三维和距离成像方法、装置及其***，其消除了立体基线的常规要求，且因此容许在相对小的封装内提供光学元件而不管测量离距如何。
定义、首字母缩写和缩写
本说明书通篇采用下列定义：
轴向变强度：沿着一条或多条轴变化的强度。
立体视觉：是由到双眼视网膜上的两个稍有不同的投影而导致感觉到深度的视觉感知过程。两个视网膜图像的差别通常叫做水平像差、视网膜像差或双眼像差。所述差别起因于眼睛在头部中的不同位置。立体视觉通常称为深度感知（来自意为实体的“立体(stereo)”，和意为视觉或视力的“视觉(opsis)”）。
编码（结构）光：是通过用预定的像素图样投影于场景上的光。当所述图样触及场景内的一个或多个物体时发生变形，继而容许视觉***通过使用（例如）结构光3D扫描仪而计算所述物体的深度信息和表面信息。
发明背景
大多数商用距离成像***通常涉及两个主要类：a)三角测量***；和b)TOF（飞行时间）***。其它鲜见现有技术***及其方法包括自阴影重建形状技术（如B.K.P Horn的论文"Shape from shading:amethod for obtaining the shape of a smooth opaque object from oneview",Technical Report 79,Project MAC,Massachusetts Institute ofTechnology(MIT),1970年）、自散焦重建形状技术（如A.Pentland等的论文"A simple,real-time range camera",Proceedings of IEEEComputer Society Conference on Computer Vision and PatternRecognition (CVPR),1989年）、光度立体技术（如R.J.Woodham的论文"Photometric method for determining surface orientation frommultiple images",Optical Engineering,第19卷,No.1,第139-144页,1980年1-2月）、云纹干涉技术（H.Takasaki的"Moire topography",Applied Optics,第9卷,第6期,第1467-1472页,1970年）及其它技术。
根据现有技术，上述三角测量类的***在本质上是根据光的基本品质－光的直线传播。这种几何属性构成了用右眼与用左眼所看到之物之间的差别，这正是人类双眼深度感知（立体视觉）的基础。继而，三角测量类包括两个主要子类：被动式三角测量和主动式三角测量。
受各种生物***的启示，被动式三角测量方法（也被称为被动式立体方法）可能是用于距离成像的最老式的方法，其中通过从不同角度得到的两个或多个图像之间的匹配对应而提取深度数据。尽管在所属领域中有近乎五十年的研究（如B.Julesz在标题为"Towards theautomation of binocular depth perception(AUTOMAP-1)"的论文中所讲授，Proceedings of IFIPS Congress,Munich,第439-444页,1962年）,但常规的被动式三角测量方法在再捕捉无特征区域、具重复图样和结构的区域以及表面边界方面明显地无能为力。尽管有这些缺点，但被动式三角测量对于旨在重建高纹理化且相对连续的区域的某些任务来说仍具吸引力，如高空航拍照片中的3D建模（例如，L.H.Quam等的论文"Stanford automatic photogrammetry research"，TechnicalReport STAN-CS-74-472,Department of Computer Science,StanfordUniversity,1974年12月）。
与被动式三角测量***形成对比的是，主动式三角测量***在所属领域中以其高可靠性而著称。在这些***中，由于使用了将结构光投影在所获取场景上方的附加专用主动式照明源，得以完全避免“众所周知”的对应问题（例如在以下网页中所述，http://en.wikipedia.org/wiki/Correspondence_problem）。结构光具有指定的布局，其目的是对从场景背反射并被摄像机捕获的结构光的每个局部区域提供不同的识别。因为对应是根据预定的格式发生，所以无需两个摄像机，通常可仅使用一个摄像机和一个投影仪来实施所需的三角测量。除了可靠且设计相对简单之外，这些主动式三角测量***在深度测量方面同样具有相对高的精度。
然而，与被动式三角测量***不同的是，大多数主动式三角测量***通常局限于静态环境（物体）的距离成像。这是因为这些***实际上利用了时间结构光格式，这意味着使用投影和图像捕捉的同步系列，以在受控的角运动下扫描被成像环境“典型”光条纹（如Y.Shirai等的标题为"Recognition of polyhedrons with a range finder"的论文，2nd International Joint Conference on Artificial Intelligence(IJCAI),第80-87页,London,1971年），以（例如）利用视频投影仪来迅速交换各种编码光图样的更高级的***（如US 4,175,862中所公开）结束。此外，应当指出的是，在常规的主动式三角测量***中，所获取的场景也必需保持静态，直到扫描过程或图样切换完成。
另一方面，如果仅使用单编码光图样，则也可以在运动中获取场景。这个概念自从主动式三角测量方法开始后便已成为研究的主题（如P.M.Will等的标题为"Grid coding:A preprocessing technique forrobot and machine vision"的论文，Computers and Artificial Intelligence,第66-70页,1971年)。开发这种类型的编码化方法的主要挑战通常涉及在单个图样的小局部区域内嵌入足够大的识别代码字（如J.Salvi的标题为"Pattern codification strategies in structured light systems"的论文，第37卷，第4期，第827-849页，2004年4月）。大多数现有技术方法包括编码有色条纹（如K.L.Boyer等的标题为"Color-encodedstructured light for rapid active ranging"的论文，IEEE Transactions onPattern Analysis and Machine Intelligence (PAMI),第9卷，第1期，第14-28页，1987年1月）或有色点（如R.A.Morano的标题为"Structured light using pseudorandom codes"的论文，IEEE Transactionson Pattern Analysis and Machine Intelligence (PAMI),第20卷，第3期，第322-327页，1998年3月）。这些方法主要适用于在相对低的周边环境光条件下捕捉中性色物体。其它现有技术方法建议用各种形状和空间特征作为颜色的替代（如P.Vuylsteke等的标题为，"Range imageacquisition with a single binary-encoded light pattern"的论文,IEEETransactions on Pattern Analysis and Machine Intelligence(PAMI),刊第12卷，第2期，第148-163页，1990年）。
根据现有技术，主动式三角测量***需要将摄像机与投影仪设定成分开预定的离距，该离距被称为立体基线。通常将基线的量值设定成为到目标场景的离距的大约10%到50%。一般而言，较短的基线可导致精度水平低，而较长的基线可能导致难以捕捉不面对***的表面。这种摄像机/投影仪间隔要求通常是常规主动式三角测量***的大多数明显缺点的原因，这些缺点一般是：
—已知的“立体遮挡问题”：表面只有在与摄像机和投影仪两者均保持清晰视线的情况下才能被重建。当处理（例如）深凹面时无法满足这种条件。
—仅适用于短距离：由于基线被设定成与测量离距成比例，所以长距离需要的基线长度不切实际。例如，为了高精度地测量百米远的物体，需要的基线长度至少为十米。由于三角测量需要摄像机和投影仪以相对准确的方式保持它们的相对位置，这就通常会需要庞大且坚固的设计，并且也有可能需要与振动和温度变化隔离的受控环境。
长离距的距离成像的常见选择是TOF（飞行时间）技术。与主动式三角测量***不同的是，常规的TOF***所基于的是光的另一种基本性质—光以恒定的速度传播。上述TOF类的***实际上用作光学雷达，利用快速定时电路来测量快速光脉冲从目标场景返回所花费的时间。大多数TOF***是通过逐点扫描的方式操作的，因此仅适用于静态场景。这种3D扫描仪是地面LIDAR（光检测和测距）***。然而，一些TOF***（如常规的闪烁LIDAR***，例如R.Lange等的标题为"Time-of-flight range imaging with a custom solid-state imagesensor"的论文，Laser Metrology and Inspection,Proceedings of the SPIE,第3823卷，180-191页，慕尼黑，1999年9月）具有同时获取多个点的能力，使这些TOF***同样适于运动距离成像。此外，TOF技术与主动式三角测量方法不同的另一项重要特征在于：TOF技术不需要基线。因此，通过使用常规的棱镜就有可能将摄像机和脉冲发光器两者均设定成SOP（单光路）配置。因为成像和光发射两者是在相同光路上进行的，所以不会发生“立体遮挡”，并且***可以进行长离距操作，不管实际尺寸如何。在实践中，常实施的是“接近”SOP的配置，其中将摄像机和发光器设置成彼此接近，因为这样可以简化***，同时至多仅会引入微不足道的“立体遮挡”。
然而，虽然TOF技术为远离距场景和凹面两者的距离成像提供了解决方案，但TOF***通常较为复杂，因此比主动式三角测量***成本高。此外，通常认为现有技术水平的能动式距离成像TOF技术在距离测量精度方面和横向分辨率方面均不如主动式三角测量***。
同样不需要立体基线的另一种现有技术的SOP（单光路）距离成像方法是由D.Sazbon等在标题为"Qualitative real-time range extractionfor preplanned scene partitioning using laser beam coding"的论文中介绍的（Pattern Recognition Letters，第26卷，第11期，1772-1781页，2005年8月）。这种方法基于由射束成形光学元件所产生的多重轴向变照明图样的投影。在原始的实验设计中，每个图样由定向成特定角的狭缝阵列组成。因此，到某个表面的离距是由反射狭缝的定向指示，被连接于投影仪的摄像机捕捉。与常规的TOF***类似的是，可将此***设定成SOP配置，其中投影仪和影像撷取摄影机两者共用（或近似共用）相同的光轴，且其中距离测量精度不取决于它们的离距。可是与TOF***不同的是，其得益于简单的设计，因为其无需移动部件（例如，没有扫描镜）、没有快速定时电路，而且没有相当灵敏的高形状因子像素架构（因此，容许使用常见的低成本高分辨率摄像机传感器）。另外，与单图样主动式三角测量方法类似的是，这种距离成像方法容许动态场景的运动距离成像，因为该方法仅需要单次摄像机快拍以获取完整的距离图像。然而，在由D.Sazbon等所提出的上述距离成像方法中，测量精度以及撷取距离取决于元件可产生的分立图样的数目。元件的设计可采用常规的迭代数值方法（如U.Levy等的标题为"Iterative algorithm for determining optimal beamprofiles in a three-dimensional space"的论文，Applied Optics,第38卷，第32期，6732-6736页，1999年，该论文进一步基于R.W.Gerchberg等的标题为"A practical algorithm for the determination of phase fromimage and diffraction plane pictures"的论文，Optics,第35卷，237-246页，1972年）。根据迭代数值方法，对位于变轴向距离的若干分立平面施加一组期望的光强度分布（即，图样）。然而，在不同平面建立的强度图像之间存在非线性转换（限制了3D和距离判定的测量精度），这也意味着测量的工作空间由一组稀疏的分立距离段分隔。这种特性在诸如机器人导航和障碍检测（其中时空稀疏的距离测量可满足）之类的应用中并不是问题。例如，机器人能在一组预定的距离之间做出区分就应该是足够的。然而，在诸如用于内容创建的3D建模、制造过程中的产品质量控制、医学成像以及其它应用中，通常需要高得多的测量密度。
因此，现有技术中不断地需要提供相对精确的SOP三维及距离成像方法及其***，其可消除对立体基线的传统要求，并容许在相对小的封装内容纳光学元件，而不管测量离距如何，同时基本上避免已知的“立体遮挡问题”。
另外，现有技术中不断地需要提供用于3D物体轮廓和距离面间判定的方法和***，这种***具有相对简单且稳固的设计，并且可容纳相对少数的不带移动部件的元件，并且还基本上消除使用者校准的需要。
此外，现有技术需要提供用于3D及距离判定的方法和***，其能够使用相对廉价且具有相对低灵敏度和相对高分辨率的成像装置传感器。
发明内容
本发明涉及SOP三维及距离成像方法、装置及其***，其消除了对于立体基线的常规要求，并因此容许在相对小的封装内提供光学元件而不管测量离距如何。
一种进行场景内的一个或多个物体的3D（三维）物体轮廓面间判定和/或距离面间判定的方法，所述方法包括：
a)提供预定有限组的不同类型的特征，产生特征类型，每个特征类型可根据唯一的二维构成来区分；
b)提供包括所述特征类型的多种外观的编码光图样；
c)将具有轴向变强度的所述编码光图样投影在场景内的一个或多个物体上，所述场景具有至少两个平面，产生第一平面并产生第二平面；
d)捕捉在其上投影有所述投影的编码光图样的所述物体的2D（二维）图像，从而产生捕捉的2D图像，所述捕捉的2D图像包括被反射的所述特征类型；
e)确定2D捕捉图像的强度值，产生确定的强度值；和
f)根据所述确定的强度值进行所述场景内的所述一个或多个物体的3D物体轮廓面间判定和/或距离面间判定。
根据本发明一实施例，该方法进一步包括根据所述确定的强度值进行预定的计算操作。
根据本发明的另一实施例，其中进行预定的计算操作包括将所述强度值与至少一个预定的查询表相关。
根据本发明的又一实施例，该方法进一步包括确定两个最高相关值MAX1和MAX2，所述两个最高相关值分别对应于场景的第一平面和第二平面。
根据本发明的又一实施例，该方法进一步包括除了已确定的MAX1值和MAX2值外，确定另外两个最高相关值MIN1和MIN2，所述两个最高相关值分别对应于场景的第一平面和第二平面。
根据本发明的又一实施例，其中进行预定的计算操作包括计算场景的第一平面与第二平面的峰值比。
根据本发明的又一实施例，该方法进一步包括通过将最高相关值MAX1除以最高相关值MAX2而计算场景的第一平面与第二平面的峰值比。
根据本发明的再一实施例，其中进行预定的计算操作包括计算在场景的第一平面的信噪比SNR1。
根据本发明的再又一实施例，该方法进一步包括通过将最高相关值MAX1除以MIN1值而计算在场景的第一平面的信躁比SNR1。
根据本发明的再又一实施例，其中进行预定的计算操作包括计算在场景的第二平面的信躁比SNR2。
根据本发明的再又一实施例，该方法进一步包括通过将最高相关值MAX2除以MIN1值而计算在场景的第二平面的信躁比SNR2。
根据本发明的再又一实施例，该方法进一步包括根据预定的计算操作确定场景内的一个或多个物体的3D几何形状。
根据本发明的再又一实施例，该方法进一步包括提供编码光图样作为以下中的一者或多者：
a)周期性图样；和
b)非周期性图样。
配置装置以进行场景内的一个或多个物体的3D（三维）物体轮廓面间判定和/或距离面间判定，所述装置包括：
a)预定组类型的特征，产生特征类型，每个特征类型可根据唯一的二维构成来区分；
b)具有轴向变强度的编码光图样，其包括所述特征类型的多种外观；
c)投影仪，其配置成将所述编码光图样投影在场景内的一个或多个物体上，所述场景具有至少两个平面，产生第一平面并产生第二平面；
d)成像装置，其配置成能捕捉在其上投影有所述投影的编码光图样的所述物体的2D（二维）图像，产生2D捕捉图像，所述2D图像包括反射的所述特征类型；和
e)处理单元，其配置成：
e.1.确定2D捕捉图像的强度值，产生确定的强度值；且
e.2.通过使用确定的强度值而进行所述场景内的所述一个或多个物体的3D物体轮廓面间判定和/或距离面间判定。
根据本发明一实施例，该装置进一步包括衍射光学元件，所述衍射光学元件设计成能够朝所述一个或多个物体投影所述编码光图样。
根据本发明的另一实施例，该衍射光学元件是分光器。
根据本发明的又一实施例，该投影仪进一步包括相位掩膜，所述相位掩膜配置成能够获得关于待捕捉的2D图像的相应强度值。
根据本发明的又一实施例，该相位掩膜是光束成形衍射光学元件。
根据本发明的再一实施例，该处理单元进一步配置成根据确定的强度值进行预定的计算操作。
根据本发明的再又一实施例，该处理单元设置在成像装置内。
配置***以进行场景内的一个或多个物体的3D（三维）物体轮廓面间判定和/或距离面间判定，所述***包括：
a)图样投影装置，其配置成将具有轴向变强度并具有多个特征类型的二维编码光图样投影到具有至少两个平面的场景内的一个或多个物体上，使得每个特征从所述场景内的物体的各自的反射位置处反射，产生反射的特征，所述特征类型可根据唯一的二维构成来区分；
b)成像装置，其配置成捕捉包括反射特征的所述场景的2D（二维）图像；和
c)处理单元，其配置成：
c.1.确定2D捕捉图像的强度值，产生确定的强度值；且
c.2.通过利用确定的强度值而进行所述场景内的所述一个或多个物体的3D物体轮廓面间判定和/或距离面间判定。
根据本发明一实施例，图样投影装置进一步包括投影仪，所述投影仪配置成将编码光图样投影在场景内的一个或多个物体上。
一种产生一系列SOP（单光路）或近似SOP图样的方法，所述方法包括调制预定的图样和使用至少一个体矩阵，每个所述体矩阵服从一个或多个预定的规则。
根据本发明一实施例，该方法进一步包括通过利用图像处理操纵图样系列。
根据本发明一实施例，该方法进一步包括提供体矩阵作为以下中的一者或多者：
a)重复性矩阵；和
b)非重复性矩阵。
一种产生一系列SOP（单光路）或近似SOP图样的方法，所述方法包括：
a)定义代码构成和相应的代码构成变化；
b)产生仅含有所述代码构成的一组或多组局部唯一性矩阵；
c)产生仅含有所述局部唯一性矩阵的至少一组矩阵；
d)根据所述代码构成变化产生至少一组仅含有所述矩阵的系列的连续矩阵，同时所述至少一组连续矩阵不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复；
e)产生至少一组体矩阵，同时所述体矩阵仅含有所述连续矩阵而不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复；和
f)通过调制预定的图样并利用至少一个所述体矩阵产生一系列图样。
根据本发明一实施例，该方法进一步包括给矩阵提供非平移对称性。
根据本发明的另一实施例，该方法进一步包括为获得近似SOP图样系列而产生至少一组矩阵，所述至少一组矩阵包括在预定方向上的局部唯一性矩阵的重复或者不包括所述重复。
根据本发明的又一实施例，该方法进一步包括为获得近似SOP图样系列而产生至少一组连续矩阵，所述至少一组连续矩阵包括在预定方向上的局部唯一性矩阵和平均局部唯一性矩阵两者的重复或者不包括所述重复。
根据本发明的再一实施例，该方法进一步包括为获得近似SOP图样系列而产生至少一组体矩阵，所述至少一组体矩阵包括在预定方向上的局部唯一性矩阵和平均局部唯一性矩阵两者的重复或者不包括所述重复。
附图简述
为理解本发明并了解本发明的实际实施方式，现在将参考附图通过非限制性实例来描述各种实施例，其中：
-图1是根据本发明一实施例的3D物体轮廓和距离判定***的示意图；
-图2是根据本发明一实施例的虚拟平面的示意图，投影的结构（编码）光穿过该虚拟平面，同时朝场景内的一个或多个物体行进；
-图3A和图3B是根据本发明一实施例分别在场景的第一平面和第二平面的样本光强度分布图像；
-图4A到图4C是根据本发明一实施例要计算并且要进一步用于作出关于物体轴向位置的判断的内插参数的示意曲线图；
-图5A是根据本发明另一实施例比图1的***能量效率高的3D物体轮廓和距离面间判定***的示意图；
-图5B是根据本发明又一实施例的3D物体轮廓和距离面间判定***的另一示意图；
-图6是根据本发明一实施例进行3D物体轮廓和距离判定的示意流程图；
-图7是根据本发明一实施例的十二个不同二元图样的样本组的示意图，每个图样为含有有限组可识别特征类型（如极大点、极小点、鞍点、拐角、边缘（例如双边缘）等）的预定阵列、同时在不同横坐标处重复预定块的预定二维图样；
-图8A是根据本发明一实施例的SOP（单光路）图样产生的示意流程图；
-图8B是根据本发明另一实施例的近似SOP图样产生的示意流程图；
-图9A-9D是根据本发明一实施例的样本图样的示意图；且
-图10A-10D是根据本发明另一实施例的另外的样本图样的示意图。
应当明白，为了说明的简单和清楚，图中所示的元件不必是按比例绘制的。例如，为了清楚起见，一些元件的尺寸相对于其它元件来说可以是过大的。此外，在认为适当的情况下，附图中可以使用重复的附图标记来表示对应或类似的元件。
具体实施方式
除非另有明确说明，如以下讨论中显而易见的是，应当明白，通篇的说明书讨论中利用的诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”之类的术语是指操纵数据和/或将数据变换成其它数据的计算机的动作和/或过程，所述数据表示为物理的，如电子、数量。应将术语“计算机”宽泛地解释为包括具有数据处理能力的任何种类的电子器件，作为非限制性的例子，包括个人电脑、服务器、计算***、通信器件、处理器（例如数字信号处理器(DSP)、微处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等）及其它电子计算器件。另外，根据本文教示的操作可由专门为所需目的而构建的计算机或者由通过存储于计算机可读存储媒体中的计算机程序专门为所需目的而配置的通用计算机执行。
图1是根据本发明一实施例的3D物体轮廓和距离面间判定***/装置105的示意图。***105包括图样投影模块（装置）125，其继而包括：用于投影具有轴向变强度且对应于预定的二维像素图样的结构（编码）光的投影仪115，产生呈变强度光束的空间构成形式的含有有限组可识别特征类型的预定阵列的结构光图样；光学元件，如分光器110，用于能够朝物体130（如3D物体）投影所述结构光；和成像装置（如摄像机120，其可例如为CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）数字视频摄像机或任何其它光检测器元件阵列），用于捕捉包括从所述3D物体130反射的图样的（二维）图像。应该指出的是，投影仪115进一步包括预定的相位掩膜205，其为光束成形衍射光学元件，并且附接于（例如）投影仪115激光器（未示出），用于能够根据所述预定的二维图样获得相应的强度分布（如图3A和3B所示）。此外应该指出的是，根据本发明一实施例，***105和物体130两者均围绕相同的光轴对准。根据本发明的这一实施例，通过消耗大约75%的能量（大约50%的投影光到达物体130，继而大约50%的反射光到达摄像机120）而获得两条光路的组合（朝向物体130并返回到相机120）。
根据本发明一实施例，***105能够通过轴向变化或非变化图样的轴上投影来确定3D（三维）判定以及距离判定。投影仪115在轴上与摄像机120对准，该摄像机120使由3D物体130所获得的反射成像并通过比较包括反射有限组对应的可识别特征类型的反射图样与预定的轴向变分布而判定3D拓扑和到所述物体130的距离。
根据本发明的另一实施例，通过设计能够使不同强度分布连同有限数目的轴平面成形的光束成形衍射光学元件205实现轴向变图样，所述有限数目的轴平面被***作为所述光学元件205的数值迭代设计的约束条件。例如，通过以相对高可变且非限制性产生的相位分布来编码所需的轴向变化幅值而使这种成形是可行的。
根据本发明的又一实施例，获得所需光束成形分布的平面数有限。因此，为获得所需的3D判定和/或距离判定的精度，同时所述精度不会等于两个相邻平面之间的轴向间隔，对平面之间的分布进行预定的评估。这可以通过（例如）适当设计不同平面的各种图样之间的变化而完成。结果，根据本发明一实施例，基于相关性的计算导致获得关于反射含有预定阵列的有限组可识别特征类型的结构光图样的物体130的面间位置的相对精确指示。
应该指出的是，通过利用常规的Gerchberg-Saxton(GS)迭代算法（如U.Levy等的标题为"Iterative algorithm for determining optimalbeam profiles in a 3-D space"的论文，Applied Optics,第38卷，6732-6736页，1999年），有可能设计光束成形元件205，用于在不同的轴向位置（平面）产生不同的幅值分布。继而该迭代算法可用于实现3D精度不取决于投影仪115与成像装置120之间的离距的3D光学***。结果，由所述投影仪115投影且借助于所述成像装置120被捕捉（成像）的反射图样指出了到物体130的离距。应该指出的是，设计好的光束成形衍射光学元件（如相位掩膜205）仅可获得有限数目的分布平面。因此，根据本发明一实施例，利用面间内插法（如图6中所示）提高这些平面之间的判定精度，使得能够相对准确地判定物体130的面间离距。两个相邻平面（如平面2和平面3（图2））之间的距离是通过评估与该两个不同平面每个的相关性进行内插的。
相关性(CORR)一般可定义成：
Figure BDA00002252353600131
其中A和B为关联在一起的变量，
Figure BDA00002252353600132
为傅立叶变换算符，
Figure BDA00002252353600133
为逆傅立叶变换算符。结果，如果A和B类似，则将获得相关峰。
根据本发明一实施例，可假设两个平面具有（例如）类似的图样，且因此，所述图样仅在它们的位置上（在所述平面中）移位。相关性总是不会因移位而改变的，这意味着相对于参考点的输入的移位仅使相关峰的位置移位。因此，在这种情况下，所述峰有两个可能的位置，而峰之间的移位对应于投影的图样在两个平面中的相对移位。根据本发明的这一实施例，在这些最近的平面之间的距离中（同时所述类似图样仅在它们的位置上有变化），能量从一个相关峰转移到另一个相关峰。然后，通过量化上述能量转移，便可判定3D物体130的相对精确的面间位置（定位），其反映所投影图样的一个或多个可识别的特征类型。
对于另一实例，根据本发明的另一实施例，假定为位于投影仪115内的808纳米激光器而将192×192像素的相位掩膜205设计成具有10微米的像素尺寸。另外，假定将第一所需强度强度平面（例如平面1（图2））设置成离所述相位掩膜的离距为0.1米，将第二强度平面（例如平面2（图2））设置在离距为0.6米处。由此产生的两个所得到的强度图像示于图3A和3B。为了判定在上述平面之间的任何定位处的距离（物***置），使用类似于上面方程式(1)的如下相关方程式（其中m是平面指数，对于平面1或平面2来说，分别（例如）等于一或二）：
Figure BDA00002252353600141
其中Im REF是平面m（例如平面1)后的所需输出，I(Z)是在任何轴向面间距离（位置）Z上的强度。
根据本发明一实施例，如图4A到图4C所示，为了评估场景内的物体130或其它物体的距离，考虑以下三个参数：最大峰值比，其是分别在两个平面（如平面1和平面2(图2））每个中的两个最高相关性值（峰位置上的相关性）之比；第一平面（如平面1)中的第一信噪比（标示为SNR1）；和第二平面（如平面2)中的第二信噪比（标示为SNR2）。
应该指出的是，可以借助于处理单元/***（未示出，如DSP、微控制器、FPGA、ASIC等）或任何其它常规的和/或专用的计算单元/***来进行全部的所需处理操作（如处理捕捉的图像、进行相应的计算操作、作出关于成像的场景内的一个或多个物体的3D物体轮廓判定和/或距离判定的判断）。此外，根据本发明的另一实施例，可以将处理单元/***设置（集成）在成像装置120内。
另外应该指出的是，根据本发明一实施例，处理单元进一步配置成根据预定计算操作的结果确定场景内的一个或多个物体130的3D几何形状。
此外，应该指出的是，根据本发明一实施例，编码光图样可以是任意维度的，如1D、2D、3D。
此外，应该指出的是，根据本发明的另一实施例，光学元件110可以是衍射或非衍射元件。
图2是根据本发明一实施例的虚拟平面（如平面1到平面4)的示意图，投影的结构（编码）光穿过所述虚拟平面，同时朝物体130行进（图1）。假定例如Z表示轴向位置（从设置在例如投影仪115内的相位掩膜205（图1)到平面1的距离/离距）。此外，ΔZ表示虚拟平面1与平面2之间的离距。
应该指出的是，术语“虚拟”仅用来强调：根据本发明一实施例，上述平面不是场景内的实体物体，因此这一术语不应视为是限制性的。
图3A和图3B是根据本发明一实施例分别在场景的第一和第二平面（平面1和平面2（图2））的样本光强度分布图像305和310。根据这一实施例，为了以相对精确的方式计算到物体130（图1）的离距/距离，使光强度分布图像305和310与（例如）存储在存储器（未示出）内的预定（参考）查询表相关。
图4A到图4C是根据本发明一实施例要计算并且要进一步用于作出关于物体130(图1)轴向面间位置（图2）的判断的参数的示意曲线图。图4A是最大峰值比（峰值比）参数的示意曲线图405；图4B是表示第一平面（如平面1（图2））中的第一信噪比(SNR1)的另一参数的示意曲线图410；图4C是表示第二平面（如平面2(图2)）中的第二信噪比(SNR2)的另外参数的示意曲线图415。基于以上三个参数（峰值比、SNR1和SNR2）进行内插，并作出关于场景内的物体130的轴向面间位置的判断。
图5A是根据本发明另一实施例比***105（图1）能量效率高的3D物体轮廓和距离面间判定***/装置105的示意图。根据这一实施例，图样投影模块125进一步包括偏振分光器110，用于能够朝物体130提供偏振结构光；和λ/4板126，用于将线性光偏振转换成圆形光偏振，反之亦然，其中λ是光波长。此外，投影仪115包括线性偏振激光器（未示出），其偏振被调适成适应所述偏振分光器110的偏振分束比。
结果，根据本发明的这一实施例，***105是基于偏振的能量效率高的***，从偏振分光器110输出基本上全部的光能（基本上为100%）。当从偏振分光器110输出对应于具有轴向变强度且呈变强度光束的空间构成形式的含有有限组可识别特征类型的预定阵列的结构光图样的结构光时，其偏振借助于λ/4板126而转动，结果光偏振变为圆形。当偏振结构光从物体130（所述物体130反射投影的结构光图样的一个或多个可识别的特征类型）反射回来时，其再次穿过所述λ/4板126且其偏振变为线性偏振，但正交于由投影仪115所投影的光的原始偏振。结果，使用所述偏振分光器110代替一般的分光器110（图1）在通过所述分光器110的每个光通道中避免了大约50%的能量损失。因此，光在不分束的情况下直接通过偏振分光器110到达成像装置（如摄像机120）。
图5B是根据本发明又一实施例的3D物体轮廓和距离面间判定***/装置105的示意图。根据这一实施例，***105包括分别在两个不同波长λ1和λ2下操作的两个投影仪115'和115″，因为这样可通过分别用相应的相位掩膜205'和205″而在不同的波长下有利地同时投影具有轴向变强度的若干编码光图样。应该指出的是，通过使用两种不同的波长，可以在不扩大图样投影模块125的物理尺寸的情况下建立更多的图样，并继而增大通过的信息量。
应该指出的是，同时投影两个不同组图样是指双投影和成像（如共同待决专利申请WO 2008/062407中所述），这可以各种方式增强***105。例如，通过以不同的波长同时投影图样组"A"和"B"（未示出）并进行成像（其中"B"与"A"相逆），并通过在借助于成像装置120获取的对应图像之间实施减法便获得带正负号的图样，得以产生更稳定且更精确的解码。
图6是根据本发明一实施例进行3D物体轮廓和距离判定的示意流程图600。在步骤605，投影仪115（图1）朝物体130（图1）投影结构光图样，该结构光图样含有呈变强度光束的空间构成形式的有限组可识别特征类型的预定阵列，并且借助于成像装置120（图1）捕捉由此产生的图像（含有投影图样的一个或多个反射的可识别特征类型）。然后，在步骤610，通过利用（例如）相关性方程式(2），借助于处理单元/***（未示出）使捕捉图像的强度值与对应于第一和第二虚拟平面（例如分别为平面1和平面2（图2））的两个相应的预定（参考）查询表相关。结果，在步骤610，进行了两次相关性操作：第一次相关操作涉及第一虚拟平面，第二次则涉及第二虚拟平面，在这两次相关性操作之间进行内插（导致关于场景内的物体130的相对精确的轴向面间位置的判断）。此后，在步骤615，确定以上两次相关性操作每次的最高值，而每个最高相关性值涉及相应的平面（分别为平面1和平面2）。结果，确定两个最高相关性值，且可将它们标示为例如"MAX1″和"MAX2"。此外，在步骤620，确定以上两次相关性操作（除在步骤615中确定的最高值"MAX1"和"MAX2"外）每次的另外的最高值。这些另外的两个最高值也涉及第一和第二平面（分别为平面1和平面2），可将它们标示为例如"MIN1″和"MIN2"。在下一步625进行预定的计算（计算）操作，如通过将"MAX1″值除以"MAX2"确定峰值比，（
Figure BDA00002252353600171
），并分别确定SNR1或者SNR2：
Figure BDA00002252353600172
或因为提前预先确定了相位元件（如相位掩膜205），所以可较早地知道在包括平面之间在内的所有轴向位置的参数值（如“峰值比”、SNR1或SNR2参数）。最后，在步骤630，根据较早知道的上述三个参数，即峰值比、SNR1和SNR2，作出关于物体130的相对精确的轴向面间位置的判断。应该指出的是，可以根据仅为本实例所示的不同于以上所示计算操作的其它预定的计算操作作出关于场景内的物体130的轴向面间位置的这项判断。
应该指出的是，为获得相对高的3D和距离判定精度，可以进行两个相邻平面（例如平面1和平面2）之间的轴向分离和在平面之间的相应强度分布评估。这可（例如）通过适当设计在不同（虚拟）平面中的图样之间的变化而完成，使得基于相关性的计算（例如通过使用方程式(2)进行的）可提供关于反射物体130的准确面间位置（距离/离距）的相对精确的指示。
根据本发明一实施例，图7是十二个不同二元图样700的样本组的示意图，每个图样为含有有限组可识别特征类型（如极大点、极小点、鞍点、拐角、边缘（例如双边缘，其是彼此相对靠近的两个边缘）等）的预定阵列的预定二维图样。不同的二元图样700包括关键图样K1-K12和也称为能量图样的间图样E1.5-E12.5。这些间图样E1.5-E12.5是每对连续关键图样之间的平均过程的产物。根据本发明一实施例，每个关键图样是周期性并且是2重径向对称的。因此，每个关键图样周期由铺设图样平面的2重径向对称二元图像组成。这种关键图样920出现在例如图9D中。左上角的矩形762（例如，代表MxN矩阵，其中M＝8，N＝2）表示单周期，多个"x"标记905表示径向对称的旋转中心。每个这种铺设图像是通过根据所述三元MxN编码矩阵763调制棋盘式图样（如图9A上所示出的图样905）建构的，例如图9B上所示。每个三元值影响每个棋盘黑白方块交界周围的相应星形区（星形特征）。三元值"0"和"2"意味着分别在区域上着黑色和白色，而"1"对应于保持不改动棋盘交界（如进一步见于分别在图9C和9D中所示的图样915和920上（例如在所述图9C和9D的左上角矩形762上））。应该指出的是，类似的常规调制方案可见于共同待决的专利申请WO 2008/062407。
因为P个（例如P=12）关键图样的每个都源于不同的MxN三元编码矩阵，于是可仅通过对星形区（如图9B中的图样910上的黑/白星形区）着色而彼此区别每个关键图样K1-K12，这称为改变区域。所述图样910的剩余圆形区（称为基本上非变化的区域）不通过编码化（通过使用MxN三元编码矩阵765）而被修改，因此沿整组图样700保持相同。
根据本发明一实施例，MxNxP矩阵是体三元矩阵，其中M、N和P是整数（P是预定图样的数目）。可以例如根据以下规则预定矩阵的值：
a）对于完整MxNxP矩阵的每个UxVxP（例如U=2，V=2）子矩阵，任何UxV截面矩阵（如子矩阵765）是唯一的。换句话说，对于任何P（十二）关键图样K1-K12中任何给定的横向位置，任何UxV块仅出现一次，全部沿图样系列（沿整组图样700）。这意味着通过相关性的图样匹配过程可依赖于UxV大小的图像块。每个这种块可以被匹配，并因此提供相应的3D和距离信息。应该指出的是，只有轴向UxV唯一性是所需的，同时也可以进行在不同的横坐标上重复UxV块765，如图7所示意。
b)对于完整MxNxP矩阵的每个UxVxP子集，任何连续UxV截面矩阵的平均矩阵也是唯一的。换句话说，以上规则(a)延伸为包括面间匹配，这导致获得更精确的3D和距离信息。
c)图样中黑区总和与白区总和之间的比例限于一半(R1-12=0.5±0)，这也意味着这一比例基本上不会沿图样系列而变化（即，变化率为A1-12=0±0）。结果，这符合恒定辐射能量约束条件。
d)图样中的任何两个连续UxV块之间的变化可限于预定数目的变化区，如限于D=2±0个变化区。这些变化也受限于禁用值变化的另外组C，其由黑色到白色（反之亦然）的直接转换组成。换句话说，根据本发明一实施例，从黑双边缘到交叉白双边缘（彼此交叉）的转变（反之亦然）是被禁止的，而从白或黑双边缘到鞍点的转变（反之亦然）是允许的。应该指出的是，这些规则在分布密度和均匀性以及局部幅值和速率方面均符合对局部能量变化的限制。因此，通过适当地预先确定和控制这种能量变化，能量图样E1.5-E12.5变得与关键图样K1-K12足够类似，导致在所述能量与关键图样之间有相对强的相关性。另一方面，所述能量图样E1.5-E12.5保持与所述关键图样K1-K12有足够的不同，以便仍然能够确定它们在所述关键图样K1-K12之间的各自位置。此外，任何两个连续UxV块可包括三元值"1″的J个赋值（例如，J=1±0），这些赋值保持不变。这意味着棋盘交界特征总是出现在整个关键图样K1-K12和间图样E1.5-E12.5的某个构成和密度处。应该指出的是，已知交界特征能提供相对良好的局部化，因为它们在所获取的图像中作为鞍点出现（例如借助于成像装置120（图1））。由于所述鞍点的局部对称性原因，即使在模糊情况下，这种鞍点也相对准确地保持它们在图像平面中的横向位置，因此可以以相对准确且一致的方式检测它们的子像素横向位置。在SOP配置中，此横向位置在正常操作期间是固定的。然而，在近似SOP配置中，成像装置120（图1）和投影仪115（图1）是分开的，即使是稍微分开，从物体130（图1）反射的图样（含有有限组可识别特征类型的预定阵列）的横向位置也会相对于反射距离而变化，因此期望有良好的特征局部化。
同样应该指出的是，在SOP配置中，由于全部P个关键图样及其导出的间图样内的UxV代码块的唯一性原因，样本图样组可提供反射例如小至UxV区域（如UxV区域765）的表面的距离数据。根据本发明另一实施例，扩展这些局部唯一性的标准可包括（例如）增强多类各种块大小的唯一性以及非矩形代码构成。
根据本发明的又一实施例，由于单个基本MxN三元代码矩阵的代码重复原因，每个关键图样（和每个间图样）是周期性的，并因此是描述性紧凑的。代码周期性重复以平移对称性出现在图样中，其中每个基本铺设单元是矩形。应该指出的是，也可采用非矩形铺设，如通过适当重复图样而获得的平行四边形铺设。应该指出的是，根据本发明的另一实施例，图样700的组（系列）内的至少一个关键图样和/或至少一个间图样是非周期性图样。
根据本发明的又一实施例，将MxN矩阵限制为2重径向对称意味着整个图样组也是2重径向对称的，因此属于（例如）常规的壁纸组"p2"。应该指出的是，若干光束成像过程可得益于这种对称，使得例如能够以更有效和准确的方式设计光束成形衍射光学元件（如相位掩膜205（图1)）。同样应该指出的是，通过这种对称可进一步增加上述的紧凑。也可以按类似的方式应用其它对称性，如3重和6重径向对称性以及反射和滑移对称性（例如，壁纸组"p4m"和"p3lm"）。
根据本发明的再一实施例，对于SOP配置，导自非循环的最大路径的图样系列也是适宜的。另一方面，对于近似SOP配置，循环系列可能是优选的，因为它们有利地容许不止一次地重复整个P系列。由于非共轴投影仪/摄像机配置的原因，重复不会引入识别模糊性，因为每个重复的相同代码构成在沿被称为核线或核曲线的不同单向轨道的不同位置处成像。因此，编码图样构成沿核线的位置变为标记格式的一部分，这进一步促进了代码描述紧凑性。例如，由于同样的局部唯一性规范，更多的平面可以被唯一地标记。或者，较小的唯一性区域可维持给定的平面计数。
还应该指出的是，根据本发明的再又一实施例，在近似SOP配置中，实现尽可能多的P重复是可取的，因为它提供了最优化局部唯一性要求的方式，例如通过提供较小的最小匹配构成（如UxV块）。以适当方式布置投影仪/摄像机的位置几何形式可提供用于优化重复分布图样的方式，其将包括沿预定核线的图像平移。为此，举例来说，可以采用如共同待决的专利申请WO 2008/062407中所描述的优化方法，使得能够以相对于图样投影倾斜角优化的角度对准核场，等等。此外，根据WO 2008/062407，可取的是使用被称为优选方向性编码的循环拉长的重复矩阵。
应该指出的是，这些优化也适用于常规的主动式三角测量***。同样应该指出的是，特别是对于近似SOP配置来说，可将优选的方向性编码扩大成包括在优选的重复方向上的面间代码重复。另外，特别是对于近似SOP配置来说，这种重复代码作为沿核线的不同轨道而出现，类似于短划线或点划线。轨道的间距和长度与投影仪115同成像装置120（图1）之间的离距以及分立的关键图样平面之间的轴向间距密切相关。
图8A是根据本发明一实施例的SOP/近似SOP图样产生的示意流程图800。在步骤805，定义合法代码构成和相应的合法代码构成变化。应该指出的是，术语“合法”意为根据预定组规则进行（步骤805的）此操作，如根据例如与UxV块相关的上述C、J、A、D、R参数来进行。然后，在步骤810，产生仅含有合法代码构成的一组或多组有效局部唯一性矩阵（如根据U、V和J值的有效三元UxV矩阵）。同样应该指出的是，术语“有效”对应于根据上述预定组规则的“合法”操作的结果。之后，在步骤815，产生一组仅含有合法局部唯一性矩阵的有效循环重复矩阵，其可任选具有非平移对称性（如根据M、N和R，仅含有计算的UxV矩阵的有效2重径向对称三元MxN矩阵）。根据合法代码构成变化，在步骤802进一步产生仅含有有效循环重复矩阵的有效系列的有效循环重复连续矩阵组。例如，根据所期望的A、D和C值，上述有效连续矩阵可以是代表可能的连续计算的MxN矩阵的有效三元MxNxT(T=2)矩阵，其中A是变化率，D是变化区的数目，任意两个连续UxV块之间的变化都限于所述变化区，C是所述任意两个连续UxV块之间的一组禁用值变化。应该指出的是，此步骤所产生的有效连续矩阵组不含局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复。然后，在步骤825，产生一组有效循环重复体矩阵，所述重复体矩阵服从一组预定的规则，如仅含有有效连续矩阵，不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复。例如，上述体矩阵可以全部是有效P最大三元MxNxP矩阵，其仅含有计算的MxNxT矩阵，不含有任何轴向UxV重复。应该指出的是，这一步骤可实施为搜索（例如，穷举搜索）曲线图中的最大长度循环路径，类似于借助在曲线图内找到Hamiltonian路径（或等效的Eulerian循环）而产生De-Bruijn系列的常规过程。曲线图边缘代表服从上述轴向唯一性约束条件的可能的连续MxNxT矩阵的全部有效配对。这个约束条件在路径产生过程本身期间也得以增强，在该过程中它减少了搜索树的生长。此外，应该指出的是，可以通过例如搜索所述曲线图中最长的路径而在步骤825中产生上述体矩阵的组。此外，在步骤830，根据预定的着色方案，通过调制（例如）下面的棋盘式图样并通过使用有效的循环重复体矩阵（如计算的MxNxP矩阵）而产生一系列循环重复图样（例如，关键图样）。
然后，任选在步骤835，通过采用（例如）常规的图像处理技术（如模糊化、二值化、卷积、反卷积、载波交替等）操纵在步骤830所产生的图样系列。
应该指出的是，根据本发明的另一实施例，可基于选择上述定义的参数U、V、J、M、N、R、T、A、D和C的相应值而产生任何其它的图样。同样应该指出的是，任何上述的矩阵和/或图样（如连续矩阵、体矩阵等）都可以是重复（周期）或非重复以及循环重复性的。
图8B是根据本发明的另一实施例的近似SOP图样产生的示意流程图800。根据这一实施例，在步骤815'产生一组有效循环重复矩阵，其仅含有合法的局部唯一性矩阵，可任选具有非平移对称性，同时仅在预定（例如，优选）的方向上含有局部唯一性矩阵的重复，或者完全不含有这种重复。然后，在步骤820'，根据合法代码构成变化进一步产生仅含有有效循环重复矩阵的有效系列的有效循环重复连续矩阵组。根据本发明的这一实施例，上述有效连续矩阵组不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复，而仅在预定（例如，优选）的方向上含有局部唯一性矩阵和平均局部唯一性矩阵两者的重复，或者完全不含有这种重复。在此之后，在步骤825'，产生一组有效循环重复体矩阵，所述重复体矩阵服从一组预定的规则，如仅含有有效连续矩阵，不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复，同时仅在预定（例如，优选）方向上含有局部唯一性矩阵和平均局部唯一性矩阵两者的重复，或者完全不含有这种重复。
应该指出的是，根据本发明一实施例，除了设定参数D（任何两个连续UxV块之间的变化限于D区（例如D=2±0））之外，借助于对诸个区域着色、消耗不同的变化区，由此可进一步控制面间图样变化量，所述区域的形状不同于上述的星形，例如图10A中示出的图样1005上所示的菱形以及圆形（未示出）。此外，也可以使用黑和白以外的颜色，如灰阶色等。
图10B是根据本发明另一实施例的另外样本图样的图示。图样1010是类似于常规笛卡尔图样转45°的直角菱形图样。因此，通过使用菱形着色形状和用均匀着色的灰色菱形区来置换交界区可容许相对紧凑的图样描述，其中由（例如）单个像素代表每个变化和基本上非变化的区域。这进一步减少了光束成形衍射光学元件（如相位掩膜205（图1））的光束成形设计过程期间所需的计算。
应该指出的是，使用两个以上着色灰度值可容许将代码从三元基数扩展到更高的基数（例如，四元基数等），因此容许例如产生更为不同的平面或减少局部唯一性代码构成。
图10C是根据本发明又一实施例的另一样本图样1015的另外的图示。图样1015在图样中含有（着色）区形状的修改，如所述形状的平滑边缘和移位边缘。这一图样表明，任何图样操纵都是可能的，如模糊化、二值化、卷积、反卷积等。这可有助于（例如）在图样中实现更均匀的平均强度并提高图样匹配过程中的SNR，导致获得更精确的3D和距离信息。
这种图样变形等效于（例如）使用变形的非笛卡尔棋盘作为下面的图样以及使用非均匀的局部变化区。同样应该指出的是，如上所述，先前基本上非变化的区域（例如，圆）在位置和大小两方面确实沿图样系列而变化。
根据本发明的再一实施例，除了例如图10C的图样变形之外，进一步的图样操纵也是可能的，如图10D中示出的操纵。在图10D中，将相反颜色的圆或椭圆形安装于先前基本上非变化的区域并替换这些区域，同时保持代码调制区的着色不变。这一过程可称为载波交替，其容许进一步平衡局部平均图样强度以及增大图样对比度和颜色边缘的曲率。应该指出的是，通过不止一次地重复上述图样（图10C和10D中所示）操纵可进一步优化这些属性，如优化图样强度的平衡、增大图样对比度等。
虽然已举例说明本发明的一些实施例，但将显而易见的是，在不脱离本发明的实质或超出权利要求距离的情况下，在本发明的实践中可以进行多种修改、变动和调适，并使用所属领域技术人员所掌握的距离内的许多等效或替代的解决方案。

Claims (9)

1.一种产生一系列SOP（单光路）或近似SOP图样的方法，所述方法包括调制预定的图样和使用至少一个体矩阵，每个所述体矩阵服从一个或多个预定的规则。
2.根据权利要求1所述的方法，进一步包括通过利用图像处理操纵所述的图样系列。
3.根据权利要求1所述的***，进一步包括提供所述体矩阵作为以下中的一者或多者：
a)重复性矩阵；和
b)非重复性矩阵。
4.一种产生一系列SOP（单光路）或近似SOP图样的方法，所述方法包括：
a)定义代码构成和相应的代码构成变化；
b)产生仅含有所述代码构成的一组或多组局部唯一性矩阵；
c)产生仅含有所述局部唯一性矩阵的至少一组矩阵；
d)根据所述代码构成变化产生至少一组仅含有所述矩阵的系列的连续矩阵，同时所述至少一组连续矩阵不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复；
e)产生至少一组体矩阵，同时所述体矩阵仅含有所述连续矩阵而不含有局部唯一性矩阵和平均局部唯一性矩阵两者的任何轴向重复；和
f)通过调制预定的图样并利用至少一个所述重复体矩阵产生一系列图样。
5.根据权利要求4所述的方法，进一步包括通过利用图像处理操纵图样的所述系列。
6.根据权利要求4所述的方法，进一步包括给矩阵提供非平移对称性。
7.根据权利要求4所述的方法，进一步包括为获得所述近似SOP图样系列而产生至少一组矩阵，所述至少一组矩阵包括在预定方向上的所述局部唯一性矩阵的重复或者不包括所述重复。
8.根据权利要求4所述的方法，进一步包括为获得所述近似SOP图样系列而产生至少一组连续矩阵，所述至少一组连续矩阵包括在预定方向上的所述局部唯一性矩阵和平均局部唯一性矩阵两者的重复或者不包括所述重复。
9.根据权利要求4所述的方法，进一步包括为获得所述近似SOP图样系列而产生至少一组体矩阵，所述至少一组体矩阵包括在预定方向上的所述局部唯一性矩阵和平均局部唯一性矩阵两者的重复或者不包括所述重复。
CN2012103879577A 2008-10-06 2009-10-11 用于提供三维和距离面间判定的方法和*** Pending CN103090819A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13680408P 2008-10-06 2008-10-06
US61/136,804 2008-10-06

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980142758.6A Division CN102203551B (zh) 2008-10-06 2009-10-11 用于提供三维和距离面间判定的方法和***

Publications (1)

Publication Number Publication Date
CN103090819A true CN103090819A (zh) 2013-05-08

Family

ID=42101033

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2012103879577A Pending CN103090819A (zh) 2008-10-06 2009-10-11 用于提供三维和距离面间判定的方法和***
CN200980142758.6A Active CN102203551B (zh) 2008-10-06 2009-10-11 用于提供三维和距离面间判定的方法和***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200980142758.6A Active CN102203551B (zh) 2008-10-06 2009-10-11 用于提供三维和距离面间判定的方法和***

Country Status (5)

Country Link
US (2) US8908016B2 (zh)
EP (2) EP2362963A2 (zh)
JP (1) JP2012504771A (zh)
CN (2) CN103090819A (zh)
WO (1) WO2010041254A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690241A (zh) * 2016-10-14 2019-04-26 欧姆龙株式会社 三维测定装置和三维测定方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005286872B2 (en) * 2004-09-21 2012-03-08 Digital Signal Corporation System and method for remotely monitoring physiological functions
CN101852855B (zh) 2005-02-14 2012-07-18 数字信号公司 激光雷达***和用于提供线性调频电磁辐射的***和方法
WO2007070853A2 (en) 2005-12-14 2007-06-21 Digital Signal Corporation System and method for tracking eyeball motion
US8081670B2 (en) 2006-02-14 2011-12-20 Digital Signal Corporation System and method for providing chirped electromagnetic radiation
US8411995B2 (en) * 2008-05-23 2013-04-02 National Research Council Of Canada Deconvolution-based structured light system with geometrically plausible regularization
US9225965B2 (en) * 2008-11-07 2015-12-29 Telecom Italia S.P.A. Method and system for producing multi-view 3D visual contents
WO2010141120A2 (en) * 2009-02-20 2010-12-09 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
US8441532B2 (en) * 2009-02-24 2013-05-14 Corning Incorporated Shape measurement of specular reflective surface
US9113043B1 (en) 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9165401B1 (en) * 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9207070B2 (en) 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
CN102944192B (zh) * 2012-10-18 2015-08-12 北京航空航天大学 一种基于fpga的片上实时高速三维复现方法
US20140152769A1 (en) * 2012-12-05 2014-06-05 Paul Atwell Three-dimensional scanner and method of operation
WO2015034048A1 (ja) * 2013-09-05 2015-03-12 アルプス電気株式会社 ３次元形状計測方法及び３次元形状計測装置
CN104462013B (zh) * 2014-06-26 2017-10-10 奥诚信息科技(上海)有限公司 一种光学三维传感专用asic芯片***
WO2016024200A2 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
US20160150219A1 (en) 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
WO2016087915A2 (en) * 2014-12-05 2016-06-09 Mantisvision Ltd. Markers in 3d data capture
DE102015205187A1 (de) * 2015-03-23 2016-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Projektion von Linienmustersequenzen
CN104899883B (zh) * 2015-05-29 2017-10-20 北京航空航天大学 一种深度图像场景的室内对象立方体检测方法
WO2017038203A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクションマッピング方法
US10761195B2 (en) * 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
KR101733228B1 (ko) * 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
US11422442B2 (en) * 2016-07-16 2022-08-23 Ideal Perceptions Llc System for interactively projecting geometrically accurate light images into a projection environment or zone of complex three-dimensional topography
CN110402398B (zh) 2017-03-13 2023-12-01 欧普赛斯技术有限公司 眼睛安全的扫描激光雷达***
US11604478B2 (en) * 2017-03-31 2023-03-14 Nec Corporation Information processing apparatus, information processing method, and information processing program
KR102218679B1 (ko) 2017-07-28 2021-02-23 옵시스 테크 엘티디 작은 각도 발산을 갖는 vcsel 어레이 lidar 송신기
WO2019221776A2 (en) 2017-11-15 2019-11-21 OPSYS Tech Ltd. Noise adaptive solid-state lidar system
DE102017220720B4 (de) * 2017-11-20 2024-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum berührungslosen Vermessen dreidimensionaler Oberflächenkonturen
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11262192B2 (en) 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US11297300B2 (en) 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system
JP6880512B2 (ja) * 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
JP7324518B2 (ja) 2018-04-01 2023-08-10 オプシス テック リミテッド 雑音適応型固体ライダシステム
CN110956660B (zh) * 2018-09-26 2023-10-10 深圳市优必选科技有限公司 定位方法、机器人以及计算机存储介质
US11393115B2 (en) * 2018-11-27 2022-07-19 Infineon Technologies Ag Filtering continuous-wave time-of-flight measurements, based on coded modulation images
CN109901184B (zh) * 2019-03-25 2021-12-24 Oppo广东移动通信有限公司 飞行时间组件、终端及飞行时间组件的控制方法
WO2020210176A1 (en) 2019-04-09 2020-10-15 OPSYS Tech Ltd. Solid-state lidar transmitter with laser control
CN113906316A (zh) 2019-05-30 2022-01-07 欧普赛斯技术有限公司 使用致动器的眼睛安全的长范围lidar***
EP3980808A4 (en) 2019-06-10 2023-05-31 Opsys Tech Ltd. LONG-RANGE EYE-SAFE SOLID-STATE LIDAR SYSTEM

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3619064A (en) 1968-09-18 1971-11-09 Trw Inc Moire gauging systems
US4175862A (en) 1975-08-27 1979-11-27 Solid Photography Inc. Arrangement for sensing the geometric characteristics of an object
GB2066449B (en) 1979-12-21 1984-03-21 Rolls Royce Monitoring distance variations
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2001194126A (ja) * 2000-01-14 2001-07-19 Sony Corp 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体
US7260141B2 (en) * 2001-02-28 2007-08-21 Itt Manufacturing Enterprises, Inc. Integrated beamformer/modem architecture
JP4778156B2 (ja) * 2001-03-23 2011-09-21 オリンパス株式会社 距離情報取得装置又はシステム、パターン投影装置、及び、距離情報取得方法
US20070091265A1 (en) * 2002-01-18 2007-04-26 Kardon Randy H System and method for optical imaging of human retinal function
GB0202139D0 (en) * 2002-01-30 2002-03-20 Xyz Imaging Inc Methods concerning the preparation of digital data required in holographic printing machines
GB0425112D0 (en) * 2004-11-13 2004-12-15 Koninkl Philips Electronics Nv Computer tomography apparatus and method for examining an object of interest
JP2008537190A (ja) * 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
DE102005043627B4 (de) 2005-09-13 2012-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optischer Sensor und Verfahren zur optischen Abstands- und/oder Farbmessung
JP2007163363A (ja) * 2005-12-15 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> 距離測定装置
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
CN101957994B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5592070B2 (ja) * 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
CN103776392B (zh) 2006-11-21 2017-03-01 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
JP5024067B2 (ja) * 2007-01-19 2012-09-12 コニカミノルタホールディングス株式会社 顔認証システム、方法及びプログラム
US8531650B2 (en) * 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8666142B2 (en) * 2008-11-18 2014-03-04 Global Filtration Systems System and method for manufacturing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690241A (zh) * 2016-10-14 2019-04-26 欧姆龙株式会社 三维测定装置和三维测定方法
US10818030B2 (en) 2016-10-14 2020-10-27 Omron Corporation Three-dimensional measurement apparatus and three-dimensional measurement method

Also Published As

Publication number Publication date
US9501833B2 (en) 2016-11-22
CN102203551B (zh) 2015-02-11
JP2012504771A (ja) 2012-02-23
EP2362963A2 (en) 2011-09-07
EP2437026A1 (en) 2012-04-04
US8908016B2 (en) 2014-12-09
US20150055853A1 (en) 2015-02-26
WO2010041254A3 (en) 2011-04-07
WO2010041254A2 (en) 2010-04-15
US20110181704A1 (en) 2011-07-28
CN102203551A (zh) 2011-09-28

Similar Documents

Publication Publication Date Title
CN102203551B (zh) 用于提供三维和距离面间判定的方法和***
Zanuttigh et al. Time-of-flight and structured light depth cameras
CN111566437B (zh) 三维测量***以及三维测量方法
CN104541127B (zh) 图像处理***以及图像处理方法
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
EP3480556B1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
CN102445165B (zh) 基于单幅彩色编码光栅的立体视觉测量方法
US20180091798A1 (en) System and Method for Generating a Depth Map Using Differential Patterns
CN105890546A (zh) 基于正交格雷码和线移相结合的结构光三维测量方法
CN103810744A (zh) 在点云中回填点
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及***
Chen et al. Comparative study on 3D optical sensors for short range applications
CN103299343A (zh) 距离图像像素匹配方法
EP3951314B1 (en) Three-dimensional measurement system and three-dimensional measurement method
CN107860337A (zh) 基于阵列相机的结构光三维重建方法与装置
Furukawa et al. One-shot entire shape acquisition method using multiple projectors and cameras
Garbat et al. Structured light camera calibration
CN204177356U (zh) 一种基于激光点阵标识的三维地形传感装置
Kawasaki et al. Single colour one‐shot scan using modified Penrose tiling pattern
Chen et al. A structured-light-based panoramic depth camera
Wang et al. Depth perception of moving objects viaing structured light sensor with unstructured grid
Su et al. DOE-based Structured Light For Robust 3D Reconstruction
Kawasaki et al. Single color one-shot scan using topology information
Mirski et al. Adaptive scanning methods for 3D scene reconstruction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130508