CN109919850A - 用于qis传感器的高对比度结构光图案 - Google Patents

用于qis传感器的高对比度结构光图案 Download PDF

Info

Publication number
CN109919850A
CN109919850A CN201811539734.1A CN201811539734A CN109919850A CN 109919850 A CN109919850 A CN 109919850A CN 201811539734 A CN201811539734 A CN 201811539734A CN 109919850 A CN109919850 A CN 109919850A
Authority
CN
China
Prior art keywords
sub
pattern
light pattern
size
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811539734.1A
Other languages
English (en)
Other versions
CN109919850B (zh
Inventor
石立龙
王一兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/907,242 external-priority patent/US10740913B2/en
Priority claimed from US15/928,081 external-priority patent/US11297300B2/en
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109919850A publication Critical patent/CN109919850A/zh
Application granted granted Critical
Publication of CN109919850B publication Critical patent/CN109919850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于结构光***的结构光图案。该结构光图案包括基础光图案，该基础光图案包括在第一方向上延伸的一行多个子图案。每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同。每个子图案包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分。每个子行在第一方向上延伸，每个子列在与第一方向基本正交的第二方向上延伸。每个部分可以是第一类型部分或第二类型部分。第一类型部分在第一方向上和在第二方向上的尺寸大于第二类型部分在第一方向上和在第二方向上的尺寸。在一个实施例中，第一类型部分是黑色部分，第二类型部分是白色部分。

Description

用于QIS传感器的高对比度结构光图案
本专利申请是于2018年2月27日提交的美国序列号15/907,242和于2018年3月21日提交的美国序列号15/928,081的部分继续申请，这些美国专利申请的公开内容通过引用全部包含于此。此外，该专利申请要求于2017年12月12日提交的第62/597,904号、于2018年1月29日提交的第62/623,527号以及于2018年3月26日提交的第62/648,372号美国临时专利申请的优先权权益，这些美国临时专利申请的公开内容通过引用全部包含于此。
技术领域
这里公开的主题涉及用于结构光***的设备和方法，更具体地，涉及用于补偿结构光***中的***模糊的设备和方法。
背景技术
广泛使用的用于估计结构光三维(3D)照相机***(也称为立体照相机***)中的深度值的技术是通过搜索图像中的与参考图案中的补丁(patch)最匹配的补丁。为了减少这样的搜索的总体计算负担，假设图像补丁位于参考图案的接近水平附近。此外，参考图案被设计成使得仅存在有限集合的独特子图案，这些子图案水平地和垂直地重复以填充整个投影空间，这进一步简化了搜索过程。参考图案中的独特图案的已知布置用于识别图像补丁的“类”，并且进而确定图像补丁和参考补丁之间的视差。还假设图像补丁以深度像素位置为中心，这也简化了深度估计的计算。
然而，如果图像补丁尺寸和搜索范围变大，那么补丁搜索变得耗时且计算密集，从而难以实现实时深度估计。除了遭受显著的计算成本之外，一些结构光3D照相机***还会遭受深度估计中的显著噪声。结果，这样的结构光3D照相机***具有高功耗，并且会对图像缺陷(诸如像素噪声、模糊、失真和饱和)敏感。
此外，在典型的结构光***中，投射光点会变得漫射和模糊，这可能是由结构光***的许多组件(诸如光源、漫射器、光图案膜、照相机镜头和图像传感器的像素)引起的。结果，捕获的图像会模糊。这样的模糊会降低黑/白点的局部对比度，从而使得图案匹配更困难。此外，如果光太强(即，投影仪光源加环境光)、积分时间设置得太长或者像素全阱容量太小，那么图像传感器的像素会容易变得饱和。结果，参考图案的白点会扩展，而黑点会相对于彼此缩小，结构光图案会变得失真。
发明内容
本公开的示例实施例可以提供用于QIS传感器的高对比度结构光图案。
示例实施例提供了一种从结构光***投影的结构光图案，该结构光图案可以包括基础光图案，该基础光图案可以具有在第一方向上延伸的一行子图案，其中，每个子图案可以与至少一个其他子图案相邻，其中，每个子图案可以与每个其他子图案不同，其中，每个子图案可以包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分，其中，第一参考数量可以是整数，第二参考数量可以是整数。每个子行可以在第一方向上延伸，每个子列可以在与第一方向正交的第二方向上延伸。每个部分还可以包括第一类型部分或第二类型部分，第一类型部分在第一方向上和在第二方向上的尺寸可以大于第二类型部分在第一方向上和在第二方向上的尺寸。在一个实施例中，第一类型部分可以包括黑色部分，第二类型部分可以包括白色部分。第一类型部分在第一方向上和在第二方向上的尺寸可以是第二类型部分在第一方向上和在第二方向上的尺寸的三倍。
另一示例实施例提供了一种从结构光***投影的结构光图案，该结构光图案包括基础光图案，该基础光图案可以具有在第一方向上延伸的一行子图案，其中，每个子图案可以与至少一个其他子图案相邻，其中，每个子图案可以与每个其他子图案不同，其中，每个子图案可以包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分，其中，第一参考数量可以是整数，第二参考数量可以是整数。每个子行可以在第一方向上延伸，每个子列可以在与第一方向正交的第二方向上延伸。每个部分还可以包括黑色部分或白色部分，黑色部分在第一方向上和在第二方向上的尺寸可以大于白色部分在第一方向上和在第二方向上的尺寸。在一个实施例中，黑色部分在第一方向上和在第二方向上的尺寸可以是白色部分在第一方向上和在第二方向上的尺寸的三倍。
又一示例实施例提供了一种从结构光***投影的结构光图案，该结构光图案可以包括从物体反射并包括相对于参考结构光图案的视差。参考结构光图案可以从基础光图案形成，基础光图案可以包括在第一方向上延伸的一行子图案。每个子图案可以与至少一个其他子图案相邻，每个子图案可以与每个其他子图案不同。每个子图案可以包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分，其中，第一参考数量可以是整数，第二参考数量可以是整数。每个子行可以在第一方向上延伸，每个子列可以在与第一方向正交的第二方向上延伸。每个部分还可以包括第一类型部分或第二类型部分，第一类型部分在第一方向上和在第二方向上的尺寸可以大于第二类型部分在第一方向上和在第二方向上的尺寸。在一个实施例中，基础光图案的在子列中对齐的部分可以与基础光图案的在相邻子列中对齐的部分在第二方向上偏移。基础光图案中的每个子图案在第二方向上的尺寸通过拉伸因子可以大于每个子图案在第一方向上的尺寸。
公开的效果
这里公开的实施例可以提供与旋转的光图案相反的具有重新映射或拉伸的点或部分的参考光图案。从具有重新映射的点的参考光图案形成的3D图像可以是更少噪声的和更准确的。此外，在垂直方向上拉伸的点或部分可以提供深度估计，深度估计可以改善***对图像失真的鲁棒性和相机采样的不均匀性。
附图说明
在下面的部分中，将参照图中示出的示例性实施例描述这里公开的主题的方面，在附图中：
图1A是描绘根据本发明的实施例的结构光***和参考光图案的概念图。
图1B是描绘可以用于形成图1A的参考光图案的参考光图案元素的示例实施例的概念图。
图2A是描绘要使用硬编码模板匹配技术匹配的左图像输入补丁和右图像输入补丁的概念图。
图2B是描绘根据本发明的实施例的要使用硬编码模板匹配技术匹配的图像输入补丁和参考光图案补丁的概念图。
图3是描绘根据本发明的实施例的使用硬编码模板匹配技术确定深度信息的过程的流程图。
图4是描绘根据本发明的实施例的递增地分析的参考光图案补丁的序列的概念图。
图5是描绘根据本发明的实施例的用于基于图像输入补丁属于参考光图案补丁的类c的概率来估计深度信息的示例过程的概念图。
图6是描绘根据本发明的实施例的使用查找表来生成图像输入补丁属于类c的概率的示例过程的概念图。
图7是描绘根据本发明的实施例的清楚地细分大图像输入补丁并使用查找表来生成图像输入子补丁属于类c的概率的示例过程的概念图。
图8是描绘根据本发明的实施例的使用查找表的示例过程的概念图，该查找表仅包含可以用于确定图像输入补丁属于类c的预先计算的类标识。
图9是描绘根据本发明的实施例的使用滑动窗口细分大图像输入补丁并使用包含预先计算的类标识的查找表的示例过程的概念图。
图10是描绘根据本发明的实施例的用于基于图像输入补丁与参考光图案补丁匹配的概率来确定深度信息的过程的流程图。
图11是描绘通过在基础光图案上滑动4×4像素窗口而获得的子图案的相应示例分类标识号的概念图。
图12是描绘根据这里公开的主题的具有基于移位因子m重新映射的点的基础光图案的概念图。
图13是描绘根据这里公开的主题的重新映射基础光图案的点的过程的流程的流程图。
图14A和图14B是描绘根据这里公开的主题的参考光图案的一部分的子图案的示例分类ID的布置和重新映射以形成参考光图案的参考光图案的一部分的子图案的示例分类ID的布置的概念图。
图15A至图15C是描绘实际可能发生的像素采样情况的概念图。
图16A和图16B是描绘基础光图案和其中点已经在垂直方向上通过拉伸因子k拉伸的参考光图案元素的概念图。
图17是描绘根据这里公开的主题的重新映射基础光图案的点的过程的流程图。
图18是描绘根据这里公开的主题的具有已经重新映射并拉伸的点的基础光图案的概念图。
图19A和图19B是描绘根据这里公开的主题的拉伸的参考光图案的一部分的子图案的示例分类ID的布置和已经重新映射并拉伸以形成参考光图案的参考光图案的一部分的子图案的示例分类ID的布置的概念图。
图20A是描绘可以被结构光***使用并不提供对模糊的补偿的示例参考光图案的概念图。
图20B是描绘可以通过结构光***添加到图20A的参考光图案的模糊的示例的概念图。
图20C是描绘图20A的参考光图案在捕获之后如何对结构光***显现的概念图。
图21A是描绘示例7×7***模糊核的概念图。
图21B是描绘图21A的示例7×7***的3D图像的概念图。
图22A是根据这里公开的主题的描绘黑点与白点的尺寸的比例是3:1的示例基础参考光图案元素的概念图。
图22B是描绘图1B的参考基础光图案的概念图以便于与图22A比较。
图23是描绘根据这里公开的主题的用于减小白点相对于参考光图案的黑点的尺寸的过程的流程图。
图24A是描绘根据这里公开的主题的已经补偿了模糊的参考光图案的概念图。
图24B是描绘其中已经由结构光***添加模糊的图24A的参考光图案的概念图。
图24C是描绘图24A的参考光图案和理想参考光图案的捕获的图像的概念图。
图25A是描绘根据这里公开的主题的黑点与白点的尺寸的比例是3:1且点已经通过拉伸因子k在垂直方向上拉伸以形成基础光图案的示例基础光图案的概念图。
图25B是描绘根据这里公开的主题的黑点与白点的尺寸的比例是3:1且点已经通过移位因子m重新映射以形成基础光图案的示例基础光图案的概念图。
图25C是描绘根据这里公开的主题的黑点与白点的尺寸的比例为3:1、点已经通过移位因子m重新映射且点已经通过拉伸系数k在垂直方向上拉伸以形成基础光图案的示例基础光图案的概念图。
具体实施方式
在下面的详细描述中，阐述了许多具体细节，以提供对本公开的彻底理解。然而，本领域技术人员将理解的是，在没有这些具体细节的情况下，可以实践公开的方面。在其他实例中，没有详细描述已知的方法、步骤、组件和电路，以不使这里公开的主题模糊。
贯穿本说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可以包括在这里公开的至少一个实施例中。因此，在贯穿本说明书的各个地方中出现的短语“在一个实施例中”或“在实施例中”或者“根据一个实施例”(或具有相似含义的其他短语)可以不必均参照相同的实施例。此外，特定特征、结构或特性可以在一个或更多个实施例中以任何合适的方式组合。在这方面，如这里使用的，词语“示例性”意味着“用作示例、实例或说明”。这里的描述为“示例性”的任何实施例将不被解释为必须优选或优于其他实施例。此外，取决于这里讨论的上下文，单数术语可以包括相应的复数形式，复数术语可以包括相应的单数形式。还应注意的是，这里示出和讨论的各种图(包括组件图)仅用于说明的目的，并且未按比例绘制。相似地，仅出于说明的目的而示出了各种波形和时序图。例如，为清楚起见，一些元件的尺寸可以相对于其他元件被夸大。此外，如果认为合适，那么在附图中重复附图标记以指示相应和/或类似的元件。
这里使用的术语仅为了描述具体示例性实施例的目的而不意图限制所要求保护的主题。如这里所使用的，除非上下文另外清楚地指出，否则单数形式的“一个(种/者)”、“该”和“所述”也意图包括复数形式。还将理解的是，当在本说明书中使用术语“包括”、“包含”及其变型，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。如这里使用的术语“第一”、“第二”等用作它们之前的名词的标签，并且不表示任何类型的排序(例如，空间、时间、逻辑等)，除非明确如此定义。此外，可以在两个或更多个图中使用相同的附图标记来表示具有相同或相似功能的部件、组件、块、电路、单元或模块。然而，这样的用法仅为了说明的简洁和易于讨论；这不表示这样的组件或单元的结构或结构细节在所有实施例中是相同的，或者这样统称的部分/模块是实现这里公开的具体实施例的教导的唯一方式。
除非另外定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本主题所属领域的普通技术人员所通常理解的意思相同的意思。还将理解的是，术语(诸如在通用的字典中定义的术语)应该被解释为具有与相关领域的上下文中它们的意思一致的意思，而将不以理想的或者过于形式化的含义来解释，除非这里明确地如此定义。
这里公开的实施例可以为结构光***提供快速深度估计。在一个实施例中，可以基于图像补丁与参考补丁的硬编码模板匹配来提供深度估计。在另一实施例中，可以基于例如贝叶斯规则通过相关性将图像补丁与参考补丁匹配。又一实施例可以使用查找表来将图像补丁与参考补丁匹配，以提供极快的深度估计。与其他方法相比，这里公开的所有实施例提供显著减少的计算负担和减少的存储器/硬件资源需求，同时还减少伴随其他方法的噪声、模糊和失真。
这里公开的使用查找表的实施例可以提供恒定时间深度估计。此外，可以基于增强深度预测的训练数据集来学习查找表。查找表可以比其他方法更鲁棒，同时还实现高精度。
与旋转的光图案相反，这里公开的实施例可以提供具有重新映射的点或部分的参考光图案。重新映射的点或部分可以减少像素采样的不均匀性并且放松与识别图像补丁的“类”相关的极线限制。另外，参考光图案的重新映射的点可以提供双倍最大可测量视差。因此，由具有重新映射的点的参考光图案形成的3D图像可以是更少噪声的和更准确的。在一个实施例中，参考光图案的重新映射的点可以延伸最短的可测量距离(例如，20％、30％和/或50％等)。
在一个实施例中，参考光图案的点或部分可以在垂直方向上被拉伸以提供对于极线违反可以是鲁棒的并可以改善对图像失真的***鲁棒性和相机采样的不均匀性的深度估计。折衷会是深度图像可以具有降低的垂直分辨率。例如，投影的图像的中心的子图案可以保持未拉伸，而位于远离中心的图案可以逐渐拉伸。结果可以是围绕3D图像的中心区域的全水平/垂直分辨率以及朝向3D图像的边界的降低的垂直分辨率。
在一个实施例中，如果***中存在模糊，那么通过使用保持其理论形状和对比度的参考光图案可以减少模糊的不利影响。
在一个实施例中，参考光图案可以通过相对于黑点缩小白点或部分来补偿***模糊，使得如果***中存在模糊，那么捕获的获得的点可具有减少模糊的影响并更好地匹配理论参考图案的形状和对比度。此外，如这里公开的参考光图案可以允许使用包括具有对饱和度更鲁棒的降低的全阱属性的像素的量子图像传感器(QIS)。此外，通过使用包括具有降低的全阱属性的像素的传感器，可以使用降低的***光功率。另一个益处可以是可以通过使用降低的全阱属性减小与将感测的图像转换为数字相关的功率。
图1A是描绘根据本发明的实施例的结构光***和参考光图案的概念图。结构光***100可以包括投影仪101、照相机102和处理装置103。在操作中，处理装置103可以将参考光图案104发送给投影仪101，投影仪101可以将参考光图案104投影到在图1A中由线105表示的屏幕或物体上。照相机102可以将其上已经投影了参考光图案104的屏幕捕获为图像106。在一个实施例中，照相机102可以包括QIS传感器。图像106可以被传输到处理装置103，处理装置103可以基于图像106中捕获的参考光图案(例如，结构光图案)相对于参考光图案104(例如，参考结构光图案)的视差生成深度图107。深度图107可以包括与图像106的补丁对应的估计深度信息。
处理装置103可以是经由软件指令、专用集成电路或两者的组合编程的微处理器或个人计算机。在一个实施例中，由处理装置103提供的处理操作可以完全经由软件，经由通过图形处理单元(GPU)、多核***或通过能够实现处理操作的专用硬件加速的软件实现。硬件构造和软件构造两者可以提供不同的并行阶段。结构光***100的一种实现方式可以是手持装置(诸如但不限于智能电话、移动电话、或数码照相机)的部分。
在一个实施例中，投影仪101和照相机102可以在可见区域中或在对人眼不可见的红外光谱中匹配。投影的参考光图案可以在投影仪101和照相机102两者的光谱范围内。此外，投影仪101和照相机102的分辨率可以不同。例如，投影仪101可以以视频图形阵列(VGA)分辨率(例如，640×480像素)投影参考光图案104，照相机102可以具有较高的分辨率(例如，1280×720像素)。在这样的构造中，图像106可以向下采样和/或可以分析仅由投影仪101照射的区域以生成深度图107。
根据本发明的实施例的参考光图案104可以包括多个基础光图案108或可以在水平方向和垂直方向两者上重复以完全填充参考光图案104的参考光图案元素。图1B是描绘在水平方向(即，x方向)上宽为48个点或部分并且在垂直方向(即，y方向)上高为四个点或部分的基础光图案108的实施例的概念图。其他基础光图案是可能的，并且其他宽度和其他高度是可能的。为了简洁，点与像素的比例可以是1:1，即，每个投影的点可以由照相机102中的恰好一个像素捕获。如果4×4像素窗口叠加在基础光图案108上并且水平地滑动(在边缘处具有包装)，将存在48个独特图案。如果在4×4像素窗口水平地滑动的同时4×4像素窗口在图案108(具有包装)的高度的四个像素之上向上或向下垂直滑动，将存在总共192个独特图案。具有与4×4像素不同的像素窗口是可能的。在一个实施例中，图1A的参考光图案104可以通过将基础光图案108在水平方向上重复十次并在垂直方向上重复160次形成。
在这里公开的一个实施例中，处理装置103可以通过使用硬编码模板匹配技术将图像补丁与参考光图案104的补丁匹配来生成深度图107的估计深度信息，其中，匹配技术的复杂性是O(P)并且P可以是匹配的补丁的尺寸。在这里公开的另一实施例中，处理装置103可以基于图像补丁与参考光图案104的补丁匹配的概率通过将图像补丁与参考光图案104的补丁匹配来生成估计深度信息，其中，匹配技术的复杂性是O(P)。在这里公开的又一实施例中，处理装置103可以通过参照可以包含图像补丁与参考光图案104的补丁匹配的概率信息的查找表(LUT)来生成估计深度信息，其中，匹配技术的复杂性可以由O(1)表示。
1、硬编码模板匹配。
根据本发明的实施例，可以使用硬编码模板匹配技术的直接计算方法来执行将图像补丁与参考光图案104的补丁匹配。为了计算的目的，参考光图案104可以由1和0的图案表示，这可以极大简化补丁比较的计算。
三种不同计算技术中的一种可以用于将图像补丁与参考光图案的补丁匹配。第一计算技术可以基于匹配分数基于图像补丁与参考补丁之间的像素的绝对差的总和来确定的绝对差和(SAD)方法。第二计算技术可以基于平方差和(SSD)方法。第三计算技术可以基于归一化交叉相关(NCC)方法。
为了示出根据这里公开的实施例的直接计算方法的优点，将参照图2A和图2B来比较用于将图像补丁与参考补丁匹配的其他直接计算方法和根据本发明的实施例的直接计算方法。
图2A是描述可以容纳在立体照相机***中的两个4×4图像补丁的概念图。最左侧的图像输入补丁P将与最右侧的图像参考补丁Q匹配。考虑到诸如参考光图案104的参考光图案已经投影到图像上，投影的参考光图案出现在最左侧图像输入补丁P和最右侧图像输入补丁Q两者中。
可以用于生成对应输入补丁P和Q的匹配分数的SAD匹配计算可以使误差函数Ek最小化。SAD匹配计算可以通过下面的等式(1)描述。
在等式(1)中，(i，j)可以是补丁内的像素位置，k可以是与参考光图案的补丁对应的补丁标识ID：[1,192]。对于该示例，认为补丁标识k与具有192个独特图案的参考光图案104有关。
对于根据等式(1)的SAD方法，确定单个图像输入补丁P相对于单个图像补丁Qk的误差函数Ek的总计算负担可以涉及4×4×2×192＝6144次加法运算。
与根据等式(1)的方法相反，参照图2B，可以描绘根据本发明的实施例的SAD直接计算技术。在图2B中，左侧上的补丁可以是包括投影的参考光图案104的4×4输入图像补丁P。右侧上的补丁可以是作为来自参考光图案104的4×4补丁的二进制表示的示例4×4二进制参考补丁Qk。包含“A”的二进制参考补丁Qk中的像素中的每个可以表示二进制“0”(即，黑色)。包含“B”的二进制参考补丁Qk中的像素中的每个可以表示二进制“1”(即，白色)。
使用二进制图案，使误差函数最小化可以重新用公示表示为仅在参考图案中为“1”的像素的求和运算。根据这里公开的一个实施例，可以用于生成图像输入补丁P相对于参考光图案补丁的匹配分数的简化的SAD匹配计算可以为使误差函数Ek最小化。使误差函数Ek最小化的简化的SAD匹配计算可以由下面的等式(2)描述。
在等式(2)中，(i，j)可以是输入补丁P内的像素位置，k可以是与参考光图案104的补丁对应的补丁标识ID：[1,192]，Bk可以是参考补丁Qk中具有1的值的像素集，||Bk||可以是参考补丁Qk中的1的计数，Psum可以是补丁P中的所有像素值的总和。当||Bk||对于每个二进制参考补丁已知，并且可以预先计算Psum(并且参考像素图案中的1的平均数为8)时，单个图案与图案比较所需的加法数可以从32减小到大约8。
因此，对于根据等式(2-3)的SAD方法，确定单个图像输入补丁P相对于图像参考补丁Qk的误差函数Ek的总计算负担可以涉及8的平均值||Bk||的8×192次加法运算。为了进一步减少计算运算的数量，可以预先计算Psum。
再次参照图2A，可以用于使误差函数Ek最小化的典型的平方差和(SSD)匹配计算可以由下面的等式(3)描述。
在等式(3)中，(i，j)可以是补丁内的像素位置，k可以是与参考光图案104的补丁对应的补丁标识ID：[1,192]。
对于根据等式(3)的典型的SSD方法，确定单个图像输入补丁P相对于图像参考补丁Qk的误差函数Ek的总计算可以涉及4×4×2×192＝6144次加法运算。
参照图2B并且与基于上面的等式(3)的SSD方法相比，根据这里公开的实施例的使误差函数Ek最小化的简化的SSD匹配计算可以由下面的等式(4)描述。
在等式(4)中，(i，j)可以是输入补丁P内的像素位置，k可以是与参考光图案104的补丁对应的补丁标识ID：[1,192]，Bk可以是二进制参考补丁Qk中具有1的值的像素集，||Bk||可以是二进制参考补丁Qk中的1的计数，Psum可以是补丁P中的所有像素值的总和。参考等式(4)，可以基于参考光图案中的白色补丁的计数和参考光图案中的黑色补丁的计数的平方来确定误差函数Ek。
对于根据等式(4)的简化的SSD方法，确定单个图像输入补丁P相对于图像参考补丁Qk的误差函数Ek的总计算负担可以涉及8的平均值的||Bk||大约8×192次加法运算。为了进一步减少补偿运算的数量，可以预先计算||Bk||和P2 sum两者。
再次参照图2A，使误差函数Ek最小化的归一化交叉相关(NCC)匹配计算可以由下面的等式(5)描述。
在等式(5)中，(i，j)可以是补丁内的像素位置，k可以是与参考光图案104的补丁对应的补丁标识ID：[1,192]。
对于根据等式(5)的NCC方法，确定单个图像输入补丁P相对于图像参考补丁Qk的误差函数Ek的总计算负担可以涉及等于6144次运算的4×4×192次乘法运算加4×4×192次加法运算。
参照图2B，与基于上面的等式(5)的NCC方法，根据这里公开的实施例的使误差函数Ek最小化的简化的NCC匹配计算可以由下面的等式(6)描述。
在等式(6)中，(i，j)可以是输入补丁P内的像素位置，k可以是与参考光图案104的补丁对应的补丁标识ID：[1,192]，||Bk||可以是二进制参考补丁Q中的白色补丁的总和。参考等式(6)，可以基于二进制参考补丁中的黑色补丁的计数除以白色补丁的计数来确定误差函数Ek。
这里公开的简化的NCC技术可以使用一个除法运算进行归一化。因为||Bk||可以采用五个不同的整数值(具体地，6-10)，除法运算可以延迟直至比较匹配分数。因此，192个匹配分数可以基于它们的||Bk||值被分成五个组，可以在每个组中找到最高的匹配分数。只有当比较五个组中的每个组之中的最高分数时才需要执行分割，这仅需要进行五次。因此，对于根据等式(6-2)的NCC方法，确定单个图像输入补丁P相对于图像参考补丁Qk的误差函数Ek的总计算负担可以涉及等于总共389次运算的5次乘法运算加2×192次加法运算。与这里公开的SAD方法和SSD方法相似，可以预先计算P2 sum。
图3是描绘根据本发明的实施例的用于使用硬编码模板匹配技术确定深度信息的过程的流程图。在301处，可以开始该过程。在302处，可以接收具有投影的参考光图案的图像。在一个实施例中，投影的参考光图案可以是参考光图案104。在303处，可以从接收的图像提取补丁。在304处，可以使用这里公开的简化的SAD、SSD或NCC技术将每个图像补丁与参考光图案补丁匹配。在305处，可以确定每个图像补丁与匹配参考光图案补丁之间的视差。在306处，可以确定每个图像补丁的深度信息。在307处，可以结束该过程。
可以通过从一个参考补丁到下一个参考补丁递增地计算项来进一步减少这里公开的三种简化的直接计算匹配技术中的每个的运算的数量。例如，如果针对图4中描绘的参考补丁401递增地计算项那么参考补丁402的项的计算可以仅增加两次加法运算。因此，通过从一个参考补丁到下一个参考补丁递增地计算项可以显著减少运算的数量。
具体地，参考补丁401可以包括六个1(即，六个白色像素)。参考补丁402可以包括八个1(例如，八个白色像素)。参考补丁401与参考补丁402之间的1的数量之间的差可以是2，所以参考补丁402中的1的数量的值可以比参考补丁401中的1的数量的值大2。当考虑参考补丁403时，因为参考补丁402和参考补丁403两者包括八个1，所以可以不增加额外的加法运算。平均而言，加法运算的增量数量可以是2。因此，使用该增量法，匹配所有独特图案所需的加法运算的总数量可以减少到2×192，其中，这里公开的简化的SAD技术可以比根据等式(3)的SAD技术快16倍。
可以通过处理装置103使用基于等式(2-3)、(4-3)和(6-2)中的任何一个确定的图像输入补丁与匹配参考补丁之间的视差来生成深度图107的深度信息。
2、基于概率的图案相关性。
为了基于图像输入补丁与参考光图案(诸如参考光图案104)补丁匹配的概率生成估计深度信息，可以使用基于贝叶斯规则的图案相关性。也就是说，可以使用贝叶斯规则来确定图像输入补丁属于参考光图案补丁的类c的概率。估计属于类c的4×4区块T(或补丁)的概率P的简化方式可以由下面的等式(7)描述。
log(P(c|T))＝log(ΠP(t|c))＝∑log(P(t|c)) (7)
在等式(7)中，t可以是值为1的像素。
如由等式(7)的中间项所表示的，不执行乘法，如等式(7)的最右项所表示的，图像输入补丁属于参考光图案补丁的类c的概率可以通过仅使用加法运算来确定。因此，概率P(c|T)可以由概率之和而不是由概率的乘积来表示。对于192个尺寸为4×4像素的独特图案，t可以采用值[0,15]，c可以采用值[1,192]。可以形成16×192矩阵M，其中每个条目表示log(P(t|c))。当要对图像输入补丁进行分类时，图像输入补丁可以与矩阵M每列相关，以获得每类的概率log(P(t|c))。具有最高概率的类可以与最终匹配的类对应。矩阵M条目可以从每个参考像素的深度值为已知的结构光图像形成的数据集学习。可选择地，矩阵M可以通过线性优化技术或通过神经网络形成。图案相关性法的性能可以基于可以学习矩阵M的程度。
图5是描绘根据本发明的实施例的用于基于图像输入补丁属于参考光图案补丁的类c的概率来估计深度信息的过程的概念图。在501处，图像输入补丁可以二值化为0和1，这可以通过归一化T并以0.5阈值化以形成元素[0,1]来完成。然后，二值化的输入补丁可以布置为1×16矢量。矢量T和矩阵M可以在502处相乘以在503处形成表示输入补丁是特定参考光图案补丁的概率的1×192个元素直方图H。
可以通过处理装置103使用通过使用图5中描绘的方法确定的图像输入补丁与匹配参考补丁之间的视差以生成深度图107的深度信息。
3、通过查找表的图案分类。
通过处理装置103生成的估计深度信息也可以通过使用查找表(LUT)生成，以将图像输入补丁分类为属于类c。也就是说，可以生成包含图像补丁属于参考光图案的补丁的类c的概率信息的LUT。
在一个实施例中，LUT可以具有216个键以考虑所有可能的4×4二值化输入图案。如结合图5所描述的，用于生成与每个键对应的值的一种技术可以基于图像输入补丁属于类c的概率。
图6是描绘根据本发明的实施例的使用用于生成图像输入补丁属于类c的概率的LUT的过程的概念图。在图6中，4×4图像输入补丁601可以在602处被二值化并矢量化以形成预先计算的相关性分数表604的键603。表604的每行可以包含图像输入补丁属于类c的概率的直方图605的值。在图6中描绘的示例中，图像输入补丁601可以被二值化并矢量化以形成示例键<0，0，...，0，1，0>。该示例键的直方图605在606处表示。对于图6中描绘的示例，LUT 604中的条目的总数可以是216行×192列＝12MB。
在图像输入补丁为大的实施例中，与图6中的LUT 604对应的LUT对于诸如智能电话的手持装置会变得非常大。如果例如图像输入补丁是8×8输入补丁，与LUT 604对应的LUT可以包括8.712GB条目。为了避免具有这样大的尺寸的LUT，大图像输入补丁可以被分成用作与LUT 604对应的LUT的键的诸如4×4子补丁的小补丁。可以完成输入补丁的划分以提供单独的和不同的子补丁或通过使用滑动窗口来完成。
图7是描绘根据本发明的实施例的清楚地细分大图像输入补丁并使用用于生成图像输入子补丁属于类c的概率的LUT的过程的概念图。在图7中，8×8图像输入补丁701可以细分为四个子补丁701a-701d。四个子补丁均可以在702处被二值化并被矢量化以分别形成预先计算的相关性分数表704的单独的示例键703。表704的每行可以包含图像输入子补丁属于类c的概率的直方图的值。在图7中描绘的示例中，图像输入子补丁701a-701d均可以被二值化并被矢量化以形成单独的键。可以在705处使用判决过程以确定8×8图像输入补丁701的特定概率直方图706。判决过程可以例如选择接收最多投票的概率直方图。对于图7中描绘的示例，LUT 704中的条目的总数可以是216行×192列＝12MB。如果例如滑动窗口过程可选择地用于细分大图像输入补丁，那么在图7中描绘的过程可以基本以相同的方式操作。
可以用包含预先计算的类标识的LUT代替LUT 604(或LUT 704)来进一步减小LUT的总尺寸。图8是描绘根据本发明的实施例的使用仅包含可以用于确定图像输入补丁属于类c的预先计算的类标识(ID)的LUT的过程的概念图。在图8中，4×4图像输入补丁801可以在802处被二值化并被矢量化以形成预先计算的类ID表804的键803。表804的每行可以包含图像输入子补丁的预先计算的类ID。在图8中描绘的示例中，图像输入补丁801可以在802处被二值化并被矢量化以形成示例键<0，0，...，0，1，0>。该示例键的预测类ID可以在806处表示。对于8图中描绘的示例，LUT 804中的条目的总数可以是216行×1列＝65,536。
图9是描绘根据本发明的实施例的使用滑动窗口细分大图像输入补丁并使用包含预先计算的类标识的LUT的过程的概念图。在图9中，8×8图像输入补丁901可以被细分成64个4×4子补丁，其中，仅描绘了子补丁901a-901d。子补丁均可以在902处被二值化并被矢量化以分别形成预先计算的类ID表904的单独的键903。在905处的64输入判决过程可以用于生成8×8图像输入补丁901的概率直方图906。对于图9中描绘的示例，LUT 904中的条目的总数可以是216行×1列＝65,536。
图10是描绘根据本发明的实施例的用于基于图像输入补丁与参考光图案补丁匹配的概率来确定深度信息的过程的流程图。在1001处，可以开始该过程。在1002处，可以接收具有投影的参考光图案的图像。在一个实施例中，投影的参考光图案可以是参考光图案104。在1003处，可以将接收的图像分成补丁，可以使每个补丁二值化。在1004处，可以基于图像输入属于参考光图案补丁的特定类c的概率将每个图像补丁与参考光图案补丁匹配。在一个实施例中，可以使用概率矩阵M来完成匹配以形成表示输入补丁是特定参考光图案补丁的概率的直方图H，诸如在图5中描绘的过程。在另一实施例中，可以使用用于生成图像输入补丁属于类c的概率的LUT来完成匹配。LUT可以实施为预先计算的相关性分数表，其中，LUT的每行包含图像输入补丁属于类c的概率的直方图的值，诸如在图6中描绘的过程。在又一实施例中，图像输入补丁属于类c的确定可以涉及诸如在图7或图9中描绘的过程的判决过程。在又一实施例中，LUT可以实施为诸如在图8或图9中描绘的预先计算的类ID表。
在1005处，可以确定每个图像补丁与匹配参考光图案补丁之间的视差。在1006处，可以确定每个图像补丁的深度信息。在1007处，可以结束该过程。
表1阐述了立体匹配法与这里公开的匹配法之间的一些定量比较。立体匹配法的计算复杂性可以由O(P*S)表示，其中，P是补丁尺寸并且S是搜索尺寸。立体匹配法的速度可以作为基线1X，所需的存储器的量可以是2MB。
表1定量比较
这里公开的匹配法的计算可以比其他匹配法简单并且比其他匹配法快。取决于使用哪种方法，这里公开的匹配法的存储器的量可以使用的存储量可以显著比其他匹配法使用的存储器的量小。
图11是描绘通过在基础光图案108(来自图1B)之上滑动4×4像素窗口获得的192个独特的子图案的相应的示例分类标识数(ID)的概念图。96个分类ID可以在基础光图案108上方表示，96个分类ID可以在基础光图案108下方表示。
如果例如4×4像素窗口1101位于基础光图案108的左上侧，那么像素窗口中的子图案的相应的分类ID可以是1。如果4×4像素窗口1101向下滑动一行，那么像素窗口中的子图案的相应的分类ID可以是2等。如果4×4像素窗口1102位于基础光图案108的右下侧，那么像素窗口中的子图案的相应的分类ID可以是192。其他分类ID是可能的。
为了延长参考光图案104(来自图1A)的最大视差，可以旋转光图案104。然而，这样的方法具有缺点，因为投影的光点不再均匀地采样，导致参考光图案与捕获的图像之间的不匹配增加。例如，如果旋转参考光图案，那么两个旋转点的离散中心可以位于距样本像素位置的中心基本相同的距离处。然后，确定变得难以辨别哪个点应该被识别为两个点在样本像素位置处为更好的，并且可能导致子图案的不正确的分类ID。这样的情况在这里可以称为碰撞。此外，必须限制由于旋转的参考光图案与捕获的图像之间的增加的不匹配的极线假设。如果参考光图案已经旋转，为了减少不匹配的数量，需要更精确的失真校正和对准。
代替旋转参考光图案，这里公开的主题的一个实施例可以使基础光图案的每个连续列的点在给定的水平方向上向下移位或重新映射跨越基础光图案的水平宽度的预定量。另一实施例可以使基础光图案的每个连续列的点在给定的水平方向上向上移位跨越基础光图案的宽度的预定量。可以通过将具有移位或重新映射的点的基础光图案108在水平方向上重复十次并且在垂直方向上重复160次来形成参考光图案。重新映射的参考光图案减少了像素采样不均匀性并且放松了极线限制，从而提供了比由已经旋转的参考光图案提供的噪声小且精确的3D图像。
在一个实施例中，如下面的等式(8)中所示，可以相对于相邻列重新映射基础光图案108的点。
在等式中(8)，x和y是基础光图案中点的原始坐标，x′和y′是重新映射的基础光图案中的移位点的新坐标，m是移位因子。
图12是描绘根据这里公开的主题的具有已经基于移位因子重新映射的点的基础光图案的概念图。基础光图案1200在水平方向(即，x方向)上可以具有48个点宽，每列在垂直方向(即，y方向)上可以是四个点高，其中，每个点列可以相对于紧靠左侧的点列通过移位因子m重新映射。在图12中描绘的示例中，移位因子m可以是10％。也就是说，每列的点可以从紧靠左侧的列向下移位10％。可以使用其他移位因子。为了简洁起见，点与像素的比例可以是1:1，使得每个投影点可以由相机中的恰好一个像素捕获。虽然图12中的列已经相对于紧靠左侧的列向下移位，但是可选择地，列可以相对于紧靠左侧的列向上移位(例如，如果m<0)。
图13是描绘根据这里公开的主题的重新映射基础光图案的点的过程的流程图。该过程可以在1301处开始。在1302处，可以识别基础光图案的最左侧的点列。在1303处，可以选择向右的下一点列。在1304处，可以通过移位因子m使当前选择的列的点移位。在1305处，可以确定是否已经处理了基础光图案的所有列。如果没有处理基础光图案的所有列，那么流程可以返回到1303。如果已经处理了参考光图案的所有列，那么流程可以继续到该过程结束的1306。在另一实施例中，该过程可以在基础光图案的最右侧的点列开始并向左工作。虽然以特定顺序(即，从左向右)描述了图13中的过程1300，但应该理解，用于提供点移位的顺序可以是任意的。也就是说，每个点可以以任意顺序移位。
图14A和图14B是描绘根据这里公开的主题的参考光图案1401的一部分的子图案的示例分类ID的布置和已经重新映射以形成参考光图案1401'的参考光图案1401的一部分的子图案的示例分类ID的布置的概念图。更具体地，图14A描绘了形成参考光图案1401的不同子图案的分类ID，而图14B描绘了重新映射的参考光图案1401'的不同子图案的分类ID。图14A中描绘的参考光图案1401的分类ID的顶行可以以灰色突出，以更容易地看到在图14B中描绘的参考光图案1401'中已经重新映射的分类ID的顶行。
为了进一步说明根据这里公开的主题的已经重新映射的参考光图案的优点，图15A至图15C是描绘实际可能发生的像素采样情况的概念图。图15A至图15C中，点尺寸可以是大约2μm，像素尺寸可以是大约1μm，导致像素与点的比例为大约1:2。应注意的是，像素与点的其他比例是可能的。
在图15A中，相对于示例采样像素位置1502示出了未旋转和未重新映射的参考光图案的示例4×4补丁的点或部分1501。虽然示例采样像素位置1502不与点1501完全对齐，但是因为样本像素位置1502在点1501上的叠置是相对均匀的，所以将确定示例4×4补丁的分类ID的概率为高。
在图15B中，相对于示例性采样像素位置1504示出了旋转的参考光图案的示例4×4补丁的点或部分1503。参考光图案的旋转会导致样本像素位置1504在点1503上的叠置为不相对均匀的。一些样本像素位置1504可以捕获比其他样本像素位置多的点1503。因此，从旋转点1503和样本像素位置1504生成的获得的3D图像会比由图15A中的点1501和样本像素位置1502生成的获得3D图像相对噪声大且相对不准确。
在图15C中，相对于示例采样像素位置1506示出了重新映射的参考光图案的示例4×4补丁的点或部分1505。参考光图案的点的重新映射可以引起样本像素位置1506在点1505上的叠置为相对均匀的，同时也提供扩展的视差。此外，可以显著减少碰撞的情况。因此，从重新映射点1505和样本像素位置1506生成的获得的3D图像可以比由图15B中的旋转点1503和样本像素位置1504生成的获得的3D图像相对噪声小并且相对更精确。应注意的是，样本像素位置1506也被重新映射以与参考光图案的点的重新映射对应。
根据这里公开的主题，基础光图案的另一实施例可以提供已经在垂直方向上拉伸的点。图16A和图16B是描绘基础光图案108和其中点已经在垂直方向上通过拉伸因子k拉伸的参考光图案元素1600的概念图。通过在垂直方向上拉伸参考光图案元素，深度估计可以变得对极线违反更鲁棒，因此可以增加***鲁棒性和准确性。
一个实施例中，如下面的等式(9)中所示，基础光图案的点可以在垂直方向上拉伸。
在等式(9)中，x和y是参考光图案元素中的点的原始坐标，x′和y′是参考光图案元素中的拉伸的点的新坐标，k是拉伸因子。与图16A中的基础光图案108的点相比，图16B中的参考光图案1600的点或部分可以通过因子2拉伸。可以通过拉伸基础光图案的点观察到的折衷(trade-off)是深度图像可以具有减小的垂直分辨率。在该情况下，取决于它们在参考光图案中的位置，可以不均匀地拉伸点。例如，图像中心的图案可以是未拉伸的，而远离中心的图案可以逐渐拉伸。结果可以是围绕中心区域的完全水平/垂直分辨率和朝向图像边界的减小的垂直分辨率。
重新映射并拉伸基础光图案的点可以如下面的等式(10)中那样组合。
在等式(10)中，x和y是基础光图案中的点的原始坐标，x′和y′是基础光图案中的拉伸的点的新坐标，m是移位因子，k是拉伸因子。
图17是描绘根据这里公开的主题的重新映射基础光图案的点或部分的过程的流程图。该过程可以在1701处开始。在1702处，可以通过拉伸因子k拉伸参考光图案元素的所有点。该过程可以在1703处结束。
图18是描绘根据这里公开的主题的具有已经重新映射并拉伸的点或部分的基础光图案的概念图。基础光图案1800可以在水平方向(即，x方向)上具有48个点宽，每列在垂直方向(即，y方向)上可以是四个点高，其中，每个点列可以通过移位因子m相对于紧靠左侧的点列重新映射。在图18中描绘的示例中，移位因子m可以是10％，拉伸因子k可以是2。
图19A和图19B是描绘根据这里公开的主题的拉伸的参考光图案1901的一部分的子图案的示例分类ID的布置和已经重新映射并拉伸以形成参考光图案1901'的参考光图案1901的一部分的子图案的示例分类ID的布置的概念图。也就是说，图19A描绘了形成具有拉伸的点的参考光图案1901的不同子图案的分类ID，而图19B描绘了重新映射并拉伸的参考光图案1901'的不同子图案的分类ID。图19A中描绘的参考光图案1901的分类ID的顶行已经以灰色突出，以更容易地看到在图19B中描绘的参考光图案1901'中已经重新映射的分类ID的顶行。
图20A是描绘可以被结构光***使用并且不补偿会由***增加的模糊的示例参考光图案的概念图。在一个实施例中，示例参考光图案2000可以与参考光图案104对应。示例参考光图案2000可以包括尖锐边缘和图案的白色区域和黑色区域之间的高对比度。如图20B中所描绘的示例参考光图案2001，结构光***的组件(诸如光源、漫射器、光图案膜、相机镜头和QIS图像传感器的像素)会增加模糊。模糊会降低黑/白点的局部对比度，从而使得图案匹配更困难。图20C是描绘参考光图案2002在捕获之后如何对***显现的概念图。如果光太强(即，投影仪光源加环境光)、积分时间设置得太长或者像素全阱容量太小，那么捕获的图像的像素会容易饱和。结果，如图20C中所描绘的，参考图案的白点会扩展，而黑点会缩小，使得参考图案会变得失真。
可以对***模糊进行建模。例如，考虑其中投影仪的焦比(即，f比或f光圈)为2.0、相机的焦比为2.4并且传感器的像素间距为1.0μm的示例结构光***。图21A是描绘用于3:1的像素与点比和50个电子的像素全阱计数的示例7×7***模糊核2100的概念图。***模糊核2100可以用于通过在理想参考光图案上卷积核来对捕获的参考光图案的模糊效果建模以模糊理想参考光图案的尖锐边缘和高对比度。图21B是描绘图21A的示例7×7***模糊核的3D图像2101的概念图。在图21B中，水平刻度以像素为单位，垂直刻度已归一化为100。
在核2100的中心处，模糊可以是0.2350，水平或垂直地远离中心仅一个像素处，模糊可以是0.1112。因此，远离中心一个像素的模糊可以具有中心像素的值的一半。在水平或垂直地远离中心像素两个像素处，模糊可以是0.0133。围绕中心像素的模糊核的值对围绕中心像素的像素起作用，使得它们也可以接收由***模糊引起的一些电子或光子。例如，如果中心像素是白色像素，那么模糊核操作为增大捕获的白色像素的尺寸，而如果中心像素是黑色像素，那么模糊核的效果会显著减少。因此，如果传感器的像素的全阱值相对低，那么像素会容易饱和。如果白色中心像素变得饱和，并且在中心白色像素周围邻近的一个像素也会变得饱和。与黑色像素邻近的像素可以基本上不显著受影响。结果，诸如图20C中所描绘的，白色像素会有效地扩展并造成信息丢失。
为了补偿会由结构光***增加的模糊，可以相对于参考光图案的黑点减少或缩小白点。图22A是描绘黑点与白点的尺寸的比例是3:1的示例基础参考光图案元素的概念图。为了便于比较，图22B是描绘参考基础光图案的概念图(见图1B)。黑点与白点的尺寸的其他比例是可能的。
可用于减小白点相对于黑点的尺寸的一个示例技术可以是使用逆高斯函数对模糊图案进行去卷积。可以使用的另一示例技术可以是将白点形成为骨架型图案。也可以使用其他技术。
图23是描绘根据这里公开的主题的用于减小参考光图案的白点相对于黑点的尺寸的过程的流程图。该过程可以从2301开始。在2302处，参考光图案元素的所有白点可以相对于参考光图案的黑点在尺寸上减小。在2303处，该过程可以结束。
图24A是描绘根据这里公开的主题的已经补偿了模糊的参考光图案的概念图。具体地，参考光图案2400可以包括已经相对于黑点的尺寸在尺寸上减小的白点。图24B是描绘其中已经由***增加了模糊的参考光图案2400'的概念图。图24C是描绘更接近地类似于理想基础光图案108'的捕获的图像2401的概念图。
表2阐述了包括3840×2880像素QIS传感器的极线结构光***中的QIS传感器的模拟结果，该QIS传感器具有以30帧/秒操作的1μm像素间距。
表2感测的电子的模拟结果
如表2的最左列中所示，平均环境光强度可以是50Klux，并且左起第二列中的峰值投影光强度可以是4W。基于环境光水平累积或感测的电子的数量可以在第四列中示出为9749个电子(或光子)。对于距QIS传感器4米距离处的反射，从投影的光收集或感测的额外电子的数量可以是269个电子。对于距QIS传感器1米距离的反射，可以收集或感测额外的4291个电子，在0.3米的距离处，可以收集或感测额外的47,685个电子。对于0.3米距离处的反射，QIS传感器可能具有大量的饱和像素。还考虑图21A的模糊核2100，与白色像素邻近的许多像素也将在0.3米的反射距离处饱和，导致捕获的图像非常类似于图20C中描绘的图像。通过经由减小如这里公开的参考光图案中的白点的尺寸相对于黑点的尺寸来补偿模糊，可以减少饱和的像素的数量。此外，还可以通过补偿模糊来减少传感器的像素的全阱特性，这转而还可以降低将感测的光子转换为数字信号所需的功率。
图25A是描绘黑点与白点的尺寸的比例是3:1且点已经通过拉伸因子k在垂直方向上拉伸以形成基础光图案108的示例性基础光图案2501的概念图。对于基础光图案2501，拉伸因子k可以是2。可以使用黑点与白点的尺寸的其他比例，并且可以使用其他拉伸因子k。
图25B是描绘黑点与白点的尺寸的比例是3:1且点已经通过移位因子m重新映射以形成基础光图案108的示例基础光图案2502的概念图。对于基础光图案2502，移位因子m可以是5％。可以使用黑点与白点的尺寸的其他比例，并且可以使用其他移位因子m。
图25C是描绘黑点与白点的尺寸的比例为3:1、点已经通过移位因子m重新映射且点已经通过拉伸因子k在垂直方向上拉伸以形成基础光图案108的示例基础光图案2503的概念图。对于基础光图案2503，拉伸因子k可以是2，并且移位因子m可以是5％。可以使用黑点与白点的尺寸的其他比例，可以使用其他拉伸因子k，并且可以使用其他移位因子m。
如本领域技术人员将认识到的，这里描述的创新构思可以在广泛的应用范围内进行修改和变化。因此，要求保护的主题的范围不应限于上面讨论的任何特定示例性教导，而是由所附权利要求限定。

Claims (20)

1.一种用于结构光***的结构光图案，所述结构光图案包括：
基础光图案，包括在第一方向上延伸的一行子图案，每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同，每个子图案包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分，其中，第一参考数量是整数，第二参考数量是整数，每个子行在第一方向上延伸，每个子列在与第一方向正交的第二方向上延伸，每个部分还包括第一类型部分或第二类型部分，第一类型部分在第一方向上和在第二方向上的尺寸大于第二类型部分在第一方向上和在第二方向上的尺寸。
2.根据权利要求1所述的结构光图案，其中，第一类型部分包括黑色部分，第二类型部分包括白色部分。
3.根据权利要求1所述的结构光图案，其中，结构光图案从物体反射并且包括相对于参考结构光图案的视差。
4.根据权利要求1所述的结构光图案，其中，第一类型部分在第一方向上和在第二方向上的尺寸是第二类型部分在第一方向上和在第二方向上的尺寸的三倍。
5.根据权利要求4所述的结构光图案，其中，子图案包括48个子图案。
6.根据权利要求5所述的结构光图案，其中，第一参考数量是4，第二参考数量是4。
7.根据权利要求4所述的结构光图案，其中，多个结构光图案以第一多个列来布置，每列包括第二多个结构光图案。
8.根据权利要求1所述的结构光图案，其中，基础光图案的在子列中对齐的部分与基础光图案的在相邻子列中对齐的部分在第二方向上偏移。
9.根据权利要求8所述的结构光图案，其中，基础光图案中的每个子图案在第二方向上的尺寸通过拉伸因子大于每个子图案在第一方向上的尺寸。
10.根据权利要求1所述的结构光图案，其中，基础光图案中的每个子图案在第二方向上的尺寸通过拉伸因子大于每个子图案在第一方向上的尺寸。
11.一种用于结构光***的结构光图案，所述结构光图案包括：
基础光图案，包括在第一方向上延伸的一行子图案，每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同，每个子图案包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分，其中，第一参考数量是整数，第二参考数量是整数，每个子行在第一方向上延伸，每个子列在与第一方向正交的第二方向上延伸，每个部分还包括黑色部分或白色部分，黑色部分在第一方向上和在第二方向上的尺寸大于白色部分在第一方向上和在第二方向上的尺寸。
12.根据权利要求11所述的结构光图案，其中，结构光图案从物体反射并且包括相对于参考结构光图案的视差。
13.根据权利要求11所述的结构光图案，其中，黑色部分在第一方向上和在第二方向上的尺寸是白色部分在第一方向上和在第二方向上的尺寸的三倍。
14.根据权利要求13所述的结构光图案，其中，多个结构光图案以第一多个列来布置，每列包括第二多个结构光图案。
15.根据权利要求11所述的结构光图案，其中，基础光图案的在子列中对齐的部分与基础光图案的在相邻子列中对齐的部分在第二方向上偏移。
16.根据权利要求15所述的结构光图案，其中，基础光图案中的每个子图案在第二方向上的尺寸通过拉伸因子大于每个子图案在第一方向上的尺寸。
17.根据权利要求11所述的结构光图案，其中，基础光图案中的每个子图案在第二方向上的尺寸通过拉伸因子大于每个子图案在第一方向上的尺寸。
18.一种用于结构光***的结构光图案，所述结构光图案包括：
基础光图案，从物体反射并且包括相对于参考结构光图案的视差，参考结构光图案从基础光图案形成，基础光图案包括在第一方向上延伸的一行子图案，每个子图案与至少一个其他子图案相邻，每个子图案与每个其他子图案不同，每个子图案包括在子行中的第一参考数量的部分和在子列中的第二参考数量的部分，其中，第一参考数量是整数，第二参考数量是整数，每个子行在第一方向上延伸，每个子列在与第一方向正交的第二方向上延伸，每个部分还包括第一类型部分或第二类型部分，第一类型部分在第一方向上和在第二方向上的尺寸大于第二类型部分在第一方向上和在第二方向上的尺寸。
19.根据权利要求18所述的结构光图案，其中，第一类型部分在第一方向上和在第二方向上的尺寸是第二类型部分在第一方向上和在第二方向上的尺寸的三倍。
20.根据权利要求19所述的结构光图案，其中，基础光图案的在子列中对齐的部分与基础光图案的在相邻子列中对齐的部分在第二方向上偏移，基础光图案中的每个子图案在第二方向上的尺寸通过拉伸因子大于每个子图案在第一方向上的尺寸。
CN201811539734.1A 2017-12-12 2018-12-11 用于qis传感器的高对比度结构光图案 Active CN109919850B (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201762597904P 2017-12-12 2017-12-12
US62/597,904 2017-12-12
US201862623527P 2018-01-29 2018-01-29
US62/623,527 2018-01-29
US15/907,242 2018-02-27
US15/907,242 US10740913B2 (en) 2017-12-12 2018-02-27 Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US15/928,081 US11297300B2 (en) 2018-01-29 2018-03-21 Robust structured-light patterns for 3D camera system
US15/928,081 2018-03-21
US201862648372P 2018-03-26 2018-03-26
US62/648,372 2018-03-26
US16/003,014 US11262192B2 (en) 2017-12-12 2018-06-07 High contrast structured light patterns for QIS sensors
US16/003,014 2018-06-07

Publications (2)

Publication Number Publication Date
CN109919850A true CN109919850A (zh) 2019-06-21
CN109919850B CN109919850B (zh) 2024-07-05

Family

ID=66734691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811539734.1A Active CN109919850B (zh) 2017-12-12 2018-12-11 用于qis传感器的高对比度结构光图案

Country Status (3)

Country Link
US (2) US11262192B2 (zh)
KR (1) KR102581393B1 (zh)
CN (1) CN109919850B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034565B (zh) * 2021-03-25 2023-07-04 奥比中光科技集团股份有限公司 一种单目结构光的深度计算方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101957994A (zh) * 2006-03-14 2011-01-26 普莱姆传感有限公司 三维传感的深度变化光场
KR20130028594A (ko) * 2011-09-09 2013-03-19 엘지전자 주식회사 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
CN104457607A (zh) * 2014-12-10 2015-03-25 东北大学 一种面向深度测量的沙漏码结构光的编解码方法
US20150103358A1 (en) * 2012-03-09 2015-04-16 Galil Soft Ltd. System and method for non-contact measurement of 3d geometry
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
JP2016024052A (ja) * 2014-07-18 2016-02-08 国立大学法人 鹿児島大学 ３次元計測システム、３次元計測方法及びプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615003A (en) 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5867250A (en) 1996-05-03 1999-02-02 Baron; William S. Apparatus and method for optically mapping front and back surface topographies of an object
AU3991799A (en) 1998-05-14 1999-11-29 Metacreations Corporation Structured-light, triangulation-based three-dimensional digitizer
US6891627B1 (en) 2000-09-20 2005-05-10 Kla-Tencor Technologies Corp. Methods and systems for determining a critical dimension and overlay of a specimen
JP4213527B2 (ja) * 2003-06-25 2009-01-21 株式会社日立製作所 立体形状計測装置
JP2006098252A (ja) 2004-09-30 2006-04-13 Brother Ind Ltd ３次元情報取得方法
KR100648656B1 (ko) 2004-12-14 2006-11-24 삼성전자주식회사 오차확산 처리방법 및 그 처리장치
WO2006107928A2 (en) 2005-04-06 2006-10-12 Dimensional Photonics International, Inc. Multiple channel interferometric surface contour measurement system
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US7448009B2 (en) 2006-01-03 2008-11-04 Texas Instruments Incorporated Method of leakage optimization in integrated circuit design
WO2007087405A2 (en) 2006-01-24 2007-08-02 The Trustees Of Columbia University In The City Of New York Capturing scene images and depth geometry and generating a compensation image
US20080037044A1 (en) 2006-08-08 2008-02-14 Xerox Corporation Methods for background and noise suppression in binary to grayscale image conversion
KR20090108588A (ko) 2006-10-31 2009-10-15 오와이 모디네스 리미티드 조명 디바이스용 광 외부결합 구조
US7930674B2 (en) 2007-03-29 2011-04-19 Agere Systems Inc. Modifying integrated circuit designs to achieve multiple operating frequency targets
US7496867B2 (en) 2007-04-02 2009-02-24 Lsi Corporation Cell library management for power optimization
US7849422B2 (en) 2007-06-20 2010-12-07 Lsi Corporation Efficient cell swapping system for leakage power reduction in a multi-threshold voltage process
US8646689B2 (en) * 2007-12-28 2014-02-11 Cognex Corporation Deformable light pattern for machine vision system
US8908016B2 (en) 2008-10-06 2014-12-09 Mantivision Ltd. Method and system for providing three-dimensional and range inter-planar estimation
EP2459960B1 (en) 2009-07-29 2019-11-13 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and computer program
WO2011063306A1 (en) 2009-11-19 2011-05-26 Modulated Imaging Inc. Method and apparatus for analysis of turbid media via single-element detection using structured illumination
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9599558B2 (en) 2012-08-07 2017-03-21 Carl Zeiss Industrielle Messtechnik Gmbh Measuring device for measuring a measurement object and related method
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US10466359B2 (en) 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
CN105580052A (zh) 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
CN105659106B (zh) 2013-10-23 2018-12-28 脸谱公司 使用动态结构光的三维深度映射
WO2015151098A2 (en) 2014-04-02 2015-10-08 M.S.T. Medical Surgery Technologies Ltd. An articulated structured light based-laparoscope
EP3167311B1 (en) 2014-07-08 2019-11-13 Facebook Technologies, LLC Method and system for adjusting light pattern for structured light imaging
US9881375B2 (en) 2014-12-05 2018-01-30 Mantis Vision Ltd. Markers in 3D data capture
US9712806B2 (en) 2014-12-19 2017-07-18 Datalogic ADC, Inc. Depth camera system using coded structured light
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
TWI604414B (zh) 2016-05-31 2017-11-01 財團法人工業技術研究院 投影系統及其非平面自動校正方法與自動校正處理裝置
JP6480902B2 (ja) * 2016-10-06 2019-03-13 ファナック株式会社 投影パターン作成装置および３次元計測装置
US10108069B2 (en) * 2017-01-24 2018-10-23 The Boeing Company Electromagnetic effect resistant spatial light modulator

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957994A (zh) * 2006-03-14 2011-01-26 普莱姆传感有限公司 三维传感的深度变化光场
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
KR20130028594A (ko) * 2011-09-09 2013-03-19 엘지전자 주식회사 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
US20150103358A1 (en) * 2012-03-09 2015-04-16 Galil Soft Ltd. System and method for non-contact measurement of 3d geometry
US20150138078A1 (en) * 2013-11-18 2015-05-21 Eyal Krupka Hand pose recognition using boosted look up tables
US20150371394A1 (en) * 2014-06-20 2015-12-24 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
JP2016024052A (ja) * 2014-07-18 2016-02-08 国立大学法人 鹿児島大学 ３次元計測システム、３次元計測方法及びプログラム
CN104457607A (zh) * 2014-12-10 2015-03-25 东北大学 一种面向深度测量的沙漏码结构光的编解码方法

Also Published As

Publication number Publication date
US11525671B2 (en) 2022-12-13
US20210341284A1 (en) 2021-11-04
KR102581393B1 (ko) 2023-09-21
US20190178634A1 (en) 2019-06-13
CN109919850B (zh) 2024-07-05
KR20190070264A (ko) 2019-06-20
US11262192B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110598788B (zh) 目标检测方法、装置、电子设备及存储介质
US9158963B2 (en) Fitting contours to features
US9892114B2 (en) Methods and systems for efficient automated symbol recognition
US9633256B2 (en) Methods and systems for efficient automated symbol recognition using multiple clusters of symbol patterns
CN109919992A (zh) 估测图像中的深度的方法
EP2234388B1 (en) Object detection apparatus and method
CN113688846B (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别***
US20140099031A1 (en) Adjusting a Contour by a Shape Model
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
US20160048728A1 (en) Method and system for optical character recognition that short circuit processing for non-character containing candidate symbol images
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN109919850A (zh) 用于qis传感器的高对比度结构光图案
CN117456376A (zh) 一种基于深度学习的遥感卫星影像目标检测方法
CN117253022A (zh) 一种对象识别方法、装置及查验设备
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
CN115775220A (zh) 使用多个机器学习程序检测图像中的异常的方法和***
CN113052311B (zh) 具有跳层结构的特征提取网络及特征和描述子生成的方法
CN115205155A (zh) 一种畸变图像的矫正方法、装置及终端设备
CN113705731A (zh) 一种基于孪生网络的端到端图像模板匹配方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及***
CN110059651B (zh) 一种相机实时跟踪注册方法
CN111325194B (zh) 一种文字识别方法、装置及设备、存储介质
CN113538404A (zh) 一种基于锚点选择的盖板玻璃缺陷检测方法及***
CN109740618A (zh) 基于fhog特征的络试卷分数自动统计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant