CN107431779B - 信息处理设备和方法 - Google Patents

Abstract

本技术涉及能够抑制对应点检测精度降低的信息处理设备和信息处理方法。根据本技术的信息处理设备允许投影单元投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。本技术可以应用于包括投影仪的功能或投影仪和照相机的这二者的功能的电子仪器以及控制功能的计算机。

Description

信息处理设备和方法

技术领域

本技术涉及信息处理设备和信息处理方法，并且更具体地涉及能够抑制对应点检测精度降低的信息处理设备和信息处理方法。

背景技术

通常，存在通过由照相机捕获通过投影仪投影到投影表面上的投影图像、对要用所捕获的图像投影的图像进行几何校正等来减少投影图像的失真等的方法。在使用该方法的情况下，由投影仪投影的投影图像与由照相机获取的捕获图像之间的对应点(即，投影仪和照相机之间的像素中的对应点)需要先前检测。已经考虑了各种方法作为检测对应点的方法，例如已经考虑了相移方法(例如，参考非专利文献1)。

引用列表

非专利文献

非专利文献1：J.Salvi,S.Fernandez,T.Pribanic,X.Llado,"A State of theArt in Structured Light Patterns for Surface Profilometry",PatternRecognition,Volume43,Issue 8,August 2010,Pages 2666-2680

发明内容

本发明要解决的问题

然而，对于相移方法，由于在投影图像的捕获图像中发生异步噪声而无法正确执行相位检测，使得存在以下风险：在对应点检测中发生误差。此外，对于相移方法，当投影表面包括多个表面时，投影到一个表面上的图案图像从该投影表面反射以便投影在相邻的其他表面上，使得存在以下风险：在对应点检测中发生误差。

考虑到这种情况已经提出了本技术，本技术的目的是抑制对应点检测精度降低。

问题的解决方案

根据本技术的一个方面，一种信息处理设备包括：投影控制单元，其被配置为允许投影单元投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

可以使第一图案包括正弦变化的预定参数。

可以使参数为亮度。

可以使第一方向与检测相位的方向不同。

可以使第一方向相对于由捕获单元捕获并获取的捕获图像中的垂直方向以预定范围内的角度倾斜。

可以使范围为40°至50°。

投影控制单元可以允许投影单元在投影第二图案之前，投影第三图案和第四图案，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案。

第三图案和第四图案可以包括在第二方向上以第二周期重复的二进制，二进制包括相互相反的相位。

投影控制单元还可以允许投影单元投影包括第一图案的第五图案，其中第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向。

投影控制单元可以允许投影单元投影多个第二图案，多个第二图案包括相位相互移动的第一图案。

投影控制单元可以允许投影单元投影三个第二图案，这三个第二图案包括相位相互移动120°的第一图案。

投影控制单元可以允许投影单元投影包括相互不同的第一周期的多个第二图案的图像。

还提供了被配置为生成第二图案的生成单元，并且投影控制单元可以允许投影单元投影由生成单元生成的第二图案。

生成单元在第二方向上以第二周期将第一图案的相位反向以能够生成第二图案，其中第一图案包括在第一方向上以第一周期进行的重复。

生成单元将包括以第一周期进行的重复的第一图案的重复方向改变为第一方向，并且进一步在第二方向上以第二周期将第一图案的相位反向以能够生成第二图案。

还提供了被配置为存储第一图案的数据的存储单元，并且生成单元可以利用存储在存储单元中的第一图案生成第二图案。

还提供了投影单元，并且投影单元可以根据投影控制单元的控制将第二图案投影到投影表面上。

还提供了捕获单元，并且捕获单元可以捕获由投影单元投影的第二图案的投影图像，以能够获取捕获图像。

还提供了对应点检测单元，并且对应点检测单元被配置为利用由投影单元投影的第二图案的投影图像的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，捕获图像由捕获单元获取。

根据本技术的一个方面，一种信息处理方法包括：允许投影单元投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

根据本技术的一个方面，投影单元投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

本发明的有益效果

根据本技术，可以执行信息处理。此外，根据本技术，可以抑制对应点检测精度降低。

附图说明

图1是用于描述相移方法的图。

图2是用于描述相移方法的图。

图3是用于描述相移方法的图。

图4是用于描述相移方法的图。

图5是用于描述多相移方法的图。

图6是用于描述多相移方法的图。

图7是用于描述对应点检测中的误差的图。

图8是用于描述正弦图案的示例性周期性相位反向的图。

图9是用于描述示例性相位检测的图。

图10是用于描述示例性投影表面检测结果的图。

图11是用于描述示例性区域设置图案的图。

图12是用于描述正弦图案的示例性旋转的图。

图13是用于描述正弦图案的周期性相位反向和旋转的示例性组合的图。

图14是用于描述示例性区域设置图案的图。

图15是示例性图像投影和捕获设备的图。

图16是图像投影和捕获设备的示例性主要配置的框图。

图17是投影单元的示例性主要配置的图。

图18是激光束的示例性扫描状态的图表。

图19是由控制单元实现的示例性主要功能的功能框图。

图20是用于描述对应点检测处理的示例性流程的流程图。

图21是用于描述图案旋转水平设置处理的示例性流程的流程图。

图22是用于描述区域设置处理的示例性流程的流程图。

图23是图像投影和捕获设备和图像投影和捕获***的示例性主要配置的图。

图24是图像投影和捕获***的示例性主要配置的图。

图25是图像投影的状态的图。

图26是图像校正的状态的图。

图27是图像校正的状态的图。

图28是用于描述示例性利用的图。

具体实施方式

下面将描述用于实施本公开的模式(以下称为实施例)。注意，将按照以下顺序给出说明。

1.相移方法

2.第一实施例(投影控制和对应点检测)

3.第二实施例(图像投影和捕获设备)

4.第三实施例(应用)

<1.相移方法>

<活动立体声感测的对应点检测>

近来，利用多个投影仪将视频投影到非平面(包括多个平面的立体平面，诸如天象仪的曲面，或更复杂的形状，例如室内或建筑物的内部)的技术已经引起了广泛的关注。对于投影，例如，需要响应于要投影的对象的形状执行几何校正等。此外，已经考虑以下技术：即使当投影仪相对于投影表面以任意姿势安装时，通过几何校正等来减少投影图像的失真。

通常，存在由照相机对通过投影仪投影到投影表面上的投影图像进行捕获以用于几何校正等的方法。对于该方法，利用由照相机获取的投影图像的捕获图像对要投影的图像执行校正。

对于利用投影图像的捕获图像执行校正的方法，由投影仪投影的投影图像与由照相机获取的捕获图像之间(即，投影仪的像素与照相机的像素之间)的对应点需要先前检测，以便正确地执行校正。已经提出了各种方法作为检测对应点的方法，并且作为近似分类，在信号电平方面是使用粗量化离散值还是模拟连续值存在差异。此外，响应于时间的变化，将唯一可标识图案嵌入投影图像的空间编码和将图案嵌入投影图像的时间编码之间存在差异。

使用离散值和空间编码的方法使得信号分离简单并且由于离散而抵抗噪声，但是由于图案匹配发生，因为信号处理而导致的负载相当高，并且对应点的获取由于遮挡而发生粗糙和错误识别。

使用离散值和时间编码的方法是抵抗噪声的，并且信号处理是轻的，因为仅监视每个像素的时间变化，但是投影图像的数量显著增加以便密集地获取对应点。

使用连续值和时间编码的方法容易地接收诸如噪声和捕获的输入/输出响应特性之类的影响，但是可以密集地获取对应点。此外，投影图像的数量相对较小，并且作为信号处理的负载较低。

已经将相移(PS)方法和多相移(MPS)方法视为使用连续值和时间编码的方法。由于具有上述特征，相移方法和多相移方法还可以用于需要在近距离高精度地进行对象形状测量的情况，例如可以用于除上述投影仪/照相机***之外的用于专业用途的三维测量仪器。

<相移方法概述>

下面将描述相移方法的概述。在相移方法中，如图1所示，投影仪(PJ)11将预定方向的亮度的正弦图案(以预定方向的正弦图案表示亮度变化的图案)投影到投影表面13上，照相机(CAM)12捕获投影到投影表面13上的投影图像，从而用投影图像的捕获图像检测对应点。

<对应点检测>

首先，利用水平方向的亮度的正弦图案执行处理。投影仪11投影例如三个图案，每个图案包括在水平方向上相同周期中亮度的正弦变化，彼此的相位差为120°(彼此的相位移动为120°)，例如图2的A所示的正弦图案21-1(k＝0)，正弦图案21-2(k＝1)和正弦图案21-3(k＝2)。以下，在不需要相互区别地描述这些图案的情况下，将这些图案称为正弦图案21。

当投影仪11中的每个像素被定义为(x_pj，y_pj)时，正弦图案21被定义为I_pj,k，将正弦图案21的最大像素值定义为x_pj,max，每个正弦图案21中的正弦波数目(重复次数)被定义为N，正弦图案21中的像素(x_pj，y_pj)的像素值I_pj,k(x_pj，y_pj)可以由以下表达式(1)来表达。

[数学公式1]

这里，坐标x_pj处的相位φ(x_pj)可以由以下表达式(2)来表达。

[数学公式2]

φ(x_pj)＝2πx_pj/x_pj,max

...(2)

其中k＝0,1和2，以及

I_pj,k(即，I_pj,0，I_pj,1和I_pj,2)

照相机12捕获正弦图案21的投影图像，以便获取例如图2的B所示的捕获图像22-1(k＝0)，捕获图像22-2(k＝1)和捕获图像22-3(k＝2)。以下，在不需要相互区别地描述这些捕获图像的情况下，将这些捕获图像称为捕获图像22。当由照相机12捕获的捕获图像22的像素值被定义为I_cam,k(即，I_cam,0，I_cam,1，I_cam,2)并且照相机12的每个像素被定义为(x_cam，y_cam)时，可以通过以下表达式(3)至(5)利用每个像素(x_cam，y_cam)中捕获图像22的像素值I_cam，k(x_cam，y_cam)来获取每个像素(x_cam，y_cam)中的相位φ'(x_cam，y_cam)。

[数学公式3]

E＝(2I_cam,0(x_cam,y_cam)-I_cam,1(x_cam,y_cam)-I_cam,2(x_cam,y_cam))/3

...(3)

[数学公式4]

F＝(-I_cam,1(x_cam,y_cam)+I_cam,2(x_cam,y_cam))/√3

...(4)

[数学公式5]

φ'(x_cam,y_cam)＝a tan2(E,F)

...(5)

将照相机12的每个像素中的相位分布制成图2的C所示的相位分布23。也就是说，响应于正弦图案21中的正弦波的重复，0到2π的相位分布在水平方向上重复N次。

接下来，利用垂直方向的亮度的正弦图案执行类似的处理。投影仪11投影例如三个图案，每个图案包括在垂直方向上相同周期中亮度的正弦变化，彼此的相位差为120°(彼此的相位移动为120°)，例如图3的A所示的正弦图案24-1(k＝0)，正弦图案24-2(k＝1)和正弦图案24-3(k＝2)。以下，在不需要相互区别地描述这些图案的情况下，将这些图案称为正弦图案24。

照相机12捕获正弦图案24的投影图像，以便获取例如图3的B所示的捕获图像25-1(k＝0)，捕获图像25-2(k＝1)和捕获图像25-3(k＝2)。以下，在不需要相互区别地描述这些捕获图像的情况下，将这些捕获图像称为捕获图像25。照相机12的每个像素(x_cam,y_cam)中的相位φ'(x_cam,y_cam)可以通过与上述水平方向相似的方法利用捕获图像25来获取。

在这种情况下，将照相机12的每个像素中的相位分布制成图3的C所示的相位分布26。也就是说，响应于正弦图案24中的正弦波的重复，0到2π的相位分布在垂直方向上重复N次。

<相位展开>

相位φ'包括具有0至2π约束的原始正弦波的相位Nφ(图4的A中的图中的每条实线)，使得对求解如图4的A所示的相邻像素之间的相位连通性执行相位展开处理可以获取原始相位Nφ(图4的A中的图中的虚线)。例如，对图2的C所示的相位分布23执行水平方向的相位展开，使得获取图4的B所示的相位分布27。类似地，对图3的C所示的相位分布26执行垂直方向上的相位展开，使得获取图4的C中所示的相位分布28。

利用这种布置，照相机12的像素(x_cam,y_cam)和投影仪11的像素(x_pj,y_pj)是一一对应的。例如，基于相位分布27，可以通过以下表达式(6)获取与照相机12的像素(x_cam,y_cam)对应的投影仪11的水平像素x_pj。

[数学公式6]

x_pj(x_cam,y_cam)＝x_pj,maxNφ(x_cam,y_cam)/2πN

...(6)

恰当地，可以基于相位分布28类似地获取垂直方向上的坐标。

相移方法的显著点的示例包括：在每个单元子像素中获取投影仪像素的点，和通过连续使用光滑图案几乎不接收投影仪或相机的焦点的影响的点，以及理论上未接收到反射光强度对投影表面的影响并且在使用相位的情况下至少提取幅度的程度的点。注意，很容易接收到照相机的亮度饱和度以及投影仪/照相机的伽马响应特性的影响，因此确保稳定的环境是重要的。

<多相移方法概述>

接下来，将描述多相移方法。对于多相移方法，利用相移方法执行两次测量，其中利用包括正弦波数目为N₀的重复周期的图案和包括正弦波数目为N₁的重复周期的图案的集合，数字N₀和N₁互质。利用这种布置，可以基于相互相位φ₀和φ₁的约束条件，在不确定的情况下执行相位展开。

<对应点检测>

例如，在水平方向的对应点检测中，投影仪11将每个正弦图案21投影在正弦图案组21-4-1(正弦波数目为N₀，k＝0-2)中，并且将每个正弦图案21投影在正弦图案组21-4-2(正弦波数目为N₁，k＝0-2)中，如图5的A所示。

照相机12捕获正弦图案21的投影图像，以获取例如捕获图像组22-4-1(正弦波数目为N₀，k＝0-2)和捕获图像组22-4-2(正弦波数目为N₁，k＝0-2)，如图5的B所示。

然后，从捕获图像组22-4-1获取相位φ'₀的相位分布23-4-1，从捕获图像组22-4-2获取相位φ'₁的相位分布23-4-2。

对于水平方向，可以类似地获取相位φ'₀和相位φ'₁。例如，投影仪11将每个正弦图案24投影在正弦图案组24-4-1(正弦波数目为N₀，k＝0-2)中，并且将每个正弦图案21投影在正弦图案组24-4-2(正弦波数目为N₁，k＝0-2)中，如图5的E所示，并且，照相机12捕获正弦图案21的投影图像，以获取例如捕获图像组25-4-1(正弦波数目为N₀，k＝0-2)和捕获图像组25-4-2(正弦波数目为N₁，k＝0-2)，如图5的F所示。然后，从捕获图像组25-4-1获取相位φ'₀的相位分布26-4-1，从捕获图像组25-4-2获取相位φ'₁的相位分布26-4-2。

当满足以下表达式时：N₀＝2和N₁＝3，用于唯一获取对应点的相位φ，相位φ'₀和相位φ'₁之间的关系用图6的A中的图表示。也就是说，可以从相位φ'₀和相位φ'₁唯一地获取相位φ。

相位φ，相位φ'₀和相位φ'₁之间的关系可以由以下表达式(7)来表达

[数学公式7]

当相位φ'₀和相位φ'₁之间的关系绘制在二维相平面上时，包括多条直线的组用图6的B中的左图表示。此外，当进行包括添加的相位φ的三轴表达式时，在三维空间上形成直线，如图6的B中右侧所示。然而，在N₀和N₁互质的情况下，仅存在一组满足关系的i和j。因此，可以相对于相位φ'₀和相位φ'₁唯一地获取相位φ，使得可以实现无不确定性的相位展开。

也就是说，在图5的示例中，可以基于相位分布23-4-1和相位分布23-4-2(图5的C)来获取相位φ在水平方向的相位分布27-4(图5的D)。此外，可以基于相位分布26-4-1和相位分布26-4-2(图5的G)来获取相位φ在垂直方向的相位分布28-4(图5的H)。

<异步噪声>

接下来，将描述相移方法中的可能的误差。首先，将描述异步噪声。以数字光处理(DLP)(注册商标)等为代表的投影仪捕获以相当短的周期重复RGB的闪烁。此外，在以互补金属氧化物半导体(CMOS)为代表的照相机捕获中，发生被称为滚动快门的现象，使得执行曝光的时间根据垂直方向上的位置而变化。投影仪和照相机之间的曝光时序由于这些因素而被移动，使得在捕获图像中随机产生条形噪声(异步噪声)，因此存在不能在噪声生成区域中执行正确的相位测量的可能性(图7的A)。

可以通过同步投影仪和照相机来抑制异步噪声的发生。然而，需要特殊的***配置来同步投影仪和照相机，从而存在增加成本的风险。特别地，组合有各自包括投影仪和照相机的多个单元的投影仪***难以在不同单元之间同步投影仪和照相机。

作为简单的测量，存在通过降低照相机的灵敏度来延长曝光时间的方法，如图7的A中最下面的阶段所示。利用这种布置，投影仪的投影图像在时间上是平均的，从而可以抑制噪声的发生。然而，对于该方法，照相机的曝光时间延长，使得存在测量时间增加的可能性。在某些情况下，存在就实施而言在允许的时段期间不能完成对应点检测的可能性。

<反射现象>

接着，将描述反射现象。在投影表面包括多个平面/曲面的情况下，与典型的屏幕不同，存在在平面/曲面之间发生相互反射的可能性。在图7的B中的示例中，发射到投影表面51的光从投影表面51部分地反射，使得反射光被发射到投影表面52。

由于反射光通常扩散，如果第一投影表面的反射光充分扩散，则即使当反射光发射到不同的第二投影表面时，投影到第一投影表面上的图案也不会传送到第二投影表面。因此，在第二投影表面上没有检测到在第一投影表面上检测到的图案，从而不发生误差。

然而，当投影表面51和突出表面52之间的距离短时，如图7的B中的示例所示，扩散不足以使得存在以下可能性：投影到投影表面51上的图案被传送到投影表面52并且在投影表面52上也检测到在投影表面51上检测到的图案。特别地，对于在相移方法中使用的简单图案，传送的可能性是高的。当以这种方式传送图案时，在多个位置处生成相同的图案，使得存在造成错误检测和测量误差的发生的可能性。

增加从投影仪投影的正弦图案的空间频率的方法可以被认为是一种措施，但是投影仪和照相机各自都需要高分辨率的捕获，从而存在增加成本的可能性。此外，根据投影表面的材料，存在由于影响(例如散射和吸收)而模糊具有高频的图案的可能性。

<2.第一实施例>

<正弦图案的周期性相位反向>

因此，在图案投影控制中，投影单元可以投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

注意，第一图案是任意的，但是可以提供包括例如正弦变化的预定参数的图案。

此外，该参数是任意的，因此可以提供例如与图像有关的任意参数。例如，可以使参数为亮度，或者可以使参数为颜色，或者可以提供不同的参数。

例如，投影单元将如图8的C所示的投影图案103(即，第二图案)作为图像进行投影，投影图案103包括正弦图案(即，第一图案)101，正弦图案(即，第一图案)101包括在水平方向(即，第一方向)上以预定周期(即第一周期)重复的图案(即，第一图案)，利用如图8的B所示的相位反向图案102在垂直方向(即，第二方向)上以预定周期(即，第二周期)将相位反向，投影图案103包括如图8的A所示的亮度(即参数)在水平方向上的正弦变化。

图8的B示出了作为条纹图案的相位反向图案102，其包括在垂直方向(即第二方向)上以预定周期(即第二周期)形成的白色区域和黑色区域(二进制)。例如，白色区域表示要将相位反向的区域(相位反向区域)，黑色区域表示不进行相位反向的区域(相位非反向区域)。也就是说，在正弦图案101和相位反向图案102由于尺寸相同已经被叠加的状态下，正弦图案101包括要将相位反向的部分，该部分叠加在相位反向图案102的白色区域上。以这种方式，投影图案103由相位反向的正弦图案101产生。相位反向图案102的周期(第二周期)可以与正弦图案101的周期(第一周期)相同或可以不同。注意，相位反向图案102的相位反向区域和相位非反向区域在图8的B中分别用白色和黑色表示，但是相位反向图案102可以包括可相互识别的二进制的任何值，这是因为至少识别这两个区域。

如图8所示，投影图案103比图案中的正弦图案101窄，使得相比于正弦图案101被投影的情况，在投影图案103被投影的情况下，来自投影表面的反射光更容易扩散。也就是说，在用反射光照射的不同投影表面上检测投影图案103的可能性降低(抑制投影图案被传送)。因此，可以抑制由于相互反射现象引起的错误检测和测量误差的发生(可以抑制对应点检测精度降低)。

此外，在对应点检测中，投影单元和捕获单元之间在像素上的对应点可以利用通过由捕获单元捕获包括第一图案的第二图案的投影图像获取的捕获图像来检测，该第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向，投影图像由投影单元投影到投影表面上。

获取投影图像的捕获图像中的参数的变化作为相位，使得可以基于相位执行对应点检测。

此外，可以通过第二图案中的相位反向区域的相位反向来检测对应点。

例如，在投影单元已经将如图8的C所示的投影图案103投影到投影表面上的情况下，用包括投影图案103(即，第二图案)的投影图像的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，投影图案103包括正弦图案(即，第一图案)101，正弦图案(即，第一图案)101包括在水平方向(即，第一方向)上以预定周期(即第一周期)重复的图案(即，第一图案)，利用如图8的B所示的相位反向图案102在垂直方向(即，第二方向)上以预定周期(即，第二周期)进行了相位反向，该图案包括如图8的A所示的亮度(即参数)在水平方向上的正弦变化。

也就是说，在正弦图案101和相位反向图案102由于尺寸相同已经被叠加的状态下，正弦图案101包括要将相位反向的部分，该部分叠加在相位反向图案102的白色区域上。以这种方式，投影图案103由相位反向的正弦图案101产生，并且利用捕获的包括投影图案103的投影图像的捕获图像来执行对应点检测。

对于投影图案103中的相位非反向的区域，满足上述表达式(7)。与此相反，原相位φ'通过相位反向被添加在相位反向区域中。因此，当检测到的相位被定义为φ”时，在该区域中满足由以下表达式(8)至(10)表达的关系。

[数学公式8]

φ”_k＝φ’_k+π:k＝0.1

...(8)

[数学公式9]

[数学公式10]

这里，当表达式(11)的条件被添加到参数N₀和N₁时，满足表达式(12)中的关系。

[数学公式11]

N₁＝N₀+1

...(11)

[数学公式12]

即使不知道实际观测相位φ'_meas,0和φ'_meas,1各自是否是相位反向区域，如果((N₀+1)φ'_meas,0-N_0,measφ'₁)/π是偶数，这表明可以确定相位各自是相位非反向区域，并且如果((N₀+1)φ'_meas,0-N_0,measφ'₁)/π是奇数，相位各自是相位反向区域。因此，相位反向判别式DetInverse可以由以下表达式(13)定义。

[数学公式13]

例如，当满足以下表达式时：N₀＝2和N₁＝3，在包括相位非反向的相位非反向区域中相位φ'₀和相位φ'₁之间的关系用图9的A中的图表示，在包括相位反向的相位反向区域中相位φ'₀和相位φ'₁之间的关系用图9的B中的图表示。也就是说，除了初始相位变为(π,π)之外，各区域各自相互具有相似的直线组。因此，如图9的C中的图所示，在两个区域中观测到的直线组不相交，从而可以从观测值识别相位反向区域和相位非反向区域。也就是说，可以在没有区域确定的情况下执行相位展开。

例如，当图10的A中示出的两个平面(图中的暗部分)被定义为投影表面时，在利用投影的正弦图案101(图8的A)执行相移方法(或多相移方法)的情况下，如图10的B所示检测投影表面。图10的B是从上侧观看图10的A示出的三维图时的俯视图。如图10的B所示，在这种情况下，由于相互反射引起的错误检测发生在两个投影表面的接头附近，使得投影表面的形状不能被正确地检测。与此相反，在利用投影的投影图案103(图8的C)执行相移方法(或多相移方法)的情况下，如图10的C所示检测投影表面。图10的C是从上侧观看图10的A示出的三维图时的俯视图。如图10的C所示，在这种情况下，相比于图10的B，由于相互反射在两个投影表面的接头附近发生的错误检测被更多地抑制，使得能够更准确地检测投影表面的形状。也就是说，可以抑制对应点检测精度降低。

注意，可以预先设置上述相位非反向区域和相位反向区域。此外，可以在执行对应点检测之前设置相位非反向区域和相位反向区域。例如，在图案投影控制中，投影单元可以在投影第二图案之前，投影第三图案和第四图案，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案。

换句话说，在对应点检测中，可以利用由捕获单元获取的第三图案的投影图像的捕获图像和第四图案的投影图像的捕获图像来获取第二图案中要将相位反向的区域，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案，投影图像在投影第二图案之前由投影单元投影。

第三图案和第四图案可以包括在第二方向上以第二周期重复的二进制，二进制包括相互相反的相位。

更具体地，例如，在投影图案103被投影之前，图11的A所示的区域设置图案141(即，第三图案)11以及图11的B所示的区域设置图案142(即，第四图案)被投影，使得可以基于区域设置图案来设置相位非反向区域和相位反向区域。

图11示出了各种作为条纹图案的区域设置图案141和区域设置图案142，其包括在垂直方向(即，第二方向)上以预定周期(即，第二周期)形成的白色区域和黑色区域(二进制)。然后，包括在区域设置图案141和区域设置图案142之间的条纹图案中的二进制已经被反向。也就是说，切换白色区域和黑色区域。

投影单元将两个区域设置图案投影为图像，然后捕获单元捕获两个区域设置图案的相应投影图像，以便获取捕获图像。然后，计算区域设置图案141的投影图像的捕获图像的像素值与区域设置图案142的投影图像的捕获图像的像素值之间的差异，使得相位非反向区域和相位反向区域根据差值由以下表达式(14)来设置。

[数学公式14]

如果POS-NEG>th：非反向区域

否则如果POS-NEG<-th：反向区域

否则：无效区域

...(14)

如上所述，在区域设置图案141和区域设置图案142之间的位置中，白色区域和黑色区域已经被切换。因此，两个图案的捕获图像之间出现的差异就符号而言包括正区域和负区域。基于差值来识别相位非反向区域和相位反向区域。由于在实践中发生误差，因此使用预定阈值th，以便识别三个区域。也就是说，将包括大于预定阈值th的差值的区域设置为相位非反向区域，将包括小于预定阈值th的差值的区域设置为相位反向区域，并且将不同区域被设置为无效区域。

利用这种布置，与根据如上所述的观测值确定区域的情况相比，可以提高对噪声的容忍度，并且可以抑制对应点检测精度降低。

注意，在区域设置图案141和区域设置图案142中，条纹图案的周期(第二周期)可以与正弦图案101的周期(第一周期)相同或可以不同。此外，条纹图案不限于白色和黑色，因此可以包括可相互识别的二进制的任何参数或值。

注意，在图案投影控制中，投影单元还可以投影包括第一图案的第五图案，其中第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向。

换句话说，在对应点检测中，对应点可以利用通过由捕获单元捕获包括第一图案的第五图案的投影图像获取的捕获图像来检测，该第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向，投影图像由投影单元投影到投影表面上。

也就是说，已经参考图8至图11仅描述了水平方向上的相位检测。可以以类似的方式对垂直方向上的相位检测执行对应点检测。注意，在这种情况下，每个图案的重复方向变化。

例如，在正弦图案101中，将包括亮度的正弦变化的图案(即第一图案)的重复方向设为垂直方向(第二方向)。此外，在相位反向图案102中，将条纹的方向(二进制的重复方向)设为水平方向(第一方向)。因此，投影图案103包括具有正弦图案的图案(即，第五图案)，正弦图案包括在垂直方向上以预定周期重复的图案，在水平方向上以预定周期将相位反相，该第五图案包括亮度在垂直方向上的正弦变化。

此外，例如，在区域设置图案141和区域设置图案142中，例如将白色区域和黑色区域(二进制)的重复方向设为水平方向(即，第一方向)。

利用这种布置，可以在多个方向(例如，水平方向和垂直方向)检测对应点。

注意，投影单元可以在图案投影控制中投影多个第二图案，多个第二图案包括相位相互移动的第一图案。例如，投影单元可以投影三个第二图案，其包括相位相互移动120°的第一图案。

换句话说，在对应点检测中，可以利用通过由捕获单元捕获包括相位相互移动的第一图案的多个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。例如，可以利用通过由捕获单元捕获包括相位相互移动120°的第一图案的三个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

也就是说，类似于图2和图3的示例，投影多个投影图案(例如，三个)，使得可以用投影图案的投影图像的捕获图像来检测对应点。通过这种布置，可以更准确地检测对应点。

此外，在图案投影控制中，投影单元可以投影包括相互不同的第一周期的多个第二图案的图像。

换句话说，在对应点检测中，可以利用通过由捕获单元捕获包括相互不同的第一周期的多个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影在投影表面上。

也就是说，类似于图5和图6的示例，投影包括相互不同的周期的多个投影图案组，使得可以利用投影图案的投影图像的捕获图像来检测对应点。也就是说，上述的现有技术也可以应用于多相移方法。通过这种布置，可以更准确地检测对应点。

<正弦曲线的旋转>

此外，作为图案投影控制中的不同方法，投影单元可以投影预定图案，以获取投影单元和捕获单元之间在像素上的对应关系，该预定图案包括在与检测相位的方向不同的第一方向上以预定周期进行的重复。

注意，预定图案是任意的，因此例如可以提供包括正弦变化的预定参数的图案。

此外，该参数是任意的，因此可以提供例如与图像有关的任意参数。例如，可以使参数为亮度，或者可以使参数为颜色，或者可以提供不同的参数。

例如，在垂直方向检测相位的情况下，投影单元将投影图案151投影为图像，投影图案151包括在不同于垂直方向的倾斜方向(即，第一方向)上以预定周期重复的图案(即，预定图案)，投影图案151包括如图12的A所示的亮度(即，参数)的正弦变化。图12的A所示的投影图案151是例如包括正弦图案的图案(旋转的正弦图案)，正弦图案包括亮度在旋转的垂直方向上的变化的重复方向，其中重复方向为倾斜方向(第一方向)，正弦图案类似于图3的A所示的正弦图案24。

如图12的B所示，当在包括类似于正弦图案24的垂直方向上的重复方向的正弦图案的投影图像的捕获图像152中的预定行处生成异步噪声时(当整个预定行变成异步噪声生成区域153时)，该行的亮度值完全包含误差。

例如，投影单元中的像素y_pj的行上的正弦图案I_pj,k(y_pj)和相位φ(y_pj)分别由以下表达式(15)和(16)表达。注意，N表示正弦波数目，并且y_pj,max表示y_pj的最大像素值。

[数学公式15]

[数学公式16]

φ(y_pj)＝2πy_pj/y_pj,max

...(16)

因此，如图12的C所示的与捕获图像152一起生成的相位分布154中的整行相对应的区域成为异步噪声生成区域155。也就是说，在这种情况下，存在在宽范围内无法正确检测相位的可能性。

与此相反，当在如图12的D所示的投影图案151的投影图像的捕获图像156中的预定行处生成异步噪声时，整行成为异步噪声生成区域157。然而，投影图案151的亮度变化的重复方向与异步噪声生成区域157不垂直。因此，对于投影图案151，投影单元中的正弦图案I_pj,k(x_pj,y_pj)和像素(x_pj,y_pj)的相位φφ(x_pj,y_pj)由以下表达式(17)和(18)表达。

[数学公式17]

[数学公式18]

φ(x_pj,y_pj)＝2π*(x_pj+y_pj)/(x_pj,max+y_pj,max)

...(18)

也就是说，异步噪声生成区域157不仅包括具有高亮度的区域，而且还包括具有低亮度的区域。在具有低亮度的区域中的噪声电平降低，使得在如图12的E所示的利用捕获图像156生成的相位分布158中提供间歇区域作为异步噪声生成区域159。

也就是说，异步噪声生成区域159减小，从而可以抑制异步噪声相对于相位分布的影响。因此，不需要延长捕获单元的曝光时间，并且可以抑制对应点检测精度降低而不增加测量时间和成本。

注意，包括旋转的重复方向的旋转正弦图案中的重复方向(即，第一方向)是除检测相位的方向之外的任意方向。例如，可以提供相对于由捕获单元捕获和获取的捕获图像中的垂直方向以预定范围内的角度倾斜的方向。此外，例如，可以使该范围为从40°至50°。此外，例如，可以提供从垂直方向倾斜45°的方向。

此外，在对应点检测中，投影单元和捕获单元之间在像素上的对应点可以利用捕获图像来检测，该捕获图像是通过由捕获单元捕获预定图案的投影图像获取的，该预定图案包括在不同于检测相位的方向的第一方向上以预定周期进行的重复，投影图像由投影单元投影到投影表面上。

获取投影图像的捕获图像中的参数的变化作为相位，使得可以基于相位执行对应点检测。

注意，在图案投影控制中，投影单元还可以投影预定图案，该预定图案包括在与第一方向正交的第二方向上以预定周期进行的重复。

换句话说，在对应点检测中，可以利用通过由捕获单元捕获包括在与第一方向正交的第二方向上以预定周期进行的重复的预定图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

也就是说，已经参考图12仅描述了在第一方向上的相位检测，但是,可以以类似的方式对与第一方向正交的第二方向上的相位检测执行对应点检测。在这种情况下，投影图案的重复方向与投影图案151的重复方向正交。

利用这种布置，可以在多个方向上检测对应点。

注意，在图案投影控制中，投影单元可以投影相位相互移动的多个预定图案。例如，可以投影相位相互移动120°的三个预定图案。

换句话说，在对应点检测中，可以利用通过由捕获单元捕获相位相互移动的多个预定图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。例如，可以利用通过由捕获单元捕获相位相互移动120°的三个预定图案的捕获图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

也就是说，类似于图2和图3的示例，投影多个投影图案(例如，三个)，使得可以利用投影图案的投影图像的捕获图像来执行对应点检测。通过这种布置，可以更精确地检测对应点。

此外，在图案投影控制中，投影单元可以投影各自具有相互不同的重复周期的多个预定图案。

换句话说，在对应点检测中，可以利用通过由捕获单元捕获具有相互不同的重复周期的多个预定图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

也就是说，类似于图5和图6的示例，投影各自具有相互不同的周期的多个投影图案组，使得可以利用投影图案的投影图像的捕获图像执行对应点检测。也就是说，上述的现有技术也可以应用于多相移方法。通过这种布置，可以更准确地检测对应点。

注意，例如，对于如图8的C所示的包括周期性反向的正弦图案的投影图案103，包括预定行的异步噪声生成区域不仅包括具有高亮度的区域，而且还包括具有低亮度的区域。因此，在通过对投影图案103进行投影来检测对应点的情况下，异步噪声生成区域在相位分布中也变成间歇性的以变小。因此，在这种情况下还可以抑制异步噪声相对于相位分布的影响。因此，不需要延长捕获单元的曝光时间，并且可以抑制对应点检测精度降低而不增加测量时间和成本。

<正弦图案的周期性相位反向和旋转>

作为另一种不同的方法，可以组合和使用对正弦图案的相位进行周期性地反向的方法和旋转正弦图案的方法。

也就是说，在图案投影控制中，投影单元可以投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案在与第一方向正交的第二方向上以第二周期进行了相位反向，第一图案包括在不同于检测相位的方向的第一方向上以第一周期进行的重复。

换句话说，在对应点检测中，投影单元和捕获单元之间在像素上的对应点可以利用通过由捕获单元捕获第二图案的投影图像获取的捕获图像来检测，第二图案包括第一图案，第一图案在与第一方向正交的第二方向上以第二周期进行了相位反向，第一图案包括在不同于检测相位的方向的第一方向上以第一周期进行的重复，投影图像由投影单元投影在投影表面上。

注意，预定图案是任意的，因此例如可以提供各自包括正弦变化的预定参数的图案。

此外，该参数是任意的，因此可以提供例如与图像有关的任意参数。例如，可以使参数为亮度，或者可以使参数为颜色，或者可以提供不同的参数。

注意，包括旋转的重复方向的旋转正弦图案中的重复方向(即，第一方向)是除检测相位的方向之外的任意方向。例如，可以提供相对于由捕获单元捕获和获取的捕获图像中的垂直方向以预定范围内的角度倾斜的方向。此外，例如，可以使该范围为从40°至50°。此外，例如，可以提供从垂直方向倾斜45°的方向。

此外，获取投影图像的捕获图像中的参数的变化作为相位，使得可以基于相位执行对应点检测。

此外，可以通过第二图案中的相位反向区域的相位反向来检测对应点。

例如，投影单元将包括旋转的正弦图案172(图13的B)的投影图案174(即，第二图案)(图13的D)作为图像进行投影，旋转的正弦图案172利用相位反向图案173(图13的C)在重复方向(即，第二方向)上以预定周期(即，第二周期，例如D)将相位反相，相位反向图案173具有与旋转的正弦图案172的重复方向正交的重复方向，旋转的正弦图案172包括旋转45°的正弦图案171(图13的A)，正弦图案171包括亮度在水平方向上的变化的重复方向。

相位反向图案173类似于图8的B中的相位反向图案102。也就是说，示出了包括在第二方向上以第二周期形成的白色区域和黑色区域(二进制)的条纹图案。例如，白色区域表示相位反向区域，黑色区域表示相位非反向区域。也就是说，在旋转的正弦图案172和相位反向图案173由于尺寸相同已经被叠加的状态下，旋转的正弦图案172包括要将相位反向的部分，该部分叠加在相位反向图案173的白色区域上。以这种方式，投影图案174由将相位反向的旋转的正弦图案172产生。相位反向图案173的周期(第二周期)可以与正弦图案171的周期(第一周期)(即，旋转的正弦图案172)相同或可以不同。注意，相位反向图案173的相位反向区域和相位非反向区域在图13的C中分别用白色和黑色表示，但是相位反向图案173可以包括可相互识别的二进制的任何值，这是因为至少识别这两个区域。

在这种情况下，当相位反向图案173的重复周期(第二周期)被定义为2D(即，投影图案174中的一个相位反向区域或一个相位非反向区域的长度在相位反向图案173的重复方向上被定义为D)，通过以下表达式(19)和(20)表达投影单元中的像素(x_pj,y_pj)的相位φ(x_pj,y_pj)和正弦图案I_pj,k(x_pj,y_pj)。

[数学公式19]

[数学公式20]

利用这种布置，如图13的D所示，投影图案174比图案中的正弦图案171窄(图案在二维频率空间中在较高频率的一侧进行调制)，从而可以抑制投影图案由于相互反射现象而被传送。因此，可以抑制由于相互反射现象引起的错误检测和测量误差的发生(可以抑制对应点检测精度降低)。

此外，对于投影图案174，与投影图案103类似，具有高亮度的区域和具有低亮度的区域都包括在每行上。也就是说，包括预定行的异步噪声生成区域不仅包括具有高亮度的区域，而且包括具有低亮度的区域。因此，在这种情况下，异步噪声生成区域在相位分布中也变成间歇性的以变小。因此，在这种情况下还可以抑制异步噪声相对于相位分布的影响。因此，不需要延长捕获单元的曝光时间，并且可以抑制对应点检测精度降低而不增加测量时间和成本。

特别地，对于投影图案174，使重复方向在倾斜方向(既不是在水平方向上，也不是在垂直方向上)上，使得行方向上的图案对于每行(具有高亮度的区域的长度和具有低亮度的区域的长度)变化，因此提供了更复杂的配置。因此，异步噪声在投影图案174中比在投影图案103中更不显眼。因此，可以进一步抑制异步噪声相对于相位分布的影响。

注意，相位反向区域和相位非反向区域可以在对应点检测中从相位的观测值中识别，或者可以预先设置相位非反向区域和相位反向区域。此外，可以在执行对应点检测之前设置相位非反向区域和相位反向区域。例如，在图案投影控制中，在投影第二图案之前，投影单元可以投影第三图案和第四图案，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案。

换句话说，在对应点检测中，可以利用第三图案的投影图像的捕获图像和第四图案的投影图像的捕获图像来获取第二图案中要将相位反向的区域，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案，捕获图像由捕获单元获取，投影图像在投影第二图案之前由投影单元投影。

第三图案和第四图案可以包括在第二方向上以第二周期重复的二进制，二进制包括相互相反的相位。

更具体地，例如，在投影图案174被投影之前，图14的A所示的区域设置图案181(即，第三图案)181以及图14的B所示的区域设置图案182(即，第四图案)被投影，使得可以基于区域设置图案来设置相位非反向区域和相位反向区域。

区域设置图案181和区域设置图案182分别被示出为条纹图案，其包括在第二方向上以第二周期形成的白色区域和黑色区域(二进制)。包括在区域设置图案181和区域设置图案182之间的条纹图案中的二进制已经被反向。也就是说，切换白色区域和黑色区域。

当图案的重复周期(第二周期)被定义为2D时，投影单元中的每个像素(x_pj,y_pj)中的区域设置图案181的像素值I_pj,pos(x_pj,y_pj)例如通过以下表达式(21)表达。

[数学公式21]

计算区域设置图案181(I_pj,pos)和区域设置图案182(I_pj,neg)的投影图像的捕获图像(I_cam,pos)和(I_cam,neg)之间的像素差异，以便通过以下表达式(22)与预定阈值th(或-th)进行比较，使得可以识别三个状态区域，包括相位反向区域(真)、相位非反向区域(假)、和无效(不确定)区域(未定义)。

[数学公式22]

相位φ'可以通过以下表达式(23)至(25)获得，其结果是。

[数学公式23]

E＝(2I_cam,0(x_cam,y_cam)-I_cam,1(x_cam,y_cam)-I_cam,2(x_cam,y_cam))/3

...(23)

[数学公式24]

F＝(-I_cam,1(x_cam,y_cam)+I_cam,2(x_cam,y_cam))/√3

...(24)

[数学公式25]

通过这种布置，与根据如上所述的观测值确定区域的情况相比，可以提高对噪声的容忍度，并且可以抑制对应点检测精度降低。

注意，在区域设置图案181和区域设置图案182中，条纹图案的周期(第二周期)可以与正弦图案101的周期(第一周期)相同或可以不同。此外，条纹图案不限于白色和黑色，因此可以包括可相互识别的二进制的任何参数或值。

注意，在图案投影控制中，投影单元还可以投影包括第一图案的第五图案，其中第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向。换句话说，在对应点检测中，对应点可以利用通过由捕获单元捕获包括第一图案的第五图案的投影图像获取的捕获图像来检测，该第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向，投影图像由投影单元投影到投影表面上。利用这种布置，可以在多个方向上检测对应点。

注意，投影单元可以在图案投影控制中投影多个第二图案，多个第二图案包括相位相互移动的第一图案。例如，投影单元可以投影三个第二图案，其包括相位相互移动120°的第一图案。换句话说，在对应点检测中，可以利用通过由捕获单元捕获包括相位相互移动的第一图案的多个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。例如，可以利用通过由捕获单元捕获包括相位相互移动120°的第一图案的三个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

也就是说，类似于图2和图3的示例，投影多个投影图案(例如，三个)，使得可以用投影图案的投影图像的捕获图像来检测对应点。通过这种布置，可以更准确地检测对应点。

此外，在图案投影控制中，投影单元可以投影包括相互不同的第一周期的多个第二图案的图像。换句话说，在对应点检测中，可以利用通过由捕获单元捕获包括相互不同的第一周期的多个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影在投影表面上。

也就是说，类似于图5和图6的示例，投影包括相互不同的周期的多个投影图案组，使得可以利用投影图案的投影图像的捕获图像来检测对应点。也就是说，上述的现有技术也可以应用于多相移方法。通过这种布置，可以更准确地检测对应点。

<3.第二实施例>

<图像投影和捕获设备>

接下来，将描述实现第一实施例中描述的各种方法的配置。图15示出了根据本技术已经应用到的信息处理设备的一个实施例的图像投影和捕获设备的示例性主要配置。

图15所示的图像投影和捕获设备200包括投影单元201，并且由投影单元201将图像投影到投影表面210上。投影单元201执行与图像的投影有关的处理。例如，投影单元201发射投影光，以将已经提供的图像数据的图像投影到图像投影和捕获设备200的外部(例如，投影表面210)。也就是说，投影单元201实现投影功能。投影单元201的光源是任意的，因此可以是发光二极管(LED)、氙灯等。此外，投影单元201可以发射作为投影光的激光束。注意，投影单元201可以包括例如包括多个透镜、光圈等的光学***，该光学***被配置为控制投影光的焦距、曝光、投影方向、投影角度视图等。

注意，投影单元201的像素对应于由投影单元201投影的图像的像素。例如，在光源是激光束的情况下，激光束的扫描控制的单位可以对应于投影单元201的像素。

此外，图像投影和捕获设备200还包括捕获单元202并捕获投影表面210以获取捕获图像。捕获单元202包括图像传感器，并且利用图像传感器对入射光进行光电转换，以便捕获设备外部的对象并生成捕获图像。也就是说，捕获摄单元202实现捕获功能(传感器功能)。注意，捕获单元202中包括的图像传感器是任意的，因此可以是例如使用互补金属氧化物半导体(CMOS)的CMOS图像传感器，使用电荷耦合捕获(CCD)的CCD图像传感器或不同的传感器。

注意，捕获单元202的像素对应于由捕获单元202获取的捕获图像的像素。例如，包括在捕获单元202中的图像传感器的单位像素可以对应于捕获单元202的像素。

如图15所示，捕获单元202在投影表面210上的捕获范围212涉及投影单元201在投影表面210上的投影范围211。因此，由捕获单元202获取的捕获图像包括由投影单元201投影到投影表面210的投影图像。图像投影和捕获设备200利用捕获图像(即，参考投影表面210上的投影的状态)对由投影单元201投影的图像执行几何校正等，使得可以降低投影图像在投影表面210上的失真。

由图像投影和捕获设备200投影的图像可以是运动图像或静止图像。此外，由图像投影和捕获设备200捕获和获取的捕获图像可以是运动图像或静止图像。此外，图像投影和捕获设备200包括设置为使得图像投影和捕获设备200能够输出声音的扬声器等。例如，图像投影和捕获设备200能够输出与要投影的图像相对应的声音(例如背景音乐(BGM)等)，或者能够输出用于操作检查的声音(例如，哔声或消息)。

投影表面210是图像投影和捕获设备200投影图像的表面。投影表面210可以是平面、弯曲表面、包括部分或全部不均匀的表面、或者可以包括多个表面。此外，投影表面210的颜色是任意的，因此可以包括多种颜色。

投影表面210可以形成在任意物体上。例如，投影表面210可以形成在诸如所谓的屏幕或墙壁表面之类的平面物体上。此外，投影表面210可以形成在实心结构上。例如，可以在诸如建筑物、车站建筑物或城堡之类的结构的墙壁表面上进行形成，可以在天然物体(例如，岩石，诸如标志牌或青铜像之类的工件，或诸如抽屉、椅子或桌子之类的家具)上进行形成，或者可以在诸如人或植物和动物之类的生物上进行形成。此外，例如，投影表面210可以形成在多个表面上，例如房间空间中的墙壁、地板和天花板。

此外，投影表面210可以形成在固体上或者可以形成在液体或气体上。例如，可以在水表面(例如池塘或池)、当前的水表面(例如瀑布或喷泉)、或气体(例如雾或气体)上进行形成。此外，投影表面210可以移动，变形或改变颜色。此外，例如，投影表面210可以形成在诸如房间的墙壁、家具和人之类的多个物体，多个建筑物，或城堡墙壁和喷泉上。

<图像投影和捕获设备的配置>

图16是图像投影和捕获设备200的示例性主要配置的框图。如图16所示，除了投影单元201和捕获单元202之外，图像投影和捕获设备200包括控制这些单元的控制单元221。

控制单元221控制投影单元201执行投影。此外，控制单元221控制捕获单元202执行捕获。另外，控制单元221执行获取投影单元201与捕获单元202之间在像素上的对应关系的处理(获取对应点的处理)。

如图16所示，控制单元221包括中央处理单元(CPU)231、只读存储器(ROM)232、随机存取存储器(RAM)233、总线234、输入/输出接口240、输入单元241、输出单元242、存储单元243、通信单元244和驱动器245。

CPU 231、ROM 232和RAM 233通过总线234相互耦合。输入/输出接口240也耦合到总线234。除了投影单元201和捕获单元202之外，例如，输入单元241、输出单元242、存储单元243、通信单元244和驱动器245耦合到输入/输出接口240。

输入单元241包括接收诸如用户输入之类的外部信息的输入捕获。输入单元241的示例包括键盘、鼠标、操作按钮、触摸面板、照相机、麦克风、输入端子等。此外，输入单元241可以包括诸如加速传感器、光传感器和温度传感器之类的各种传感器，以及诸如条形码读取器之类的输入仪器。输出单元242包括输出关于图像、声音等的信息的输出捕获。输出单元242的示例包括显示器，扬声器，输出端子等。

存储单元243包括存储关于程序、数据等的信息的存储介质。存储单元243的示例包括硬盘、RAM盘、非易失性存储器等。通信单元244包括通信捕获，其与外部捕获进行通信以通过预定通信介质发送和接收关于程序、数据等的信息。通信单元244例如包括网络接口。例如，通信单元244与图像投影和捕获设备200的外部捕获进行通信(程序和数据的发送和接收)。

例如，驱动器245读取存储在诸如磁盘、光盘、磁光盘或半导体存储器等的可移动介质251中的信息(程序，数据等)，可移动介质251被安装在驱动器245上。驱动器245将从可移动介质251读取的信息提供给CPU 231、RAM 233等。此外，驱动器245可以在可写入可移动介质251已经安装在驱动器245上的情况下将从CPU 231、RAM 233等提供的信息(程序，数据等)存储到可移动介质251。

例如，CPU 201将存储在存储单元243中的程序加载到RAM 233上，并通过输入/输出接口240和总线234执行程序，以执行各种类型的处理。此外，RAM 233适当地存储CPU 231执行各种类型的处理所需的数据。

例如，CPU 201可以以这种方式执行程序等来控制投影单元201和捕获单元202并执行与对应点检测有关的处理。

<投影单元的示例性配置>

图17示出了在使用激光束作为光源的情况下的投影单元201的示例性主要配置。在图17中，投影单元201包括视频处理器261、激光驱动器262、激光输出单元263-1、激光输出单元263-2、激光输出单元263-3、反射镜264-1、反射镜264-2、反射镜264-3、微电子机械***(MEMS)驱动器265和MEMS反射镜266。

视频处理器261保留从控制单元221提供的图像并执行图像所需的图像处理。视频处理器261将要投影的图像提供给激光驱动器262和MEMS驱动器265。

激光驱动器262控制激光输出单元263-1至263-3投影从视频处理器261提供的图像。例如，激光输出单元263-1至263-3输出具有诸如红色、蓝色、绿色等的相互不同的颜色(波长频带)的激光束。也就是说，激光驱动器262控制每种颜色的激光输出以投影从视频处理器261提供的图像。注意，在不需要相互区别地描述的激光输出单元263-1至263-3的情况下，激光输出单元263-1至263-3各自被称为激光输出单元263。

反射镜264-1反射从激光输出单元263-1输出的激光束，以将激光束引导到MEMS反射镜266。反射镜264-2反射从激光输出单元263-2输出的激光束以将激光束引导到MEMS反射镜266。反射镜264-3反射从激光输出单元263-3输出的激光束，以将激光束引导到MEMS反射镜266。注意，在不需要相互区别地描述反射镜264-1至264-3的情况下，反射镜264-1至264-3各自被称为反射镜264。

MEMS驱动器265控制MEMS反射镜266的镜面驱动以投影从视频处理器261提供的图像。MEMS反射镜266根据MEMS驱动器265的控制驱动附着在MEMS上的反射镜(玻璃)，以便扫描具有如图18中的示例所示的颜色的各个激光束。例如，激光束被输出到图像投影和捕获设备200的外部，以便被发射到投影表面210上。利用这种布置，从视频处理器261提供的图像被投影到投影表面210上。

注意，在图17的示例中已经给出了三个激光输出单元263被提供以输出具有三种颜色的激光束的描述，但是激光束的数目(或颜色的数目)是任意的。例如，激光输出单元263的数目可以是四个或更多，也可以是两个或更少。也就是说，从图像投影和捕获设备200(投影单元201)输出的激光束的数目可以是两个或更少，或者可以是四个或更多。此外，从图像投影和捕获设备200(投影单元201)输出的激光的颜色数目也是任意的，因此可以两个或更少，或者可以是四个或更多。另外，反射镜264和MEMS反射镜266的配置也是任意的，因此不限于图17的示例。不用说，每个激光束的扫描图案是任意的，因此不限于图18中的示例。

<功能块的配置>

图19是由控制单元221实现的示例性主要功能的功能框图。如图19所示，控制单元221实现图案旋转水平设置单元301、图案生成单元302、投影控制单元303、捕获控制单元304、对应点检测单元305等的功能块。

为了旋转图案，图案旋转水平设置单元301执行与其旋转水平的设置相关的处理。图案生成单元302执行与要投影的图案的生成有关的处理。投影控制单元303执行与投影单元201的图像投影控制有关的处理。捕获控制单元304执行与捕获单元202的捕获控制有关的处理。对应点检测单元305执行与投影单元和捕获单元之间在像素上的对应点检测有关的处理。

控制单元221的CPU 231利用RAM 233执行从RAM 233、存储单元243等读取的程序，或者利用RAM 233对通过执行程序生成的数据或从RAM 233、存储单元243等读取的数据执行处理，从而实现功能。

注意，由控制单元221实现的示例性功能不限于上述示例性功能块。控制单元221可以实现除了上述功能之外的功能，或部分地省略上述功能块。

<对应点检测处理的流程>

接下来，将参考图20的流程图描述由控制单元221利用功能块执行的对应点检测处理的示例性流程。

当对应点检测处理开始时，在步骤S101，图案旋转水平设置单元301至捕获控制单元304设置图案旋转水平。图案旋转水平设置单元301至捕获控制单元304在图形生成单元302旋转正弦图案的情况下执行处理，以生成参考图12描述的“正弦图案的旋转”的示例的投影图案或参考图13和14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案。

在图案生成单元302使用不同的方法来生成投影图案的情况下，在图案生成单元302生成参考图8至图11描述的“正弦图案的周期性相位反向”的示例的投影图案的情况下，或在图案生成单元302不生成投影图案的情况下，可以省略处理。稍后将描述该处理的细节。

在步骤S102，图案生成单元302生成投影图案。生成投影图案的方法是任意的。在利用旋转的正弦图案生成参考图12描述的“正弦图案的旋转”的示例的投影图案或参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案的情况下，图案生成单元302例如可以利用正弦图案来生成投影图案，该正弦图案包括在预定方向上进行的重复，旋转在步骤S101处设置的图形旋转水平。

此外，在生成参考图8至图11描述的“正弦图案的周期性相位反向”的示例的投影图案或参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案的情况下，图案生成单元302可以例如利用基于相位反向图案进行相位反向的正弦图案生成投影图案。

在生成参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案的情况下，图案生成单元302可以例如利用正弦图案(包括在预定方向上进行的重复并旋转)，并进一步利用基于相位反向图案进行相位反向的旋转正弦图案来生成投影图案。

注意，诸如用于由图案生成单元302生成投影图案的正弦图案之类的数据可以存储在ROM 232、存储单元243等中，可以存储在可移动介质251中，或者可以通过通信单元244从不同的捕获等获取。此外，数据可以是图像数据，或者可以是除图像数据之外的可以生成正弦图案的图像的数据。

此外，由图案生成单元302生成的投影图案的数据可以存储在存储单元243等中。此外，数据可以是图像数据，或者可以是除图像数据之外的可以生成投影图案的图像的数据。

注意，在图案生成单元302不生成投影图案的情况下，可以省略处理。例如，由投影单元201投影的投影图案的数据可以存储在ROM 232、存储单元243等中。此外，例如，由投影单元201投影的投影图案的数据可以通过通信单元244从图像投影和捕获设备200的外部提供。另外，例如，由投影单元201投影的投影图案的数据可以通过驱动器245从可移动介质251读取。例如，在这种情况下，可以省略投影图案的生成。

在步骤S103，图案生成单元302至捕获控制单元304执行区域设置处理，以设置相位反向区域和相位非反向区域。例如，在图案生成单元302生成参考图8至图11描述的“正弦图案的周期性相位反向”的示例的投影图案或参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案的情况下，执行处理，使得可以设置相位反向区域和相位非反向区域。设置区域的方法是任意的。例如，可以利用上述的区域设置图案执行处理。在这种情况下的处理的细节将在后面描述。

换句话说，例如，在图案生成单元302生成参考图12描述的“正弦图案的旋转”的示例的投影图案的情况下，或在不生成投影图案的情况下，可以省略处理。

在步骤S104，投影控制单元303投影图案。投影控制单元303将通过步骤S102的处理生成的投影图案，从ROM 232、存储单元243、可移动介质251等读取的投影图案，或通过通信单元244从图像投影和捕获设备200的外部提供的投影图案提供到投影单元201，然后控制投影单元201将投影图案作为图像投影到投影表面210上。

例如，投影控制单元303允许投影单元201投影参考图8至图11描述的“正弦图案的周期性相位反向”的示例的投影图案，参考图12描述的“正弦图案的旋转”的示例的投影图案，或参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案。

注意，在图像投影和捕获设备200不投影任何投影图案的情况下(例如，在仅执行与对应点检测有关的处理的情况下或在执行与投影图像的捕获和对应点检测有关的处理的情况下)，可以省略处理。

在步骤S105，捕获控制单元304允许捕获投影图像。例如，捕获控制单元304控制捕获单元202捕获参考图8至图11描述的“正弦图案的周期性相位反向”的示例的投影图案的投影图像，参考图12描述的“正弦图案的旋转”的示例的投影图案的投影图像，参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案的投影图像，以获取投影图像的捕获图像，投影图像被投影到投影表面210上。

注意，在图像投影和捕获设备200不捕获投影图像的情况下(例如，在仅执行与投影图案的生成和投影控制有关的处理的情况下，或者在仅执行与对应点检测有关的处理的情况下)，可以省略处理。

在步骤S106，对应点检测单元305获取捕获图像的每个位置的相位，以便检测对应点。例如，对应点检测单元305利用捕获图像来检测对应点，捕获图像包括通过参考图8至图14描述的各种方法所捕获的投影图案的投影图像。

当如上所述检测对应点时，处理在步骤S106完成，使得对应点检测处理完成。

如上所述，利用参考图8至图14描述的每个示例的投影图案来获取对应点，从而图像投影和捕获设备200能够抑制对应点检测精度的降低。

<图案旋转水平设置处理的流程>

接下来，将参考图21的流程图描述图20中的步骤S101处执行的图案旋转水平设置处理的示例性流程。图案旋转水平设置单元301执行处理，然后设置图案旋转水平θ，使得投影图像的投影图案的重复方向的角度相对于捕获图像具有期望的角度(期望范围内的角度)(例如，捕获图像的水平方向)。

当图案旋转水平设置处理开始时，图案旋转水平设置单元301在步骤S121确定捕获图像在旋转方向上相对于投影图像的相对角度是否未知。也就是说，图案旋转水平设置单元301确定对投影图案进行投影的投影单元和捕获投影图像的捕获单元之间在旋转方向上的相对姿态是否已知。

例如，类似于分别形成投影单元和捕获单元的情况，在捕获单元在旋转方向上相对于投影单元的的相对姿态尚未被预先确定的情况下(在可以以任意姿态进行安装的情况下)，相对角度是未知的。也就是说，投影图像在捕获图像中倾斜的角度是未知的。

在以这种方式确定相对角度是未知的情况下，处理继续进入步骤S122。在步骤S122，图案旋转水平设置单元301将图案旋转水平θ设置为初始值。图案旋转水平θ表示在生成投影图案时图案旋转的角度(例如，正弦图案)。初始值是任意的。例如，可以提供“0°”，或者可以提供除“0°”之外的角度。

在步骤S123，图案生成单元302以图案旋转水平θ旋转图案。也就是说，图案生成单元302将例如已经预先准备的正弦图案旋转以图案旋转水平θ指定的角度。不用说，从已经预先准备的图案生成旋转图案旋转水平θ的图案的方法是任意的。

在步骤S124，投影控制单元303将在步骤S123生成的图案作为投影图案提供给投影单元201，并且控制投影单元201将投影图案作为图像投影到投影表面210上。

在步骤S125，捕获控制单元304控制捕获单元202捕获通过步骤S124的处理投影到投影表面210上的投影图像，以获取投影图像的捕获图像。

在步骤S126，图案旋转水平设置单元301获取通过步骤S125的处理获取的捕获图像中包括的投影图像的投影图案的重复方向相对于捕获图像的旋转水平。例如，图案旋转水平设置单元301获取投影图像的投影图案的重复方向相对于捕获图像中的水平方向倾斜的角度。不用说，作为旋转水平的参考的方向是任意的，因此可以是除捕获图像中的水平方向之外的不同方向。

在步骤S127，图形旋转水平设置单元301判断通过步骤S126的处理获取的旋转水平是否在预定的目标范围内。目标范围是任意的。例如，可以提供相对于捕获图像中的水平方向为40°至50°的目标范围。在这种情况下，例如，当捕获图像中的投影图像的投影图案的重复方向相对于捕获图像中的水平方向以45°的角度倾斜时，图案旋转水平设置单元301确定目标范围被满足。

注意，可以使用目标值而不是目标范围。在这种情况下，图案旋转水平设置单元301确定通过步骤S126的处理获得的旋转水平是否是预定的目标值。不用说，目标值也是任意的。例如，可以提供相对于捕获图像中的水平方向为45°。

当确定捕获图像中的投影图像的投影图案的重复方向的角度在目标范围之外时，处理进行到步骤S128。

在步骤S128，图案旋转水平设置单元301使图案旋转水平θ增加预定角度(例如10°)。不用说，可以执行减少。当步骤S128的处理完成时，处理返回到步骤S123，以便重复步骤S123的处理和其后的步骤。也就是说，上述的每个处理再次以已更新的图案旋转水平θ执行。

此外，在于步骤S127确定通过步骤S126的处理获取的旋转水平处于目标范围内的情况下，处理进行到步骤S129。

在步骤S129，图案旋转水平设置单元301将图案旋转水平θ设置为该时间点的值。也就是说，在示出投影图案时，将正弦图案旋转以这种方式设置的图案旋转水平θ，使得捕获图像中的投影图案的重复方向的角度可以被制成期望的角度(期望范围内的角度)。当步骤S129的处理完成时，图案旋转水平设置处理完成，处理返回到图20。

此外，在图21的步骤S121，在确定捕获图像相对于投影图像的相对角度已知的情况下，处理进行到步骤S130。例如，在捕获单元相对于投影单元固定并且已经预先知道安装中的相对姿态的情况下，可以响应于相对姿态来确定图案旋转水平θ。

因此，在步骤S130，图案旋转水平设置单元301基于已知的相对角度来设置图案旋转水平θ。在生成投影图案时，将正弦图案旋转以这种方式设置的图案旋转水平θ，使得捕获图像中的投影图案的重复方向的角度可以被制成期望的角度(期望范围内的角度)。当步骤S130的处理完成时，图案旋转水平设置处理完成，处理返回到图20。

如上所述执行图案旋转水平设置处理，使得捕获图像中的投影图案的重复方向可以以期望的角度(期望范围内的角度)进行，而与投影单元和捕获单元之间的相对姿态无关。也就是说，执行处理，使得图像投影和捕获设备200可以更可靠地生成参考图12描述的“正弦图案的旋转”的示例的投影图案或参考图13和图14描述的“正弦图案的周期性相位反向和旋转”的示例的投影图案。

<区域设置处理的示例性流程>

接下来，将参考图22中的流程图描述图20中的步骤S103处执行的区域设置处理的示例性流程。

当区域设置处理开始时，在步骤S151中，投影控制单元303将诸如区域设置图案141或区域设置图案181之类的第一区域设置图案提供给投影单元201，以便控制投影单元201将区域设置图案作为图像投影到投影表面210上。

在步骤S152，捕获控制单元304控制捕获单元202捕获通过步骤S151的处理投影到投影表面210上的投影图像，以便在步骤S152获取捕获图像。

在步骤S153，投影控制单元303将诸如区域设置图案142或区域设置图案182之类的第二区域设置图案(包括反向的第一区域设置图案中的每个区域的图案)提供给投影单元201，以便在步骤S151控制投影单元201将区域设置图案作为图像投影到投影表面210上。

在步骤S154，捕获控制单元304控制捕获单元202捕获通过步骤S151的处理投影到投影表面210上的投影图像，以便在步骤S152获取捕获图像。

在步骤S155，类似于参考图14和图18描述的示例，图形生成单元302获取通过步骤S152的处理获取的捕获图像与通过步骤S154的处理获取的捕获图像之间的差异，以利用该差异设置相位非反向区域和相位反向区域。该设置方法是任意的，因此不限于上述的示例。

当步骤S155的处理完成时，区域设置处理完成，使得处理返回到图20。

如上所述执行区域设置处理，然后设置相位非反向区域和相位反向区域，使得图像投影和捕获设备200可以提高对应点检测中的噪声容忍度。

<4.第三实施例>

<应用>

已经应用本技术的图像投影和捕获设备的配置不限于上述示例。也就是说，本技术也可以应用于具有与上述示例不同的配置的图像投影和捕获设备。

例如，投影单元201和捕获单元202的数目是任意的，因此可以是至少两个。此外，投影单元201的数目和捕获单元202的数目不一定彼此一致。例如，本技术也可以应用于如图23的A所示的包括三个投影单元201(投影单元201-1、投影单元201-2和投影单元201-3)以及两个捕获单元202(捕获单元202-1和捕获单元202-2)的图像投影和捕获设备400。

在与图像投影和捕获设备400类似地存在多个投影单元201和多个捕获单元202的情况下，利用上面在第一实施例和第二实施例中描述的各种方法至少针对投影单元201和捕获单元20的所有组合来检测相互对应点。

注意，投影单元201和捕获单元202之间的位置关系是正当任意的，因此不限于图15和图23的A中的示例。

此外，图像投影和捕获设备200的控制单元221可以形成为独立于投影单元201和捕获单元202的一个捕获。例如，本技术也可以应用于图23的B所示的图像投影和捕获***410。

图23的B所示的图像投影和捕获***410包括图像投影和捕获设备401和控制捕获402，并且整个***执行与图像投影和捕获设备200相同的处理。图像投影和捕获设备401包括投影单元201和捕获单元202。控制捕获402具有与图像投影和捕获设备200中的控制单元221相同的结构，并执行与控制单元221的处理等同的处理。也就是说，控制捕获402通过电缆等耦合到图像投影和捕获设备401，并且能够控制图像投影和捕获设备401中的投影单元201和捕获单元202，执行与投影单元201和捕获单元202之间在像素上的对应点检测相关的处理，并且生成投影图案。

此外，投影单元201和捕获单元202可以形成为相互独立的捕获。例如，本技术也可以应用于图23的C所示的图像投影和捕获***410。

图23的C所示的图像投影和捕获***410包括投影捕获411、捕获设备412和控制捕获413，并且整个***执行与图像投影和捕获设备200的处理类似的处理。投影捕获411包括投影单元201。捕获设备412包括捕获单元202。控制捕获413类似于控制捕获402，并且具有与图像投影和捕获设备200中的控制单元221的配置等同的配置，以便执行与控制单元的处理等同的处理。也就是说，控制捕获413通过电缆等耦合到投影捕获411和捕获设备412，并且能够控制投影捕获411的投影单元201和捕获设备412的捕获单元202，执行与投影单元201和捕获单元202之间在像素上的对应点检测有关的处理，并且生成投影图案。

不用说，用于图像投影和捕获***410的投影单元201和捕获单元202的数目是任意的，因此可以是至少两个或者不一定彼此一致。此外，在***包括各自包括投影单元201和/或捕获单元202的多个捕获的情况下，各个捕获的配置可以彼此不同。例如，图像投影捕获设备401，投影捕获411和捕获设备412可以共存。此外，***可以包括图像投影和捕获设备200或图像投影和捕获设备400。不用说，***可以包括投影捕获，捕获设备和图像投影和捕获设备，这些捕获各自具有与示例中的那些配置不同的配置。

即使使用任何配置，也可以利用上面在第一实施例和第二实施例中描述的各种方法，至少针对投影单元201和捕获单元202的所有组合来检测互相对应点。各组合中的投影单元201和捕获单元202不一定被包括在同一捕获中。例如，在图23的C中，利用上述各种方法，至少在投影捕获411的投影单元201和捕获设备412的捕获单元202之间检测对应点。

本技术还可以应用于图像投影和捕获***420，图像投影和捕获***420包括通过电缆421耦合以彼此通信的多个图像投影和捕获设备200(图像投影和捕获设备200-1至200-N(N是大于等于2的整数))，如图24的A所示。也就是说，可以存在多个控制单元221。在这种情况下，各个捕获的控制单元221可以彼此协作，以便作为一个控制单元221执行处理，或者任何控制单元221可以独立地作为主机操作，而其他控制单元221可以作为从属依赖地进行操作。

另外，如图24的B所示，图像投影和捕获***420可以包括独立于所提供的每个图像投影和捕获设备200的控制捕获423，并且控制捕获423可以控制每个图像投影和捕获设备200。在图24的B中，控制捕获423通过预定网络422(例如，互联网或LAN)耦合到多个图像投影和捕获设备200(图像投影和捕获设备200-1至200-N(N是大于等于2的整数))，以便能够与图像投影和捕获设备200通信。控制捕获423利用上述各种方法至少检测所有投影单元201和捕获单元202之间的对应点。

例如，图像投影和捕获设备400，图像投影和捕获***410，图像投影和捕获***420可以利用彼此合作的多个投影单元201投影图像。

<合作投影>

例如，包括具有4K分辨率(例如，4096×2160)和60fps的帧速率的逐行扫描***图像(4K@60P)的内容数据被提供给图像投影和捕获***420(图24的A)。每个图像投影和捕获设备200从图像(4K@60)中提取分配给其自身的部分图像(例如，具有全高清分辨率和60fps的帧速率的逐行扫描***图像(1080@60P))，以便将部分图像投影到投影表面上。

例如，图像投影和捕获***420中的图像投影捕获设备200-1，图像投影和捕获设备200-2，图像投影和捕获设备200-3以及图像投影和捕获设备200-4420被布置以投影图像，如图25的A所示。在图25的A所示的示例中，图像投影和捕获设备200的投影图像投影在投影表面450上，以便以2×2格式(包括两个垂直形成的格式和两个水平形成的格式)定位。更具体地，图像投影和捕获设备200-1的投影图像451-1被投影在投影表面450上的左上方，图像投影和捕获设备200-2的投影图像451-2被投影在投影表面450上的右上方，图像投影和捕获设备200-3的投影图像451-3被投影在投影表面450上的左下方，图像投影和捕获设备200-4的投影图像451-4被投影在投影表面450上的右下方。

如图25的A所示，投影图像451(投影图像451-1至451-4)彼此部分地叠加，以形成一个区域。投影图像451包括上述的部分图像(1080@60P)，使得在已经执行投影的状态下，在投影表面450上形成图像(4K@60P)的投影图像452，如图25的A所示。更具体地，投影图像451-1包括在投影图像452(4K@60P)的左上方的部分图像，投影图像451-2包括在投影图像452(4K@60P)的右上方的部分图像，投影图像451-3包括在投影图像452(4K@60P)的左下方的部分图像，并且投影图像451-4包括在投影图像452(4K@60P)的右下方的部分图像。投影图像451如上所述地彼此部分地叠加，使得包括在每个投影图像451中的部分图像可以是具有比全HD更高的分辨率(即，具有宽范围)的图像。

以这种方式，图像投影和捕获设备200彼此合作，使得图像投影和捕获***420可以投影具有4K分辨率(4K@60P)的图像，保持分辨率(保持图像质量)。

注意，需要定位每个投影图像451并执行几何校正等，以便实现投影图像452。每个图像投影和捕获设备200可以利用捕获单元202对由每个图像投影和捕获设备200的投影单元投影的投影图像451进行感测。在图25的B中的示例中，图像投影和捕获设备200-1的捕获单元202捕获图像投影和捕获设备200-4的投影图像451-4(部分图像452-4)。每个控制单元221基于这样的传感器数据执行各种类型的校正，使得每个部分图像在投影表面450上以更自然的格式被合成，然后可以形成一个投影图像452。

图像校正的细节的示例包括投影仪个体差异校正，重叠校正和屏幕形状校正，如图25的B所示。例如，投影仪个体差异校正用于亮度，伽马，明度，对比度，白平衡和着色。重叠校正用于包括相互叠加的投影图像451的重叠区域。例如，包括水平校正和失真校正。屏幕形状校正用于处理投影表面450的形状和姿态。例如，包括投影变换(平面、球形、圆柱形(圆柱)和多项式曲线)。不用说，可以执行除了这些校正之外的校正。

例如，如图26所示，在投影表面450以倾斜方向面向图像投影和捕获设备200的情况下，如果不执行校正，则投影图像失真，但投影变换等可以减少失真。此外，在如图27的示例所示的多个图像投影到曲面上的情况下，投影变换等可以将投影作为一个图像执行。

为了执行各种类型的校正，需要检测每个投影单元201和每个捕获单元202之间在像素上的对应点。在这种情况下，应用本技术，即使用上面在第一实施例和第二实施例中描述的各种方法，可以抑制对应点检测精度降低。也就是说，可以更精确地执行各种类型的校正，使得可以抑制投影图像降低图像质量。

<图像投影和捕获***的示例性利用>

使用图像投影和捕获***可以执行各种类型的投影。例如，如图28的A所示布置多个投影图像,使得投影图像可以提高分辨率。此外，基于如图28的B中的示例所示的每个图像投影和捕获设备200投影的每个投影图像(每个部分图像)的布置，可以独立于针对每个图像投影和捕获设备200的规范来灵活地设置投影图像(整个图像)的纵横比。

此外，如图28的C中的示例所示，可以将图像投影到多个墙壁和天花板(即，面向多个方向的屏幕(换句话说，固体结构))而没有失真。此外，如图28的D中的示例所示，图像也可以投影到观看者周围的宽范围的和弯曲的屏幕上，而没有失真。

提高投影表面的灵活性，增加投影图像的表现力，使得例如逼真的感觉和可见度可以改善，娱乐和表达的艺术品质可以提高。

本技术可以应用于执行各种投影的各种图像投影和捕获***。换句话说，应用本技术可以在各种投影方法中更准确地执行各种类型的校正，使得可以抑制投影图像降低图像质量。

注意，以上已经描述了本技术应用于投影图像的图像投影和捕获设备和图像投影和捕获***，此外，本技术可以应用于执行投影单元和捕获单元之间在像素上的对应点检测的任意捕获和任意***。例如，本技术可以应用于测量对象形状的捕获和***。此外，以上已经描述了本技术应用于相移方法(多相移方法)的情况，此外，本技术还可以应用于除相移法(多相移法)之外的对应点检测方法，例如格雷码。

<软件>

上述的串联处理可以由硬件执行，或者可以由软件执行。在通过软件执行上述串联处理的情况下，从网络或记录介质安装软件中包括的程序。

如图16所示，记录介质包括例如已经记录了程序的可移动介质251，以便将程序传送给用户，可移动介质251与捕获主体分离。可移动介质251的示例包括磁盘(包括软盘)和光盘(包括CD-ROM和DVD)。此外，还包括磁光盘(包括迷你光盘(MD))，半导体存储器等。在这种情况下，例如，将可移动介质251安装在驱动器245上可以读取存储在可移动介质251中的程序，使得可以将程序安装到存储单元243中。

此外，还可以通过有线通信或无线通信(例如，局域网，互联网或数字卫星广播)中的传输介质来提供程序。在这种情况下，例如，通信单元244接收程序，使得程序可以被安装到存储单元243中。

此外，程序可以预先安装到存储单元，ROM等中。例如，程序可以预先安装到存储单元243，ROM 232等中。

注意，由计算机执行的程序可以是用于按照本说明书中描述的顺序基于时间序列执行处理的程序，或者可以是用于并行执行处理或按进行调用所需的时序执行处理的程序。

此外，在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照所述顺序基于时间序列执行的处理，而且包括并行或单独执行的处理，即使处理不一定基于时间序列来执行。

此外，上述每个步骤的处理可以在上述每个捕获中或在除上述每个捕获之外的任意捕获中执行。在这种情况下，执行处理的捕获至少包括执行处理所必需的功能(例如，功能块)。此外，处理所需的信息至少适当地被传送到捕获。

<其它>

此外，在本说明书中，***是指包括多个组成元素(例如，捕获和模块(组件))的集合体，而不管所有组成元素是否被包括在同一壳体中。因此，通过网络耦合的多个捕获，每个捕获各自容纳在不同的壳体中，并且一个捕获包括容纳在一个壳体中的多个模块，这两种情况都涉及该***。

此外，作为一个捕获(或处理单元)描述的配置可以被划分以形成多个捕获(或处理单元)。相反，上述作为多个捕获(或处理单元)描述的配置可以共同形成以形成一个捕获(或一个处理单元)。另外，每个捕获(或每个处理单元)的配置可以添加除了上述配置之外的配置。此外，如果整个***的配置或操作基本相同，则捕获(或处理单元)的配置可以部分地包括在不同捕获(或不同的处理单元)的配置中。

已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这些示例。显然，本公开的技术领域的技术人员对权利要求中描述的技术思想的范围进行各种改变或修改，因此应当理解，这些权利属于本公开的技术范围。

例如，本技术可以具有通过彼此合作的多个捕获执行处理的云计算的配置，该捕获包括通过网络划分的一个功能。

此外，除了由一个捕获执行之外，上述流程图中描述的每个步骤可以被划分到多个捕获中以便被执行。

此外，在一个步骤包括多个处理的情况下，除了由一个捕获执行之外，一个步骤中包括的多个处理可以被划分到多个捕获中以便被执行。

此外，本技术不限于此，因此也可以使用内置于捕获或***中包括的捕获(例如，作为***大规模集成(LSI)的处理器，使用多个处理器的模块，使用多个模块的单元，或包括进一步添加有不同功能(即，捕获的部分配置)的单元的组)中的任何配置来执行。

注意，本技术可以具有以下配置。

<投影控制：相位反向>

(1)一种信息处理设备，包括：投影控制单元，其被配置为允许投影单元投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

(2)根据(1)所述的信息处理设备，第一图案包括正弦变化的预定参数。

(3)根据(2)所述的信息处理设备，参数为亮度。

(4)根据(1)至(3)中任一项所述的信息处理设备，第一方向与检测相位的方向不同。

(5)根据(1)至(4)中任一项所述的信息处理设备，第一方向相对于由捕获单元捕获并获取的捕获图像中的垂直方向以预定范围内的角度倾斜。

(6)根据(5)所述的信息处理设备，范围为40°至50°。

(7)根据(1)至(6)中任一项所述的信息处理设备，投影控制单元允许投影单元在投影第二图案之前，投影第三图案和第四图案，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案。

(8)根据(7)所述的信息处理设备，第三图案和第四图案包括在第二方向上以第二周期重复的二进制，二进制包括相互相反的相位。

(9)根据(1)至(8)中任一项所述的信息处理设备，投影控制单元还允许投影单元投影包括第一图案的第五图案，其中第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向。

(10)根据(1)至(9)中任一项所述的信息处理设备，投影控制单元允许投影单元投影多个第二图案，多个第二图案包括相位相互移动的第一图案。

(11)根据(10)所述的信息处理设备，投影控制单元允许投影单元投影三个第二图案，这三个第二图案包括相位相互移动120°的第一图案。

(12)根据(1)至(11)中任一项所述的信息处理设备，投影控制单元允许投影单元投影包括相互不同的第一周期的多个第二图案的图像。

(13)根据(1)至(12)中任一项所述的信息处理设备，还包括：生成单元，其被配置为生成第二图案。投影控制单元允许投影单元投影由生成单元生成的第二图案。

(14)根据(13)所述的信息处理设备，生成单元在第二方向上以第二周期将第一图案的相位反向以生成第二图案，其中第一图案包括在第一方向上以第一周期进行的重复。

(15)根据(13)所述的信息处理设备，生成单元将包括以第一周期进行的重复的第一图案的重复方向改变为第一方向，并且进一步在第二方向上以第二周期将第一图案的相位反向以生成第二图案。

(16)根据(11)至(15)中任一项所述的信息处理设备，还包括：存储单元，其被配置为存储第一图案的数据。生成单元利用存储在存储单元中的第一图案生成第二图案。

(17)根据(1)至(16)所述的信息处理设备，还包括：投影单元，其被配置为根据投影控制单元的控制将第二图案投影到投影表面上。

(18)根据(1)至(17)中任一项所述的信息处理设备，还包括：捕获单元，其被配置为捕获由投影单元投影的第二图案的投影图像，以获取捕获图像。

(19)根据(1)至(18)中任一项所述的信息处理设备，还包括：对应点检测单元，其被配置为利用由投影单元投影的第二图案的投影图像的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，捕获图像由捕获单元获取。

(20)一种信息处理方法，包括：允许投影单元投影包括第一图案的第二图案，以获取投影单元和捕获单元之间在像素上的对应关系，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

<对应点检测：相位反向>

(21)一种信息处理设备，包括：对应点检测单元，其被配置为利用通过由捕获单元捕获包括第一图案的第二图案的投影图像获取的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向，投影图像由投影单元投影到投影表面上。

(22)根据(21)所述的信息处理设备，第一图案包括正弦变化的预定参数。

(23)根据(22)所述的信息处理设备，参数为亮度。

(24)根据(22)或(23)所述的信息处理设备，对应点检测单元获取参数的变化作为相位，从而基于相位来检测对应点。

(25)根据(24)所述的信息处理设备，对于第二图案中的相位反向区域，对应点检测单元将相位反向以检测对应点。

(26)根据(25)所述的信息处理设备，对应点检测单元利用第三图案的投影图像的捕获图像和第四图案的投影图像的捕获图像来获取第二图案中的相位反向区域，其中第三图案包括在第二方向上以第二周期进行的重复，第四图案包括相位反向的第三图案，投影图像在投影第二图案之前由投影单元投影，捕获图像由捕获单元获取。

(27)根据(26)所述的信息处理设备，第三图案和第四图案包括在第二方向上以第二周期重复的二进制，二进制包括相互相反的相位。

(28)根据(21)至(27)中任一项所述的信息处理设备，第一方向与检测相位的方向不同。

(29)根据(21)至(28)中任一项所述的信息处理设备，第一方向相对于由捕获单元捕获并获取的捕获图像中的垂直方向以预定范围内的角度倾斜。

(30)根据(29)所述的信息处理设备，范围为40°至50°。

(31)根据(21)至(30)中任一项所述的信息处理设备，对应点检测单元还利用通过由捕获单元捕获包括第一图案的第五图案的投影图像获取的捕获图像来检测对应点，第一图案包括在第二方向上以第一周期进行的重复，在第一方向上以第二周期进行了相位反向，投影图像由投影单元投影到投影表面上。

(32)根据(21)至(31)中任一项所述的信息处理设备，对应点检测单元利用通过由捕获单元捕获包括相位相互移动的第一图案的多个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

(33)根据(32)所述的信息处理设备，对应点检测单元利用通过由捕获单元捕获包括相位相互移动120°的第一图案的三个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

(34)根据(21)至(33)中任一项所述的信息处理设备，对应点检测单元利用通过由捕获单元捕获包括相互不同的第一周期的多个第二图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影在投影表面上。

(35)根据(21)至(34)中任一项所述的信息处理设备，还包括：捕获单元。

(36)根据(21)至(35)中任一项所述的信息处理设备，还包括：投影单元。

(37)根据(21)至(36)中任一项所述的信息处理设备，还包括：投影控制单元，其被配置为控制投影单元。

(38)根据(37)所述的信息处理设备，还包括：生成单元，其被配置为生成第二图案，并且投影控制单元允许投影单元投影由生成单元生成的第二图案。

(39)根据(38)所述的信息处理设备，生成单元在第二方向上以第二周期将第一图案的相位反向以生成第二图案，其中第一图案包括在第一方向上以第一周期进行的重复。

(40)根据(38)所述的信息处理设备，生成单元将包括以第一周期进行的重复的第一图案的重复方向改变为第一方向，并且进一步在第二方向上以第二周期将第一图案的相位反向以生成第二图案。

(41)根据(38)至(40)中任一项所述的信息处理设备，还包括：存储单元，其被配置为存储第一图案的数据，并且生成单元利用存储在存储单元中的第一图案生成第二图案。

(42)一种信息处理方法，包括：利用通过由捕获单元捕获包括第一图案的第二图案的投影图像获取的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，其中第一图案包括在第一方向上以第一周期进行的重复，在与第一方向正交的第二方向上以第二周期进行了相位反向。

<投影控制：图案旋转>

(51)一种信息处理设备，包括：投影控制单元，其被配置为允许投影单元投影预定图案，以获取投影单元和捕获单元之间在像素上的对应关系，该预定图案包括在与检测相位的方向不同的第一方向上以预定周期进行的重复。

(52)根据(51)所述的信息处理设备，预定图案包括正弦变化的预定参数。

(53)根据(52)所述的信息处理设备，参数为亮度。

(54)根据(51)至(53)中任一项所述的信息处理设备，第一方向相对于由捕获单元捕获并获取的捕获图像中的垂直方向以预定范围内的角度倾斜。

(55)根据(54)所述的信息处理设备，范围为40°至50°。

(56)根据(51)至(55)中任一项所述的信息处理设备，投影控制单元还允许投影单元投影预定图案，该预定图案包括在与第一方向正交的第二方向上以预定周期进行的重复。

(57)根据(51)至(56)中任一项所述的信息处理设备，投影控制单元允许投影单元投影相位相互移动的多个预定图案。

(58)根据(57)所述的信息处理设备，投影控制单元允许投影相位相互移动120°的三个预定图案的图像。

(59)根据(51)至(58)中任一项所述的信息处理设备，投影控制单元允许投影单元投影包括相互不同的预定周期的多个预定图案。

(60)根据(51)至(59)中任一项所述的信息处理设备，还包括：生成单元，其被配置为生成包括在第一方向上以预定周期进行的重复的预定图案，并且投影控制单元允许投影单元投影包括在第一方向上以预定周期进行的重复的预定图案，预定图案由生成单元生成。

(61)根据(60)所述的信息处理设备，生成单元将包括在第二方向上以预定周期进行的重复的预定图案的重复方向改变为第一方向，以生成包括在第一方向上以预定周期进行的重复的预定图案。

(62)根据(60)或(61)所述的信息处理设备，还包括：存储单元，其被配置为存储预定图案的数据，并且生成单元生成包括在第一方向上以预定周期进行的重复的预定图案，其中预定图案的数据存储在存储单元中。

(63)根据(51)至(62)中任一项所述的信息处理设备，还包括：投影单元，其被配置为根据投影控制单元的控制将包括在第一方向上以预定周期进行的重复的预定图案投影到投影表面上。

(64)根据(51)至(63)中任一项所述的信息处理设备，还包括：捕获单元，其被配置为捕获包括在第一方向上以预定周期进行的重复的预定图案的投影图像以获取捕获图像，投影图像由投影单元投影。

(65)根据(51)至(64)中任一项所述的信息处理设备，还包括：对应点检测单元，其被配置为利用包括在第一方向上以预定周期进行的重复的预定图案的投影图像的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，捕获图像由捕获单元获取，投影图像由投影单元投影。

(66)一种信息处理方法，包括：允许投影单元投影预定图案，以获取投影单元和捕获单元之间在像素上的对应关系，该预定图案包括在与检测相位的方向不同的第一方向上以预定周期进行的重复。

<对应点检测：图案旋转>

(71)一种信息处理设备，包括：对应点检测单元，其被配置为利用通过由捕获单元捕获预定图案的投影图像获取的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，该预定图案包括在与检测相位的方向不同的第一方向上以预定周期进行的重复，投影图像由投影单元投影到投影表面上。

(72)根据(71)所述的信息处理设备，预定图案包括正弦变化的预定参数。

(73)根据(72)所述的信息处理设备，参数为亮度。

(74)根据(72)或(73)所述的信息处理设备，对应点检测单元获取参数的变化作为相位，从而基于相位来检测对应点。

(75)根据(71)至(74)中任一项所述的信息处理设备，第一方向与检测相位的方向不同。

(76)根据(71)至(75)中任一项所述的信息处理设备，第一方向相对于由捕获单元捕获并获取的捕获图像中的垂直方向以预定范围内的角度倾斜。

(77)根据(76)所述的信息处理设备，范围为40°至50°。

(78)根据(71)至(77)中任一项所述的信息处理设备，对应点检测单元还利用通过由捕获单元捕获包括在与第一方向正交的第二方向上以预定周期进行的重复的预定图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

(79)根据(71)至(78)中任一项所述的信息处理设备，对应点检测单元利用通过由捕获单元捕获相位相互移动的多个预定图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

(80)根据(79)所述的信息处理设备，对应点检测单元利用通过由捕获单元捕获相位相互移动120°的三个预定图案的捕获图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

(81)根据(71)至(80)中任一项所述的信息处理设备，对应点检测单元利用通过由捕获单元捕获包括相互不同的预定周期的多个预定图案的投影图像获取的捕获图像来检测对应点，投影图像由投影单元投影到投影表面上。

(82)如(71)至(81)中任一项所述的信息处理设备，还包括：捕获单元。

(83)如(71)至(82)中任一项所述的信息处理设备，还包括：投影单元。

(84)根据(71)至(83)中任一项所述的信息处理设备，还包括：投影控制单元，其被配置为控制投影单元。

(85)根据(84)所述的信息处理设备，还包括：生成单元，其被配置为生成包括在第一方向上以预定周期进行的重复的预定图案，并且投影控制单元允许投影单元投影包括在第一方向上以预定周期进行的重复的预定图案，预定图案由生成单元生成。

(86)根据(85)所述的信息处理设备，生成单元将包括在第二方向上以预定周期进行的重复的预定图案的重复方向改变为第一方向，以生成包括在第一方向上以预定周期进行的重复的预定图案。

(87)根据(85)或(86)所述的信息处理设备，还包括：存储单元，其被配置为存储预定图案的数据，并且生成单元生成包括在第一方向上以预定周期进行的重复的预定图案，其中预定图案的数据存储在存储单元中。

(88)一种信息处理方法，包括：利用通过捕获预定图案的投影图像获取的捕获图像来检测投影单元和捕获单元之间在像素上的对应点，该预定图案包括在与检测相位的方向不同的第一方向上以预定周期进行的重复，投影图像由投影单元投影到投影表面上。

参考符号列表

101 正弦图案

102 相位反向图案

103 投影图案

141和142 区域设置图案

151 投影图案

152 捕获图像

153 异步噪声生成区域

154 相位分布

155 异步噪声生成区域

156 捕获图像

157 异步噪声生成区域

158 相位分布

159 异步噪声生成区域

171 正弦图案

172 旋转正弦图案

173 相位反向图案

174 投影图案

181和182 区域设置图案

200 图像投影和捕获设备

201 投影单元

202 捕获单元

210 投影表面

221 控制单元

231 CPU

232 ROM

233 RAM

234 总线

240 输入/输出接口

241 输入单元

242 输出单元

243 存储单元

244 通信单元

245 驱动器

251 可移动介质

261 视频处理器

262 激光驱动器

263 激光输出单元

264 反射镜

265 MEMS驱动器

266 MEMS反射镜

301 图案旋转水平设置单元

302 图案生成单元

303 投影控制单元

304 捕获控制单元

305 对应点检测单元

400 图像投影和捕获设备

401 图像投影和捕获设备

402 控制设备

410 图像投影和捕获***

411 投影捕获

412 捕获设备

413 控制设备

420 图像投影和捕获***

421 电缆

422 网络

423 控制设备。

Claims (20)

1.一种信息处理设备，包括：

投影控制单元，所述投影控制单元被配置为：

允许投影单元投影包括第二图案的图像，其中所述第二图案包括在第一方向上以第一周期进行的重复的第一图案，所述第二图案在与所述第一方向正交的第二方向上以第二周期进行了相位反向，

控制捕获单元捕获包括所述第二图案的投影图像；以及

基于捕获的图像获取所述投影单元和所述捕获单元之间在像素上的对应关系。

2.根据权利要求1所述的信息处理设备，

其中所述第一图案包括正弦变化的预定参数。

3.根据权利要求2所述的信息处理设备，

其中所述参数为亮度。

4.根据权利要求1所述的信息处理设备，

其中所述第一方向与检测相位的方向不同。

5.根据权利要求1所述的信息处理设备，

其中所述第一方向相对于由所述捕获单元捕获并获取的捕获图像中的垂直方向以预定范围内的角度倾斜。

6.根据权利要求5所述的信息处理设备，

其中所述范围为40°至50°。

7.根据权利要求1所述的信息处理设备，

其中所述投影控制单元允许所述投影单元在投影所述第二图案之前，投影第三图案和第四图案，其中所述第三图案包括在所述第二方向上以所述第二周期进行的重复，所述第四图案包括相位反向的所述第三图案。

8.根据权利要求7所述的信息处理设备，

其中所述第三图案和所述第四图案包括在所述第二方向上以所述第二周期重复的二进制，所述二进制包括相互相反的相位。

9.根据权利要求1所述的信息处理设备，

其中所述投影控制单元还允许所述投影单元投影第五图案，其中所述第五图案包括在所述第二方向上以所述第一周期进行的重复的所述第一图案，所述第五图案在所述第一方向上以所述第二周期进行了相位反向。

10.根据权利要求1所述的信息处理设备，

其中所述投影控制单元允许所述投影单元投影多个第二图案，所述多个第二图案包括相位相互移动的第一图案。

11.根据权利要求10所述的信息处理设备，

其中所述投影控制单元允许所述投影单元投影三个第二图案，所述三个第二图案包括相位相互移动120°的第一图案。

12.根据权利要求1所述的信息处理设备，

其中所述投影控制单元允许所述投影单元投影包括相位相互移动的所述第一周期的多个所述第二图案的图像。

13.根据权利要求1所述的信息处理设备，还包括：

生成单元，所述生成单元被配置为生成所述第二图案，

其中所述投影控制单元允许所述投影单元投影由所述生成单元生成的所述第二图案。

14.根据权利要求13所述的信息处理设备，

其中所述生成单元在所述第二方向上以所述第二周期将所述第一图案的相位反向以生成所述第二图案，其中所述第一图案包括在所述第一方向上以所述第一周期进行的重复。

15.根据权利要求13所述的信息处理设备，

其中所述生成单元将包括以所述第一周期进行的重复的所述第一图案的重复方向改变为所述第二方向，并且进一步在所述第二方向上以所述第二周期将所述第一图案的相位反向以生成所述第二图案。

16.根据权利要求11所述的信息处理设备，还包括：

存储单元，所述存储单元被配置为存储所述第一图案的数据，以及

生成单元，所述生成单元被配置为生成所述第二图案，

其中所述生成单元利用存储在所述存储单元中的所述第一图案生成所述第二图案。

17.根据权利要求1所述的信息处理设备，还包括：

所述投影单元，所述投影单元被配置为根据所述投影控制单元的控制将第二图案投影到投影表面上。

18.根据权利要求1所述的信息处理设备，还包括：

所述捕获单元，所述捕获单元被配置为捕获由所述投影单元投影的所述第二图案的投影图像，以获取捕获图像。

19.根据权利要求1所述的信息处理设备，还包括：

对应点检测单元，所述对应点检测单元被配置为利用由所述投影单元投影的所述第二图案的投影图像的捕获图像来检测所述投影单元和所述捕获单元之间在像素上的对应点，所述捕获图像由所述捕获单元获取。

20.一种信息处理方法，包括：

允许投影单元投影包括第二图案的图像，其中所述第二图案包括在第一方向上以第一周期进行的重复的第一图案，所述第二图案在与所述第一方向正交的第二方向上以第二周期进行了相位反向，

控制捕获单元捕获包括所述第二图案的投影图像；以及

基于捕获的图像获取所述投影单元和所述捕获单元之间在像素上的对应关系。

Images