CN108781267A - 图像处理设备和方法 - Google Patents

Abstract

本公开涉及一种可以改善在查看内容期间姿势估计相对于投影图像的鲁棒性的图像处理设备和方法。对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，并且基于对相似度的估计结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。本公开可以应用于例如，图像处理设备、投影装置、成像装置、投影成像装置、控制装置、投影成像***等。

Description

图像处理设备和方法

技术领域

本公开涉及一种图像处理设备和方法，并且具体涉及一种能够在查看内容期间改善姿势估计相对于投影图像的鲁棒性的图像处理设备和方法。

背景技术

照惯例，为了减少由投影仪投影的投影图像的失真和对通过多个投影仪获得的投影图像进行定位，存在一种通过相机来使投影图像成像，通过使用拍摄图像来估计投影仪的位置、姿势、投影表面形状等，并且根据估计来对投影图像执行几何校正的方法。

作为当时估计投影仪的位置、姿势等的方法，已经设想了一种使用图像的特征量(诸如，投影中的内容)的方法(例如，见非专利文献1)。

引文列表

非专利文献

非专利文献1：2006年David G.Lowe的“What and Where:3D Object Recognitionwith Accurate Pose”

发明内容

本发明要解决的问题

然而，在该方法中，姿势估计的性能严重依赖于投影图像，并且如果不能从投影图像中提取出大量特征点或者提取的特征点的位置被偏置，则姿势估计变得困难。

鉴于这种情况形成了本公开，改善了在查看内容期间姿势估计相对于投影图像的鲁棒性。

问题解决方案

根据本技术的一个方面的图像处理设备是包括以下单元的图像处理设备：相似度评估单元，该相似度评估单元配置为对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，以及姿势设置单元，该姿势设置单元配置为基于通过相似度评估单元得到的对相似度的评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。

姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，相似度评估单元已经将姿势评估为具有最佳相似度。

相似度评估单元可以获得模拟图像与拍摄图像之间的像素的亮度值的绝对值的差值之和作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最小评估值。

相似度评估单元可以获得模拟图像与拍摄图像之间的像素的亮度值的差值的平方和作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最小评估值。

相似度评估单元可以获得模拟图像与拍摄图像之间的归一化互相关作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最大评估值。

相似度评估单元可以获得模拟图像与拍摄图像之间的零均值归一化互相关作为指示相似度的评估值，并且姿势设置单元可以将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最大评估值。

相似度评估单元可以设置投影单元或者成像单元的虚拟姿势或者投影单元和成像单元两者的虚拟姿势，生成在虚拟姿势下获得的模拟图像，以及对拍摄图像与模拟图像之间的相似度进行评估。

相似度评估单元可以生成具有亮度值或者预定颜色分量的模拟图像。

相似度评估单元可以对拍摄图像的缩小图像与模拟图像之间的相似度进行评估。

相似度评估单元可以对拍摄图像的在预定范围中作为待处理的对象的部分图像与模拟图像之间的相似度进行评估。

相似度评估单元可以多次重复对相似度的评估。

相似度评估单元可以对每次的相似度进行评估，从而使拍摄图像的分辨率或者作为拍摄图像中待处理的对象的部分图像的范围可变。

可以进一步包括对应点距离评估单元，该对应点距离评估单元配置为获取拍摄图像与模拟图像之间的对应点，并且对拍摄图像与模拟图像之间的对应点之间的距离进行评估。

可以执行对应点距离评估单元对对应点之间的距离的评估和相似度评估单元对相似度的评估两者，并且姿势设置单元可以基于通过对应点距离评估单元得到的对对应点之间的距离的评估结果和通过相似度单元得到的对相似度的评估结果两者来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。

可以执行对应点距离评估单元对对应点之间的距离的评估或者相似度评估单元对相似度的评估，并且姿势设置单元可以基于通过对应点距离评估单元得到的对对应点之间的距离的评估结果或者通过相似度单元得到的对相似度的评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。

相似度评估单元可以在多个投影单元中的每一个投影单元与多个成像单元中的每一个成像单元之间对拍摄图像与模拟图像之间的相似度进行评估，并且姿势设置单元可以基于通过相似度评估单元得到的对投影单元中的每一个投影单元与成像单元中的每一个成像单元之间的相似度的评估结果来将多个投影单元或者多个成像单元的姿势或者多个投影单元和多个成像单元两者的姿势设置为估计结果。

可以进一步包括设置单元，该设置单元配置为基于由姿势设置单元设置的姿势来执行有关投影图像的几何校正的设置。

可以进一步包括投影单元，该投影单元配置为对投影图像进行投影。

可以进一步包括成像单元，该成像单元配置为使投影图像成像以获得拍摄图像。

根据本技术的一个方面的图像处理方法是包括以下步骤的图像处理方法：对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，以及基于对相似度的评估结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。

在根据本技术的一个方面的图像处理设备和方法中，对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，并且基于对相似度的估计结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。

发明效果

根据本公开，可以处理图像。具体地，可以改善在查看内容期间姿势估计相对于投影图像的鲁棒性。

附图说明

图1是图示了姿势改变的状态的示例的示意图。

图2是图示了姿势估计方法的示例的示意图。

图3是图示了姿势估计方法的示例的示意图。

图4是图示了光束法平差的状态的示例的示意图。

图5是图示了投影图像的示例的示意图。

图6是图示了姿势估计的状态的示例的示意图。

图7是图示了姿势估计方法的示例的示意图。

图8是用于描述部分图像的匹配的示例的示意图。

图9是用于描述多级匹配的示例的示意图。

图10是图示了投影成像***的主要配置示例的框图。

图11是图示了控制装置的主要配置示例的框图。

图12是图示了由控制装置实现的功能示例的功能框图。

图13是图示了投影成像装置的主要配置示例的框图。

图14是图示了投影单元的主要配置示例的框图。

图15是图示了激光扫描的示例的示意图。

图16是用于描述图像投影处理的流程的示例的流程图。

图17是用于描述姿势估计处理的流程的示例的流程图。

图18是用于描述相似度评估处理的流程的示例的流程图。

图19是图示了由姿势估计单元实现的功能示例的功能框图。

图20是用于描述姿势估计处理的流程的示例的流程图。

图21是用于描述姿势估计处理的流程的示例的流程图。

图22是图示了投影成像***的另一配置示例的框图。

图23是图示了投影成像***和投影成像装置的主要配置示例的框图。

具体实施方式

在下文中，将描述用于实施本公开的模式(以下称为实施例)。注意，将按照以下顺序进行描述。

1.使用图像相似度的姿势估计

2.第一实施例(投影成像***)

3.第二实施例(姿势估计单元)

4.第三实施例(投影成像***/投影成像装置)

5.其它

<1.使用图像相似度的姿势估计>

<几何校正>

投影图像可能由于投影仪相对于投影表面(屏幕、墙壁等)的姿势(位置、方向等)、投影的形状等而失真并且无法被看到。在这种情况下，可以通过向由投影仪投影的图像应用几何校正(诸如，对失真的校正)来减少投影图像的失真并且使投影图像容易被看到。

还存在一种通过多个投影仪来对图像进行投影以形成一个投影图像的***。例如，存在一种通过多个投影仪在相同位置对图像进行投影增加对比度来实现高动态范围的方法。进一步地，例如，还存在一种通过布置从投影仪投影的投影图像来实现比由一个投影仪投影的投影图像大的投影图像(具有比由一个投影仪投影的投影图像高的分辨率的投影图像)的方法。在这些方法中，有时不仅需要对每个投影图像进行上述失真校正，而且需要对投影图像之间的定位(移位、变焦等)进行校正。另外，在一些情况下，需要进行针对使投影图像之间的亮度、颜色等均匀的校正。

在本说明书中，将对改变投影图像的每个像素在投影表面上的位置进行校正(诸如，投影图像的变形、移动、放大、和缩小)称为几何校正。即，“几何校正”不仅包括基于图像处理的校正，而且包括基于对光学***的控制(诸如，移位和变焦)的校正、基于对投影单元的姿势等的控制的校正等。进一步地，在本说明书中，投影单元、成像单元等的“姿势”不仅包括投影单元或者成像单元的“定向”(投影或者成像的定向)，而且包括投影单元或者成像单元的“位置”(执行投影或者成像的位置)。

这种几何校正可以由操作投影仪的操作员等手动执行，但是可能需要操作员执行复杂的工作。鉴于此，已经设想了一种通过使用相机来使由投影仪投影的投影图像成像并且通过使用拍摄图像来设置几何校正的方法。在这种情况下，通过包括在拍摄图像中的投影图像来估计相机和投影仪的姿势、屏幕形状等，并且根据该估计来设置适当的几何校正。

<在线感测>

可能不仅在对内容(移动图像)进行投影之前需要进行这种几何校正设置，而且在对内容进行投影期间也需要进行这种几何校正设置。例如，假设投影成像装置10(投影单元11)的姿势在开始对内容(移动图像)进行投影时处于如在图1中的左侧图示的状态。在开始对内容(移动图像)进行投影之前，投影成像装置10将来自投影单元11的图像投影到屏幕21，通过成像单元使投影图像31成像，并且通过使用获得的拍摄图像来对投影成像装置10(投影单元11和成像单元12)执行姿势估计以及对屏幕21执行重建(形状估计)，并且基于估计来设置几何校正。即，在开始对投影成像装置10的内容(移动图像)进行投影时的姿势(RT_t1)是已知的，并且向投影图像31应用根据姿势的几何校正。

当投影成像装置10的姿势在对投影内容(移动图像)进行投影期间发生改变时，对几何校正的设置不与投影成像装置10的姿势对应，并且如在图1中的右侧图示的投影图像32中那样，投影图像中发生失真。由于在发生改变之后的姿势(RT_t2)是未知的，因此，需要再次估计投影成像装置10的姿势以适当地设置几何校正。

然而，对于正在查看内容的用户而言，出于这种原因暂停对内容(移动图像)进行投影是令人不悦的，因为暂停扰乱了对内容的查看。因此，已经设想了一种在继续对内容进行投影的同时检测对应点的方法(在线感测)。

作为在线感测技术，例如，已经设想了一种对投影使用内容(移动图像)的图像特征量的***。例如，已经设想了一种通过使用SIFT来分别从多个图像获得图像特征量(非专利文献1)并且通过这些图像特征量的对应点来执行姿势估计的方法。

<通过对应点之间的距离进行的姿势估计>

例如，当投影成像装置10的姿势如在图1的示例中那样发生改变时，投影成像装置10通过成像单元12来使投影图像32成像，并获得如在图2的右侧图示的拍摄图像42。即，捕获图像42包括投影图像32。然后，投影成像装置10从包括在拍摄图像42中的投影图像32的一部分中将具有预定特征量的一部分检测为特征点(图2中的X标记)。进一步地，如在图2的左侧图示的，投影成像装置10生成模拟图像41，该模拟图像41模拟了应该是在已知姿势RT_t1下投影单元11对相同图像进行投影并且成像单元12使其成像的情况下获得的拍摄图像。即，模拟图像41包括投影图像31。然后，投影成像装置10从包括在模拟图像41中的投影图像31的一部分中将具有预定特征量的一部分检测为特征点(图2中的X标记)。

投影成像装置10执行离群值去除(最近邻距离比(NNDR))、单应性矩阵估计(投影变换矩阵估计)等，并且获得包括在模拟图像41中的特征点与包括在拍摄图像42中的特征点之间的对应关系，并且检测与彼此对应的特征点(也称为对应点)。

当获得对应点时，投影成像装置10通过光束法平差使用对应点之间的距离来优化误差函数E。光束法平差是用于将误差函数E最小化的非线性优化技术。例如，如在图3中图示的，使投影成像装置10的姿势虚拟地发生些微改变，在虚拟姿势RT_t1'下生成模拟图像，并且在模拟图像与拍摄图像42之间获得特征点的对应点，并且获得误差函数E。以已知姿势RT_t1作为初始值重复这种处理，并且如在图4中图示的那样获得误差函数E达到最小的虚拟姿势RT_t1'。误差函数E达到最小的虚拟姿势RT_t1'是最接近当前姿势RT_t2的姿势，并且理想地，虚拟姿势RT_t1'与当前姿势RT_t2一致。因此，根据虚拟姿势RT_t1'来设置几何校正成为当前姿势RT_t2的最佳设置，并且可以最大程度地减少投影图像32的失真。

<具有少量特征点的图像>

然而，在具有浅景深的图像的情况下，例如，存在许多所谓的模糊区域。难以在具有少量边缘(诸如，模糊区域)的地方中检测特征点。进一步地，例如，由于在图5中图示的投影图像51的背景是空白的，因此，难以在背景部分中检测到特征点，这与模糊区域类似。即，具有浅景深的这种图像或者空白背景占据大部分的图像具有少量特征点。在具有少量特征点的这种图像的情况下，还可以减少对应点的数量。如上所述，由于通过使用对应点之间的距离来计算误差函数E，因此，姿势估计的准确度可能降低，除非对应点的数量足够。

进一步地，例如，在图5中图示的投影图像51具有人位于中心而其它部分是背景(空白)的组成。具有浅景深的图像也是常见的组成。然而，在这种组成中，边缘偏置于图像的一部分。因此，特征点也偏置于图像的一部分。在图5中图示的投影图像51的组成的情况下，特征点很可能偏向图像中心附近(人的部分)。如果特征点偏置于图像的一部分(特别是中心部分)，则对应点也偏置于该部分，并且从对应点掌握整个图像的失真趋势可能变得困难。即，进行更准确的姿势估计可能变得困难。

例如，如在图6中的A中图示的，假设拍摄图像53中的投影图像52的位置由于投影成像装置的姿势变化而从中心附近(在图6中的A中的左侧的状态)移位到右侧(在图6中的A中的右侧的状态)。如果在投影图像52的宽区域中获得了足够数量的特征点，则可以如通过虚线图示的那样获得足够数量的对应点，并且可以通过对应点来执行准确的姿势估计，并且还可以准确地估计屏幕21在姿势改变之后的姿势(形状)。

相反，如在图6中的B的示例中图示的，在在投影图像52中无法获得足够数量的特征点的情况下，如通过虚线图示的，在姿势改变之前和之后之间(在图6中的B中的左侧的状态与右侧的状态之间)获得对应关系可能变得困难。因此，例如，如在图6的B中的右侧的示例中，进行准确的姿势估计变得困难，并且进行准确的姿势估计还可能因为屏幕21的在姿势改变之后的姿势(形状)变形而变得困难。

如上所述，通过使用对应点之间的距离的误差函数E进行的传统姿势估计的准确度取决于图像的特性，并且有时无法获得足够的准确度，这取决于图像。

<通过图像相似度进行的姿势估计>

因此，对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像，并且基于评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。即，执行对图像本身的匹配(相似度评估)而不是使用对应的点。

通过这样做，可以抑制姿势估计准确度对投影图像的特性的依赖。即，可以改善在查看内容期间姿势估计相对于投影图像的鲁棒性。

<虚拟姿势>

在对相似度进行评估时，设置投影单元或者成像单元的虚拟姿势或者投影单元和成像单元两者的虚拟姿势，生成在虚拟姿势下获得的模拟图像，并且可以对在实际姿势下获得的拍摄图像与模拟图像之间的相似度进行评估。

例如，如在图7中图示的，假设投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势从感测到并且已知的姿势(RT_t1)改变为未知姿势(RT_t2)。在这种情况下，可以对虚拟姿势(RT_t1')下的模拟图像与未知姿势(RT_t2)下的拍摄图像之间的相似度进行评估。

通过按照这种方式使用虚拟姿势下的模拟图像，不必实际改变姿势，并且可以容易地执行姿势估计。

<模拟图像>

注意，可以利用亮度值或者预定颜色分量来生成模拟图像。模拟图像只需要包括进行姿势估计所需的信息，并且不必模拟包括在拍摄图像中的所有信息。例如，在计算相似度时，可以仅比较亮度值，或者可以仅比较预定颜色分量。即，在生成模拟图像时，例如，可以执行图像处理(诸如，灰度图转换)。通过适当地限制信息量，抑制了模拟图像的信息量增加，并且可以抑制对相似度的评估的处理的负荷增加。

<最佳评估搜索技术>

进一步地，在进行姿势估计时，在改变投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势的同时生成多个模拟图像，比较每个模拟图像和拍摄图像并且获得相似度，并且可以将被估计为具有最佳相似度的(虚拟)姿势设置为估计结果。例如，在图7的情况下，在以已知姿势(RT_t1)作为初始值稍微改变姿势的同时重复设置虚拟姿势(RT_t1')。然后，对每个姿势下的模拟图像与未知姿势(RT_t2)下的拍摄图像之间的相似度进行评估，并且可以将在估计中被评估为最佳的虚拟姿势(RT_t1')用作估计结果。

通过这样做，可以更准确地执行姿势估计。

<使用误差函数的相似度评估>

对拍摄图像与模拟图像之间的相似度进行评估的方法是任意的。例如，如在图7中示出的，可以通过拍摄图像与模拟图像之间的相似度来计算误差函数(评估函数)E，并且可以通过误差函数E的值来对相似度进行评估。例如，可以将达到最小的误差函数E的值评估为最佳的，并且可以将误差函数E的值达到最小的虚拟姿势(RT_t1')用作估计结果。

<对每个像素进行匹配>

进一步地，计算拍摄图像与模拟图像之间的相似度的方法也是任意的。例如，针对每个像素比较拍摄图像和模拟图像(针对每个像素执行匹配)，计算像素之间的相似度，以及可以通过使用像素之间的相似度来计算图像之间的相似度(按照图像的相似度)。例如，可以通过使用图像的像素的像素值来获得像素之间的相似度。

<使用函数的相似度计算>

例如，可以通过使用预定函数通过拍摄图像和模拟图像的像素的像素值来计算图像之间的相似度。该函数是任意的。例如，可以使用诸如绝对差之和(SAD)、平方差之和(SSD)、归一化互相关(NCC)、或者零均值归一化互相关(ZNCC)等函数。下面将描述这些函数。

注意，在该对函数的描述中，如在下面的表达式(1)中示出的那样确定在模拟(Simulation)图像的位置(i,j)处的像素的亮度值、模拟图像的像素的亮度值的平均值、在拍摄(Capture)图像的位置(i,j)处的像素的亮度值、以及拍摄(Capture)图像的像素的亮度值的平均值。

[表达式1]

SimY(i,j)：在模拟图像的位置(i,j)处的亮度值

模拟图像的亮度值的平均值

CapY(i,j)：在拍摄图像的位置(i,j)处的亮度值

拍摄图像的亮度值的平均值

...(1)

<函数示例1：SAD>

例如，可以采用图像的像素的像素值的绝对差之和(SAD)作为相似度。通过例如，下面的表达式(2)来计算该SAD。SAD越小，图像之间的相似度越高。

[表达式2]

<函数示例2：SSD>

例如，可以采用图像的像素的像素值的平方差之和(SAD)作为相似度。通过例如，下面的表达式(3)来计算该SSD。SSD越小，图像之间的相似度越高。

[表达式3]

<函数示例3：NCC>

例如，可以采用归一化互相关(NCC)作为相似度。通过例如，下面的表达式(4)来计算该NCC。该NCC的值范围为0≤NCC≤1，并且值越大(值越接近“1”)，图像之间的相似度越高。

[表达式4]

<函数示例4：ZNCC>

例如，可以采用零均值归一化互相关(ZNCC)作为相似度。通过例如，下面的表达式(5)来计算该ZNCC。

[表达式5]

该ZNCC的值范围由下面的表达式(6)表示，并且值越大(值越接近“1”))，图像之间的相似度越高。

[表达式6]

-1≤ZNCC≤1

...(6)

<误差函数E>

进一步地，使用这种函数的错误函数E可以是任何函数。例如，函数可以是如同下面的表达式(7)的函数。

[表达式7]

E＝-1*ZNCC+1

...(7)

在这种情况下，误差函数E的值范围由下面的表达式(8)表示，并且值越小，评估越高(即，相似度越高)。

[表达式8]

0≤E≤2

...(8)

<使用缩小图像的相似度评估>

注意，可以通过使用缩小图像来对拍摄图像与模拟图像之间的相似度进行评估。即，可以在拍摄图像的缩小图像与模拟图像的缩小图像(即，具有与拍摄图像的缩小图像相同的分辨率的模拟图像)之间执行匹配。由于通过使用缩小图像来降低分辨率(像素的数量)，因此，匹配(对相似度的计算)变得更容易，但是每个像素的面积变得更宽。即，姿势估计的准确度变得粗劣，换句话说，在一个像素发生移位的情况下的移动量变大，并且因此，可以更快地执行姿势估计。因此，例如，同样在姿势变化较大的情况下(例如，在投影图像的移动量较大的情况下)，可以更快地执行姿势估计。

<使用部分图像的相似度评估>

进一步地，可以在模拟图像与拍摄图像的在预定范围中作为待处理的对象的部分图像之间执行匹配(可以对相似度进行评估)。即，将拍摄图像的预定范围设置为待处理的对象，并且可以在作为待处理的对象的范围内执行匹配。

例如，在通过捕获将如在图8中的A中图示的图像71投影在屏幕上的状态而获得的拍摄图像中，图像71的边缘部分(靠近图像框)易受图像框的边缘和图像框之外的噪声(例如，屏幕的形状、材料等)影响，并且可能不适用于对相似度的评估。因此，如在图8中的B中图示的，在特定姿势下生成模拟图像72的情况下，设置除了投影图像73的端部(靠近图像框)之外的区域(在图8中的C中图示的区域74)，并且可以仅对区域74执行匹配。

该区域74的大小(换句话说，从投影图像73的端部到区域74的端部的宽度)是任意的。注意，如果区域74太小，则姿势估计的准确度降低。因此，使区域74在投影图像73的端部的影响和在投影图像73之外的影响充分减小的范围内尽可能大(即，使从投影图像73的端部到区域74的端部的宽度尽可能窄)，由此可以在抑制噪声的影响的同时抑制姿势估计的准确度大幅降低。

注意，可以将该部分区域设置为任何形状的拍摄图像(投影图像)中的任何部分。进一步地，待设置的部分区域的数量是任意的。即，可以出于除了抑制投影图像的端部或者投影图像之外的影响之外的任何目的而设置部分区域。例如，可以通过放大设置的部分区域(针对设置的部分区域设置高分辨率)来执行匹配，并且可以按照更高的准确度来执行姿势估计。例如，在针对对从多个投影单元投影的投影图像进行定位执行姿势估计的情况下，将待处理的对象限制为叠加多个投影图像的重叠区域，并且可以执行匹配，从而针对重叠区域设置高分辨率。进一步地，例如，被拍摄图像(模拟图像)划分为多个部分区域，并且可以并行处理部分区域的匹配。通过这样做，可以更快地对相似度进行评估。此外，通过针对每个部分图像设置高分辨率，可以实现准确度更高的姿势估计。

<相似度评估的重复>

注意，可以多次重复对拍摄图像与模拟图像之间的相似度的评估。例如，可以针对一个虚拟姿势多次重复匹配，并且可以对多次的评估结果进行综合评估。例如，可以对多次的相似度(或者其评估结果)的平均值、中值、总值等进行评估。例如，可以在改变待比较的参数(亮度值、颜色分量等)的同时多次重复匹配，并且可以综合地确定其评估结果。

进一步地，例如，在这样重复匹配时，可以通过使用前一评估结果(姿势估计结果)来执行下一次匹配。

<准确度的层级>

进一步地，例如，如在图9中图示的，可以在改变图像的分辨率的同时多次重复匹配，并且可以综合地确定其评估结果。图9中的左侧是重复评估的编码状态。在这种情况下，在第一轮中，使用如在图9中的右侧图示的图像81中的缩小图像，并且以整个图像为目标执行匹配。在第二轮中，如图像82中那样使用大于第一缩小图像的缩小图像，并且以整个图像为目标执行匹配。在第三轮中，以具有如图像83中的原始大小的整个图像为目标执行匹配。在第四轮中，以具有原始大小的图像84的部分区域85为目标执行匹配。

通过按照这种方式改变图像的分辨率，可以改变每次的姿势估计的准确度。即，可以重复匹配以使姿势估计的准确度成为多级的(层级的)。通常，相较于在进行准确度较低的姿势估计时，在进行准确度较高的姿势估计时负荷和处理时间增加。即，如果重复准确度高的匹配，则负荷和处理时间进一步增加。因此，可以通过在按照这种方式增加分辨率的同时重复匹配来将姿势估计的准确度从低准确度提高到高准确度。即，可以通过例如，高速执行准确度低的姿势估计来以较快的速度(即，以较高的效率)执行准确度高的姿势估计，并且然后，通过使用前一估计结果来以比前一次更高的准确度执行姿势估计。

<多个投影单元和多个成像单元>

注意，执行姿势估计的投影单元和成像单元的数量是任意的，并且可以是单数或者复数。在多个投影单元和成像单元的情况下，可以对投影单元和成像单元的所有组合执行拍摄图像与模拟图像之间的匹配。例如，在设置有多个投影单元和成像单元的情况下(例如，在设置有多个投影成像装置的情况下)，成像单元使从投影单元投影的投影图像成像，为拍摄图像生成模拟图像，并且可以执行每个拍摄图像与模拟图像之间的匹配。在匹配的结果(姿势估计结果)出现差异的情况下，例如，可以通过使结果平均或者计算重心来综合地进行确定。进一步地，此时，例如，可以通过排除准确度不足的姿势估计结果来省略拍摄图像与模拟图像之间的匹配的一部分。通过按照这种方式来抑制不必要的处理，可以抑制负荷不必要的增加。

<2.第一实施例>

<投影成像***>

图10是图示了应用本技术的投影成像***的实施例的主要配置示例的框图。在图10中，投影成像***100是能够对图像进行投影，使投影图像成像，以及通过应用本技术的方法(即，通过上述方法)来执行姿势估计的***。

如在图10中图示的，投影成像***100包括控制装置101和投影成像装置102-1至102-N(N是任意自然数)。投影成像装置102-1至102-N分别经由电缆103-1至103-N连接至控制装置101。

在下文中，在不需要将投影成像装置102-1至102-N彼此区分开来和描述投影成像装置102-1至102-N的情况下，将投影成像装置102-1至102-N称为投影成像装置102。进一步地，在不需要将电缆103-1至103-N彼此区分开来和描述电缆103-1至103-N的情况下，将电缆103-1至103-N称为电缆103。

控制装置101经由电缆103来控制每个投影成像装置102。例如，控制装置101将待投影的图像提供给每个投影成像装置102，并且使投影成像装置102对图像进行投影。进一步地，例如，控制装置101指示每个投影成像装置102使投影图像等成像，并且获取拍摄图像。进一步地，例如，控制装置101生成拍摄图像的模拟图像，并且执行拍摄图像与模拟图像之间的匹配(相似度评估)。进一步地，例如，控制装置101基于对相似度的评估结果来估计每个投影成像装置102的姿势，重建屏幕(投影表面)，并且对待由每个投影成像装置102投影的图像执行几何校正。

例如，控制装置101可以例如，对待投影的图像执行图像处理(诸如，放大、缩小、和变形)作为几何校正。进一步地，例如，控制装置101可以控制每个投影成像装置102的光学***的投影方向、成像方向等作为例如，几何校正。当然，可以执行图像处理和控制两者。

投影成像装置102-1至102-N分别包括用于对图像进行投影的投影单元111-1至111-N和用于使物体成像的成像单元112-1至112-N。在下文中，在不需要将投影单元111-1至111-N彼此区分开来和描述投影单元111-1至111-N的情况下，将投影单元111-1至111-N称为投影单元111。进一步地，在不需要将成像单元112-1至112-N彼此区分开来和描述成像单元112-1至112-N的情况下，将成像单元112-1至112-N称为成像单元112。

投影单元111具有所谓的投影仪的功能。即，可以通过使用投影单元111来将投影成像装置102作为投影仪驱动。例如，投影成像装置102可以通过使用投影单元111来将从控制装置101提供的图像投影到任意投影表面上。

成像单元112具有所谓的相机功能。即，可以通过使用成像单元112来将投影成像装置102作为相机驱动。例如，投影成像装置102可以通过使用成像单元112来使投影单元111将图像投影在其上的投影表面成像并且获得拍摄图像。投影成像装置102可以进一步将拍摄图像的数据提供给控制装置101。

投影成像装置102的数量是任意的，并且可以是单数或者复数。在多个投影成像装置102的情况下，投影成像装置102可以彼此独立地操作或者可以在控制装置101的控制下彼此协作地操作。在多个投影成像装置102彼此协作的情况下的投影成像***100用作所谓的多投影***，并且可以实现所谓的投影映射。

注意，例如，或许能够控制与投影单元111的投影有关的参数，诸如，图像的投影方向和放大率、以及投影图像的失真校正。进一步地，例如，或许能够控制包括在投影单元111中的光学***的姿势、整个投影单元111的姿势等以控制与投影有关的参数。

进一步地，例如，或许能够控制与成像单元112的成像有关的参数，诸如，图像的成像方向和视角、拍摄图像的失真校正等。进一步地，例如，或许能够控制包括在成像单元112中的光学***的姿势、整个成像单元112的姿势等以控制与成像有关的参数。

进一步地，对投影单元111的这种控制和对成像单元112的控制可以彼此独立地执行。进一步地，或许能够控制投影成像装置102的姿势。注意，例如，如上所述的对投影单元111的控制、对成像单元112的控制、和对投影成像装置102的控制可以由控制装置101执行，或者可以由除了控制装置之外的装置执行，诸如，投影成像装置102。

电缆103是可通信地连接控制装置101和投影成像装置102的任意通信标准的电信电缆。即，电缆103可以用作控制装置101与投影成像装置102之间的通信介质。注意，在投影成像***100中，控制装置101和投影成像装置102只需要彼此可通信地连接。例如，控制装置101和投影成像装置102可以通过无线通信连接。在这种情况下，可以省略电缆103。

控制装置101在对内容(例如，移动图像)进行投影期间对每个投影单元111和每个成像单元112执行姿势估计(执行在线感测)。控制装置101使部分或者全部成像单元112使由部分或者全部投影单元111投影的投影图像成像，并且在获得的拍摄图像与拍摄图像的模拟图像之间执行匹配，从而对每个投影单元111和每个成像单元112执行姿势估计。

<控制装置>

图11是图示了作为应用本技术的图像处理设备的实施例的控制装置101的主要配置示例的框图。

如在图11中图示的，控制装置101包括CPU 121、ROM 122、RAM 123、总线124、输入/输出接口130、输入单元131、输出单元132、存储单元133、通信单元134、和驱动器135。

CPU 121、ROM 122、和RAM 123经由总线124相互连接。输入/输出接口130也连接至总线124。输入单元131、输出单元132、存储单元133、通信单元134、和驱动器135连接至输入/输出接口130。

例如，CPU 121将存储在ROM 122和存储单元133中的程序等加载到RAM 123中并且执行程序，从而执行各种类型的处理。在RAM 123中，适当地存储CPU 121执行各种类型的处理所需的数据等。

例如，CPU 121可以通过按照这种方式执行程序等来执行检测对应点的处理。

例如，输入单元131包括接受任意外部信息(诸如，用户输入)的输入装置。该输入装置可以是任何类型。例如，输入装置可以是键盘、鼠标、操作按钮、触摸板、摄像头、麦克风、条形码读取器等。进一步地，输入装置可以是各种传感器，诸如，加速度传感器、光传感器、和温度传感器。进一步地，输入装置可以是接收任意外部信息作为数据(信号)的输入终端。例如，输出单元132包括输出装置内部的任意信息(诸如，图像和声音)的输出装置。该输出装置可以是任何类型。例如，输出装置可以是显示器、扬声器等。进一步地，输出装置可以是向外部输出任意信息作为数据(信号)的输出终端。

存储单元133包括存储信息(诸如，程序和数据)的存储介质。该存储介质可以是任何类型。例如，存储单元133可以是硬盘、RAM盘、非易失性存储器等。通信单元134包括通信装置，该通信装置执行通信以经由预定通信介质(例如，任意网络，诸如，互联网)向外部装置提供信息(诸如，程序和数据)和从外部装置接收信息(诸如，程序和数据)。该通信装置可以是任何类型。例如，通信装置可以是网络接口。通过通信单元134进行的通信的通信方法和通信标准是任意的。例如，通信单元134或许能够执行有线通信、无线通信、或者有线通信和无线通信两者。

驱动器135执行从附接至驱动器135的可移动介质141读取信息(程序、数据等)和向该可移动介质141写入信息(程序、数据等)的处理。可移动介质141可以是任何记录介质。例如，可移动介质141可以是磁盘、光盘、磁光盘、半导体存储器等。例如，驱动器135读取存储在附接至驱动器135的可移动介质141中的信息(程序、数据等)，并且将该信息提供给CPU121、RAM 123等。进一步地，例如，驱动器135获取从CPU 121、RAM 123等提供的信息(程序、数据等)，并且将该信息写入附接至驱动器135的可移动介质141。

<控制装置功能块>

图12中的A是图示了通过控制装置101执行程序等实现的功能的示例的功能框图。如在图12中的A中图示的，控制装置101例如，通过执行程序具有投影处理单元151、投影控制单元152、成像控制单元153、姿势估计单元154、和设置单元155的功能。

投影处理单元151执行对内容(移动图像)进行投影的处理。投影控制单元152执行控制投影单元111的处理。成像控制单元153执行控制成像单元112的处理。姿势估计单元154执行对投影成像装置102(或者投影成像装置102的投影单元111和成像单元112)进行姿势估计等的处理。设置单元155执行设置有关几何校正等的参数的处理。

注意，块可以根据需要向彼此提供信息(例如，命令、数据等)和从彼此接收信息(例如，命令、数据等)。进一步地，控制装置101可以具有除了上述功能之外的功能。

<姿势估计单元>

在图12中的A中的姿势估计单元154具有如在图12中的B中图示为功能块的功能。即，例如，姿势估计单元154具相似度评估单元161和姿势设置单元162的功能。

相似度评估单元161执行对拍摄图像与模拟图像之间的相似度进行评估的处理。姿势设置单元162执行设置投影单元111和成像单元112的姿势的处理。

注意，块可以根据需要向彼此提供信息(例如，命令、数据等)和从彼此接收信息(例如，命令、数据等)。进一步地，姿势估计单元154可以具有除了上述功能之外的功能。

<相似度评估单元>

在图12中的B中的相似度评估单元161具有在图12中的C中图示为功能块的功能。即，例如，相似度评估单元161具有虚拟姿势设置单元171、模拟图像生成单元172、和图像相似度评估单元173的功能。

虚拟姿势设置单元171执行设置虚拟姿势的处理。模拟图像生成单元172执行生成模拟图像的处理。图像相似度评估单元173执行对相似度进行评估的处理。

注意，块可以根据需要向彼此提供信息(例如，命令、数据等)和从彼此接收信息(例如，命令、数据等)。进一步地，相似度评估单元161可以具有除了上述功能之外的功能。

<投影成像装置>

图13是图示了投影成像装置102的主要配置示例的框图。如在图13中图示的，投影成像装置102包括控制单元201、投影单元111、成像单元112、输入单元211、输出单元212、存储单元213、通信单元214、和驱动器215。

控制单元201包括：例如，CPU、ROM、RAM等，并且控制装置中的每个处理单元，并且例如，执行控制图像处理等所需的各种类型的处理。例如，控制单元201基于控制装置101的控制来执行处理。例如，控制单元201经由通信单元214来获取从控制装置101提供的图像，将该图像提供给投影单元111，并且使投影单元111根据控制装置101的控制来对图像进行投影。进一步地，例如，控制单元201使成像单元112捕获投影表面，获取拍摄图像，并且根据控制装置101的控制经由通信单元214来将拍摄图像提供给控制装置101。

投影单元111通过由控制单元201控制来执行对图像进行投影的处理。例如，投影单元111将从控制单元201提供的图像投影到投影成像装置的外部(例如，投影表面等)。投影单元111通过使用微机电***(MEMS)反射镜将激光用作光源并且扫描激光来对图像进行投影。当然，投影单元111的光源是任意的，并且不限于激光。例如，光源可以是发光二极管(LED)、氙等。注意，投影单元111可以是任何装置，只要装置可以对图像进行投影。

成像单元112由控制单元201控制，捕获在装置外部的物体的图像(例如，投影表面等)，生成拍摄图像，并且将该拍摄图像提供给控制单元201。成像单元112包括：例如，使用互补金属氧化物半导体(CMOS)的图像传感器、使用电荷耦合器件(CCD)的图像传感器等，通过图像传感器对来自物体的光进行光电转换，并且生成拍摄图像的电信号(数据)。例如，成像单元112与投影单元111同步驱动，并且捕获投影单元111投影到投影表面上的投影图像。注意，成像单元112可以是任何装置，只要装置可以捕获投影图像。

输入单元211包括：例如，接受任意外部信息(诸如，用户输入)的输入装置。该输入装置可以是任何类型。例如，输入装置可以是操作按钮、触摸板、摄像头、麦克风、输入终端、各个种类的传感器(诸如，加速度传感器、光传感器、和温度传感器等)。输出单元212包括：例如，输出装置内部的任意信息(诸如，图像和声音)的输出装置。该输出装置可以是任何类型。例如，输出装置可以是显示器、扬声器、输出终端等。

存储单元213包括存储信息(诸如，程序和数据)的存储介质。该存储介质可以是任何类型。例如，存储单元133可以是硬盘、RAM盘、非易失性存储器等。

通信单元214包括通信装置，该通信装置经由预定通信介质(例如，任意网络，诸如，互联网)来执行通信以向外部装置提供信息(诸如，程序和数据)和从外部装置接收信息(诸如，程序和数据)。该通信装置可以是任何类型。例如，通信装置可以是网络接口。例如，通信单元214连接至通信电缆103，并且可以与经由通信电缆103连接的控制装置101执行通信。通过通信单元214进行的通信的通信方法和通信标准是任意的。例如，通信单元214或许能够执行有线通信、无线通信、或者有线通信和无线通信两者。

驱动器215执行从附接至驱动器215的可移动介质221读取信息(程序、数据等)和向该可移动介质221写入信息(程序、数据等)的处理。可移动介质221可以是任何记录介质。例如，可移动介质221可以是磁盘、光盘、磁光盘、半导体存储器等。例如，驱动器215读取存储在附接至驱动器215的可移动介质221中的信息(程序、数据等)，并且将该信息提供给控制单元201等。进一步地，例如，驱动器215获取从控制单元201等提供的信息(程序、数据等)，并且将该信息写入附接至驱动器215的可移动介质221。

<投影单元>

图14是图示了投影单元111的主要配置示例的框图。如在图14中图示的，投影单元111包括视频处理器231、激光驱动器232、激光输出单元233-1、激光输出单元233-2、激光输出单元233-3、反射镜234-1、反射镜234-2、反射镜234-3、MEMS驱动器235、和MEMS反射镜236。

视频处理器231保留从控制单元201提供的图像，并且对图像执行必要的图像处理。视频处理器231将待投影的图像提供给激光驱动器232和MEMS驱动器235。

激光驱动器232控制激光输出单元233-1至233-3以对从视频处理器231提供的图像进行处理。例如，激光输出单元233-1至233-3输出彼此不同颜色(波长范围)的激光，诸如，红色、蓝色、和绿色。即，激光驱动器232控制每种颜色的激光输出以对从视频处理器231提供的图像进行投影。注意，在不需要将激光输出单元233-1至233-3彼此区分开来和描述激光输出单元233-1至233-3的情况下，将激光输出单元233-1至233-3称为233。

反射镜234-1反射从激光输出单元233-1输出的激光并且将该激光引导至MEMS反射镜236。反射镜234-2反射从激光输出单元233-2输出的激光并且将该激光引导至MEMS反射镜236。反射镜234-3反射从激光输出单元233-3输出的激光并且将该激光引导至MEMS反射镜236。注意，在不需要将反射镜234-1至234-3彼此区分开来和描述反射镜234-1至234-3的情况下，将反射镜243-1至243-3称为234。

MEMS驱动器235控制MEMS反射镜236的反射镜的驱动以对从视频处理器231提供的图像进行投影。例如，MEMS反射镜236根据MEMS驱动器235的控制来驱动安装在MEMS上的反射镜以如在图15的示例中示出的那样扫描每种颜色的激光。通过投射开口来将激光输出至装置的外部，并且例如，利用激光来照射投影表面。利用照射，从视频处理器231提供的图像被投影到投影表面上。

注意，在图14的示例中，已经按照提供三个激光输出单元233以输出三种颜色的激光的方式进行了描述。然而，激光的数量(或者颜色的数量)是任意的。例如，激光输出单元233的数量可以是四个或者更多，或者两个或者更少。即，从投影成像装置102(投影单元111)输出的激光的数量可以是两个或者更少，或者四个或者更多。进一步地，从投影成像装置102(投影单元111)输出的激光的颜色的数量也是任意的，并且可以是两种颜色或者更少，或者四种或者更多种颜色。进一步地，反射镜234和MEMS反射镜236的配置也是任意的，并且不限于图14中的示例。当然，激光的扫描模式是任意的。

<图像投影处理的流程>

接下来，将描述在具有这种配置的投影成像***100中执行的处理。如上所述，投影成像***100的控制装置101控制投影成像装置102并且对内容(移动图像)进行投影。将参照图16中的流程图来描述由控制装置101执行以对这些内容进行投影的图像投影处理的流程的示例。

当开始图像投影处理时，在步骤S101中，控制装置101的姿势估计单元154设置投影单元111和成像单元112的姿势。进一步地，设置单元155基于设置的姿势来设置与几何校正有关的参数。

在步骤S102中，投影处理单元151生成待通过投影单元111投影的图像。例如，投影处理单元151通过使用在步骤S101中设置的参数等来对输入图像(内容)执行几何校正，并且生成待投影的图像。

在步骤S103中，投影控制单元152将在步骤S102中生成的图像提供给投影单元111，并且使投影单元111将图像投影在屏幕(投影表面)上。

在步骤S104中，成像控制单元153使成像单元112捕获在步骤S103中投影在屏幕上的投影图像，并且获取拍摄图像。

在步骤S105中，姿势估计单元154基于在步骤S104中获得的拍摄图像来确定是否执行姿势估计。即，姿势估计单元154基于拍摄图像中的投影图像的位置和形状变化来检测投影单元111和成像单元112的姿势变化，并且确定是否根据是否已经检测到姿势变化来执行估计姿势。在已经检测到姿势变化并且已经确定要执行姿势估计的情况下，处理继续至步骤S106。

在步骤S106中，姿势估计单元154执行姿势估计处理，并且通过使用拍摄图像来执行姿势估计。

在步骤S107中，设置单元155基于在步骤S106中估计的姿势来设置与几何校正有关的参数。即，设置单元155根据姿势估计结果来更新与几何校正有关的参数的设置。

当步骤S107的处理完成时，处理继续至步骤S108。进一步地，在步骤S105中，在已经检测到姿势变化并且已经确定不执行姿势估计的情况下，处理继续至步骤S108。

在步骤S108中，投影处理单元151确定是否终止图像投影，即，内容的投影。在还没有终止内容的投影并且用户等还没有指示停止投影以及已经确定图像投影继续的情况下，处理返回至步骤S102。即，对下一帧执行转移至步骤S102的处理。

进一步地，在步骤S108中，在确定对内容的投影已经结束或者用户等已经指示停止投影的情况下，图像投影处理终止。

注意，在存在多个成像单元112的情况下，控制装置101只需要对每个成像单元112执行步骤S104至S107的处理。进一步地，在存在多个投影单元111的情况下，控制装置101只需要对每个投影单元111执行上述图像投影处理。

<姿势估计处理的流程>

接下来，将参照图17中的流程图来描述在图16中的步骤S106中执行的姿势估计处理的流程的示例。

当开始姿势估计处理时，相似度评估单元161在步骤S121中执行相似度评估处理，并且将拍摄图像与模拟图像相比较并且对相似度进行评估。

在步骤S122中，姿势设置单元162基于步骤S121的相似度评估处理结果来设置投影单元111和成像单元112的姿势或者投影单元111和成像单元112两者的姿势。换句话说，姿势设置单元162将这些姿势设置为对相似度的评估达到最佳的姿势。

当步骤S122中的处理完成时，姿势估计处理终止，并且处理返回至图16。

<相似度评估处理的流程>

接下来，将参照图18中的流程图来描述在图17中的步骤S121中执行的相似度评估处理的流程的示例。

当开始相似度评估处理时，虚拟姿势设置单元171在步骤S141中将投影单元111和成像单元112的虚拟姿势设置为初始值。这些初始值是任意的。然而，例如，可以采用已知姿势，即，在姿势改变之前的姿势。

在步骤S142中，模拟图像生成单元172在步骤S141中设置的虚拟姿势下生成拍摄图像的模拟图像。

在步骤S143中，图像相似度评估单元173将在图16中的步骤S104中获得的拍摄图像与在步骤S142中生成的模拟图像相比较，并且获得图像之间的相似度并且对图像之间的相似度进行评估。图像相似度评估单元173通过在<1.通过使用图像相似度来进行姿态估计>中描述的技术来计算相似度并且对相似度评估。

在步骤S144中，图像相似度评估单元173确定是否已经针对所有虚拟姿势对相似度进行了评估。在确定要针对其它虚拟姿势对相似度进行评估的情况下，处理继续至步骤S145。

在步骤S145中，虚拟姿势设置单元171将虚拟姿势的设置更新为新的姿势。当步骤S145的处理完成时，处理返回至步骤S142。即，对更新的虚拟姿势执行转移至步骤S142的处理。

在步骤S144中，针对所有虚拟姿势对相似度进行评估，并且在确定不再针对其它虚拟姿势对相似度进行评估的情况下，相似度评估处理终止，并且处理返回至图17。

通过执行如上所述的每个处理，可以基于对拍摄图像与模拟图像之间的相似度的评估结果来执行姿势估计，并且可以改善在查看内容期间姿势估计相对于投影图像的鲁棒性。

<获得最佳评估的方式>

注意，获得对相似度的评估达到最佳的姿势(例如，误差函数E的值达到最小的姿势)的方法是任意的。例如，在图18中的相似度评估处理中，综合地设置虚拟姿势并且在所有虚拟姿势下对相似度进行评估，并且可以获得在所有虚拟姿势中评估达到最佳的姿势。进一步地，例如，在预定范围内综合地设置虚拟姿势，对相似度进行评估，并且可以重复获取获得最佳评估结果的姿势的处理，直到无法获得更有利的最佳评估结果。进一步地，例如，对拍摄图像在姿势改变之前和之后之间的变化(例如，包括在拍摄图像中的投影图像的位置和形状变化)等进行分析，并且指定姿势变化的大致趋势(例如，位置或者方向在哪个方向上改变了多少)，并且可以根据趋势来设置虚拟姿势。进一步地，例如，如上所述，在改变分辨率的同时重复姿势估计，并且可以高准确度地获得可以获得最佳评估结果的姿势。此外，例如，可以对多个帧执行姿势估计。即，例如，可以在多个帧上执行如上所述的姿势估计的重复(例如，可以在不同的帧中执行每次的姿势估计)。

<3.第二实施例>

<对应点距离评估的组合使用>

注意，可以同时使用基于应用上述本技术的图像之间的相似度的姿势估计方法和已经在<1.通过使用图像相似度来进行姿势估计>中描述的基于对应点之间的距离的姿势估计方法。

通常，基于相似度的姿势估计可以比基于对应点之间的距离的姿势估计进一步改善投影图像的鲁棒性。然而，基于对应点之间的距离的姿势估计具有比基于相似度的姿势估计更小的处理负荷。通过组合这两种技术，可以通过充分利用这些技术的特性来实现更有效的姿势估计。

<姿势估计单元>

在这种情况下，姿势估计单元154具有如在图19中图示为功能块的功能。即，例如，除了相似度评估单元161和姿势设置单元162的功能之外，姿势估计单元154还具有对应点距离评估单元301的功能。

对应点距离评估单元301执行对对应点之间的距离进行评估的处理。在这种情况下，姿势设置单元162基于在对应点距离评估单元301中获得的评估结果和在相似度评估单元161中获得的评估结果来执行姿势设置的处理。

注意，块可以根据需要向彼此提供信息(例如，命令、数据等)和从彼此接收信息(例如，命令、数据等)。进一步地，姿势估计单元154可以具有除了上述功能之外的功能。

<姿势估计处理流程1>

例如，在进行姿势估计时，有必要执行基于图像之间的相似度的方法和基于对应点之间的距离的方法两者，并且可以基于两种方法的估计结果来确定姿势。将参照图20中的流程图来描述在该情况下的姿势估计处理的流程的示例。

在这种情况下，当开始姿势估计处理时，在步骤S301中，对应点距离评估单元301通过获得包括在拍摄图像中的投影图像的特征点与包括在模拟图像中的投影图像的特征点之间的对应关系来获得相应对应点。然后，对应点距离评估单元301通过使用误差函数E等来获得对应点之间的距离并且对距离进行评估。

在步骤S302中，相似度评估单元161执行相似度评估处理，将拍摄图像与模拟图像相比较，并且对图像之间的相似度进行评估。注意，基本上按照与第一实施例中参照图18中的流程图描述的情况类似的方式来执行该相似度评估处理。

在步骤S303中，姿势设置单元162基于步骤S301和步骤S302的评估结果来将已经获得最佳评估的虚拟姿势作为投影单元111或者成像单元112的姿势或者投影单元111和成像单元112两者的姿势。当步骤S303中的处理完成时，姿势估计处理终止，并且处理返回至图16。

通过多种方法按照这种方式来执行姿势估计，可以在更多种条件下更准确地执行姿势估计。因此，可以进一步改善姿势估计相对于投影图像的鲁棒性。

注意，在这种情况下，可以首先执行基于对应点之间的距离的姿势估计或者基于图像之间的相似度的姿势估计。进一步地，例如，通过将估计结果用作初始值，通过基于对应点之间的距离的方法来执行姿势估计，该操作具有相对较轻的负荷，并且然后可以通过基于图像之间的相似度的方法来执行姿势估计，该操作具有相对较高的准确度。即，在图20的示例的情况下，可以执行步骤S302中将步骤S301中的处理结果反映为步骤S302的初始值的处理。通过这样做，可以更有效地执行通过这两种方法进行的姿势估计。

<姿势估计处理流程2>

进一步地，在姿势估计中，可以选择性地执行基于图像之间的相似度的方法和基于对应点之间的距离的方法。虽然作为该选择的基础的信息是任意的，但是，例如，可以根据预定条件(诸如，投影图像的内容或者检测到的对应点的趋势)来选择并且执行任意一种方法。例如，在检测到的对应点的数量较大并且对应点的位置被偏置得较少的情况下，可以选择基于对应点之间的距离的方法，或者，可以选择基于图像之间的相似度的方法。

将参照图21中的流程图来描述在该情况下的姿势估计处理的流程的示例。在这种情况下，当开始姿势估计处理时，对应点距离评估单元301检测包括在步骤S321中的投影图像的特征点。

在步骤S322中，对应点距离评估单元301在已知姿势下生成模拟图像。

在步骤S323中，对应点距离评估单元301检测模拟图像的特征点。

在步骤S324中，对应点距离评估单元301获取在步骤S321中检测到的拍摄图像的特征点与步骤S323中检测到的模拟图像的特征点之间的对应关系(即，特征点之间的对应关系)。即，对应点距离评估单元301检测对应点。

在步骤S325中，对应点距离评估单元301确定在步骤S324中检测到的对应点的数量是否足够大并且对应点的位置的偏差是否足够小。例如，对应点距离评估单元301将检测到的对应点的数量或者分布与预定阈值相比较并且进行确定。在确定对应点的数量足够大并且对应点的位置的偏差足够小的情况下，处理继续至步骤S326。

在步骤S326中，对应点距离评估单元301通过使用误差函数E等来获得对应点之间的距离并且对距离进行评估。当步骤S326的处理完成时，处理继续至步骤S328。

进一步地，在步骤S325中，在确定对应点的数量较小并且对应点的位置的偏差较大的情况下，处理继续至步骤S327。在步骤S327中，相似度评估单元161执行相似度评估处理，将拍摄图像与模拟图像相比较，并且对图像之间的相似度进行评估。注意，基本上按照与第一实施例中参照图18中的流程图描述的情况类似的方式来执行该相似度评估处理。当步骤S327的处理完成时，处理继续至步骤S328。

在步骤S328中，姿势设置单元162基于步骤S326或者步骤S327的评估结果来将已经获得最佳评估的虚拟姿势作为投影单元111或者成像单元112的姿势或者投影单元111和成像单元112两者的姿势。当步骤S328中的处理完成时，姿势估计处理终止，并且处理返回至图16。

通过这样做，在可以通过基于对应点之间的距离的方法来执行准确度足够的姿势估计的情况下，可以选择基于对应点之间的距离的方法，该方法具有相对较轻的负荷，并且在通过基于对应点之间的距离的方法无法获得足够的准确度的情况下，可以选择基于图像之间的相似度的方法，该方法具有相对较高的准确度。因此，可以对更多种图像执行更准确的姿势估计。即，可以进一步改善姿势估计相对于投影图像的鲁棒性。

注意，与基于图像之间的相似度的方法(该方法是应用本技术的姿势估计方法)一起使用的姿势估计方法是任意的，并且可以采用除了基于对应点之间的距离的方法之外的方法。

<4.第三实施例>

<投影成像***和投影成像装置的另一配置示例>

注意，应用本技术的投影成像***的配置示例不限于上述示例。例如，如同在图22中的A中图示的投影成像***400，控制装置101和每个投影成像装置102可以经由网络401彼此连接。

网络401是任意通信网络。网络401中采用的通信方法是任意的。例如，通信可以是有线通信、无线通信、或者有线通信和无线通信两者。进一步地，网络401可以由单个通信网络或者多个通信网络配置。例如，网络401可以包括通信网络或者任意通信标准的通信路径，诸如，互联网、公共电话网络、用于无线移动主体的广域通信网络(诸如，所谓的3G网络或者4G网络)、广域网(WAN)、局域网(LAN)、执行符合蓝牙(注册商标)标准的通信的无线通信网络、用于近场通信的通信路径(诸如，NFC)、用于红外通信的通信路径、或者用于符合标准的有线通信的通信网络(诸如，高清多媒体接口(HDMI(注册商标))或者通用串行总线(USB))。

控制装置101和每个投影成像装置102可通信地连接至网络401。注意，该连接可以是有线的(即，经由有线通信的连接)、无线的(即，经由无线通信的连接)、或者有线通信和无线通信两者。注意，装置的数量、壳体的形状和大小、布置位置等是任意的。

控制装置101和每个投影成像装置102可以经由网络401来彼此执行通信(以提供和接收信息)。换句话说，控制装置101和每个投影成像装置102可以经由另一设施(装置、传输路径等)彼此可通信地连接。

与投影成像***100类似，本技术可以应用于具有这种配置的投影成像***400，并且可以展示出上述功能和效果。

进一步地，例如，如在图22中的B中图示的投影成像***410，投影单元111和成像单元112可以配置为彼此不同的装置。代替投影成像装置102，投影成像***410包括投影装置411-1至411-N(N是任意自然数)和成像装置412-1至412-M(M是任意自然数)。投影装置411-1至411-N分别包括投影单元111(投影单元111-1至111-N)并且对图像进行投影。成像装置412-1至412-M分别包括成像单元112(成像单元112-1至112-M)，并且使投影表面(由投影单元111投影的投影图像)成像。

在不需要将投影装置411-1至411-N彼此区分开来和描述投影装置411-1至411-N的情况下，将投影装置411-1至411-N称为投影装置411。在不需要将成像装置412-1至412-M彼此区分开来和描述成像装置412-1至412-M的情况下，将成像装置412-1至412-M称为成像装置412。

每个投影装置411和每个成像装置412与控制装置101可通信地连接，并且可以通过有线通信、无线通信或者两者有线通信和无线通信两者来与控制装置101执行通信(向控制装置101提供信息和从控制装置101接收信息)。注意，每个投影装置411和每个成像装置412或许能够经由控制装置101来与另一投影装置411或者另一成像装置412或者另一投影装置411和另一成像装置412两者执行通信。

注意，装置的数量、壳体的形状和大小、布置位置等是任意的。进一步地，如同图22中的A中的示例，装置可以经由诸如网络401等另一设施(装置或者传输路径)彼此可通信地连接。

与投影成像***100类似，本技术可以应用于具有这种配置的投影成像***410，并且可以展示出上述功能和效果。

进一步地，例如，如在图23中的A中图示的投影成像***420中，可以省略控制装置101。如在图23中的A中图示的，投影成像***420包括投影成像装置421-1至421-N(N是任意自然数)。在不需要将投影成像装置421-1至421-N彼此区分开来和描述投影成像装置421-1至421-N的情况下，将投影成像装置421-1至421-N称为投影成像装置421。注意，投影成像装置421可以通过无线通信彼此可通信地连接。

投影成像装置421-1至421-N分别包括控制单元423-1至423-N。在不需要将控制单元423-1至423-N彼此区分开来和描述控制单元423-1至423-N的情况下，将控制单元423-1至423-N称为控制单元423。控制单元423具有与控制装置101类似的功能并且执行类似的处理。

即，在投影成像***420的情况下，在投影成像装置421(的控制单元423)中执行在上述控制装置101中执行的处理。注意，任何一个投影成像装置(的控制单元423)都可以执行在控制装置101中执行的所有处理，或者多个投影成像装置421(的控制单元423)可以通过提供和接收信息来彼此协作地执行处理。

与投影成像***100类似，本技术可以应用于具有这种配置的投影成像***420，并且可以展示出上述功能和效果。

进一步地，例如，如在图23中的B中图示的，投影成像***100可以配置为一个装置。在图23中的B中图示的投影成像装置430包括投影单元111(投影单元111-1至111-N(N是任意自然数))、成像单元112(成像单元112-1至112-M(M是任意自然数))、和控制单元423。

在投影成像装置430中，控制单元423通过执行在上述控制装置101中执行的处理来控制投影单元111和成像单元112执行姿势估计等。

因此，与投影成像***100类似，本技术可以应用于具有这种配置的投影成像***430，并且可以展示上述功能和效果。

<5.其它>

<本技术的应用示例>

根据上述实施例的***和装置可以应用于任意***和电子装置。进一步地，例如，本技术可以应用于任意领域中的图像处理***和图像处理设备，诸如，交通、医疗护理、犯罪预防、农业、畜牧业、采矿业、美容、工厂、家用电器、天气、和自然监控。

例如，本技术还可以应用于对提供用于欣赏的图像进行投影并且使其成像的***。进一步地，例如，本技术可以应用于提供用于交通的***。进一步地，例如，本技术可以应用于提供用于安全的***。进一步地，例如，本技术可以应用于提供用于运动的***。进一步地，例如，本技术可以应用于提供用于农业的***。进一步地，例如，本技术可以应用于提供用于畜牧业的***。进一步地，例如，本技术可以应用于监测自然条件(诸如，火山、森林、或者海洋)的***，例如，用于观察天气、温度、湿度、风速、日照时间等的气象观测***，例如，或者用于观察野生动物(诸如，鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫、或者植物)的生态学的***。

<软件>

上述几系列处理可以由硬件或者由软件执行。在使几系列处理由软件执行的情况下，提供网络或者记录介质来安装配置软件的程序。

例如，在图11中的控制装置101的情况下，该记录介质由记录有程序的可移动介质141配置，该可移动介质141被分布以便将程序分布给用户，与装置的主体分开。在这种情况下，例如，通过将可移动介质141附接至驱动器135，可以读出存储在可移除介质141中的程序并且将其安装在存储单元133中。

进一步地，例如，在图13中的投影成像装置102的情况下，该记录介质由记录有程序的可移动介质221配置，该可移动介质221被分布以便将程序分布给用户，与装置的主体分开。在这种情况下，例如，通过将可移动介质221附接至驱动器215，可以读出存储在可移除介质221中的程序并且将其安装在存储单元213中。

进一步地，可以经由有线或者无线传输介质(诸如，局域网、互联网、或者数字卫星广播)来提供该程序。例如，在图11中的控制装置101的情况下，程序可以由通信单元134接收并且安装在存储单元133中。进一步地，例如，在图13中的投影成像装置102的情况下，程序可以由通信单元214接收并且安装在存储单元213中。

除了上述内容之外，程序可以预先安装在存储单元、ROM等中。例如，在图11中的控制装置101的情况下，程序可以预先安装在存储单元133、ROM122等中。进一步地，例如，在图13中的投影成像装置102的情况下，程序可以预先安装在存储单元213、内置在控制单元201中的ROM(未图示)等中。

注意，在由计算机执行的程序中，可以按照根据本说明书中描述的顺序的时间顺序来执行描述程序的步骤的处理，或者可以并行或者在进行呼叫的必要定时单独地执行描述程序的步骤的处理。进一步地，可以与另一程序的处理并行地执行描述程序的步骤的处理，或者可以结合另一程序的处理来执行描述程序的步骤的处理。

进一步地，每个步骤的处理可以由上述装置中的每个装置执行，或者由除了上述装置之外的任意装置执行。在这种情况下，执行处理的装置只需要具有执行处理所需的上述功能(功能块等)。进一步地，只需要适当地将处理所需的信息传输至装置。

<其它>

本技术的实施例不限于上述实施例，并且在不脱离本技术的主旨的情况下，可以进行各种修改。

例如，在本说明书中，术语“***”是指一组多个配置元件(装置、模块(部件)等)，并且所有配置元件是否在同一外壳中是不相关的。因此，容纳在单独的外壳中并且经由网络连接的多个装置和在一个外壳中容纳多个模块的一个装置都是***。

进一步地，例如，被描述为一个装置(或者处理单元)的配置可以被划分和配置为多个装置(或者处理单元)。相反，在上面描述为多个装置(或者处理单元)的配置可以共同配置为一个装置(或者处理单元)。进一步地，可以向每个装置(或者每个处理单元)的配置添加除了上述配置之外的配置。进一步地，可以将某一装置(或者处理单元)的配置的一部分包括在另一装置(或者另一处理单元)的配置中，只要整个***的配置和操作基本上相同。

进一步地，例如，在本技术中，可以采用多个装置经由网络共享并且协作地处理一个功能的云计算的配置。

进一步地，例如，上述流程图中描述的步骤可以由一个装置执行，或者可以由多个装置按照共享方式执行。此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个装置执行，或者可以由多个装置共享并且执行。

进一步地，例如，本技术不仅可以实施为装置或者***，而且可以实施为待安装在装置上配置装置或者***的任何配置，诸如，作为***大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、或者向单元添加其它功能的集合(即，装置的一部分的配置)。

注意，本说明书中描述的多种技术可以作为单个单元彼此独立地实现，只要不存在不一致。当然，可以同时实现任意数量的本技术。例如，可以结合另一实施例中描述的本技术来实施任何实施例中描述的本技术。进一步地，可以结合上面未描述的另一技术来实施上述任意本技术。

注意，本技术还可以具有以下配置。

(1)一种处理设备，其包括：

相似度评估单元，该相似度评估单元配置为对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像；以及

姿势设置单元，该姿势设置单元配置为基于通过相似度评估单元得到的对相似度的评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。

(2)根据(1)的图像处理设备，其中

姿势设置单元将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，相似度评估单元已经将姿势评估为具有最佳相似度。

(3)根据(1)或者(2)的图像处理设备，其中

相似度评估单元获得模拟图像与拍摄图像之间的像素的亮度值的绝对值的差值之和作为指示相似度的评估值，以及

姿势设置单元将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最小评估值。

(4)根据(1)至(3)中任一项的图像处理设备，其中

相似度评估单元获得模拟图像与拍摄图像之间的像素的亮度值的差值的平方和作为指示相似度的评估值，以及

姿势设置单元将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最小评估值。

(5)根据(1)至(4)中任一项的图像处理设备，其中

相似度评估单元获得模拟图像与拍摄图像之间的归一化互相关作为指示相似度的评估值，以及

姿势设置单元将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最大评估值。

(6)根据(1)至(5)中任一项的图像处理设备，其中

相似度评估单元获得模拟图像与拍摄图像之间的零均值归一化互相关作为指示相似度的评估值，以及

姿势设置单元将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果，姿势具有最大评估值。

(7)根据(1)至(6)中任一项的图像处理设备，其中

相似度评估单元设置投影单元或者成像单元的虚拟姿势或者投影单元和成像单元两者的虚拟姿势，生成在虚拟姿势下获得的模拟图像，并且对拍摄图像与模拟图像之间的相似度进行评估。

(8)根据(1)至(7)中任一项的图像处理设备，其中

相似度评估单元生成具有亮度值或者预定颜色分量的模拟图像。

(9)根据(1)至(8)中任一项的图像处理设备，其中

相似度评估单元对拍摄图像的缩小图像与模拟图像之间的相似度进行评估。

(10)根据(1)至(9)中任一项的图像处理设备，其中

相似度评估单元对拍摄图像的在预定范围中作为待处理的对象的部分图像与模拟图像之间的相似度进行评估。

(11)根据(1)至(10)中任一项的图像处理设备，其中

相似度评估单元多次重复对相似度的评估。

(12)根据(1)至(11)中任一项的图像处理设备，其中

相似度评估单元对每次的相似度进行评估，从而使拍摄图像的分辨率或者作为拍摄图像中待处理的对象的部分图像的范围可变。

(13)根据(1)至(12)中任一项的图像处理设备，其进一步包括：

对应点距离评估单元，该对应点距离评估单元配置为获取拍摄图像与模拟图像之间的对应点，并且对拍摄图像与模拟图像之间的对应点之间的距离进行评估。

(14)根据(1)至(13)中任一项的图像处理设备，其中

执行对应点距离评估单元对对应点之间的距离的评估和相似度评估单元对相似度的评估两者，以及

姿势设置单元基于通过对应点距离评估单元得到的对对应点之间的距离的评估结果和通过相似度单元得到的对相似度的评估结果两者来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。

(15)根据(1)至(14)中任一项的图像处理设备，其中

执行对应点距离评估单元对对应点之间的距离的评估或者相似度评估单元对相似度的评估，以及

姿势设置单元基于通过对应点距离评估单元得到的对对应点之间的距离的评估结果或者通过相似度单元得到的对相似度的评估结果来将投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势设置为估计结果。

(16)根据(1)至(15)中任一项的图像处理设备，其中

相似度评估单元在多个投影单元中的每一个投影单元与多个成像单元中的每一个成像单元之间对拍摄图像与模拟图像之间的相似度进行评估，以及

姿势设置单元基于通过相似度评估单元得到的对投影单元中的每一个投影单元与成像单元中的每一个成像单元之间的相似度的评估结果来将多个投影单元或者多个成像单元的姿势或者多个投影单元和多个成像单元两者的姿势设置为估计结果。

(17)根据(1)至(16)中任一项的图像处理设备，其进一步包括：

设置单元，该设置单元配置为基于由姿势设置单元设置的姿势来执行有关投影图像的几何校正的设置。

(18)根据(1)至(17)中任一项的图像处理设备，其进一步包括：

投影单元，该投影单元配置为对投影图像进行投影。

(19)根据(1)至(18)中任一项的图像处理设备，其进一步包括：

成像单元，该成像单元配置为使投影图像成像以获得拍摄图像。

(20)一种图像处理方法，其包括：

对拍摄图像和模拟图像之间的相似度进行评估，该拍摄图像是通过成像单元使已经通过投影单元投影的投影图像成像而获得的，该模拟图像模拟了应该是通过成像单元使已经通过投影单元投影的投影图像成像而获得的拍摄图像；以及

基于对相似度的评估结果来设置投影单元或者成像单元的姿势或者投影单元和成像单元两者的姿势。

附图标记列表

100 投影成像***

101 控制装置

102 投影成像装置 111 投影单元

112 成像单元

151 投影处理单元

152 投影控制单元

153 成像控制单元

154 姿势估计单元

155 设置单元

161 相似度评估单元

162 姿势设置单元

171 虚拟姿势设置单元 172模拟图像生成单元

173 图像相似度评估单元

201 控制单元

301 对应点距离评估单元

400 投影成像***

401 网络

410 投影成像***

411 投影装置

412 成像装置

420 投影成像***

421 投影成像装置

423 控制单元

430 投影成像装置。

Claims (20)

1.一种图像处理设备，其包括：

相似度评估单元，所述相似度评估单元配置为对拍摄图像和模拟图像之间的相似度进行评估，所述拍摄图像是通过成像单元使已经通过投影单元投影的所述投影图像成像而获得的，所述模拟图像模拟了应该是通过所述成像单元使已经通过所述投影单元投影的所述投影图像成像而获得的拍摄图像；以及

姿势设置单元，所述姿势设置单元配置为基于通过所述相似度评估单元得到的对所述相似度的评估结果来将所述投影单元或者所述成像单元的姿势或者所述投影单元和所述成像单元两者的姿势设置为估计结果。

2.根据权利要求1所述的图像处理设备，其中

所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述相似度评估单元已经将所述姿势评估为具有最佳相似度。

3.根据权利要求2所述的图像处理设备，其中

所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的像素的亮度值的绝对值的差值之和作为指示所述相似度的评估值，以及

所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最小评估值。

4.根据权利要求2所述的图像处理设备，其中

所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的像素的亮度值的差值的平方和作为指示所述相似度的评估值，以及

所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最小评估值。

5.根据权利要求2所述的图像处理设备，其中

所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的归一化互相关作为指示所述相似度的评估值，以及

所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最大评估值。

6.根据权利要求2所述的图像处理设备，其中

所述相似度评估单元获得所述模拟图像与所述拍摄图像之间的零均值归一化互相关作为指示所述相似度的评估值，以及所述姿势设置单元将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果，所述姿势具有最大评估值。

7.根据权利要求1所述的图像处理设备，其中

所述相似度评估单元设置所述投影单元或者所述成像单元的虚拟姿势或者所述投影单元和所述成像单元两者的虚拟姿势，生成在所述虚拟姿势下获得的所述模拟图像，并且对所述拍摄图像与所述模拟图像之间的所述相似度进行评估。

8.根据权利要求7所述的图像处理设备，其中

所述相似度评估单元生成具有亮度值或者预定颜色分量的所述模拟图像。

9.根据权利要求1所述的图像处理设备，其中

所述相似度评估单元对所述拍摄图像的缩小图像与所述模拟图像之间的相似度进行评估。

10.根据权利要求1所述的图像处理设备，其中

所述相似度评估单元对所述拍摄图像的在预定范围中作为待处理的对象的部分图像与所述模拟图像之间的所述相似度进行评估。

11.根据权利要求1所述的图像处理设备，其中

所述相似度评估单元多次重复对所述相似度的评估。

12.根据权利要求11所述的图像处理设备，其中

所述相似度评估单元对每次的所述相似度进行评估，从而使所述拍摄图像的分辨率或者作为所述拍摄图像中待处理的对象的部分图像的范围可变。

13.根据权利要求1所述的图像处理设备，其进一步包括：

对应点距离评估单元，所述对应点距离评估单元配置为获取所述拍摄图像与所述模拟图像之间的对应点，并且对所述拍摄图像与所述模拟图像之间的所述对应点之间的距离进行评估。

14.根据权利要求13所述的图像处理设备，其中

执行所述对应点距离评估单元对所述对应点之间的所述距离的所述评估和所述相似度评估单元对所述相似度的所述评估两者，以及

所述姿势设置单元基于通过所述对应点距离评估单元得到的对所述对应点之间的所述距离的评估结果和通过所述相似度单元得到的对所述相似度的评估结果两者来将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果。

15.根据权利要求13所述的图像处理设备，其中

执行所述对应点距离评估单元对所述对应点之间的所述距离的所述评估或者所述相似度评估单元对所述相似度的所述评估，以及

所述姿势设置单元基于通过所述对应点距离评估单元得到的对所述对应点之间的所述距离的评估结果或者通过所述相似度单元得到的对所述相似度的评估结果来将所述投影单元或者所述成像单元的所述姿势或者所述投影单元和所述成像单元两者的所述姿势设置为所述估计结果。

16.根据权利要求1所述的图像处理设备，其中

所述相似度评估单元在多个所述投影单元中的每一个投影单元与多个所述成像单元中的每一个成像单元之间对所述拍摄图像与所述模拟图像之间的所述相似度进行评估，以及

所述姿势设置单元基于通过所述相似度评估单元得到的对所述投影单元中的每一个投影单元与所述成像单元中的每一个成像单元之间的所述相似度的评估结果来将所述多个投影单元或者所述多个成像单元的所述姿势或者所述多个投影单元和所述多个成像单元两者的所述姿势设置为所述估计结果。

17.根据权利要求1所述的图像处理设备，其进一步包括：

设置单元，所述设置单元配置为基于由所述姿势设置单元设置的所述姿势来执行有关所述投影图像的几何校正的设置。

18.根据权利要求1所述的图像处理设备，其进一步包括：

所述投影单元，所述投影单元配置为对所述投影图像进行投影。

19.根据权利要求1所述的图像处理设备，其进一步包括：

所述成像单元，所述成像单元配置为使所述投影图像成像以获得所述拍摄图像。

20.一种图像处理方法，其包括：

对拍摄图像和模拟图像之间的相似度进行评估，所述拍摄图像是通过成像单元使已经通过投影单元投影的所述投影图像成像而获得的，所述模拟图像模拟了应该是通过所述成像单元使已经通过所述投影单元投影的所述投影图像成像而获得的拍摄图像；以及

基于对所述相似度的评估结果来设置所述投影单元或者所述成像单元的姿势或者所述投影单元和所述成像单元两者的姿势。