CN102077243A - 3d纹理的超分辨率的图像生成设备及方法 - Google Patents

Abstract

本发明提供一种图像生成设备，所述图像生成设备基于根据对象的低质量图像生成的几何参数，在任意期望位置的伪光源下生成所述对象的高质量图像。所述图像生成设备包括：根据光源位置、视点位置以及关于表面的形状的几何法线信息计算关于所述形状的第一几何参数的几何参数计算单元(102)；存储指示所述表面的一部分的细微结构并且具有比所述几何法线信息高的空间分辨率的实例的高分辨率数据库单元(103)；增大所述实例以在空间上进行扩展的实例扩展单元(104)；使用所增大的实例修改所述第一几何参数的几何参数修改单元(105)；以及通过将所修改的几何参数应用到反射模型来生成输出图像的图像生成单元(106)。

Description

3D纹理的超分辨率的图像生成设备及方法

技术领域

本发明涉及图像生成设备。更具体地说，本发明涉及生成高质量图像的设备，该高质量图像通过使用该图像的对象的表面上的诸如凸起的形状的细微结构(mesostructure)清晰地表示该形状，其中该生成高质量图像的设备是基于根据同一对象的低质量图像或诸如此类生成的、与所述形状有关的几何参数来生成所述高质量图像的，或者本发明涉及在从任意期望位置发射光的伪光源下生成对象的图像，同时通过使用所述细微结构实现所述形状的清晰表示的设备。

背景技术

在由低质量图像捕获设备捕获诸如水果、木材或者人类皮肤的具有凸起的表面的对象的图像时，或者在所述对象的尺寸不足以被清晰地进行图像捕获时，由于分辨率不足，通常在图像中无法表示所述表面上的凸起。已经提出了各种方案来解决这类问题。根据专利文献1已知提供了一种(i)由数字相机等捕获第一图像并且通过对该第一图像的一部分进行变焦来捕获较高质量的第二图像，然后(ii)根据该第一图像和第二图像之间的关系获得(learn)质量改善函数，以及(iii)将该质量改善函数应用于整个图像的方法。结果，整个图像具有较高质量和较高分辨率。该方法能够使低质量图像捕获设备使用根据该第二图像生成的信息，重构所述凸起的信息来生成具有较高质量的图像，这是由于分辨率不足而无法实现的。

尽管专利文献1中公开的方法实现了表示凸起的图像生成，但是所述方法不能在不同于实际光源的伪光源下进行图像生成。伪光源下的图像生成需要关于对象的表面的形状的信息，更具体地说，需要关于对象表面的几何法线(normal)和视点的几何参数。然而，专利文献1没有公开根据图像数据估计不同于该图像数据的几何参数的任何方法。在专利文献1的方法中，质量改善函数被假定直接根据图像数据来生成，尽管该方法并不局限于图像生成。

存在生成关于对象的形状的几何参数的另一方法，其使用测距器等，从而获得指示该对象的宏形状(macro shape)的几何参数。再次遗憾的是，该方法在分辨率和细度(fineness)上存在问题。在诸如水果、木材或者人类皮肤的对象的表面上细小尺度凸起的重构需要所使用的设备中具有高度复杂的功能元件，这尤其在可用性方面导致不现实的尺寸和成本。

另一方面，专利文献2公开一种方法，其能够生成表示位于对象的表面上的凸起的图像，并且还能够根据图像数据估计不是该图像数据本身而是关于对象表面的几何法线的信息的几何参数。在专利文献2公开的技术中，将指示像素值与关于视点位置、光源位置和对象表面的几何法线的几何参数之间的各自物理关系的Torrance-Sparrow模型应用到该对象的图像。然后，使用高斯分布对结果与实际测量值之间的每一个差别进行建模。这里，可以将通过高斯分布建模的分量认为是具有更高分辨率的分量。因此，将通过高斯分布建模的分量添加到没有位于对象的表面上的凸起的信息的图像能够使该图像表示出凸起。而且，使用关于视点位置、光源位置以及对象表面的几何法线的几何参数使得能够在伪光源下生成图像。

现有技术专利文献

【专利文献1】公开号为2006/0003328A1的美国专利申请

【专利文献2】公开号为2006-31595的日本未审专利申请

发明内容

技术问题

遗憾的是，专利文献2中公开的技术未使用具有关于特别是水果、木材或者人类皮肤的诸如凸起的表面形状的中等等级(medium level)细节的信息(以下，将具有中等等级细节的形状的信息称为“细微结构”)。因此，这一传统技术不能生成更加清晰地表示该形状的图像。下面给出不能生成的原因。在细微结构中，可以认为具有中等等级细节的空间结构的凸起在空间上是随机分布的，如在非专利文献1中所描述的。然而，专利文献2中公开的高斯模型是通过根据每一个像素与几何参数之间的关系对像素值的变化进行建模来生成的。因此，专利文献2中公开的技术不能表示出具有中等等级细节的空间结构的凸起，而仅仅表示出均质的粗糙表面等。结果，在将水果、木材或者人类皮肤作为对象进行图像捕获时，发现该对象的表面具有与通过使用细微结构生成的图像不同的均质粗糙表面。

因而，本发明克服了上述传统技术的问题。本发明的目的在于提供一种图像生成设备和图像生成方法，其能够基于根据对象的低质量图像生成的、关于所述对象的表面的形状的几何参数，生成(i)具有通过使用所述形状的细微结构更加清晰地表示出所述形状的高质量以及(ii)在从任意期望位置发射光的伪光源下的所述对象的图像。

【非专利文献1】“Mesostructure from Specularity”，Tongbo Chen，Michael Goesele和Has-Peter Seidel；Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006

技术方案

根据用于实现所述目的的本发明的一方面，提供一种图像生成设备，所述图像生成设备基于关于对象的表面的形状的信息来生成更加清晰地表示出所述形状的所述对象的高质量图像，由光源照亮并且从视点观察所述高质量图像的所述对象，所述图像生成设备包括：配置为获得所述光源的位置信息、所述视点的位置信息以及关于所述形状的几何法线信息的信息获得单元；配置为针对所述表面中与所述高质量图像中的像素相对应的每一个点，通过使用所述光源的所述位置信息、所述视点的所述位置信息以及所述几何法线信息执行预定的算法运算来计算关于所述形状的第一几何参数的几何参数计算单元；存储有实例(exemplum)的高分辨率数据库单元，所述实例是指示所述表面的一部分的细微结构并且具有比所述几何法线信息的空间分辨率高的空间分辨率的几何参数；配置为从所述高分辨率数据库单元读出所述实例并且在空间上增大所读出的实例以使得由所读出的实例指示的空间区域覆盖所述高质量图像中的所述对象的表面的实例扩展单元；配置为通过使用由所述实例扩展单元扩展的所述区域来修改所述第一几何参数以计算修改的几何参数的几何参数修改单元；以及配置为通过将所述修改的几何参数应用到用于决定所述每一个点的像素值的反射(reflection)模型来计算所述像素值并且从而生成所述高质量图像的图像生成单元。

利用上述结构，修改关于所述对象的表面的几何参数以具有更高分辨率，并且随后使用该修改的几何参数来生成更高质量的输出图像。此外，所述几何参数指示光源的位置信息，并且将这样的几何参数应用到反射模型以生成图像。这允许光源被虚拟设置在任意期望位置，这使得能够在从任意期望位置发射光的伪光源下生成对象的图像。

应该注意到，本发明不仅能够实现为上述的图像生成设备，而且还能够实现为：包括由所述图像生成设备的特征单元执行的步骤的图像生成方法：使计算机执行所述图像生成方法的特征步骤的程序；其中记录有所述程序的诸如CD-ROM的计算机可读记录介质等。

技术效果

因此，本发明能够基于根据对象的低质量图像生成的、关于所述对象的表面上的诸如凸起的形状的几何参数，生成(a)具有通过使用所述形状的细微结构更加清晰地表示该形状的高质量并且(b)在从任意期望位置发射光的伪光源下的所述对象的图像。

利用本发明的技术，能够提高由数字相机等捕获的图像的分辨率，并且能够生成在期望位置的光源下的伪图像。因此，本发明极其适于在当前已广泛使用的数字相机、安保相机等中实际使用。

附图说明

图1是示出根据本发明第一实施例的图像生成设备的基本结构的视图。

图2是示出由根据本发明第一实施例的图像生成设备执行的基本处理的流程图。

图3是示出由根据本发明第一实施例的图像生成设备生成的信息和图像的示意图。

图4是示出根据本发明第一实施例的几何参数的一个示例的视图。

图5A是示出根据本发明第一实施例的实例地图(map)的一个示例的示意图。

图5B是示出现有技术的实例地图的一个示例的示意图。

图6是示出根据本发明第一实施例的扩展的实例地图的一个示例的示意图。

图7是示出根据本发明第二实施例的图像生成设备的基本结构的视图。

图8是示出由根据本发明第二实施例的图像生成设备执行的基本处理的流程图。

图9是示出由根据本发明第二实施例的图像生成设备生成的信息和图像的示意图。

图10(a)和(b)分别示出根据本发明第二实施例的第一捕获图像和第二捕获图像的示例。

图11是示出根据本发明第一实施例的变型的图像生成设备的基本结构的视图。

图12是示出根据本发明第二实施例的变型的图像生成设备的基本结构的视图。

图13A是示出由根据本发明第一实施例的变型的图像生成设备执行的基本处理的流程图。

图13B是示出由根据本发明第二实施例的变型的图像生成设备执行的基本处理的流程图。

图14是示出根据本发明第三实施例的用于在伪光源下的图像生成的几何参数的一个示例的视图。

图15是示出根据本发明第三实施例在伪光源下生成的图像(视频)的一个示例的视图。

图16是示出根据本发明第一到第三实施例的任意一个的变型的图像生成设备的基本结构的视图。

图17是由根据本发明第一到第三实施例的任意一个的变型的图像生成设备执行的处理的流程图。

图18(a)到(d)是用于解释根据本发明第三实施例的变体(variation)的视图。

图19是根据本发明第三实施例的变体的图像生成设备的结构的方框图。

图20是由根据本发明第三实施例的变体的图像生成设备执行的处理的流程图。

图21A是用于解释由根据本发明第四实施例的面部合成***执行的处理的原理的视图。

图21B是用于解释由根据本发明第四实施例的面部合成***执行的处理的原理的视图。

图21C是用于解释由根据本发明第四实施例的面部合成***执行的处理的原理的视图。

图22A是用于更加详细地解释由根据本发明第四实施例的面部合成***执行的处理的原理的视图。

图22B是用于更加详细地解释由根据本发明第四实施例的面部合成***执行的处理的原理的视图。

图23是示出根据本发明第四实施例的变体的面部合成***的结构的方框图。

图24是用于解释头发的反射模型的视图。

图25是用于解释每一个头发区域和唇部区域的细微结构的实例地图的视图。

图26A是用于解释本发明第四实施例的效果的视图。

图26B是用于解释本发明第四实施例的效果的视图。

附图标记

101，101a光源/视点/几何法线信息获得单元

102几何参数计算单元

103高分辨率数据库单元

104，104a实例扩展单元

105几何参数修改单元

106，106a图像生成单元

601第一图像捕获单元

602第二图像捕获单元

603第二几何参数估计单元

604实例生成单元

1010光源位置改变单元

1201 DS分离单元

1202漫反射图像处理单元

1901实例一致性扩展单元

2301图像捕获单元

2302形状重构单元

2303几何法线估计单元

2304光源信息生成单元

2305光源信息转换单元

2306视点信息生成单元

2307视点转换单元

2308 DS分离单元

2309镜面反射图像细微结构提取单元

具体实施方式

本发明的一方面涉及一种图像生成设备，所述图像生成设备基于关于对象的表面的形状的信息，生成更加清晰地表示出所述形状的所述对象的高质量图像，由光源照亮并且从视点观察所述高质量图像的所述对象，所述图像生成设备包括：配置为获得所述光源的位置信息、所述视点的位置信息以及关于所述形状的几何法线信息的信息获得单元；配置为针对所述表面中与所述高质量图像中的像素相对应的每一个点，通过使用所述光源的所述位置信息、所述视点的所述位置信息以及所述几何法线信息执行预定的算法运算来计算关于所述形状的第一几何参数的几何参数计算单元；存储有实例的高分辨率数据库单元，所述实例是指示所述表面的一部分的细微结构并且具有比所述几何法线信息的空间分辨率高的空间分辨率的几何参数；配置为从所述高分辨率数据库单元读出所述实例并且在空间上增大所读出的实例以使得由所读出的实例指示的空间区域覆盖所述高质量图像中的所述对象的表面的实例扩展单元；配置为通过使用由所述实例扩展单元扩展的所述区域来修改所述第一几何参数以计算修改的几何参数的几何参数修改单元；以及配置为通过将所述修改的几何参数应用到用于决定所述每一个点的像素值的反射模型来计算所述像素值并且从而生成所述高质量图像的图像生成单元。利用上述结构，将用于重构细微结构的高分辨率分量作为实例保持在数据库中，并且随后增大所述实例以在空间上扩展由所述实例指示的区域(以下将其称为“实例地图(map)”)。从而，根据本发明的图像生成设备能够基于根据同一对象的低质量图像生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成通过使用所述形状的细微结构更加清晰地表示出所述形状的所述对象的高质量图像。此外，将(i)根据所述对象表面的每一个点的几何法线信息计算的几何参数，(ii)光源的位置信息，以及(iii)视点的位置信息应用到反射模型以生成图像，这使得能够将所述光源的位置设置到任意期望位置。从而，根据本发明的图像生成设备能够在从期望位置发射光的伪光源下生成对象的图像。

而且，所述几何参数的示例是(i)通过将指示所述光源的方向的单位向量与指示所述视点的方向的单位向量相加而生成的半向量与(ii)与所述第一几何参数相对应的点的几何法线向量之间的角度的值。

这里，优选的是，所述信息获得单元配置为通过根据由捕获所述对象的图像的立体相机、测距器和另一形状检测设备的其中之一生成的信息计算所述几何法线信息来获得所述几何法线信息。利用上述结构，使用立体相机、测距器或者另一形状检测装置生成所述第一几何参数实现了指示诸如所述对象的整体图像的总(gross)形状的细微结构的几何信息的生成。增大与分开获得的高分辨率分量等效的实例以扩展实例地图来覆盖整个对象。从而，根据本发明的图像生成设备能够生成通过使用所述细微结构清晰地表示出所述对象的表面上的诸如凸起的形状的所述对象的高质量图像。此外，在通过使用细微结构清晰地表示出诸如凸起的所述形状的同时，能够在从任意期望位置发射光的伪光源下生成对象的图像。

另外优选的是，所述反射模型是用于使用关于所述高质量图像中的点的所述几何法线信息、所述视点的所述位置信息以及几何参数来计算所述点的像素值的数学表达式，并且所述图像生成单元配置为通过将除了所述修改的几何参数之外还将由所述信息获得单元获得的所述几何法线信息和所述视点的所述位置信息应用到所述反射模型来计算所述每一个点的所述像素值。利用上述结构，能够改变所述反射模型中关于所述光源的位置的参数。从而，根据本发明的图像生成设备能够在从任意期望位置发射光的伪光源下生成对象的图像，同时通过使用细微结构清晰地表示出所述对象的表面上的诸如凸起的形状。

另外优选的是，所述图像生成设备还包括配置为通过捕获所述对象的图像生成第一图像的第一图像捕获单元；配置为通过捕获所述对象的一部分的图像生成第二图像的第二图像捕获单元，所述对象的该部分的图像具有比所述第一图像的分辨率高的分辨率，所述对象的该部分与所述第一图像的高亮区域相对应以在所述高质量图像中具有较高质量；配置为使用由所述第二图像捕获单元生成的所述第二图像的像素值作为目标函数来估计第二几何参数的第二几何参数估计单元，所述第二几何参数指示所述对象的所述表面的所述形状；以及配置为将由所述第二几何参数估计单元估计的所述第二几何参数设置为所述实例并且将所述实例存储在所述高分辨率数据库单元中的实例生成单元。利用上述结构，所捕获的与所述高亮区域相对应的图像具有高质量，并且根据所产生的图像，估计能够指示细微结构的几何参数。从而，能够基于根据低质量对象生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成通过使用细微结构更加清晰地表示出所述形状的所述对象的高质量图像。

另外优选的是，所述第二图像捕获单元配置为通过将所述部分比捕获所述第一图像变焦更大来捕获所述部分的图像，从而生成所述第二图像。利用上述结构，具有变焦功能的相机的使用使得能够利用比包括两个相机的***更加简单的***，以生成通过使用细微结构更加清晰地表示出所述对象的表面上的诸如凸起的形状的所述对象的高质量图像。此外，在通过使用所述细微结构清晰地表示出诸如凸起的形状的同时，能够在从任意期望位置发射光的伪光源下生成所述对象的图像。

另外优选的是，所述信息获得单元配置为获得所述光源的多条位置信息，所述几何参数计算单元配置为针对由所述信息获得单元获得的所述光源的所述多条位置信息中的每一条计算所述第一几何参数，所述几何参数修改单元配置为针对由所述信息获得单元获得的所述光源的所述多条位置信息中的每一条计算所述修改的几何参数，以及所述图像生成单元配置为针对由所述信息获得单元获得的所述光源的所述多条位置信息分别生成所述高质量图像。利用上述结构，对于每一次改变所述光源的位置，计算第一几何参数，然后计算修改的几何参数，并且最终生成图像。从而，在通过使用细微结构清晰地表示出诸如凸起的表面形状的同时，能够在从任意期望位置发射光的伪光源下生成对象的多个连续图像。

另外优选的是，所述图像生成设备还包括配置为通过捕获所述对象的图像生成第一图像的第一图像捕获单元；以及配置为将由所述第一图像捕获单元生成的所述第一图像分离为镜面反射分量和漫反射分量的分离单元，其中针对由所述分离单元分离的所述镜面反射分量，所述几何参数计算单元、所述实例扩展单元、所述几何参数修改单元以及所述图像生成单元分别执行所述第一几何参数的所述计算，所述读出和所述增大，所述修改的几何参数的所述计算，以及所述像素值的所述计算和所述生成，并且所述图像生成单元配置为将(i)使用由所述图像生成单元生成的所述高质量镜面反射分量的图像与(ii)使用由所述分离单元分离的所述漫反射分量的图像进行进一步合成。利用上述结构，将输入图像分离为漫反射分量和镜面反射分量，并且将反射模型应用到镜面反射分量以提高图像的质量。这意味着，仅将反射模型应用到该反射模型被初始应用到的图像分量(即镜面反射分量)。从而，能够生成通过使用细微结构更加正确和清晰地表示出所述对象的表面上的诸如凸起的形状的所述对象的高质量图像。此外，在通过使用所述细微结构清晰地表示出诸如凸起的形状的同时，能够在从任意期望位置发射光的伪光源下生成对象的图像。

另外优选的是，所述实例扩展单元包括配置为在空间上增大具有镜面反射的所读出的实例并保持由所述分离单元分离的所述镜面反射分量和所述漫反射分量之间的相关性的实例一致性扩展单元。利用上述结构，使用与漫反射图像的相关性整体地扩展具有镜面反射的细微结构。结果，在例如改变光源时，更加增强了所述表面上的反射状态的真实性。

另外优选的是，所述图像生成设备还包括配置为获得指示所述表面的所述形状的计算机图形数据，根据所述计算机图形数据生成所述实例，并且将所述实例存储在所述高分辨率数据库单元中的实例生成单元。利用上述结构，能够基于根据对象的低质量图像生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成通过使用人工生成的数据更加清晰地表示所述形状的所述对象的高质量图像。

本发明的另一方面涉及一种图像生成设备，所述图像生成设备针对对对象成像而生成的原始图像，通过将光源的位置以及视点分别改变到不同的位置和不同的视点以重构在所述原始图像中的细微结构上的反射来生成高质量图像，从所述不同的位置照亮并且从所述不同的视点观察所述高质量图像中的所述对象，所述图像生成设备包括：配置为通过对所述对象成像而生成所述原始图像的图像捕获单元；配置为生成指示所述光源的所述位置的光源信息的光源信息生成单元；配置为将所述光源信息转换为不同的光源信息以使得所述位置改变到所述不同的位置的光源信息转换单元；配置为保持指示所述对象的表面的形状的形状数据的形状重构单元；配置为基于由所述形状重构单元保持的所述形状数据生成所述对象的几何法线的几何法线估计单元；配置为确定作为对所述对象成像的相机的位置的所述视点的视点信息生成单元；配置为改变由所述形状重构单元保持的所述形状数据并且将由所述视点信息生成单元确定的所述视点改变到所述不同的位置的视点转换单元；配置为将由所述图像捕获单元捕获的所述原始图像分离为镜面反射图像和漫反射图像的DS分离单元；配置为针对所述表面上的每一个点，通过使用所述光源信息、所述视点以及所述几何法线来执行预定的算法运算，以计算指示所述对象的所述表面的所述形状的几何参数的几何参数计算单元，所述每一个点与所述高质量图像中相应的像素相对应；配置为从由所述DS分离单元分离的所述镜面反射图像中提取实例的镜面反射图像细微结构提取单元，所述实例是指示所述细微结构的几何参数；配置为增大由所述镜面反射图像细微结构提取单元提取的所述实例，以使得由所述实例指示的空间区域覆盖所述高质量图像中的所述对象的所述表面，并保持所述实例与由所述DS分离单元分离的所述漫反射图像之间的相关性的实例一致性扩展单元；配置为通过使用由所述实例一致性扩展单元扩展的所述区域修改由所述几何参数计算单元计算的所述几何参数，来计算修改的几何参数的几何参数修改单元；以及配置为通过将所述修改的几何参数应用到用于决定所述每一个点的像素值的反射模型来计算所述像素值以生成所述高质量图像的图像生成单元。优选的是，在针对人类头部作为所述对象的所述原始图像将所述光源的所述位置以及所述视点改变到所述不同的位置和所述不同的视点时，使用所述反射模型将头发或者唇部的镜面反射的纹理(texture)重构为所述细微结构，从作为预定位置的所述视点对所述原始图像进行成像。利用上述结构，在光源变化和视线变化的每一种情况下改变所述对象的外观(appearance)以及所述对象的表面的亮度值。从而，重构对图像捕获条件相当敏感的细微结构，并且增强所产生的图像的真实性。此外，细微结构的上述构思能够实现随着视点变化的改变的镜面反射，这在现有技术中是不可能的。结果，能够在所产生的图像中实现真实性。

下面参照附图描述根据本发明的实施例。

(第一实施例)

首先描述根据本发明第一实施例的图像生成设备和图像生成方法。图1是示出根据本发明第一实施例的图像生成设备的结构的视图。图1的图像生成设备基于根据对象的低质量图像生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成通过使用所述形状的细微结构更加清晰地表示出所述形状的所述对象的高质量图像。为了实现上述高质量图像的生成，图1的图像生成设备将待用于重构所述细微结构的高分辨率分量作为实例保持在数据库中，并且在空间上增大(increase)所述实例以扩展实例地图。图1的图像生成设备包括光源/视点/几何法线信息获得单元101、几何参数计算单元102、高分辨率数据库单元103、实例扩展单元104、几何参数修改单元105以及图像生成单元106。这里，假设由所述图像生成设备生成的图像的对象由某一光源照亮并且从某一视点观察。

光源/视点/几何法线信息获得单元101获得(i)光源的位置信息以及(ii)相机的位置信息或者关于所述图像生成设备的视点的位置信息，并且根据由测距器、立体相机等获得的信息计算(iii)所述对象的表面(以下将其称为“对象表面”)的几何法线的信息(以下将其称为“几何法线信息”)。

几何参数计算单元102根据已经由所述光源/视点/几何法线信息获得单元101获得的所述光源的位置信息、所述视点的位置信息以及所述几何法线信息计算指示诸如所述对象的总形状的细微结构的几何参数(换句话说，根据所述对象的低质量图像生成所述几何参数)。这里，可以假设所生成的参数不具有足够的分辨率来重构所述细微结构。

高分辨率数据库单元103是其中存储有实例的数据库。所存储的实例中的每一个是指示所述对象表面的一部分的细微结构并且具有比由所述光源/视点/几何法线信息获得单元101计算的几何法线信息的空间分辨率高的空间分辨率的不同的高质量几何参数。在第一实施例中，将与包括所述图像的细微结构分量的高分辨率分量相对应的该高质量几何参数作为实例保持为二维块形式，该二维块是实例地图。这里，实例地图并不限于正方形或者矩形。

实例扩展单元104从高分辨率数据库单元103中读出所述实例，并且随后增大所读出的实例以扩展由所读出的实例指示的空间区域(实例地图)来覆盖所述对象表面。在第一实施例中，在空间上扩展所述实例地图的尺寸以填充输出图像的尺寸或者所述对象的目标区域的尺寸。从而，即使所述实例地图的尺寸比所述图像的尺寸小，也能够在整个图像上重构所述细微结构。

几何参数修改单元105通过将由所述几何参数计算单元102计算的几何参数与指示具有由所述实例扩展单元104在空间上扩展的细微结构分量的高分辨率分量的信息进行相加，修改所述几何参数。这意味着，指示所述细微结构分量的信息甚至被加到已经由几何参数计算单元102计算并且由于测距器、立体相机等的分辨率不足而未指示所述细微结构的几何参数。

图像生成单元106使用用于反射模型的修改的几何参数计算输出图像的每一个点的像素值，所述反射模型是用于根据修改的几何参数决定像素值的关系表达式，从而生成具有包括所述细微结构分量的较高质量的输出图像。

利用上述结构，根据第一实施例的图像生成设备即使根据不包括细微结构分量的低质量输入图像也能够生成包括细微结构分量的高质量图像。

应该注意到，可以将包括在图像生成设备中的要素(即，几何参数计算单元102、高分辨率数据库单元103、实例扩展单元104、几何参数修改单元105以及图像生成单元106)实现为软件，诸如在具有中央处理单元(CPU)、随机访问存储器(RAM)、只读存储器(ROM)、通信接口、输入/输出端口、硬盘、显示器等的计算机中执行的程序，或者实现为诸如电子电路的硬件。这同样适用于根据本发明其它实施例的图像生成设备。

下面参照图2的流程图以及图3的信息和图像的示意图，描述由根据本发明第一实施例的具有上述结构的图像生成设备执行的处理(即，根据第一实施例的图像生成方法)。在根据第一实施例的图像生成方法中，基于根据对象的低质量图像生成的、关于所述对象表面上的诸如凸起的形状的信息，生成更加清晰地表示所述形状的所述对象的高质量图像。

首先，在步骤S201，光源/视点/几何法线信息获得单元101获得(i)来自设定光源的位置的光向量L，以及(ii)来自设定相机的位置的观察向量V。这里，只要能够获得，可以利用计算机图形(CG)等人工生成所述观察向量、所述光向量以及下面描述的关于对象的表面的形状的几何法线信息。如果它们是人工数据，则省去下面的步骤S201和S202。

接下来，在步骤S202处，光源/视点/几何法线信息获得单元101根据由立体相机、测距器等获得的信息，计算关于所述对象的表面的几何法线信息(在图3中被称为几何法线信息10)。

更具体地说，在使用立体相机时，使用在非专利文献2中公开的方法，根据两个图像确定所述对象表面的每一个点的三维位置。接下来，使用下面的等式1，根据至少三个三维位置A，B和C计算所述对象表面上的点i处的几何法线向量N_i。

【等式1】

$N_i=\stackrel{\→}{\mathrm{AB}}\×\stackrel{\→}{\mathrm{AC}}$ ……(等式1)

其中×代表向量积。当然，只要能够计算关于所述表面的形状的几何法线向量，计算几何法线信息的方法并不限于上述方法。

【非专利文献2】“Computer Vision：Technology Review and Future Directions”，Takashi Matsuyama，Yoshinori Kuno和Jyun Imiya，New Technology Communications，pp.123-133，1998

另一方面，在使用测距器时，可以使用非专利文献3中公开的方法计算对象表面上的几何法线向量N_i。

【非专利文献3】“Object Shape and Reflectance Modeling from Observation”，Yoichi Sato，Mark D.Wheeler和Katsushi Ikeuchi，Proceedings of ACM，SIGGRAPH 97，pp.379-387，1997

接下来，在步骤S203处，几何参数计算单元102根据已经由所述光源/视点/几何法线信息获得单元101获得的所述光源的位置信息、所述视点的位置信息以及所述几何法线信息计算关于所述表面的形状的几何参数。该几何参数直接影响输出图像的亮度值。因此，取决于诸如所述对象的表面的细微结构的形状，可以使用几何参数改变各自像素值。如图4中所示，如果所述光源的位置以及所述视点的位置已知，则使用下面的等式2，根据已经在步骤S201处获得的观察向量V和光向量L计算关于所述对象的表面的形状的几何参数

【等式2】

${\mathrm{\α}}_i^{\mathrm{LR}}=\arccos (N_i\·H)$ ……(等式2)

这里，H由下面的等式3确定。在等式3中，假设观察向量V和光向量L距离对象足够远而不依赖于所述对象表面上的点i。

【等式3】

$H=\frac{0.5(L+V)}{\left|\right|0.5(L+V)\left|\right|}$ ……(等式3)

由上面的等式2和3可以明显看出，该几何参数是(i)通过将指示光源的方向的单位向量与指示视点的方向的单位向量相加生成的半向量与(ii)与该几何参数相对应的点的几何法线向量之间的角度的值(反余弦)。

如上所述，针对输出图像上的每一个点i，几何参数计算单元102计算关于所述对象的表面的形状的几何参数这里，由于由测距器、立体相机等获得并且随后用于生成几何参数的关于所述形状的信息具有低的分辨率或者低的细度，所生成的几何参数

不指示所述细微结构。应该注意到，可以向所计算的几何参数

在空间上应用低通滤波以消除噪声。

接下来，在步骤S204处，由于实例地图的实例(在图3中被称为高分辨率图像11和实例地图12)已经在先前被存储在高分辨率数据库单元103中，实例扩展单元104从所述高分辨率数据库单元103中读出实例，并且增大所读出的实例以在空间上扩展由所读出的实例指示的实例地图(在图3中被称为扩展的实例地图13)。这里，每一个实例是指示所述对象表面的一部分的细微结构的高质量几何参数。该高质量几何参数具有比由所述光源/视点/几何法线信息获得单元101计算的几何法线信息的空间分辨率高的空间分辨率。在第一实施例中，将所述实例称为指示不是像素值而是在N×M尺寸的实例地图中具有细微结构分量的高分辨率分量的几何参数Δα_i，如图5A所示。应该注意到，实例地图的尺寸可以小于输入图像的尺寸。在图5A中，较暗部分表示几何参数Δα_i的较大值。在专利文献2公开的技术中，由使用高斯模型的点的分布指示诸如凸起的表面形状的信息。因此，专利文献2中公开的技术仅由如图5B中示出的点的存在指示凸起信息，但是无法指示具有所述对象的图像的空间尺寸的结构，例如细微结构。然而，本发明的第一实施例通过在N×M尺寸的二维地图中的实例地图指示所述细微结构能够解决传统技术的上述问题。应该注意到，可以通过下面在第二实施例中描述的方法首先获得所述实例并且随后将其存储在高分辨率数据库单元103中，或者可以利用计算机图形人工生成。在非专利文献4中公开了利用计算机图形模型人工生成细微结构的方法。

【非专利文献4】“A Method for Rendering Citrus Fruits with Computer Graphics”，Shogo Tokai，Makoto Miyagi，Takami Yasuda，Shigeki Yokoi和Jun-ichiro Toriwaki，Journal of the Institute of Electronics，Information and Communication Engineers，J76-D-II，8，pp.1746-1754，1993

接下来，在实例地图的尺寸小于输出图像的尺寸或者对象的尺寸时，将如图5A中所示的实例地图在空间上扩展以填充输出图像的尺寸。应该注意到，在所述对象的目标区域已知时，可以增大该实例以扩展实例地图来填充所述目标区域的尺寸。例如，图像生成设备除了光源/视点/几何法线信息获得单元101之外可以进一步包括接收输入图像的处理单元，并且在对象的颜色已知时基于颜色特征量对输入图像进行分段以指定该对象的区域。即使不存在这样的接收输入图像的处理单元，也可检测所述对象的几何法线信息的连续性以估计所述区域。从而，能够增大所述实例以在所述区域上扩展实例地图。以上描述是在假设整个对象覆盖有均质的细微结构的情况下给出的。然而，如果对象由两种不同类型的材料制成，则可以增大实例以扩展实例地图来使用指示材料差异的物理值(例如下面描述的等式8中的参数m)覆盖相对应的目标材料的区域。通过增大实例地图中细微结构的分量以覆盖整个对象或者整个图像来执行用于空间扩展实例地图的实例的增大。因此，实例的增大需要保持指示实例地图中包括细微结构的高分辨率分量的几何参数Δα_i的空间统计特性。这里，空间统计特性意味着细微结构分量的空间设置的分散状态，其是具有关于诸如凸起的表面形状的中等等级细节的信息。在非专利文献5中公开了在保持指示包括细微结构的高分辨率分量的几何参数Δα_i的空间统计特性的同时实例增大的方法。

【非专利文献5】“Texture Synthesis by Nonparametric Sampling”Alexei A Efros和Thomas K Leung，IEEE International Conference on Computer Vision，1999

在非专利文献5中公开的技术可以实现空间扩展以使得扩展的实例地图的增大实例具有与原始实例相同的特性，如图6所示。尽管在非专利文献5的技术中基于小区域中的像素值的空间分布来扩展图像，但是根据第一实施例的图像生成设备的特征在于基于几何参数Δα_i的空间分布，增大指示包括细微结构的高分辨率分量的几何参数(实例)Δα_i以在空间上扩展由所述实例指示的实例地图。由于真实世界的光源位置的直接影响，基于像素值的传统图像扩展不能实现在伪光源下的图像生成。另一方面，在本发明中，使用指示包括细微结构的高分辨率分量的几何参数Δα_i使得能够取决于伪光源的位置改变输出图像的各自亮度值。从而，在消除真实世界的光源影响的同时，根据第一实施例的图像生成设备能够在各自的伪光源下生成图像。

接下来，在步骤S205处，通过使用下面的等式4，将在步骤S203处计算的几何参数与指示细微结构分量的空间上扩展的几何参数Δα_i相加，几何参数修改单元105修改所述几何参数

【等式4】

${\mathrm{\α}}_i^{\mathrm{HR}}={\mathrm{\α}}_i^{\mathrm{LR}}+\mathrm{\Δ}{\mathrm{\α}}_i$ ……(等式4)

当然，可以对几何参数Δα_i执行诸如平滑的加权或者噪声消除。从而，能够根据不包括细微结构分量的几何参数获得包括细微结构分量的几何参数。

接下来，在步骤S206处，图像生成单元106通过将由等式4修改的修改几何参数

应用到反射模型来生成图像(在图3中被称为输出图像14)。更详细而言，在反射模型的一个示例中，通过下面的等式5确定将在输出图像中的像素值。

【等式5】

$I^{\mathrm{HR}}=k\frac{\mathrm{FDG}}{\mathrm{\π}\·N\·V}$ ……(等式5)

其中k是常数，F是菲涅尔反射系数，D是关于对象表面的粗糙度的分布函数，以及G是几何衰减系数。此外，N和V分别是图4中示出的几何法线向量和观察向量。对于D可以使用Torrance-Sparrow模型或者Cook-Torrance模型。在使用Torrance-Sparrow模型时，通过下面的等式6确定D。

【等式6】

$D=\mathrm{kexp}(-{\mathrm{\α}}_i^{{\mathrm{HR}}^2}/m^2)$ ……(等式6)

在使用Cook-Torrance模型时，通过下面的等式7确定D。

【等式7】

$D=k\frac{\exp (-{\tan }^2\left({\mathrm{\α}}_i^{\mathrm{HR}}\right)/m^2)}{m^2{\cos }^4\left({\mathrm{\α}}_i^{\mathrm{HR}}\right)}$ ……(等式7)

应该注意到，在非专利文献6，pp.731-739中更加详细地描述了反射模型。这里，在等式5到7中，图像生成设备的设计者可以设定必需的参数以生成图像。或者，使用诸如下面的等式8的更简单的等式，可以通过使用等式6中示出的Torrance-Sparrow模型确定D并且设定G＝1来执行图像生成。

【等式8】

$I_i^{\mathrm{HR}}=k\frac{\exp (-{\mathrm{\α}}_i^{{\mathrm{HR}}^2}/m^2)}{N\·V}$ ……(等式8)

其中m是Torrance-Sparrow模型中的表面粗糙度系数。由于m取决于对象的类型，可以先前保持m的值，或者可以通过将m设定为诸如0.1的某一值来执行图像生成。此外，可以根据图像来估计参数m。

【非专利文献6】“Principles of Digital Image Synthesis”，Andrew S.Glassner，Vol.2，Morgan Kaufman Inc.，1995

如上所述，根据第一实施例的图像生成设备和图像生成方法将用于重构细微结构的高分辨率分量作为实例保持，并且随后增大以在空间上扩展由所述实例指示的区域(实例地图)。从而，根据第一实施例的图像生成设备和图像生成方法能够基于根据对象的低质量图像等生成的、关于所述对象的表面上的诸如凸起的形状的几何参数，生成更加清晰地表示出所述形状的所述对象的高质量图像。此外，所述几何参数反映光源的位置的信息，并且将这样的几何参数应用到反射模型以生成图像。这意味着，根据第一实施例的图像生成设备和图像生成方法能够将光源设定到任意期望位置，这使得能够在从任意期望位置发射光的伪光源下生成对象的图像。

(第二实施例)

下面参照附图描述根据第二实施例的图像生成设备和图像生成方法。图7是示出根据第二实施例的图像生成设备的结构的视图。图7的图像生成设备基于根据对象的低质量图像生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成更加清晰地表示出所述形状的所述对象的高质量图像。为了实现上述高质量图像的生成，图7的图像生成设备使用相机等的变焦功能捕获与所述对象的低质量图像的高亮区域相对应的所述对象的较高质量图像，然后根据所述较高质量图像，将指示细微结构的高分辨率分量的几何参数估计为实例，并且然后增大所述实例以在空间上扩展由所述实例指示的区域。图7的图像生成设备包括光源/视点/几何法线信息获得单元101、几何参数计算单元102、高分辨率数据库单元103、实例扩展单元104、几何参数修改单元105、图像生成单元106、第一图像捕获单元601、第二图像捕获单元602、第二几何参数估计单元603和实例生成单元604。如图7所示的根据第二实施例的图像生成设备的结构与如图1所示的根据第一实施例的图像生成设备的结构的不同之处在于还包括第一图像捕获单元601、第二图像捕获单元602、第二几何参数估计单元603和实例生成单元604。这里，图1的相同附图标记指代图7的相同单元，从而下面不再解释这些相同的单元。

第一图像捕获单元601捕获对象的一个或者多个图像。第一图像捕获单元601的一个示例是数字相机。所捕获的图像不必包括指示细微结构的高分辨率分量。以下将由第一图像捕获单元601捕获的图像称为第一图像。

第二图像捕获单元602捕获所述对象的一部分的图像，该部分的图像具有较高质量(即较高分辨率)。这里，所述对象的该部分与由第一图像捕获单元601捕获的图像(第一图像)的高亮部分相对应。从而，所捕获的较高质量图像指示细微结构。以下将由所述第二图像捕获单元601捕获的图像称为第二图像。

第二几何参数估计单元603使用由所述第二图像捕获单元602捕获的第二图像的像素值作为目标函数，估计指示所述对象的所述表面的形状的第二几何参数。换句话说，在第二实施例中，第二几何参数估计单元603使用反射模型根据由第二图像捕获单元602捕获的第二图像，估计指示所述对象的表面的形状的第二几何参数。该第二几何参数包括细微结构分量。

实例生成单元604根据包括细微结构分量并且由第二几何参数估计单元603估计的第二几何参数，计算包括细微结构分量的高分辨率分量。然后，实例生成单元604在二维块中生成指示实例地图的实例，并且将所生成的实例存储在高分辨率数据库单元103中。这里，实例地图并不限于正方形或者矩形。

实例扩展单元104从高分辨率数据库单元103中读出实例，并且增大所读出的实例以在空间上扩展由所读出的实例指示的区域(实例地图)来填充在由第一图像捕获单元601捕获的第一图像中的该对象的区域的尺寸。如在第一实施例中所述的，也可以将第一图像划分为多个区域并且增大所述实例以将实例地图扩展到所述对象的所述区域的尺寸。从而，即使在实例地图的尺寸小于输出图像的尺寸或者对象的尺寸时，也能够在整个图像上重构细微结构。

下面参照图8的流程图和图9的信息和图像的示意图，描述由根据本发明第二实施例的具有上述结构的图像生成设备执行的处理(即根据本发明的图像生成方法)。在根据第二实施例的图像生成方法中，根据对象的低质量图像的一部分的高质量图像，生成更加清晰地表示出对象的表面上的诸如凸起的形状的所述对象的高质量图像。

这里，图2中根据第一实施例的步骤S201到S203分别与图8中根据第二实施例的步骤S701到S703相同，从而下面不再解释这些相同的步骤。

在步骤S704处，第一图像捕获单元601通过使用数字相机等捕获所述对象的图像，生成所述对象的第一图像(在图9中被称为第一图像20)。

接下来，在步骤S705处，第二图像捕获单元602通过捕获所述对象与第一图像的高亮区域相对应的一部分的图像，生成具有高于第一图像质量的第二图像(在图9中被称为第二图像11)。与第一图像的高亮区域相对应的所述部分的图像捕获使得反射模型是可应用的。应该注意到，可以通过使用与用于第一图像的相机相同的具有变焦功能的相机生成第二图像，或者可以通过使用与用于第一图像的相机不同的相机生成第二图像。还应该注意到，由第一图像捕获单元601捕获的第一图像的高亮区域可以是第一图像中具有最高亮度的中心的区域。也可以通过以下方式决定第一图像的高亮区域：将第一图像分为多个块，每一个块具有一定的尺寸，然后针对每一个块计算平均亮度值，并且选择具有最高平均亮度值的区域作为所述高亮区域。而且，第一图像的高亮区域可以是所述块中具有亮度值分布的峰值的区域。更具体地说，该对象与图10(a)中所示的由第一图像捕获单元601捕获的第一图像的区域相对应的一部分的图像由第二图像捕获单元602捕获并具有高质量，以生成图10(b)中所示的第二图像。图10(a)中的稀疏(sparse)点表示由于分辨率不足未适当捕获的细微结构的图像。然而，所述部分的高质量图像捕获能够适当地捕获如图10(b)所示的细微结构的图像。

然后，在步骤S706处，根据在步骤S705处生成的第二图像，第二几何参数估计单元603使用反射模型，将指示高分辨率分量的几何参数

估计为实例。以下解释所执行的估计。

将等式8改写为以下等式9。

【等式9】

$Q_i=-({\mathrm{\α}}_i^{{E\_\mathrm{HR}}^2}/m^2)+C$ ……(等式9)

其中C是常数。按照在第一实施例中描述的相同方式，可以提前保持与所述对象相对应的m的值，或者通过将m设定为诸如0.1的某一值来执行图像生成。而且，可以根据图像来估计m。

然而，给出以下的等式10。

【等式10】

Q_i＝log I_i……(等式10)

其中，C由下面的等式11确定。

【等式11】

C＝max(Q_i)……(等式11)

其中max意味着最大值。这里假设在几何参数

为0时亮度值变为最大。

接下来，通过使用上面的等式9和11以及下面的等式12确定指示细微结构的高分辨率分量的几何参数

【等式12】

${\mathrm{\α}}_i^{E\_\mathrm{HR}}=m\sqrt{\max \left(Q_i\right)-Q_i}$ ……(等式12)

然后，在S707处，实例生成单元604生成实例地图(在图9中被称为实例地图12)中的每一个实例，并且将所生成的实例存储在高分辨率数据库单元103中。

【等式13】

$\mathrm{\Δ}{\mathrm{\α}}_i={\mathrm{\α}}_i^{E\_\mathrm{HR}}$ ……(等式13)

这意味着，将几何参数

简单地设定为实例Δα_i。这里，如在第一实施例中解释的，由所述实例指示的实例地图具有如图5A所示的N×M的尺寸，并且每一个实例不指示像素亮度而是指示细微结构的高分辨率分量的几何参数Δα_i。当然，由所述实例指示的实例地图并不限于正方形或者矩形。此外，实例地图的尺寸可以小于输入图像的尺寸。在图5A中，较暗部分表示几何参数Δα_i的较大值。在专利文献2公开的技术中，由使用高斯模型的点的分布指示关于细微结构的信息。因此，如图5B所示，专利文献2中公开的技术无法指示在细微结构中见到的空间连续性。然而，本发明的第二实施例能够通过N×M尺寸的二维地图中的实例地图指示细微结构来解决传统技术的上述问题，。

接下来，在步骤S708处，按照针对图2的步骤S204描述的相同方式，实例扩展单元104增大在步骤S707处生成的实例并且将其存储在高分辨率数据库单元103中，以在空间上扩展由所述实例指示的实例地图(在图9中被称为扩展的实例地图13)。

步骤S709和S710分别与第一实施例中的步骤S205和S206相同。即，执行相同的处理以生成输出图像(在图9中被称为输出图像14)。因此，下面不再解释这些相同的步骤。

如上所述，通过根据第二实施例的图像生成设备和图像生成方法，所捕获的所述对象与第一图像的高亮区域相对应的一部分的图像具有高质量，然后根据所产生的高质量图像，估计关于能够指示细微结构的高分辨率分量的几何参数，并且通过使用高分辨率分量的反射模型生成输出图像。从而，根据第二实施例的图像生成设备和图像生成方法能够基于根据对象的低质量图像等生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成更加清晰地表示出所述形状的所述对象的高质量图像。此外，关于所述形状的信息反映光源的位置，并且将这样的信息应用到所述反射模型以生成输出图像。这意味着，根据第二实施例的图像生成设备和图像生成方法能够将光源设定在任意期望位置，这使得能够在从任意期望位置发射光的伪光源下生成对象的图像。

(第三实施例)

下面参照附图描述根据第三实施例的图像生成设备和图像生成方法。除了如在第一和第二实施例中描述的具有表示出细微结构的高质量的图像生成之外，根据第三实施例的图像生成设备和图像生成方法能够实现从任意期望位置发射光的伪光源下的图像生成。如图11和12所示，根据第三实施例的图像生成设备的结构与根据第一到第二实施例的图像生成设备的每一个结构的不同在于，光源/视点/几何法线信息获得单元101由获得光源的伪位置信息的光源/视点/几何法线信息获得单元101a代替。换句话说，在第三实施例中，将所述光源的多个期望位置用作所述光源的位置信息。因此，下面给出的描述主要针对作为与第一和第二实施例的很大区别的光源/视点/几何法线信息获得单元101a。第三实施例的图像生成方法与第一和第二实施例的图像生成方法的区别在于改变光向量L以改变指示细微结构的相对应的几何参数如下面更加详细描述的。

换句话说，根据第三实施例的图像生成设备通过将光源/视点/几何法线信息获得单元101替换为光源/视点/几何法线信息获得单元101a而能够被称为根据第一和第二实施例的每一个图像生成设备的变型(如分别在图11和图12中示出的)。光源/视点/几何法线信息获得单元101a除了包括光源/视点/几何法线信息获得单元101的功能之外还进一步包括光源位置改变单元1010。光源位置改变单元1010生成所述光源的多条位置信息。更加详细地，光源位置改变单元1010通过改变由光源/视点/几何法线信息获得单元101a沿着由用户指定的路线获得的所述光源的位置，或者通过从用户接收所述光源的多个位置的指定来生成所述光源的多条位置信息。

接下来，参照图13A的流程图描述由根据第三实施例的图11所示的图像生成设备执行的处理。根据第三实施例的图像生成设备是根据第一实施例的图像生成设备的变型。

首先，通过改变光源的位置L_j将光源的光向量L虚拟改变为所生成的光向量L_j(S30)。然后，使用每一个光向量L_j以及已经由光源/视点/几何法线信息获得单元101a获得的几何法线向量和观察向量V，几何参数计算单元102通过下面的等式14针对所述光源的每一个改变的位置计算几何参数

(S31中的步骤S201到S203)。

【等式14】

${\mathrm{\α}}_{\mathrm{ij}}^{\mathrm{LR}}\text{=arccos}(N_i\·H_j)$ ……(等式14)

这里，H_j由下面的等式15确定。观察向量V不取决于光源的位置的变化j以及对象上的点i。

【等式15】

$H_j=\frac{0.5(L_j+V)}{\left|\right|0.5(L_j+V)\left|\right|}$ ……(等式15)

图14示出了在光向量L改变为光向量L_j时几何参数

如何改变到几何参数

在光向量L从虚线改变到实线而成为光向量L_j时，半向量H也从虚线改变到实线而成为半向量H_j，如在等式15中所示。利用这些改变，如在等式14中所见，几何参数改变到几何参数

从而，生成与所述光源的每一个改变位置相对应的几何参数

再参照图13A，按照与第一实施例中步骤S205处描述的类似方式，将与所述光源的每一个改变位置相对应的几何参数

与在步骤S204处获得的包括细微结构分量并且被在空间上扩展的几何参数Δα_i相加，从而使用下面的等式16修改几何参数

(S31中的步骤S204和S205)。

【等式16】

${\mathrm{\α}}_{\mathrm{ij}}^{\mathrm{HR}}={\mathrm{\α}}_{\mathrm{ij}}^{\mathrm{LR}}+\mathrm{\Δ}{\mathrm{\α}}_i$ ……(等式16)

从而，能够生成与光源位置的每一个改变j相对应并且用于在伪光源下生成图像的修改的几何参数

使用该修改的几何参数

代替几何参数

按照与在第一实施例中的步骤S206处描述的相同方式生成伪光源下的输出图像(S31中的步骤S206，并且然后S32)。

应该注意到，通过略微并且连续改变光向量Lj，也能够分别生成与每一个改变的光向量Lj相对应的伪光源下的多个图像(S30到S32)，并且也能够将所生成的图像设置为如图15中所示的包括图像30到31的视频。

这同样适用于根据第三实施例的图12中所示的另一图像生成设备参照图13B的流程图执行的图像生成方法。该图像生成设备是第二实施例的变型。即，改变光源的位置L_i(S40到S42)，并且针对光源的每一个位置执行第二实施例的图像生成方法(S41)，从而生成与所述光源的各自位置相对应的连续图像。

如上所述，根据第三实施例的图像生成设备和图像生成方法使用在伪光源下由光源位置改变单元1010的控制而计算的几何参数，该光源位置改变单元1010除了具有在第一和第二实施例中描述的功能以外还具有生成多条位置信息作为光源的位置信息的功能。从而，根据第三实施例的图像生成设备和图像生成方法能够在从任意期望位置发射光的伪光源下生成对象的图像，同时使用所述对象表面的形状的细微结构。

(第一到第三实施例的变型)

下面描述在根据第一到第三实施例的图像生成方法中实现更高细度的图像生成设备和图像生成方法。将该图像生成设备和图像生成方法描述为第一实施例的变型，但是也能够应用于第二和第三实施例。图16是示出根据第一实施例的变型的图像生成设备的结构的视图。根据第一实施例的变型的图16的图像生成设备基于根据对象的低质量图像生成的、关于所述对象的表面上的诸如凸起的形状的信息，生成更加清晰地表示出所述形状的所述对象的高质量图像。为了实现高质量图像的上述生成，图16的图像生成设备将输入图像分离为漫反射图像和镜面反射图像，并且将反射模型应用到分离的镜面反射图像，从而估计能够以较高细度指示细微结构的几何参数。图16的图像生成设备包括光源/视点/几何法线信息获得单元101、几何参数计算单元102、高分辨率数据库单元103、实例扩展单元104、几何参数修改单元105、图像生成单元106a、第一图像捕获单元601、DS分离单元1201以及漫反射图像处理单元1202。根据该变型的图16的图像生成设备的结构与根据第一实施例的图1的图像生成设备的结构的不同之处在于进一步包括第一图像捕获单元601、DS分离单元1201和漫反射图像处理单元1202以及根据图像生成单元106修改的图像生成单元106a。

第一图像捕获单元601与图12的根据第二实施例的第一图像捕获单元601相同，从而下面不再给出针对第一图像捕获单元601的描述。这里，假设第一图像捕获单元601生成彩色图像作为第一图像。

DS分离单元1201将由第一图像捕获单元601捕获的第一图像分离为漫反射分量和镜面反射分量。以下将被分离的图像分别称为漫反射图像和镜面反射图像。

根据该变型的图像生成设备与根据第一实施例的图像生成设备的不同之处在于，几何参数计算单元102和几何参数修改单元105仅对由DS分离单元1202分离的镜面反射图像执行它们的处理。

漫反射图像处理单元1202对由DS分离单元1201从输入图像分离的漫反射图像执行图像处理。这里，漫反射图像处理单元1202可以执行提高漫反射图像的分辨率的处理，或者可以不对漫反射图像进行执行。

图像生成单元106a使用修改的几何参数用于反射模型以生成包括细微结构分量的高质量镜面反射图像。然后，将该高质量镜面反射图像与由DS分离单元1201分离的漫反射图像或者由漫反射图像处理单元1202处理的漫反射图像进行合成，从而生成输出图像。

下面参照图17的流程图更加详细地描述由DS分离单元1201、漫反射图像处理单元1202以及图像生成单元106a执行的处理。

首先，第一图像捕获单元601生成输入图像I作为第一图像(S50)。然后，如下面的等式17所表示的，DS分离单元1201将输入图像I分离为漫反射图像I^d和镜面反射图像I^s(S51)。

【等式17】

I＝I^s+I^d……(等式17)

在非专利文献7中公开了将彩色输入图像分离为漫反射图像I^d和镜面反射图像I^s的方法。

【非专利文献7】“Separation of Reflection Components Using Color and Polarization”，Shree K.Nayer，Xi-Sheng Wang和Terrance Boult，International Journal of Computer Vision，No.21，Vol.3，pp.163-186，1997

接下来，几何参数计算单元102、实例扩展单元104以及几何参数修改单元105执行与在第一实施例中描述的相同处理，以生成高质量的镜面反射图像并且将所生成的高质量镜面反射图像替代由DS分离单元1201分离的镜面反射图像(S52)。期望在建立数据库之前使用上述技术从输入图像中提取镜面反射分量，并且然后高分辨率数据库单元103保持根据所提取的镜面反射分量获得的包括细微结构分量的几何参数。更具体地说，为了执行使用等式8到12描述的处理，将第二实施例中的等式10改写为下面的等式18。当然，期望与第二实施例的第二几何参数估计单元603相同的第二几何参数估计单元603对镜面反射分量执行其处理。

【等式18】

$Q_i=\log I_i^s$ ……(等式18)

通过使用第一实施例的等式5到8描述的处理，图像生成单元106a生成包括细微结构分量的高分辨率镜面反射图像然后，如下面的等式19所示，图像生成单元106a将高分辨率镜面反射图像与漫反射图像进行合成，从而根据所述对象的低质量图像生成更加清晰地表示出诸如凸起的表面形状的所述对象的高质量图像I^HR(S53)。

【等式19】

$I_i^{\mathrm{HR}}=I_i^{S\_\mathrm{HR}}+I_i^d$ ……(等式19)

而且，在如第三实施例中描述的在伪光源下生成输出图像，同时表示出细微结构时，通过使用等式14到16描述的处理，计算用于在伪光源下生成图像的几何参数

并且然后使用该几何参数

通过使用在第一实施例中的等式5到8描述的处理，生成伪光源下包括细微结构分量的高质量镜面反射图像

然后，将高质量镜面反射图像

与由下面的等式20所示的漫反射图像进行合成以生成输出图像。从而，通过在图像生成单元中使用伪光源下的几何参数，能够在伪光源下生成对象的高质量图像，同时反映所述对象的表面形状的细微结构。

【等式20】

$I_i^{\mathrm{HR}}=I_{\mathrm{Li}}^{S\_\mathrm{HR}}+I_i^d$ ……(等式20)

应该注意到，漫反射图像处理单元1202可以使用由DS分离单元1201分离的漫反射图像本身，或者可以通过在专利文献3中描述的方法生成不受光源位置影响的反照率(albedo)。如果生成反照率，则根据该反照率生成伪光源下的漫反射图像，并且将所生成的漫反射图像与包括细微结构分量的高质量镜面反射图像

进行合成，从而生成具有较高质量的输出图像。也能够通过专利文献3的技术使用反照率提高漫反射图像的分辨率，并且将所生成的高分辨率漫反射图像与高质量的镜面反射图像进行合成。

【专利文献3】专利号为4082714的日本专利

而且，能够将本发明实现为第三实施例的变体(variation)，利用该变体，改善实例扩展单元的功能以考虑与其它信息的相关性来合成镜面反射图像，从而增强所产生的图像(输出图像)的真实性(reality)。在使用非专利文献5等技术的情况下，对二维图像各向同性地执行实例扩展。然而，细微结构并不总是各向同性的。例如，类似头发，镜面反射的要素(每一个要素例如是头发)有时被排列为具有各向异性。或者类似葡萄柚的表面，表面上细小尺寸的凸起与漫反射图像的反照率的纹理图案的亮暗差异相对应。在这些情况下，如果各向同性地扩展实例地图，则镜面反射分量本身并不彼此集成，或者镜面反射图像不与漫反射图像集成。结果，损失了所产生的图像的真实性。

例如，图18(a)和18(b)分别是葡萄柚表面的图像被分离为的镜面反射分量的图像和漫反射分量的图像。在图18(a)的表面上所见的凸起和镜面反射与在图18(b)中所见的表面纹理不无关系，而是与表面纹理的细小尺寸的凸起和彩色纹理具有相关性。图18(c)和18(d)是示出使用镜面反射分量和漫反射分量之间的相关性扩展实例地图的实例一致性扩展单元的基本处理的模式图。假设在整个葡萄柚的图像的镜面反射图像1801和漫反射图像1802中存在作为实例地图的镜面反射图像区域S1(以下将区域S1的镜面反射图像称为“图像S1”)以及与镜面反射图像区域S1相对应的漫反射图像区域D1(以下将区域D1的漫反射图像称为“图像D1”)，并且存在镜面反射图像区域S1与漫反射图像区域D1之间的相关性1803。

这里，试图将图像S1扩展为实例地图以覆盖区域S2(以下将区域S2的镜面反射图像称为“图像S2”)。这里，使用相对应的区域D2和D1(以下将区域D2的漫反射图像称为“图像D2”)的信息是一个新特征。

由于区域D1和D2是漫反射图像，可以将整个区域D1和D2看作纹理。然而，由于区域S1和S2是镜面反射图像，即使能够将图像S1看作纹理，但是由于照明、几何法线以及视点，图像S2的亮度值太低而无法被看作是纹理。换句话说，在上述的第三实施例中，用于扩展区域S1以覆盖整个图像的唯一方法是随机地或者考虑取决于区域S1中的细微结构的连接性(connectivity)各向同性地扩展区域S1中的纹理。

另一方面，在该第三实施例的变体中，使用能够根据所捕获的图像生成的图像D1和图像D2之间的相关性T，扩展区域S1的实例地图以覆盖区域S2。在扩展区域S1的实例地图以覆盖区域S2时，根据图像D2估计用于在纹理空间上将相对应的图像D1变换为图像D2的变换函数T，从而使用变换函数T将图像S1变换为图像S2。例如，对图像之间的纹理的连续性(continuity)进行恰当地插值。应该注意到，在图18中，区域S1是实例地图并且区域S2是实例地图在其上扩展的目标区域，并且区域S2并不总是邻近区域S1。

图19示出了根据第三实施例的变体的图像生成设备的结构。图19的图像生成设备包括实例扩展单元104a，该实例扩展单元104a具有如上所述的实例一致性扩展单元1901。图19的图像生成设备与图16的图像生成设备的区别在于进一步包括实例扩展单元中的实例一致性扩展单元1901，换句话说，区别在于实例扩展单元104由实例扩展单元104a代替。因此，下面不再解释图像生成设备中的其它单元。与图16中的实例扩展单元104类似，图19中的实例扩展单元104a从高分辨率数据库单元103中读出实例，并且然后增大所读出的实例以扩展由所读出的实例指示的空间区域(实例地图)来覆盖所述对象表面。然而，图19中的实例扩展单元104a与图16中的实例扩展单元104的不同之处在于进一步包括利用镜面反射扩展实例地图，并保持由DS分离单元1201分离为的漫反射分量和镜面反射分量之间的相关性的实例一致性扩展单元1901。这里，实例一致性扩展单元1901具有从DS分离单元1201提供的关于镜面反射图像的信息以及关于漫反射图像的信息。

图20是由实例一致性扩展单元1901执行的处理的流程图。从步骤S2001到步骤S2003，实例一致性扩展单元1901获取：(a)镜面反射图像的实例区域S1(即图像S1)；(b)与实例区域S1相对应的漫反射图像的实例区域D1(即图像D1)；以及在实例地图将在其上扩展的区域中所述漫反射图像的实例区域D2(即图像D2)。接下来，在步骤S2004处，实例一致性扩展单元1901对图像D1和图像D2执行小波变换以分别生成特征向量图像Dw1和特征向量图像Dw2，以在多分辨率特征空间上表达所产生的图像(输出图像)。在步骤S2005处，实例一致性扩展单元1901估计用于将特征向量图像Dw1变换为特征向量图像Dw2的最优变换T。该数学变换T可以是多维向量空间上的表变换或者矩阵变换。在步骤S2006处，实例一致性扩展单元1901对图像S1执行小波变换以生成特征向量图像Sw1。在步骤S2007处，实例一致性扩展单元1901对特征向量图像Sw1执行变换T以生成特征向量图像Sw2。换句话说，使用变换T在特征向量空间中变换图像S1以成为与图像D2具有高相关性的细微结构(图像Sw2)。在步骤S2008处，实例一致性扩展单元1901对图像Sw2执行小波逆变换以生成图像S2。在步骤S2009处，实例一致性扩展单元1901将图像S2存储为在区域S2上扩展的实例地图。如果在步骤S2010还没有完成覆盖整个目标区域的扩展，则处理返回到步骤S2003以执行针对下一个区域S2的处理。

通过上述处理，使用与漫反射图像的相关性非一致地扩展具有镜面反射的细微结构。结果，如果光源变化，则更加增强了在所产生的图像(输出图像)中表面反射的状态的真实性。

如上所述，根据该变型的图像生成设备和图像生成方法将输入图像分离为漫反射分量和镜面反射分量，并且仅对镜面反射分量应用反射模型以提高质量。这意味着，仅将反射模型应用到该反射模型初始被应用到的图像分量(即镜面反射分量)。从而，根据该变型的图像生成设备和图像生成方法能够生成通过使用细微结构更加正确和清晰地表示出对象的表面上的诸如凸起的形状的该对象的高质量图像。此外，在通过使用细微结构清晰地表示出诸如凸起的形状的同时，根据该变型的图像生成设备和图像生成方法能够在从任意期望位置发射光的伪光源下生成对象的图像。

(第四实施例)

下面描述根据本发明的第四实施例。根据第四实施例的图像生成设备是面部图像合成仿真***(以下将其简称为“面部合成***”)。近年来，面部验证和面部合成技术已经被研发到实用水平，并且在实践中使用真人动画技术。通过真人动画技术，调整(fit)根据单个二维面部图像生成的制备的面部模型以生成三维模型，从而垂直和水平地移动面部或者改变面部的表情。然而，如果将该技术应用于对于发型等的仿真，则明显失去了所产生的图像(输出图像)的真实性。下面解释原因。由于人类面部的反射特性几乎与良好漫射的对象的反射特性相似，反射特性的值不会由于视点变化而存在显著改变。另一方面，由于头发是典型的镜面反射对象，头发上镜面反射表面的位置或者形状应该根据头部与头发的角度变化被改变。然而，上述传统技术不能在所产生的图像(输出图像)中产生这样的变化。相同问题也存在于化妆仿真中涂有唇膏的化妆唇部的镜面反射中。任何传统的面部合成图像技术仅合成没有镜面反射的漫反射图像。这里，可以将头发上的反射和化妆唇部上的反射中的每一个认为是关于对象表面上的细小尺度凸起(即细微结构)的镜面反射。因此，在该合成图像中，细微结构的重构是有效的。关于头发，优选使用在头发的方向上具有强的空间各向异性的细微结构。关于唇部，优选使用例如在垂直纹路的方向上具有各向异性的细微结构。

更具体地说，以下是必需的：从输入面部图像等中提取诸如头发的区域中的细微结构的特征，然后通过将该特征扩展为在光源变化、视点变化和对象几何法线变化的三个不同条件下是连续的以使得该扩展满足这三个不同条件来重构所提取的特征。

图21A到21C是分别示出戴有头发的人体模型头部的示例的视图，解释了细微结构的外观(视图)发生改变的条件。

图21A示出在改变光源向量(更具体地说，位于位置L1处的光源移动到位置L2)时头发表面(细微结构)的反射外观被改变的情况。在这种情况下，反射的位置从反射1201改变到反射2102。在此，在几何法线向量和视点向量没有变化。

公知的是，由于镜面反射的亮度取决于光源向量L、几何法线N和视点向量V的三个向量之间的关系而发生变化，并且由于漫反射的亮度仅取决于光源向量L和几何法线N。因此，在光源移动的上述情形(条件)下，即使对象的总体(global)外观(对象的可视部分或者对象的扭曲(distortion)方式)没有变化，镜面反射和漫反射的亮度值也会变化。在图21A中通过反射2101和2102以及阴影2103和2104来表现该情形。

接下来，在图21B的外观变化的示例中，假设光源向量没有被改变但是视点向量从V1改变到V2以使得从更上水平观看外观。在改变视点时，对象的总形状发生改变或者该形状的视图发生改变。在图21B中，由于改变了视点以从更上水平观看该仿真头部，该仿真头部的大多数可视部分是头发的区域。而且，由于该变化是光源向量的相对变化，镜面反射从反射2105改变到反射2106。然而，即使视点向量V发生变化，漫反射分量的亮度值也不会改变，如果相对应的相同位置2107仅具有漫反射分量的亮度值，则亮度值不改变。

接下来，图21C的外观改变的示例是对象本身向下倾斜并且几何法线N从N1变化到N2的情形。该情形发生在使用计算机生成的(CG)动画合成技术等移动作为对象的面部模型等时。在这种情形下，如果视点向量和几何向量的相对变化相同，则该对象的总形状和视图(view)与图21B中视点改变的情形并无不同，但是镜面反射和漫反射的状态与图21B的情形不同。然而，如果假设将对象与背景分离并且将其看作仅仅是该人体模型的头部，则可以认为镜面反射和漫反射的亮度值是在视点变化的特定情形下改变的数据。因此，取决于应用，不需要考虑图21C的情形，并且仅考虑图21A中的光源变化和图21B中的视点变化的情形。

图22示出上述的原因。图22A示出对象如图21C所示移动的情形。图22B示出视点如图21B所示移动的情形。如果几何法线N与对象表面垂直并且光源向量L和视点向量V位于所示的位置，则在对象以角度θ转动时，光源向量L和视点向量V不发生变化而仅是几何法线N改变到-θ。因此，由光源向量L、几何法线N和视点向量V之间的相对关系确定的漫反射和镜面反射的亮度值连同对象的总体外观一起变化。在这种情形下，即使对象未改变而仅是光源向量L和视点向量V如图22B所示改变到角度-θ，也保持该相对关系。因此，漫反射和镜面反射的亮度值，连同对象的总体外观，与在这一情形下计算的相同。

如上所述，在光源变化和视点变化的两种情形中，对象外观和表面的亮度值的变化能够重构对图像捕获条件显著敏感的细微结构，从而增强了所产生的图像(输出图像)的视图的真实性。

图23是根据第四实施例的面部合成***的方框图。该面部合成***能够根据如上所述的光源变化和视点变化的两种变化条件，改变对象的外观。该面部合成***是图像生成设备的实例，该图像生成设备执行转换以改变通过对对象成像而生成的图像的光源位置和视点，从而通过重构细微结构的反射状态生成具有较高质量的图像。结果，在所生成的图像中，将该对象看作是由从期望光源发射的光照亮并且被从期望视点观察。该面部合成***包括图像捕获单元2301、光源信息生成单元2304、光源信息转换单元2305、形状重构单元2302、几何法线估计单元2303、视点信息生成单元2306、视点转换单元2307、DS分离单元2308、几何参数计算单元102、镜面反射图像细微结构提取单元2309、实例扩展单元104a、几何参数修改单元105以及图像生成单元106a。图像捕获单元2301通过捕获对象的图像生成图像(原始图像)。光源信息生成单元2304生成指示光源位置的光源信息。光源信息转换单元2305将该光源信息转换为另一信息以使得将该光源的位置改变到另一期望位置。形状重构单元2302保持指示该对象的表面的形状的形状数据。几何法线估计单元2303基于由形状重构单元2302保持的形状数据生成对象的几何法线。视点信息生成单元2306确定捕获对象的图像的相机的位置(视点)。视点转换单元2307改变保持在形状重构单元2302中的形状数据并且将由视点信息生成单元2306确定的视点改变到期望的不同位置。DS分离单元2308将所捕获的图像分离为镜面反射图像和漫反射图像。几何参数计算单元102使用该对象表面中与最终生成的输出图像中的像素相对应的每一个点的光源信息、视点和几何法线，执行预定的算法运算，从而计算指示所述对象的形状的几何参数。镜面反射图像细微结构提取单元2309从由DS分离单元2308分离的镜面反射图像中提取实例，其是指示细微结构的几何参数。实例扩展单元104a包括实例一致性扩展单元1901，该实例一致性扩展单元1901增大所提取的实例以扩展由所提取的实例指示的空间区域(实例地图)来覆盖对象表面，同时保持所提取的实例与由DS分离单元2308分离的漫反射图像之间的相关性。几何参数修改单元105使用由实例一致性扩展单元1901扩展的实例地图，修改由几何参数计算单元102计算的几何参数，从而生成修改的几何参数。图像生成单元106a通过将由几何参数修改单元105生成的该修改的几何参数应用到用于决定输出图像的每一个点的像素值的反射模型来计算该像素值，从而生成输出图像。

图像捕获单元2301捕获对象的图像以生成图像I(i，j)。形状重构单元2302重构该对象的三维表面。然后，几何法线估计单元2303生成(估计)所述表面的几何法线。为了重构所述结构的形状或者估计该几何法线，可以首先使用立体相机等通过三维位置重构该形状，然后根据所重构的形状计算几何法线。也可以首先计算几何法线并且然后重构该形状。特别地，如果该对象是“面部”，则也可以使用如在非专利文献8中公开的技术，利用用于二维输入图像的三维面部模型来生成输出图像。

【非专利文献8】Volker Blanz，Thomas Vetter：“A Morphable Model for the Synthesis of 3D faces”，SIGGRAPH 1999

光源信息生成单元2304生成用于对象的照明环境的信息。如果能够将光源模型近似为平行光，则可以确定光源向量的两个自由度。为了生成光源信息，如在非专利文献9中所公开的，存在一种使用镜面球体的方法。

【非专利文献9】Mark W.Powell，Sudeep Sarker和Dmity Goldgof：“A Simple Strategy for Calibrating the Geometry of Light Sources”，IEEE Transaction on pattern analysis and machine intelligence，Vol.23，No.9，2001年9月，pp.1023-1026

光源信息转换单元2305在对该对象成像时将光源向量自由地改变到期望的光源向量以合成光源被改变的图像。

视点信息生成单元2306生成：指示在对该对象成像的相机的世界坐标系中的光轴的相机外部参数；以及指示焦点距离、位于光轴中心的像素的位置等的相机内部参数。

视点转换单元2307自由地改变保持在形状重构单元2302中的形状信息并且通过改变相机外部参数将视点改变到期望的不同视点。结果，视点转换单元2307能够使用原始图像的像素，生成具有与原始图像不同的总体外观的图像。同时，由几何法线估计单元2303生成的几何法线图像的视点也被改变用于改变包括细微结构的镜面反射图像的视点。

DS分离单元2308将视点已经改变到另一视点的图像的像素值(亮度值)分离为漫反射分量和镜面反射分量。所生成的镜面反射图像用于针对细微结构的实例一致性扩展。

漫反射图像处理单元1202在仅转换(改变)视点时不执行任何处理。然而，在光源改变时，漫反射图像处理单元1202使用用于合成亮度变化的几何法线信息和光源信息修改表面的朗伯余弦定律。

镜面反射图像细微结构提取单元2309在通过对所生成的镜面反射图像进行二进制化而计算出的亮度等级下提取纹理结构。使用该纹理结构，例如根据上面给出的等式14计算几何参数α。可以通过使用光源向量L、几何法线向量N和视点向量V的Phong反射模型表达头发的镜面反射模型(参见非专利文献10)。

【非专利文献10】J T.Kajiya T L.Kay：“Rendering fur with three dimensional textures”，SIGGRAPH，1989，pp.271-280

图24是解释头发的反射模型的视图。这里，将头发建模为具有主轴u的圆柱形状。在非专利文献10中，Phong模型用于头发的镜面反射。在Phong模型中，通过(a)光源向量L和(b)位于(b-1)光源向量L在其上具有镜面反射的镜象反射向量R与(b-2)视点向量之间的角度β的余弦函数的幂函数的结果来表达反射的衰减。

这里，使用已经利用上述等式5和6解释的Torrance-Sparrow模型或者Cook-Torrance模型执行重构，可以使用位于半向量H与几何法线N之间的角度α代替角度β。简而言之，可以将与在第一实施例中使用的相同的几何参数用于头发的反射模型。

同时，对于头发的反射模型，在计算机图形领域中已经研究了各向异性反射、散射以及透射现象的详细建模。然而，在第四实施例中，将头发表达为头发的原始捕获图像中的细微结构。因此，在第四实施例中，对于反射模型的等级不考虑各向异性，并且将各向异性反射表达为细微结构。

实例一致性扩展单元1901在空间上扩展实例地图，同时保持连续性。

图25是用于解释头发区域的细微结构的实例地图的视图。假设该头发区域也被分离为镜面反射分量和漫反射分量以分别成为镜面反射图像和漫反射图像。尽管黑色或者接近黑色头发的漫反射图像几乎失去纹理，但是金黄色或者棕色头发的漫反射图像仍然具有纹理。因此，使用如在第三实施例的变体中描述的镜面反射图像与漫反射图像之间的相关性，可以扩展镜面反射图像的实例地图以覆盖整个头发区域。

图25还示出唇部区域，其是在人类面部中具有细微结构和镜面反射的区域的另一示例。对于唇部区域也可以使用唇部区域的镜面反射图像与漫反射图像之间的相关性扩展实例地图。如果唇部涂有具有强反射的唇膏，则可以使用Torrance-Sparrow模型或者Cook-Torrance模型作为反射模型，从而在此对于唇部区域不再描述细节。

几何参数修改单元105通过将由几何参数计算单元102计算的几何参数与指示具有由实例扩展单元104在空间上扩展的细微结构分量的高分辨率分量的信息相加来修改该几何参数。

图像生成单元106a使用用于反射模型的修改的几何参数，生成包括细微结构分量的高质量镜面反射图像。然后，将该高质量镜面反射图像与由DS分离单元1201分离的漫反射图像或者由漫反射图像处理单元1202处理的漫反射图像进行合成，从而生成输出图像。

图26A和26B是示出第四实施例的效果的视图。图26A示出捕获对象的图像的情形。图26B示出所述对象在所捕获的图像中的外观变化。

这里，固定光源2601，捕获人类2602或者具有假发的人体模型2602的图像。在视点(相机的位置)从位置2604改变到位置2603时，对象的外观从外观2605改变到外观2606。取决于头发的各向异性结构(头发的飘动等)，头发上的反射状态也被改变。从而，细微结构的构思能够实现随着视点变化而改变镜面反射，这在现有技术中是不可能的。由此，能够实现所产生的图像的真实性。

(第五实施例)

下面描述根据本发明的第五实施例。根据第五实施例的图像生成设备是立体显示设备。近年来，独立的立体显示设备的研究和开发已经取得进展并且独立的立体显示设备已经应用于各种领域。其中之一是通过显示高密度方向性来重构纹理的立体显示设备。

【非专利文献11】Yasuhiro Takagi，“Stereoscopic display reconstructing texture by high-density directionality display”in“Stereoscopic Technology-Cutting edge of 3D Vision，3D Display，Autostereography and their Applications-”，NTS Inc.，2008年10月10日，pp.209-221

通过传统技术，利用观察者肉眼的视点移动重构诸如钻石的闪烁，织物的光泽或者油画的润色的纹理，其由难于通过二维显示重构的材料表面上光线方向的细小变化导致。对于诸如晶体、玻璃或者金属上的镜面反射，亮度随着视点变化而动态地改变。在对象与观察者之间的距离是600mm时，重构该变化所需的光线的采样间距大致为0.48°。已经制造了这样的具有高密度方向性的独立的立体显示设备的样机模型。在将原始捕获的图像输入到这样的立体显示设备时，输入数据应该是从多个视点捕获的具有超高密度的图像。因此，通过以等于显示间隔的0.48°高密度采样间隔密集设置的多个小相机捕获图像是不实际的。

为了解决上述问题，如在本发明的实施例中描述的，基于参数在低分辨率图像上对对象表面上的凸起进行建模，这使得能够生成高密度多视点图像。然后，将所生成的多视点图像输入到独立的立体显示设备中进行显示。从而，能够实现高密度多视点立体显示设备。

尽管仅在以上详细描述了根据本发明的图像生成设备、图像生成方法及其应用示例，但是本领域的普通技术人员将意识到，在示例性实施例中可以存在许多变型并且在不实质上偏离本发明的新颖性教导和优点的情况下可以存在各种变化。因此，所有这样的变型都旨在包括在本发明的范围内。

而且，本领域的普通技术人员在不实质上偏离本发明的新颖性教导和优点的情况下将容易地组合实施例和变型中的要素。

工业实用性

本发明涉及一种设备，其(i)基于根据对象的低质量图像生成的、关于该对象的表面的诸如凸起的形状的信息，生成通过使用所述形状的细微结构更加清晰地表示出所述形状的所述对象的高质量图像，并且(ii)还在表示出诸如凸起的形状的同时在从任意期望位置发射光的伪光源下生成图像。本发明能够用作内置在诸如数字相机或者安保相机的图像显示装置中的图像生成设备等。

Claims (14)

1.一种图像生成设备，所述图像生成设备基于关于对象的表面的形状的信息来生成更加清晰地表示出所述形状的所述对象的高质量图像，由光源照亮并且从视点观察所述高质量图像的所述对象，所述图像生成设备包括：

信息获得单元，配置为获得所述光源的位置信息、所述视点的位置信息以及关于所述形状的几何法线信息；

几何参数计算单元，配置为：针对所述表面中与所述高质量图像中的像素相对应的每一个点，通过使用所述光源的所述位置信息、所述视点的所述位置信息以及所述几何法线信息来执行预定的算法运算，以计算关于所述形状的第一几何参数；

存储有实例的高分辨率数据库单元，所述实例是指示所述表面的一部分的细微结构并且具有比所述几何法线信息的空间分辨率高的空间分辨率的几何参数；

实例扩展单元，配置为：从所述高分辨率数据库单元中读出所述实例，并且在空间上增大所读出的实例以使得由所读出的实例指示的空间区域覆盖所述高质量图像中的所述对象的表面；

几何参数修改单元，配置为：通过使用由所述实例扩展单元扩展的所述区域来修改所述第一几何参数，以计算修改的几何参数；以及

图像生成单元，配置为：通过将所述修改的几何参数应用到用于决定所述每一个点的像素值的反射模型来计算所述像素值，从而生成所述高质量图像。

2.根据权利要求1所述的图像生成设备，

其中所述第一几何参数是(i)半向量与(ii)对应于所述第一几何参数的点的几何法线向量之间的角度的值，所述半向量是通过将指示所述光源的方向的单位向量与指示所述视点的方向的单位向量相加而生成的。

3.根据权利要求1所述的图像生成设备，

其中所述信息获得单元配置为：通过根据由捕获所述对象的图像的立体相机、测距器和另一形状检测设备的其中之一生成的信息来计算所述几何法线信息，以获得所述几何法线信息。

4.根据权利要求1所述的图像生成设备，

其中所述反射模型是使用关于所述高质量图像中的点的所述几何法线信息、所述视点的所述位置信息以及几何参数来计算所述点的像素值的数学表达式，并且

所述图像生成单元配置为通过将所述修改的几何参数、由所述信息获得单元获得的所述几何法线信息和所述视点的所述位置信息应用到所述反射模型来计算所述每一个点的所述像素值。

5.根据权利要求1所述的图像生成设备，还包括：

第一图像捕获单元，配置为通过捕获所述对象的图像来生成第一图像；

第二图像捕获单元，配置为通过捕获所述对象的一部分的图像来生成第二图像，所述对象的该部分的图像具有比所述第一图像的分辨率高的分辨率，所述对象的该部分与所述第一图像的高亮区域相对应以在所述高质量图像中具有较高质量；

第二几何参数估计单元，配置为使用由所述第二图像捕获单元生成的所述第二图像的像素值作为目标函数来估计第二几何参数，所述第二几何参数指示所述对象的所述表面的所述形状；以及

实例生成单元，配置为：将由所述第二几何参数估计单元估计的所述第二几何参数设置为所述实例，并且将所述实例存储在所述高分辨率数据库单元中。

6.根据权利要求5所述的图像生成设备，

其中所述第二图像捕获单元配置为通过将所述部分变焦得比捕获所述第一图像更大来捕获所述部分的图像，以生成所述第二图像。

7.根据权利要求1所述的图像生成设备，

其中所述信息获得单元配置为获得所述光源的多条位置信息，

所述几何参数计算单元配置为针对由所述信息获得单元获得的所述光源的所述多条位置信息中的每一条计算所述第一几何参数，

所述几何参数修改单元配置为针对由所述信息获得单元获得的所述光源的所述多条位置信息中的每一条计算所述修改的几何参数，以及

所述图像生成单元配置为针对由所述信息获得单元获得的所述光源的所述多条位置信息分别生成所述高质量图像。

8.根据权利要求1所述的图像生成设备，还包括：

第一图像捕获单元，配置为通过捕获所述对象的图像来生成第一图像；以及

分离单元，配置为将由所述第一图像捕获单元生成的所述第一图像分离为镜面反射分量和漫反射分量，

其中所述几何参数计算单元、所述实例扩展单元、所述几何参数修改单元以及所述图像生成单元分别执行所述第一几何参数的所述计算、所述读出和所述增大、所述修改的几何参数的所述计算以及所述像素值的所述计算和所述生成，以生成与由所述分离单元分离的所述镜面反射分量不同的高质量镜面反射分量，并且

所述图像生成单元配置为将(i)使用由所述图像生成单元生成的所述高质量镜面反射分量的图像与(ii)使用由所述分离单元分离的所述漫反射分量的图像进行进一步合成。

9.根据权利要求8所述的图像生成设备，

其中所述实例扩展单元包括

实例一致性扩展单元，配置为在空间上增大具有镜面反射的所读出的实例，并保持由所述分离单元分离的所述镜面反射分量和所述漫反射分量之间的相关性。

10.根据权利要求1所述的图像生成设备，还包括：

实例生成单元，配置为：获得指示所述形状的计算机图形数据，根据所述计算机图形数据来生成所述实例，并且将所述实例存储在所述高分辨率数据库单元中。

11.一种图像生成设备，所述图像生成设备针对对对象成像而生成的原始图像，通过将光源的位置以及视点分别改变到不同的位置和不同的视点以重构所述原始图像中的细微结构上的反射来生成高质量图像，从所述不同的位置照亮并且从所述不同的视点观察所述高质量图像中的所述对象，所述图像生成设备包括：

图像捕获单元，配置为通过对所述对象成像来生成所述原始图像；

光源信息生成单元，配置为生成指示所述光源的所述位置的光源信息；

光源信息转换单元，配置为将所述光源信息转换为不同的光源信息，从而将所述位置改变到所述不同的位置；

形状重构单元，配置为保持用于指示所述对象的表面的形状的形状数据；

几何法线估计单元，配置为基于由所述形状重构单元保持的所述形状数据来生成所述对象的几何法线；

视点信息生成单元，配置为确定所述视点，所述视点是对所述对象成像的相机的位置；

视点转换单元，配置为：改变由所述形状重构单元保持的所述形状数据并且将由所述视点信息生成单元确定的所述视点改变到所述不同的位置；

DS分离单元，配置为将由所述图像捕获单元捕获的所述原始图像分离为镜面反射图像和漫反射图像；

几何参数计算单元，配置为：针对所述表面上的每一个点，通过使用所述光源信息、所述视点以及所述几何法线来执行预定的算法运算，以计算指示所述对象的所述表面的所述形状的几何参数，所述每一个点与所述高质量图像中相应的像素相对应；

镜面反射图像细微结构提取单元，配置为从由所述DS分离单元分离的所述镜面反射图像中提取实例，所述实例是指示所述细微结构的几何参数；

实例一致性扩展单元，配置为：增大由所述镜面反射图像细微结构提取单元提取的所述实例以使得由所述实例指示的空间区域覆盖所述高质量图像中的所述对象的所述表面，并保持所述实例与由所述DS分离单元分离的所述漫反射图像之间的相关性；

几何参数修改单元，配置为：通过使用由所述实例一致性扩展单元扩展的所述区域来修改由所述几何参数计算单元计算的所述几何参数，以计算修改的几何参数；以及

图像生成单元，配置为：通过将所述修改的几何参数应用到用于决定所述每一个点的像素值的反射模型来计算所述像素值，从而生成所述高质量图像。

12.根据权利要求11所述的图像生成设备，

其中在针对人类头部作为所述对象的所述原始图像，将所述光源的所述位置以及所述视点改变到所述不同的位置和所述不同的视点时，使用所述反射模型来将头发或者唇部的镜面反射的纹理重构为所述细微结构，从作为预定位置的所述视点对所述原始图像进行成像。

13.一种图像生成方法，所述图像生成方法基于关于对象的表面的形状的信息来生成更加清晰地表示出所述形状的所述对象的高质量图像，由光源照亮并且从视点观察所述高质量图像的所述对象，所述图像生成方法包括：

获得所述光源的位置信息、所述视点的位置信息以及关于所述形状的几何法线信息；

针对所述表面中与所述高质量图像中的像素相对应的每一个点，通过使用所述光源的所述位置信息、所述视点的所述位置信息以及所述几何法线信息来执行预定的算法运算，以计算关于所述形状的第一几何参数；

从高分辨率数据库单元中读出实例，所述实例是指示所述表面的一部分的细微结构并且具有比所述几何法线信息的空间分辨率高的空间分辨率的几何参数，并且增大所读出的实例以使得由所读出的实例指示的空间区域覆盖所述高质量图像中的所述对象的表面；

通过使用在所述增大中扩展的所述区域，修改所述第一几何参数，以计算修改的几何参数；以及

通过将所述修改的几何参数应用到用于决定所述每一个点的像素值的反射模型来计算所述像素值，从而生成所述高质量图像。

14.一种记录在计算机可读记录介质上并且用于图像生成设备的计算机程序，所述图像生成设备基于关于对象的表面的形状的信息来生成更加清晰地表示所述形状的所述对象的高质量图像，所述计算机程序用于使计算机执行根据权利要求13所述的图像生成方法。

Images