CN101729916A - 图像处理装置、图像记录装置、方法及程序 - Google Patents

Abstract

一种图像处理装置、图像记录装置、方法及程序，能以简易的构成来实现图像记录，该图像记录能让用户容易且直观地从拍摄图像的缩小图像中识别多视点图像的缩小图像。其中，对多视点图像缩略图图像实施3维CG处理，从而制作3维缩略图图像，并且根据通常图像来制作缩略图图像，将其与本图像对应起来记录。对3维CG缩略图图像(X)实施3维CG图形处理而赋予立体效果，所以它与2维的通常缩略图(Y)的差异一看便知，即使不采用实现写实手法的特殊装置，观看者也能容易地认识是多视点图像的缩小图像。

Description

图像处理装置、图像记录装置、方法及程序

技术领域

本发明涉及多视点图像及单视点图像的缩小图像的一览显示。还有，本发明涉及多视点图像及单视点图像的缩小图像的记录。

背景技术

一般的立体图像显示***是对右眼出示以右眼为视点而描绘的图像，对左眼出示以左眼为视点而描绘的图像，是单独出示的。通常，在这样的以右眼及左眼为视点的2个图像(以下记作多视点图像)中，处于离视点远的位置的客体因为来自两眼的视线大致平行，即观看方式相同，所以描绘于大致相同的位置。另一方面，处于离视点近的位置的客体因为来自两眼的视线不平行，即观看方式不同，所以描绘于互相错开的位置。在用右眼左眼分别观看这种有视差的图像(以下记作视差图像)时，观测者对客体可获得远近感。

在视差图像的生成方面，有采用左右2台摄像装置拍摄被复制体，利用眼的错觉而3维地展示所获得的视差图像的写实手法，以及采用计算机图形技术通过以左右两眼为视点的模型数据的视野变换而生成视差图像的3维计算机图形(3维CG)显示。3维计算机图形显示俗称假想性3维显示、疑似性3维显示。

写实手法采用视差栅栏式或柱面透镜式的3D监视器进行视差图像的立体显示。视差栅栏式是在视差栅栏显示层上产生由光透过部和光遮蔽部交替地以给定的节距排列而成的图形所构成的视差栅栏，并且在其下层的图像显示面上交替地排列、显示表示左右的图像的长条状的图像片断，从而使视差图像的立体观看成为可能。

或者，写实手法可以采用利用柱面透镜片材的柱面透镜方式、利用微透镜阵列片材的集成图形方式、利用干涉现象的全息方式等。

一般的计算机图形是由多个多边形的集合来表现在3维空间内定义的客体。作为多边形，通常多采用最简单的三角形。构成客体的各多边形是采用矢量或矩阵等数学手法，从其自身具有的客体坐标向以观测者的视点的位置为基准的3维坐标即视野坐标进行坐标变换。而且为了显示到显示装置上，进行用于把以视野坐标表现的多边形向2维平面进行透视投影的坐标变换(透视变换)。这一连串的坐标变换进行之后的最终的多边形的位置数据就成为表示从视点到与显示器垂直的方向(Z轴)的距离的Z值和表示显示器面内的位置坐标的X值及Y值。

在构成各多边形的像素的色值的决定方法方面，有在视野坐标中配置假想性的光源，物理地计算从该光源向构成多边形的各顶点照射的光的强度，再根据这些值把在多边形内的栅格化过程中各像素位置上的光的强度通过线形插值来求出的方法。

或者，如专利文献1所示，有在多边形表面上粘贴称作织构的表示物体表面的质感、特殊的模样等图像的方法。在该场合，在坐标变换前的客体坐标的阶段，对构成客体的多边形的各顶点，除了位置坐标以外，再赋予织构坐标。并且与上述光强度的场合同样，在多边形的栅格化过程中按各像素位置一一对织构坐标进行线形插值，按照所求出的织构坐标来决定像素的色值。

按照以上方式就能生成从特定的视点看到的图形图像，不过，为了生成如上所述的立体观看的视差图像，把视点的位置按右眼及左眼各自的位置进行调换，对同一客体进行2次描绘，从而生成多视点图像。在高价***中，具备可实现如上所述的写实手法的显示装置，生成多视点图像。

另一方面，以前，在把多视点图像和无视差的通常的图像混在一起存放在存储装置中的场合，有可区别地显示它们的缩小图像的技术。专利文献2的电子设备具备可实现写实手法的显示装置，在缩略图图像的平面性的一览显示时，对于3维图像所对应的缩略图图像加上「3D」的记号，并且以圆形或椭圆形标明，对于2维图像所对应的缩略图图像加上「2D」的记号，以三角形标明，从而可以区别根据2维图像制作成的缩略图和根据3维图像制作成的缩略图。

还有，以前，提出了即使是被复制体处于远距离的场合，也能取得立体视觉效果的摄像方法。例如根据专利文献3，在打开的机箱两端设置照相机部，对于远距离也能取得立体图像的效果。

专利文献1：特开2002-24850号公报

专利文献2：特开2004-120165号公报

专利文献3：特开2003-51872号公报

发明内容

发明打算解决的课题

在专利文献2中，是以「3D」、「2D」这样的记号以及圆形、椭圆形、三角形这样的图形来标明2维图像和3维图像的缩略图，不过，这样则两者在直观上难以区别。

还有，在专利文献2中，可实现写实手法所形成的3维图像的显示的显示装置的配置是必须的，并且2维图像和3维图像的显示切换是必须的，所以存在***整体的成本变高的缺点。

特别是在数码相机一类的便携型设备中，强迫配置这种特殊显示装置，在便携性的确保、生产成本抑制方面有很大问题。

还有，在专利文献3中，存在对无限远的被复制体不能赋予立体视觉效果的问题。

因此，本发明是以简易的构成来实现用户能从拍摄图像的缩小图像中容易且直观地识别多视点图像的缩小图像的装置。还有，本发明防止不产生立体效果的无意义的多视点图像的记录。

用于解决课题的方案

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的第1缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；图像处理部，对与由图像识别部识别为多视点图像的图像对应的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示由缩小图像制作部制作成的第1缩小图像作为由图像识别部识别为单视点图像的图像的代表图像，并且一览显示由图像处理部制作成的第2缩小图像作为由图像识别部识别为多视点图像的图像的代表图像。

根据本发明，一览显示实施了3维计算机图形处理的缩小图像作为多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像的代表图像。对多视点图像的代表图像进行了3维计算机图形处理，所以它与单纯的缩小图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，可以是廉价的。

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；脸检测部，对于由图像识别部识别为多视点图像的图像，检测被复制体脸区域的有无；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示缩小图像作为由图像识别部识别为单视点图像的图像的缩小图像及由图像识别部识别为多视点图像且是未由脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示实施了3维计算机图形处理的给定的样品缩小图像作为由图像识别部识别为多视点图像且是由脸检测部检测到被复制体脸区域的图像的代表图像。

根据本发明，一览显示实施了3维计算机图形处理的给定的样品图像作为检测到脸的多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像或未检测到脸的多视点图像的代表图像。对成为多视点图像的代表图像的给定的样品进行了3维计算机图形处理，所以有脸的多视点图像的代表图像和单纯的缩小图像的差异一目了然。还有，因为使用给定的样品，所以不用为了显示多视点图像的代表图像而对各个多视点图像进行3维计算机图形处理。

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；闪光发光识别部，对于由图像识别部识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示缩小图像作为由图像识别部识别为单视点图像的图像的代表图像，一览显示由缩小图像制作部制作成的缩小图像作为由图像识别部识别为多视点图像且是由闪光发光识别部识别为没有闪光发光的图像的代表图像，一览显示实施了3维计算机图形处理的给定的样品缩小图像作为由图像识别部识别为多视点图像且是由闪光发光识别部识别为有闪光发光的图像的代表图像。

根据本发明，一览显示实施了3维计算机图形处理的缩小图像作为拍摄时有闪光发光的多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像或拍摄时没有闪光发光的多视点图像的代表图像。对拍摄时有闪光发光的多视点图像的代表图像进行了3维计算机图形处理，所以它与单纯的缩小图像或拍摄时没有闪光发光的多视点图像的代表图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，可以是廉价的。

还具备从由图像识别部识别为多视点图像的图像中检测被复制体脸区域的有无的脸检测部，图像处理部对第1缩小图像设定了与由脸检测部检测到的被复制体脸区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2缩小图像，显示部一览显示第1缩小图像作为由图像识别部识别为多视点图像的图像中的未由脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示第2缩小图像作为由脸检测部检测到被复制体脸区域的图像的代表图像。

只限于对脸这样的重要部分实施图像处理，可以通过很少的处理把实质性的疑似立体图像作为代表图像来显示。

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的第1缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；距离识别部，识别由图像识别部识别为多视点图像的图像中的被复制体处于远距离还是近距离；图像处理部，对根据由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的图像而制作成的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示由缩小图像制作部制作成的第1缩小图像作为由图像识别部识别为单视点图像的图像的代表图像，一览显示由缩小图像制作部制作成的第1缩小图像作为由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于远距离的图像的代表图像，一览显示由图像处理部制作成的第2缩小图像作为由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的图像的代表图像。

根据本发明，仅对被复制体处于近距离的多视点图像实施3维计算机图形处理，所以不用对被复制体处于远距离而实施该处理也无意义的图像进行该处理。

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的第1缩小图像；识别所存储的图像是多视点图像还是单视点图像；对与识别为多视点图像的图像对应的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及按照对所存储的图像进行一览显示的指示，一览显示第1缩小图像作为识别为单视点图像的图像的代表图像，并且一览显示第2缩小图像作为识别为多视点图像的图像的代表图像。

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的缩小图像；识别所存储的图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，检测被复制体脸区域的有无；以及按照对所存储的图像进行一览显示的指示，一览显示缩小图像作为识别为单视点图像的图像的缩小图像及识别为多视点图像且是未检测到被复制体脸区域的图像的代表图像，并且一览显示实施了3维计算机图形处理的给定的样品缩小图像作为识别为多视点图像且是检测到被复制体脸区域的图像的代表图像。

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的缩小图像；识别所存储的图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及按照对所存储的图像进行一览显示的指示，一览显示缩小图像作为识别为单视点图像的图像的代表图像，一览显示缩小图像作为识别为多视点图像且是识别为没有闪光发光的图像的代表图像，一览显示实施了3维计算机图形处理的给定的样品缩小图像作为识别为多视点图像且是识别为有闪光发光的图像的代表图像。

还可以包括以下步骤：从识别为多视点图像的图像中检测被复制体脸区域的有无；对第1缩小图像设定了与被复制体脸区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2缩小图像；以及一览显示第1缩小图像作为识别为多视点图像的图像中的未检测到被复制体脸区域的图像的代表图像，并且一览显示第2缩小图像作为检测到被复制体脸区域的图像的代表图像。

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的第1缩小图像；识别所存储的图像是多视点图像还是单视点图像；识别识别为多视点图像的图像中的被复制体处于远距离还是近距离；对根据识别为多视点图像且是识别为被复制体处于近距离的图像而制作成的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及按照对所存储的图像进行一览显示的指示，一览显示第1缩小图像作为识别为单视点图像的图像的代表图像，一览显示第1缩小图像作为识别为多视点图像且是识别为被复制体处于远距离的图像的代表图像，一览显示第2缩小图像作为识别为多视点图像且是识别为被复制体处于近距离的图像的代表图像。

使计算机执行该图像处理方法的程序也包含在本发明中。

本发明所涉及的图像记录装置，具备：拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存储的本图像是多视点图像还是单视点图像；图像处理部，制作缩小本图像所得的第1缩小图像之后，对根据由图像识别部识别为多视点图像的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；缩小图像存储部，按照图像识别部所涉及的多视点图像或单视点图像的识别，存储由图像处理部制作成的第1缩小图像或第2缩小图像；以及记录部，把缩小图像存储部中存储的第1缩小图像或第2缩小图像和本图像存储部中存储的本图像对应起来记录。

根据该发明，作为多视点图像的缩小图像把实施了3维计算机图形处理的缩小图像，作为单视点图像的缩小图像把单纯的缩小图像，分别与本图像对应起来记录。对多视点图像的缩小图像进行了3维计算机图形处理，所以它与单纯的缩小图像的差异一目了然。还有，不需要为显示多视点图像的缩小图像而使用特殊的写实手法，装置构成可以是廉价的。

还可以具备从由图像识别部识别为多视点图像的本图像中检测被复制体脸区域的有无的脸检测部，图像处理部对第1缩小图像设定了与由脸检测部检测到的被复制体脸区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2缩小图像。

在这里，只限于对脸这样的重要部分实施3维计算机图形处理，可以通过很少的处理来记录实质性的疑似立体缩小图像。

本发明所涉及的图像记录装置，具备：拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存储的本图像是多视点图像还是单视点图像；闪光发光识别部，对于由图像识别部识别为多视点图像的图像，识别拍摄时的闪光发光的有无；图像处理部，制作缩小由图像识别部识别为单视点图像或由闪光发光识别部识别为拍摄时没有闪光发光的本图像所得的第1缩小图像；样品缩小图像取得部，取得实施了3维计算机图形的给定的样品缩小图像作为与由图像识别部识别为多视点图像且由闪光发光识别部识别为有闪光发光的本图像对应的第2缩小图像；缩小图像存储部，按照图像识别部所涉及的多视点图像或单视点图像的识别和闪光发光识别部所涉及的拍摄时的闪光发光的有无的识别，存储由图像处理部制作成的第1缩小图像或由样品缩小图像取得部取得的第2缩小图像；以及记录部，把缩小图像存储部中存储的第1缩小图像或第2缩小图像和本图像存储部中存储的本图像对应起来记录。

根据本发明，作为拍摄时有闪光发光的多视点图像的缩小图像而把实施了3维计算机图形处理的给定的样品缩小图像，作为单视点图像或拍摄时没有闪光发光的多视点图像的缩小图像而把单纯的通常的缩小图像，与本图像对应起来记录。

对拍摄时有闪光发光的多视点图像的样品缩小图像进行了3维计算机图形处理，所以它与单纯的缩小图像或拍摄时没有闪光发光的多视点图像的缩小图像的差异一目了然。还有，不需要为显示多视点图像的缩小图像而使用特殊的写实手法，也不需要每次拍摄都进行3维计算机图形处理，装置构成可以是廉价的。

本发明所涉及的图像记录装置，具备：拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存储的本图像是多视点图像还是单视点图像；脸检测部，对于由图像识别部识别为多视点图像的图像，检测被复制体脸区域的有无；图像处理部，制作缩小由图像识别部识别为单视点图像或由脸检测部未检测到被复制体脸区域的本图像所得的第1缩小图像；样品缩小图像取得部，取得实施了3维计算机图形的给定的样品缩小图像作为与由图像识别部识别为多视点图像且由脸检测部检测到被复制体脸区域的本图像对应的第2缩小图像；缩小图像存储部，按照图像识别部所涉及的多视点图像或单视点图像的识别和脸检测部所涉及的被复制体脸区域的有无，存储由图像处理部制作成的第1缩小图像或由样品缩小图像取得部取得的第2缩小图像；以及记录部，把缩小图像存储部中存储的第1缩小图像或第2缩小图像和本图像存储部中存储的本图像对应起来记录。

根据该发明，作为有被复制体脸区域的多视点图像的缩小图像而把实施了3维计算机图形处理的给定的样品缩小图像，作为单视点图像或没有被复制体脸区域的多视点图像的缩小图像而把单纯的通常的缩小图像，与本图像对应起来记录。

对有被复制体脸区域的多视点图像的样品缩小图像进行了3维计算机图形处理，所以它与单纯的缩小图像或拍摄时没有闪光发光的多视点图像的缩小图像的差异一目了然。还有，不需要为显示多视点图像的缩小图像而使用特殊的写实手法，也不需要每次拍摄都进行3维计算机图形处理，装置构成可以是廉价的。

本发明所涉及的图像记录装置，具备：拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；本图像存储部，存储作为由拍摄部拍摄到的多视点图像或单视点图像的本图像；图像识别部，识别本图像存储部中存储的本图像是多视点图像还是单视点图像；距离识别部，识别由图像识别部识别为多视点图像的图像中的被复制体处于远距离还是近距离；图像处理部，制作成缩小本图像所得的第1缩小图像之后，对根据由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；缩小图像存储部，按照图像识别部所涉及的多视点图像或单视点图像的识别和距离识别部所涉及的被复制体的距离的识别，存储由图像处理部制作成的第1缩小图像或第2缩小图像；以及记录部，把缩小图像存储部中存储的第1缩小图像或第2缩小图像和本图像存储部中存储的本图像对应起来记录。

根据本发明，仅对被复制体处于近距离的多视点图像实施3维计算机图形处理，所以不用对被复制体处于远距离而实施该处理也无意义的图像进行该处理。

可以是，记录部对于由图像识别部识别为多视点图像的本图像，仅记录由距离识别部识别为被复制体处于近距离的本图像。

这样就不用记录被复制体处于给定距离以上的远距离而难以产生立体效果的多视点图像，或完全不产生立体效果的多视点图像，能防止无意义的图像记录。

还可以具备通知部，其通知不记录由图像识别部识别为多视点图像且由距离识别部识别为被复制体处于远距离的本图像的意思的警告。

这样，用户就能认识到未记录被复制体处于远距离而难以产生立体效果的多视点图像。

本发明所涉及的图像记录方法，包括以下步骤：拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；制作缩小本图像所得的第1缩小图像之后，对根据识别为多视点图像的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；按照多视点图像或单视点图像的识别，存储所制作成的第1缩小图像或第2缩小图像；以及把所存储的第1缩小图像或第2缩小图像和所存储的本图像对应起来记录。

该图像记录方法还可以包括以下步骤：从识别为多视点图像的本图像中检测被复制体脸区域的有无；以及对第1缩小图像设定了与检测到的被复制体脸区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2缩小图像。

本发明所涉及的图像记录方法，包括以下步骤：拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，识别拍摄时的闪光发光的有无；制作缩小识别为单视点图像或识别为拍摄时没有闪光发光的本图像所得的第1缩小图像；取得实施了3维计算机图形的给定的样品缩小图像作为与识别为多视点图像且识别为有闪光发光的本图像对应的第2缩小图像；按照多视点图像或单视点图像的识别和拍摄时的闪光发光的有无的识别，存储第1缩小图像或第2缩小图像；以及把所存储的第1缩小图像或第2缩小图像和所存储的本图像对应起来记录。

本发明所涉及的图像记录方法，包括以下步骤：拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，检测被复制体脸区域的有无；制作缩小识别为单视点图像或未检测到被复制体脸区域的本图像所得的第1缩小图像；取得实施了3维计算机图形的给定的样品缩小图像作为与识别为多视点图像且检测到被复制体脸区域的本图像对应的第2缩小图像；按照多视点图像或单视点图像的识别和被复制体脸区域的有无，存储第1缩小图像或第2缩小图像；以及把所存储的第1缩小图像或第2缩小图像和所存储的本图像对应起来记录。

本发明所涉及的图像记录方法，包括以下步骤：拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储作为拍摄到的多视点图像或单视点图像的本图像；识别所存储的本图像是多视点图像还是单视点图像；识别识别为多视点图像的图像中的被复制体处于远距离还是近距离；制作成缩小本图像所得的第1缩小图像之后，对根据识别为多视点图像且是识别为被复制体处于近距离的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；按照多视点图像或单视点图像的识别和被复制体的距离的识别，存储第1缩小图像或第2缩小图像；以及把所存储的第1缩小图像或第2缩小图像和所存储的本图像对应起来记录。

优选的是，该图像记录方法对于识别为多视点图像的本图像，仅记录识别为被复制体处于近距离的本图像。

还有，优选的是，还可以包括以下步骤：显示不记录识别为多视点图像且识别为被复制体处于远距离的本图像的意思的警告。

使计算机执行上述图像记录方法的程序也包含在本发明中。

发明效果

根据本发明，一览显示实施了3维计算机图形处理的缩小图像作为多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像、未检测到脸的多视点图像或者被复制体处于远距离的多视点图像的代表图像。对成为多视点图像的代表图像的给定的样品进行了3维计算机图形处理，所以有脸的多视点图像的代表图像和单纯的缩小图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，可以是廉价的。

根据本发明，作为多视点图像的缩小图像，把实施了3维计算机图形处理的缩小图像，优选的是在被复制体脸区域上实施了3维计算机图形处理的缩小图像与本图像对应起来记录。另一方面，作为单视点图像、未检测到脸的多视点图像或被复制体处于远距离的多视点图像的缩小图像，把单纯的缩小图像与本图像对应起来记录。对多视点图像的缩小图像进行了3维计算机图形处理，所以多视点图像的缩小图像和单视点图像的缩小图像的差异一目了然。还有，不需要为显示多视点图像的缩小图像而使用特殊的写实手法，装置构成可以是廉价的。

附图说明

图1是摄像装置的框图。

图2是第1实施方式所涉及的一览图像显示处理的流程图。

图3是表示织构映射的一个例子的图。

图4是表示通过第1实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。

图5是第2实施方式所涉及的一览图像显示处理的流程图。

图6是表示通过第2实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。

图7是第3实施方式所涉及的一览图像显示处理的流程图。

图8是表示通过第3实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。

图9是第4实施方式所涉及的一览图像显示处理的流程图。

图10是表示通过第4实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。

图11是第5实施方式所涉及的一览图像显示处理的流程图。

图12是表示通过第5实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。

图13是个人计算机的框图。

图14是第7实施方式所涉及的图像记录处理的流程图。

图15是第8实施方式所涉及的图像记录处理的流程图。

图16是第9实施方式所涉及的图像记录处理的流程图。

图17是第10实施方式所涉及的图像记录处理的流程图。

图18是第11实施方式所涉及的图像记录处理的流程图。

图19是第12实施方式所涉及的图像记录处理的流程图。

符号说明

1：摄像装置，2a：第1摄像部，2b：第2摄像部，10：LCD，62：主CPU，38：存储卡

具体实施方式

<第1实施方式>

图1表示复眼摄像装置1的电构成。第1及第2摄像部2a、2b的透镜光轴L1、L2按平行的方式或具有给定角度的方式排列设置。

第1摄像部2a由沿着透镜光轴L1排列的第1变焦透镜11a、第1光圈12a、第1聚焦透镜13a及第1图像传感器14a构成。第1光圈12a与光圈控制部16a连接，还有，第1图像传感器14a与定时信号发生器(TG)18a连接。第1光圈12a、第1聚焦透镜13a的动作由测光测距CPU19a控制。TG18a的动作由主CPU62控制。

摄像装置1中设有用于在用户使用该摄像装置1时进行种种操作的操作部70。该操作部70具备用于使摄像装置1动作的电源接通用的电源开关、用于选择自动拍摄、手动拍摄等的模式盘、用于进行各种菜单的设定、选择或变焦的十字键、闪光发光用开关及用于进行以十字键选择的菜单的执行、取消等的信息位置指定键。通过对操作部70的适当操作就能进行电源的接通/切断、各种模式(拍摄模式、重放模式等)的切换、变焦等。

还有，摄像装置1中具备主CPU62、EEPROM146、YC/RGB变换部147及显示用的驱动器148。主CPU62进行该摄像装置1整体的控制。EEPROM146中存放该摄像装置1固有的固化数据、程序等。

YC/RGB变换部147把由YC处理部35a·35b生成的彩***信号YC变换为3色的RGB信号，将其经由显示用的驱动器148向图像显示LCD1输出。

按照来自输入操作部9的变焦操作，第1变焦透镜11a沿着透镜光轴L1向NEAR侧(伸出侧)或INF侧(缩入侧)移动，改变变焦倍率。该移动由未图示的马达驱动。光圈12a在AE(Auto Exposure)动作时改变开口值(光圈值)而限制光通量，进行曝光调整。聚焦透镜13a在AF(Auto Focus)动作时沿着透镜光轴L1向NEAR侧或INF侧移动而改变聚焦位置，进行焦点调整。该移动由未图示的马达驱动。

在检测到静止画用释放开关的半按状态时，主CPU62分别从距离用摄像元件51a·51b获得测距数据。主CPU62基于所获得的测距数据，进行焦点、光圈等的调整。

第1图像传感器14a接受由第1变焦透镜11a、第1光圈12a及第1聚焦透镜13a成像所得的被复制体光，按照受光量而积蓄光电荷。第1图像传感器14a的光电荷积蓄·转送动作由TG18a控制，由从TG18a输入的定时信号(时钟脉冲)决定电子快门速度(光电荷存储时间)。第1图像传感器14a在拍摄模式时按每个给定周期取得1画面的量的图像信号。

第2摄像部2b是与第1摄像部2a相同的构成，由第2变焦透镜11b、第2光圈12b、第2聚焦透镜13b及与定时信号发生器(TG)14b连接的第2图像传感器14b构成。它们的动作由主CPU62控制。第1摄像部2a和第2摄像部2b基本上是联动而进行动作，不过，也可以使其各自单独地动作。另外，作为第1及第2图像传感器14a·14b，可以采用CCD型、CMOS型的图像传感器。

从第1及第2图像传感器14a·14b输出的摄像信号分别输入到A/D变换器30a·30B中。A/D变换器30a·30b把所输入的图像数据从模拟变换为数字。通过A/D变换器30a·30b，把第1图像传感器14a的摄像信号作为第1图像数据(右眼用图像数据)而输出，把第2图像传感器14b的摄像信号作为第2图像数据(左眼用图像数据)而输出。

图像信号处理电路31a·31b分别对从A/D变换器30a·31b输入的第1及第2图像数据实施灰度等级变换、白平衡补正、γ补正处理等各种图像处理。缓冲存储器32a·32b临时存放由图像信号处理电路31a·31b实施了各种图像处理的第1及第2图像数据。

测光·测距CPU19a·19b分别根据缓冲存储器32a·32b中存放的第1及第2图像数据一一算出AF评价值及AE评价值。AF评价值是针对各图像数据的全区域或给定区域(例如中央部)把亮度值的高频成分加以累计来算出，表示图像的清晰度。亮度值的高频成分是针对给定区域内把互相邻接的像素间的亮度差(对比度)相加所得的东西。还有，AE评价值是针对各图像数据的全区域或给定区域(例如中央部)把亮度值加以累计来算出，表示图像的亮度。AF评价值及AE评价值分别在后述的拍摄准备处理时执行的AF动作及AE动作中使用。

缓冲存储器32a ·32b中存储的图像数据分别由YC处理部35a ·35b变换为亮度信号(Y信号)及色差信号(Cr、Cb信号)，并且接受亮度校正等给定的处理。处理后的YC信号分别存放在工作存储器128a·128b中。

工作存储器128a·128b中存储的第1及第2图像数据的YC信号分别由控制器34读出到YC/RGB变换部147中。YC/RGB变换部147把第1及第2图像数据的YC信号变换为给定方式的视频信号(例如NTSC方式的彩色复合视频信号)之后，将其合成为用于进行图像显示LCD10上的立体显示的立体图像数据。在拍摄模式时LCD10用作电子取景器的情况下，由YC/RGB变换部147合成的立体图像数据通过LCD驱动器148作为整画显示在LCD10上。

压缩解压缩处理电路36a·36b分别对工作存储器128a·128b中存储的第1及第2图像数据，若是静止画则按照JPEG，若是动画则按照MPEG2、EG4、H.264方式等给定的压缩形式实施压缩处理。介质控制器37把由压缩解压缩处理电路36a·36进行压缩处理后的各图像数据记录在经由I/F39而连接的存储卡38及其他记录介质中。

在把这样记录在存储卡38中的第1及第2图像数据重放显示在LCD10上的场合，存储卡38的各图像数据由介质控制器37读出，由压缩解压缩处理电路36a·36进行解压缩处理，由YC/R变换部147变换为立体图像数据之后，通过LCD驱动器148作为重放图像而显示在CLCD10上。

LCD10是未采用写实手法的通常的监视器，在图像拍摄时用作电子取景器，在图像重放时进行通过拍摄而获得的图像数据的显示。

主CPU62统一控制复眼摄像装置1整体的动作。主CPU62除了与释放开关5a·5b、操作部70连接以外，还与作为非易失性存储器的EEPROM 146连接。EEPROM 146中存放着各种控制用的程序、设定信息等。主CPU62基于该程序、设定信息而执行各种处理。

还有，主CPU62与光学***控制指示部127连接，按照对光学***控制指示部127的变焦操作而变更第1摄像部2a、第2摄像部2b的拍摄倍率。

释放开关5a为2级按压的开关构造。在拍摄模式中，若很轻地按压(半按)释放开关5a，则会进行AF动作及AE动作，从而进行拍摄准备处理。在该状态下若进一步很重地按压(全按)释放开关5a，则会进行拍摄处理，把1画面的量的第1及第2图像数据从帧存储器32转送、记录于存储卡38中。

AF动作是一边由主CPU62控制第1及第2聚焦透镜13a·13b而使其分别在给定方向移动，一边求出根据依次获得的第1及第2图像数据分别算出的AF评价值的最大值，从而进行的。AE动作是在AF动作完成之后，基于所算出的AE评价值来设定第1及第2光圈12a·12b的开口值和第1及第2图像传感器14a·14b的电子快门速度，从而进行的。

还有，摄像装置1中具备用于进行辅助操作的操作LCD显示103。

还有，摄像装置1是电源电池68可拆装的构成。电源电池68由可充电的二次电池，例如镍铬电池、镍氢电池、锂离子电池构成。电源电池68也可以由用完即弃型的一次电池，例如锂电池、碱电池构成。电源电池68装在未图示的电池收纳室中，从而与摄像装置1的各电路电连接。

第1摄像部2a、第2摄像部2b中分别具备检测第1摄像部2a和第2摄像部2b所构成的间隔/辐辏角的间隔/辐辏角检测电路4a·4b、存储间隔/辐辏角检测电路4a·4b所检测到的辐辏角的透镜间隔/辐辏角存储电路6、进行基线长的伸缩和由驱动马达等旋转光轴而改变辐辏的间隔/辐辏角驱动电路3a·3b。

还有，摄像装置1中具备基于间隔/辐辏角检测电路4a·4b所检测到的间隔/辐辏角来控制间隔/辐辏角驱动电路3a·3b的辐辏角的变化的间隔/辐辏角控制电路5。

充电·发光控制部138a·138b分别为了使闪光灯44a·44b发光而接受来自电源电池68的电力供给，对未图示的闪光发光用的电容器进行充电，控制闪光灯44a·44b的发光。

充电·发光控制部138a·138b进行控制，使得在从主CPU62、测光·测距CPU19a·19b取入释放开关5a·5b的半按·全按操作信号等各种信号、表示发光量、发光定时的信号的情况下，相应地进行对闪光灯44a·44b的电流供给控制，在希望的定时获得希望的发光量。

纵拍摄/横拍摄切换按钮40是用于指示以纵拍摄和横拍摄中的哪种进行拍摄的按钮。纵拍摄/横拍摄检测电路166根据该按钮的状态来检测以纵拍摄和横拍摄中的哪种进行拍摄。

在2D/3D模式切换标志168上，按照2D拍摄模式/3D拍摄模式，设定表示是2D模式还是3D模式的标志。

距离用发光元件52a、52b各自由用于向第1摄像部2a及第2摄像部2b所捕捉到的同一被复制体照射聚光点的发光二极管(LED)构成。

距离用摄像元件51a、51b分别是取得由距离用发光元件52a、52b照射聚光点所得的被复制体像的测距专用的摄像元件。

距离用驱动/控制电路54进行使距离用发光元件52a、52b的发光定时和距离用摄像元件53a、53b同步的控制。

通过距离用摄像元件53a、53b的摄像动作而获得的模拟图像信号分别由测距用A/D变换部55a、55b变换为数字图像数据，输出到距离信息处理电路57中。

距离信息处理电路57根据所输入的数字图像数据而算出到第1摄像部2a及第2摄像部2b所捕捉到的被复制体的距离。这是基于所谓三角测距的原理。距离信息处理电路57所算出的距离信息存储在距离信息存储电路58中。

脸检测部150从缓冲存储器32a或缓冲存储器32b中存放的图像数据、缓冲存储器42中存放的图像数据中检测作为包含成为被复制体的人物的脸部分的区域的脸区域。

脸区域的检测方法没有特别的限定，可以采用各种方法，例如可以适用本申请人在特开平9-101579号公报中披露的技术。该技术是判断拍摄到的图像的各像素的色相是否包含在肤色的范围中，将其按肤色区域和非肤色区域进行分割，并且检测图像中的边沿，把图像中的各部位按边沿部分或非边沿部分进行分类。并且，提取由位于肤色区域内、按非边沿部分分类的像素构成的并且由判断为边沿部分的像素围着的区域作为脸候选区域，判断提取到的脸候选区域是不是与人物的脸相当的区域，基于该判断结果将其作为脸区域来检测。还有，除此之外，也可以采用特开2003-209683号公报、特开2002-199221号公报中记载的方法来检测脸区域。

另外，多视点图像不是必须以上述复眼摄像装置1来取得，也可以通过使用单眼摄像装置的摆动立体法下的连续拍摄来取得。

以下，参照图2的流程图，说明由主CPU62执行的一览图像显示处理的流程。规定该处理的程序存放在EEPROM146中。按照来自操作部70的「缩略图图像一览显示」的指示，对存储卡38中存放的所有多视点图像统一进行。

在S1中，读入存储卡38的目录。

在S2中，判断图像文件在该目录中是否存在。在图像文件存在的场合进入S3。在图像文件不存在的场合结束处理。

在S3中，读出图像文件的标题部分。然后，判断是否检测到图像文件是存放了多视点图像的意思的识别信息。在存放了多视点图像的场合进入S5，在存放了通常的图像的场合进入S8。

在S5中，根据图像文件中存放的多视点图像，制作缩略图图像。其具体手法与专利文献2的段落0040相同，可以仅对左眼用图像，仅对右眼用图像，或者对两者进行间拔制作。

在S6中，对所制作的缩略图图像实施3维CG处理，从而制作3维缩略图图像。例如图3所示，进行在与图像中存在的主要被复制体及其他各种物体(图3表示了茶杯，不过，也可以是人物等)对应的3维形状模型的多边形PG上粘贴缩略图图像th的对应区域的织构映射，获得3维CG缩略图图像X。其具体手法与专利文献1相同。或者，也可以针对原来的多视点图像实施3维CG处理，对其进行间拔，从而制作3维CG缩略图图像，不过，从处理的负荷方面考虑，优选的是先制作缩略图。

另外，也可以把其他3D计算机图形手法适用于缩略图图像来制作3维CG缩略图图像。

在S7中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的3维CG缩略图图像。

在S8中，根据图像文件中存放的单视点的通常图像，制作缩略图图像。其具体手法与通常的缩略图图像相同，对单视点图像进行间拔来制作即可。把该缩略图称为通常缩略图图像。

在S9中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的通常缩略图图像。

在S10中，判断是否针对存储卡38的所有图像制作了3维CG缩略图图像或通常缩略图图像。在制作了的场合成进入S11，在制作未结束的场合回到S3，继续制作。

在S11中，在LCD10上一览显示缓冲存储器41的3维CG缩略图图像及通常缩略图图像。其排序设为作为缩略图图像的制作基础的图像文件的名字顺序、记录日期时间顺序即可。即，3维CG缩略图图像及通常缩略图图像不加区别，在LCD10的一画面中3维CG缩略图图像及通常缩略图图像混在一起排列。

另外，S3～S9的处理也可以在每次新记录图像时进行。

图4表示在LCD10上一览显示的3维CG缩略图图像X及通常缩略图图像Y的一个例子。对3维CG缩略图图像X实施3维CG图形处理而赋予了立体效果，它与通常缩略图Y的差异一看便知，即使不采用实现写实手法的特殊装置，观看者也能容易地认识是多视点图像的缩小图像。

<第2实施方式>

图5是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把依脸复制的多视点图像的缩略图图像调换为特别的样品。

S21～S24与S1～S4相同。

在S25中，对脸检测部150发出指令，使得从多视点图像的一方或双方中提取脸。脸检测部150按照来自主CPU62的指令，从图像文件中存放的左眼用图像或右眼用图像中，尝试脸区域的检测。

在S26中，判断脸检测部150是否检测完脸区域。在检测完脸区域的场合进入S27，在未检测完脸区域的场合进入S29。

在S27中，从EEPROM146中取出象征依脸复制的多视点图像的样品的3维缩略图图像。

在S28中，在一览图像缓冲器中存放所取出的样品。样品的3维缩略图图像不是必须与实际的被复制体的脸相同，只要是样品的人物的脸即可，并且对其脸、身体等预先赋予了3D图形所形成的立体效果。

在S29中，与上述S5相同。S30是在一览图像缓冲器中存放S29中制作成的缩略图图像。该缩略图图像称为立体图像缩小图像，与通常缩略图图像加以区别。

S31～S34与上述S8～S11相同。

图6表示执行了S34，结果在LCD10上一览显示的样品的3维缩略图图像S、通常缩略图图像Y的一个例子。

样品缩略图图像S被实施了3维CG图形处理，所以与通常缩略图Y、立体图像缩小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。

<第3实施方式>

图7是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把闪光拍摄所得的多视点图像的缩略图图像调换为特别的样品。

S41～S44与S1～S4相同。

在S45中，从图像文件取得闪光发光信息，识别图像记录时的闪光灯44a·44b的接通或切断的状况。闪光发光信息例如是Exif文件的Flash标记中存放的信息。

在S46中，基于闪光发光信息，判断拍摄时的闪光灯44a·44b的接通或切断。在拍摄时闪光灯44a·44b接通的场合进入S47，切断的场合进入S49。

在S47中，从EEPROM146中取出象征多视点图像的样品的3维缩略图图像。与第2实施方式相同，通过3维CG处理对该样品赋予立体效果。另外，该样品的图案不是必须为特定人物的脸。

在S48中，在一览图像缓冲器中存放所取出的样品的3维缩略图图像。样品的3维缩略图图像不是必须与实际的被复制体的脸相同，只是对于已经复制了人物的脸这一点进行3D图形显示的缩略图图像。

S49～S54与上述S29～S34相同。

图8表示执行了S54，结果在LCD10上一览显示的样品的3维缩略图图像W、通常缩略图图像Y的一个例子。

样品缩略图图像W被实施了3维CG图形处理，所以与通常缩略图Y、立体图像缩小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。

而且，不用直到难以作为多视点图像而有效利用的暗的图像为止一律进行样品显示，处理也有效率。

<第4实施方式>

图9是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把依脸复制的多视点图像的缩略图图像调换为仅针对该多视点图像的脸区域实施3维CG处理所得的缩略图图像。

S61～S66与S21～S26相同。此处，在S66中，在判断为有脸的场合进入S67，在判断为无脸的场合进入S69。

在S67中，从依脸复制的多视点图像中提取脸区域，对该脸区域实施3维CG处理。这是例如从依脸复制的多视点图像中提取脸区域，并且以给定的间拔率间拔该多视点图像。在间拔后的缩小图像上设定与从原多视点图像中提取到的脸区域相当的区域。然后，在该设定区域中的脸上制作特有的多边形，进行在该多边形上粘贴间拔后脸区域的织构映射，获得仅对该脸区域实施了3维CG处理的缩略图图像。该方式是在间拔图像的制作后进行3维CG处理。

或者，根据该检测到的脸自身，进行在该人物的脸上制作特有的多边形，在该多边形上粘贴脸区域的织构映射，制作在多视点图像上仅对脸区域实施3维CG处理所得的临时的CG图像。然后，以给定的间拔率间拔该临时的CG图像，获得仅对脸区域实施3维CG处理所得的缩略图图像。该方式是在3维CG处理后制作间拔图像。

上述织构映射方式需要从多边形的制作开始，若制作精密的多边形，则处理负荷很大。作为多边形的简易制作方法，可以列举以下方法。首先，从检测到的脸区域检测脸的轮廓、眼、鼻、口等脸的构成部分，按照检测到的脸的构成部分的位置来决定多边形分割线。例如，把从两眼的中央部分(眉间)出发而沿着鼻梁达到鼻尖边沿的线、围着两眼的线、围着口的线、脸的轮廓作为多边形分割线。在该多边形上进行织构映射的话，就能获得口和鼻子的部分***，眼周围洼陷的简易的3维CG缩略图图像。

在S68中，在一览图像缓冲器中存放制作成的3维CG缩略图图像。

S69～S74与上述S29～S34相同。

图10表示执行了S74，结果在LCD10上一览显示的检测到脸的多视点图像所对应的3维缩略图图像S、通常缩略图图像Y、未检测到脸的的多视点图像所对应的缩略图图像Z的一个例子。

样品缩略图图像U仅针对脸区域实施了3维CG图形处理，所以与通常缩略图Y、单纯的视点图像的缩小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。而且，采用原图像对脸区域实施了3维CG图形处理，也能立体地明白原图像的脸的概要。

<第5实施方式>

图11是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，仅对拍摄近距离的被复制体所得的多视点图像的缩略图图像进行3维CG处理。

S81～S84与S41～S44相同。

在S85中，从图像文件中取得距离信息，识别从图像记录时的摄像装置1到被复制体的距离。距离信息例如是Exif文件的“SubjectDistance”标记中存放的信息，由距离信息存储电路58存储。

在S85中，基于距离信息D，判断被复制体是否位于比给定的距离远的位置(例如D＞10m)。被复制体为远距离的场合进入S89，不是远距离的场合即近距离的场合进入S87。

在S87中，与S6相同，制作3维CG缩略图图像。

在S88中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的3维CG缩略图图像。

S89～S94与上述S69～S74相同。

图12表示执行了S94，结果在LCD10上一览显示的3维缩略图图像T、通常缩略图图像Y、未实施3维CG处理的被复制体远的缩略图图像V的一个例子。

样品缩略图图像T被实施了3维CG处理，所以与通常缩略图Y、被复制体远的图像的缩略图图像V的差异一看便知。

而且，仅针对在拍摄时被复制体处于近距离的多视点图像实施3维CG处理，不用直到实施该处理也无意义的被复制体远的图像为止一律进行3维CG处理，处理有效率。

<第6实施方式>

图13是个人计算机100的框图。个人计算机100主要包括：控制各构成要素的动作的中央处理器(CPU)102；对装置的控制程序进行存放，成为程序执行时的作业区域的主存储器106；其中存放包含个人计算机100的操作***(OS)、按对与个人计算机100连接的外部设备的设备驱动器适合的方式对视点图像进行编辑的图像编辑处理的程序的各种应用软件、用户的图像等的硬盘装置108；CD-ROM装置110；临时存储显示用数据的显示存储器116；根据来自该显示存储器116的图像数据、文字数据等来显示图像、文字等的CRT监视器、液晶监视器等监视装置118；键盘120；作为位置输入设备的鼠标122；检测鼠标122的状态而把监视装置118上的鼠标指针的位置、鼠标122的状态等的信号向CPU102输出的鼠标控制器124；与互联网等网络30连接的通信接口132；具有其中可拆装存储卡38的卡***口的卡接口112；连接上述各构成要素的总线104；与摄像装置1进行USB连接的摄像装置连接I/F134。

存放在硬盘装置108中的图像编辑处理的应用软件是通过在个人计算机100的CD-ROM装置110中设定其中记录了该应用软件的CD-ROM，从而安装在个人计算机100中。

监视装置118，与LCD10相同，显示图像。

在硬盘装置108中存放通过摄像装置连接I/F134从复眼摄像装置1接受的多视点图像乃至通常图像，或者通过卡I/F112从存储卡3取入的多视点图像乃至通常图像。

CPU102对于硬盘装置108中存储的多视点图像及通常图像进行上述第1～5实施方式的一览图像显示处理。该处理可以是每次在硬盘装置108中存放各图像时，按每个图像单独执行，也可以是按照来自键盘120、鼠标122的指示，对硬盘装置108中存放的所有图像统一进行。

即，一览图像显示处理不是必须由摄像装置1进行，在其他装置中也可以实现。

<第7实施方式>

以下，参照图14的流程图，说明由摄像装置1执行的图像记录处理的流动。规定该处理的程序存放在EEPROM146中，主CPU62执行该程序。按照来自操作部70的「缩略图图像一览显示」的指示，对存储卡38中存放的所有多视点图像统一进行。

在S1中，判断静止画用释放开关5a是否被全按。在静止画用释放开关5a被全按的场合进入S2。

在S2中，开始记录用静止画数据的取入。把取入的图像数据(本图像)一次存放在缓冲存储器42中确保的本图像缓冲器中。

在S3中，判断2D/3D模式切换标志168的标志。在3D模式的标志设立的场合进入S3。在2D模式的标志设立的场合进入S7。

在S4中，根据本图像缓冲器中存放的多视点图像，制作缩略图图像。其具体手法与专利文献2的段落0040相同，可以仅对左眼用图像，仅对右眼用图像，或者对两者进行间拔制作。

在S5中，对所制作的缩略图图像实施3维CG处理，从而制作3维缩略图图像。例如图3所示，进行在与图像中存在的主要被复制体及其他各种物体(图3表示了茶杯，不过，也可以是人物等)对应的3维形状模型的多边形PG上粘贴缩略图图像th的对应区域的织构映射，获得3维CG缩略图图像X。其具体手法与专利文献1相同。或者，也可以针对原来的多视点图像实施3维CG处理，对其进行间拔，从而制作3维CG缩略图图像，不过，从处理的负荷方面考虑，优选的是先制作缩略图。

另外，也可以把其他3D计算机图形手法适用于缩略图图像来制作3维CG缩略图图像。

在S6中，在缓冲存储器41中确保的缩略图缓冲器中存放制作成的3维CG缩略图图像。

在S7中，根据图像文件中存放的单视点的通常图像，制作缩略图图像。其具体手法与通常的缩略图图像相同，对单视点图像进行间拔来制作即可。把该缩略图称为通常缩略图图像。

在S8中，在缓冲存储器41中确保的缩略图缓冲器中存放制作成的通常缩略图图像。

在S9中，把缓冲存储器42的缩略图缓冲器中存放的缩略图图像和本图像缓冲中存放的本图像关联起来记录在存储卡38中。两图像的关联，例如可以通过把两者存放在同一Exif(Exchangeable image fileformat)文件中，记录在存储卡38中来进行。

另外，S3～S9的处理也可以在每次新取得记录用静止画时进行，也可以在拍摄、积蓄一定数量的静止画之后进行。总之，只要把本图像和缩小图像关联起来记录即可，3维CG缩略图图像的作成的定时无论什么时都可以。

图4表示从通过上述处理而记录在存储卡38中的图像文件中取入而在LCD10或其他显示装置上一览显示的3维CG缩略图图像X和通常缩略图图像Y的一个例子。3维CG缩略图图像X是在上述步骤S4～6中制作成的，被实施了3维CG图形处理，被赋予了立体效果，所以与上述步骤S7～8中制作成的通常缩略图Y的差异一看便知，即使不采用实现写实手法的特殊显示装置，观看者也能容易地认识是多视点图像的缩小图像。

<第8实施方式>

图15表示图像记录处理的另一例。在这里，把依脸复制的多视点图像的缩略图图像调换为仅对于该多视点图像的脸区域实施了3维CG处理的缩略图图像。

S11～S13与S1～S3相同。

在S14中，对脸检测部150发出指令，使得从多视点图像的一方或双方中提取脸。脸检测部150按照来自主CPU62的指令，从图像文件中存放的左眼用图像或右眼用图像中，尝试脸区域的检测。

在S15中，判断脸检测部150是否检测完脸区域。在检测完脸区域的场合进入S15，在未检测完脸区域的场合进入S18。

在S16中，从依脸复制的多视点图像中提取脸区域，对该脸区域实施3维CG处理。例如从依脸复制的多视点图像中提取脸区域，并且以给定的间拔率间拔该多视点图像。在间拔后的缩小图像上设定与从原多视点图像中提取到的脸区域相当的区域。在从两视点图像尝试脸检测的场合，在检测精度高的一方视点图像上设定脸区域则更好。然后，在该设定区域中的脸上制作特有的多边形，进行在该多边形上粘贴间拔后脸区域的织构映射，获得仅对该脸区域实施了3维CG处理的缩略图图像。该方式是在间拔图像的制作后进行3维CG处理。

或者，根据该检测到的脸自身，进行在该人物的脸上制作特有的多边形，在该多边形上粘贴脸区域的织构映射，制作在多视点图像上仅对脸区域实施3维CG处理所得的临时的CG图像。然后，以给定的间拔率间拔该临时的CG图像，获得仅对脸区域实施3维CG处理所得的缩略图图像。该方式是在3维CG处理后制作间拔图像。

上述织构映射方式需要从多边形的制作开始，若制作精密的多边形，则处理负荷很大。作为多边形的简易制作方法，可以列举以下方法。首先，从检测到的脸区域检测脸的轮廓、眼、鼻、口等脸的构成部分，按照检测到的脸的构成部分的位置来决定多边形分割线。例如，把从两眼的中央部分(眉间)出发而沿着鼻梁达到鼻尖端的线、围着两眼的线、围着口的线、脸的轮廓作为多边形分割线。在该多边形上进行织构映射，就能获得口和鼻子的部分***、眼周围洼陷的简易的3维CG缩略图图像。

在S17中，在缩略图缓冲器中存放制作成的3维CG缩略图图像。

在S18中，根据本图像缓冲器中存放的多视点图像，制作缩略图图像。其具体手法与专利文献2的段落0040相同，可以仅对左眼用图像，仅对右眼用图像，或者对两者进行间拔制作。

S20～S22与上述S7～S9相同。

图6表示LCD10上一览显示的与检测到脸的多视点图像对应的3维缩略图图像S、通常缩略图图像Y、未检测到脸的的多视点图像所对应的缩略图图像Z的一个例子。

样品缩略图图像U是在步骤S4～S6中制作成的，仅对于脸区域实施了3维CG图形处理，所以与步骤S20～S21中制作成的通常缩略图Y、步骤S18～S19中制作成的单纯的视点图像的缩小图像Z的差异一看便知，即使不采用实现写实手法的特殊装置，以脸作为被复制体的立体图像的识别也很容易。而且，采用原图像对脸区域实施了3维CG图形处理，所以原图像的脸的概要也能立体地显现。

<第9实施方式>

图16表示由主CPU62执行的图像记录处理的另一例。在这里，把闪光拍摄所得的多视点图像的缩略图图像调换为特别的样品。

S31～S33与S1～S3相同。

在S34中，从测光测距CPU19a·19b中取得闪光发光信息，识别图像记录时的闪光灯44a·44b的接通或切断的状况。另外，闪光发光信息例如存放在Exif文件的「Flash」标记中。

在S35中，基于闪光发光信息，判断拍摄时的闪光灯44a·44b的接通或切断。在拍摄时闪光灯44a·44b接通的场合进入S36，切断的场合进入S38。

在S36中，从EEPROM146中取出象征多视点图像的样品的3维缩略图图像。与第2实施方式相同，通过3维CG处理对该样品赋予立体效果，将其预先存放在EEPROM146中。另外，该样品不是必须为实际的被复制体。

在S37中，把取出的样品的3维缩略图图像存放在缩略图缓冲器中。样品的3维缩略图图像不是必须与实际的被复制体相同，只是用于以3D图形表示多视点图像的缩略图图像。

S38～S42与上述S18～S22相同。

图8表示LCD10上一览表显示的样品的3维缩略图图像W、通常缩略图图像Y、立体图像的缩小图像Z的一个例子。

在步骤S37中从EEPROM146中取出的样品缩略图图像W被实施3维CG图形处理，所以与通常缩略图Y、单纯的立体图像缩小图像Z的差异一看便知，即使不采用实现写实手法的特殊装置，以脸作为被复制体的立体图像的识别也很容易。

而且，直到作为多视点图像的有效利用困难的、闪光非发光条件下暗的多视点图像为止一律不用把样品对应起来记录，处理有效率。

<第10实施方式>

图17表示图像记录处理的另一个例子。在这里，把依脸拍摄的多视点图像的缩略图图像调换为特别的样品。

S51～S53与S1～S3相同。

S54～S55与S14～S15相同。此处，在S55中判断为有脸的场合进入S56，判断为没有脸的场合进入S58。

在S56中，从EEPROM146中取出象征依脸拍摄的多视点图像的样品的3维缩略图图像。

在S57中，把取出的样品存放在缩略图缓冲器中。样品的3维缩略图图像不是必须与实际的被复制体相同，只要是样品的人物的脸即可，并且对其脸、身体等预先赋予了3D图形所形成的立体效果。

S58～S62与上述S18～S22相同。

图10表示LCD10上一览显示的样品的3维缩略图图像U、通常缩略图图像Y、立体图像的缩小图像Z的一个例子。

样品缩略图图像U被实施了3维CG图形处理，所以与通常缩略图Y、立体图像缩小图像Z的差异一看便知，即使不采用实现写实手法的特殊装置，以脸作为被复制体的立体图像的识别也很容易。

<第11实施方式>

图18表示图像记录处理的另一个例子。在这里，只对拍摄近距离的被复制体所得的多视点图像的缩略图图像进行3维CG处理。

S71～S73与S1～S3相同。

在S74中，从距离信息存储电路58中取得距离信息，识别拍摄时从摄像装置1到被复制体的距离。另外，距离信息例如存放在Exif文件的「SubjectDistance」标记中。距离信息存储电路58的距离信息有从距离用像素51a获得的东西或从距离用像素51b获得的东西这样2种，采用哪种都可以，例如采用距离短的一方的距离信息。

在S75中，基于距离信息D，判断被复制体是否处于比给定的距离远的位置(例如D＞10m)。在被复制体不是远距离的场合即近距离的场合进入S76，在被复制体是远距离的场合进入S78。

在S76中，与S5相同，制作3维CG缩略图图像。

在S77中，在缓冲存储器42中确保的缩略图缓冲器中存放制作成的3维CG缩略图图像。

S78～S82与上述S18～S22相同。

图12表示LCD10上一览显示的3维缩略图图像T、通常缩略图图像Y、未实施3维CG处理的被复制体远的缩略图图像V的一个例子。

被复制体处于近距离的样品缩略图图像T被实施了3维CG处理，所以即使不采用实现写实手法的特殊的装置，与通常缩略图Y、被复制体远的图像的缩略图图像V的差异也一看便知。

而且，仅针对拍摄时被复制体处于近距离的多视点图像实施3维CG处理，不用直到实施该处理也无意义的被复制体远的图像为止一律进行3维CG处理，处理有效率。

<第12实施方式>

图19表示图像记录处理的另一个例子。在这里，在拍摄远距离的被复制体作为多视点图像的场合，发出警告，不进行多视点图像的记录本身。另一方面，只对近距离拍摄的多视点图像的缩略图图像进行3维CG处理，将其与本图像对应起来记录。

S91～S95与S71～S75相同。此处，在S95中，在判断为被复制体处于远距离的场合进入S96，在判断为被复制体判断处于近距离的场合进入S97。

在S96中，在LCD10上显示被复制体处于远距离而不记录多视点图像的意思的警告。并且不进入S101的图像记录而结束处理。

S97～S98与S76～S77相同。还有，S99～S101与S80～S82相同。

在该处理中，仅对拍摄时被复制体处于近距离的多视点图像实施3维CG处理，将其与本图像对应起来记录，所以不用直到实施该处理也无意义的被复制体远的图像为止一律进行3维CG处理，处理有效率。

还有，在该处理中，对拍摄时被复制体处于远距离的多视点图像进行警告显示，不进行本图像的记录。即，不用记录被复制体远、不产生立体视觉效果的多视点图像，处理有效率。

<其他实施方式>

上述第7～12实施方式的一部分或全部可以进行组合。例如，只有在检测到脸且拍摄时的闪光发光接通的场合，才会把实施3维CG处理所得的缩小图像与本图像关联起来记录。或者，只有在检测到脸且拍摄时的闪光发光接通的场合，才会把实施3维CG处理所得的样品缩小图像与本图像关联起来记录。

或者，只有在被复制体距离处于近距离且拍摄时的闪光发光接通的场合，才会把实施3维CG处理所得的缩小图像与本图像关联起来记录。或者，只有在被复制体距离处于近距离且拍摄时的闪光发光接通的场合，才会把实施3维CG处理所得的样品缩小图像与本图像关联起来记录。

另外，在检测到脸的场合，可以假定被复制体距离为近距离，所以在检测到脸的场合，可以省略被复制体距离是近距离还是远距离的判断。

Claims (15)

1.一种图像记录装置，具备：

拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像；

图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像；

图像处理部，制作缩小上述本图像所得的第1缩小图像之后，对根据由上述图像识别部识别为多视点图像的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；

缩小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的识别，存储由上述图像处理部制作成的第1缩小图像或第2缩小图像；以及

记录部，把上述缩小图像存储部中存储的第1缩小图像或第2缩小图像和上述本图像存储部中存储的上述本图像对应起来记录。

2.根据权利要求1所述的图像记录装置，其中，

还具备从由上述图像识别部识别为多视点图像的本图像中检测被复制体脸区域的有无的脸检测部，

上述图像处理部对上述第1缩小图像设定了与由上述脸检测部检测到的被复制体脸区域对应的区域之后，对上述设定了的区域进行3维计算机图形处理，从而制作上述第2缩小图像。

3.一种图像记录装置，具备：

拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像；

图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像；

闪光发光识别部，对于由上述图像识别部识别为多视点图像的图像，识别拍摄时的闪光发光的有无；

图像处理部，制作缩小由上述图像识别部识别为单视点图像或由上述闪光发光识别部识别为拍摄时没有闪光发光的本图像所得的第1缩小图像；

样品缩小图像取得部，取得实施了3维计算机图形的给定的样品缩小图像作为与由上述图像识别部识别为多视点图像且由上述闪光发光识别部识别为有闪光发光的本图像对应的第2缩小图像；

缩小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的识别和上述闪光发光识别部所涉及的上述拍摄时的闪光发光的有无的识别，存储由上述图像处理部制作成的第1缩小图像或由上述样品缩小图像取得部取得的第2缩小图像；以及

记录部，把缩小上述图像存储部中存储的第1缩小图像或第2缩小图像和上述本图像存储部中存储的本图像对应起来记录。

4.一种图像记录装置，具备：

拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像；

图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像；

脸检测部，对于由上述图像识别部识别为多视点图像的图像，检测被复制体脸区域的有无；

图像处理部，制作缩小由上述图像识别部识别为单视点图像或由上述脸检测部未检测到被复制体脸区域的本图像所得的第1缩小图像；

样品缩小图像取得部，取得实施了3维计算机图形的给定的样品缩小图像作为与由上述图像识别部识别为多视点图像且由上述脸检测部检测到被复制体脸区域的本图像对应的第2缩小图像；

缩小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的识别和上述脸检测部所涉及的上述被复制体脸区域的有无，存储由上述图像处理部制作成的第1缩小图像或由上述样品缩小图像取得部取得的第2缩小图像；以及

记录部，把上述缩小图像存储部中存储的第1缩小图像或第2缩小图像和上述本图像存储部中存储的本图像对应起来记录。

5.一种图像记录装置，具备：

拍摄部，可拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

本图像存储部，存储作为由上述拍摄部拍摄到的多视点图像或单视点图像的本图像；

图像识别部，识别上述本图像存储部中存储的本图像是多视点图像还是单视点图像；

距离识别部，识别由上述图像识别部识别为多视点图像的图像中的被复制体处于远距离还是近距离；

图像处理部，制作成缩小上述本图像所得的第1缩小图像之后，对根据由上述图像识别部识别为多视点图像且是由上述距离识别部识别为被复制体处于近距离的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；

缩小图像存储部，按照上述图像识别部所涉及的上述多视点图像或上述单视点图像的识别和上述距离识别部所涉及的上述被复制体的距离的识别，存储由上述图像处理部制作成的第1缩小图像或第2缩小图像；以及

记录部，把缩小上述图像存储部中存储的第1缩小图像或第2缩小图像和上述本图像存储部中存储的本图像对应起来记录。

6.根据权利要求5所述的图像记录装置，其中，记录部对于由上述图像识别部识别为多视点图像的本图像，仅记录由上述距离识别部识别为被复制体处于近距离的本图像。

7.根据权利要求6所述的图像记录装置，其中，还具备通知部，其通知不记录由上述图像识别部识别为多视点图像且由上述距离识别部识别为被复制体处于远距离的本图像的意思的警告。

8.一种图像记录方法，包括以下步骤：

拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储作为拍摄到的多视点图像或单视点图像的本图像；

识别所存储的本图像是多视点图像还是单视点图像；

制作缩小上述本图像所得的第1缩小图像之后，对根据识别为上述多视点图像的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；

按照上述多视点图像或上述单视点图像的识别，存储所制作成的第1缩小图像或第2缩小图像；以及

把上述存储的第1缩小图像或第2缩小图像和上述存储的本图像对应起来记录。

9.根据权利要求8所述的图像记录方法，其中，还包括以下步骤：

从识别为上述多视点图像的本图像中检测被复制体脸区域的有无；以及

对上述第1缩小图像设定了与上述检测到的被复制体脸区域对应的区域之后，对上述设定了的区域进行3维计算机图形处理，从而制作上述第2缩小图像。

10.一种图像记录方法，包括以下步骤：

拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储作为拍摄到的多视点图像或单视点图像的本图像；

识别所存储的本图像是多视点图像还是单视点图像；

对于识别为多视点图像的图像，识别拍摄时的闪光发光的有无；

制作缩小识别为上述单视点图像或识别为上述拍摄时没有闪光发光的本图像所得的第1缩小图像；

取得实施了3维计算机图形的给定的样品缩小图像作为与识别为上述多视点图像且识别为有上述闪光发光的本图像对应的第2缩小图像；

按照上述多视点图像或上述单视点图像的识别和上述拍摄时的闪光发光的有无的识别，存储上述第1缩小图像或上述第2缩小图像；以及

把上述存储的第1缩小图像或第2缩小图像和上述存储的本图像对应起来记录。

11.一种图像记录方法，包括以下步骤：

拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储作为拍摄到的多视点图像或单视点图像的本图像；

识别所存储的本图像是多视点图像还是单视点图像；

对于识别为上述多视点图像的图像，检测被复制体脸区域的有无；

制作缩小识别为上述单视点图像或未检测到上述被复制体脸区域的本图像所得的第1缩小图像；

取得实施了3维计算机图形的给定的样品缩小图像作为与识别为上述多视点图像且检测到上述被复制体脸区域的本图像对应的第2缩小图像；

按照上述多视点图像或上述单视点图像的识别和上述被复制体脸区域的有无，存储上述第1缩小图像或上述第2缩小图像；以及

把上述存储的第1缩小图像或第2缩小图像和上述存储的本图像对应起来记录。

12.一种图像记录方法，包括以下步骤：

拍摄包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储作为拍摄到的多视点图像或单视点图像的本图像；

识别所存储的本图像是多视点图像还是单视点图像；

识别识别为上述多视点图像的图像中的被复制体处于远距离还是近距离；

制作成缩小上述本图像所得的第1缩小图像之后，对根据识别为上述多视点图像且是识别为上述被复制体处于近距离的本图像而制作成的第1缩小图像，实施3维计算机图形处理，从而制作第2缩小图像；

按照上述多视点图像或上述单视点图像的识别和上述被复制体的距离的识别，存储第1缩小图像或第2缩小图像；以及

把上述存储的第1缩小图像或第2缩小图像和上述存储的本图像对应起来记录。

13.根据权利要求12所述的图像记录方法，其中，对于识别为上述多视点图像的本图像，仅记录识别为上述被复制体处于近距离的本图像。

14.根据权利要求13所述的图像记录方法，其中，还包括以下步骤：显示不记录识别为上述多视点图像且识别为上述被复制体处于远距离的本图像的意思的警告。

15.一种使计算机执行权利要求8～14中任意一项所述的图像记录方法的程序。

Images