CN101296386B - 图像处理装置和方法 - Google Patents

Abstract

一种以简易的构成来实现用户能容易且直观地从拍摄图像的代表图像中识别多视点图像的代表图像的装置。对多视点图像缩略图图像实施3维CG处理，从而制作3维缩略图图像，并且根据通常图像来制作缩略图图像，在LCD(10)上一览显示3维CG缩略图图像及通常缩略图图像。3维CG缩略图图像及通常缩略图图像不加区别地在LCD(10)的一画面中混在一起排列。3维CG缩略图图像(X)被实施了3维CG图形处理，被赋予了立体效果，所以与通常缩略图(Y)的差异一看便知，即使不采用实现写实手法的特殊装置，观看者也能容易地认识多视点图像的缩小图像。

Description

图像处理装置和方法

技术领域

本发明涉及多视点图像及单视点图像的缩小图像的一览显示。 

背景技术

一般的立体图像显示***是对右眼出示以右眼为视点而描绘的图像，对左眼出示以左眼为视点而描绘的图像，是单独出示的。通常，在这样的以右眼及左眼为视点的2个图像(以下记作多视点图像)中，处于离视点远的位置的客体因为来自两眼的视线大致平行，即观看方式相同，所以描绘于大致相同的位置。另一方面，处于离视点近的位置的客体因为来自两眼的视线不平行，即观看方式不同，所以描绘于互相错开的位置。在用右眼左眼分别观看这种有视差的图像(以下记作视差图像)时，观测者对客体可获得远近感。 

在视差图像的生成方面，有采用左右2台摄像装置拍摄被复制体，利用眼的错觉而3维地展示所获得的视差图像的写实手法，以及采用计算机图形技术通过以左右两眼为视点的模型数据的视野变换而生成视差图像的3维计算机图形(3维CG)显示。3维计算机图形显示俗称假想性3维显示、疑似性3维显示。 

写实手法采用视差栅栏式或柱面透镜式的3D监视器进行视差图像的立体显示。视差栅栏式是在视差栅栏显示层上产生由光透过部和光遮蔽部交替地以给定的节距排列而成的图形所构成的视差栅栏，并且在其下层的图像显示面上交替地排列、显示表示左右的图像的长条状的图像片断，从而使视差图像的立体观看成为可能。 

或者，写实手法可以采用利用柱面透镜片材的柱面透镜方式、利 用微透镜阵列片材的集成图形方式、利用干涉现象的全息方式等。 

一般的计算机图形是由多个多边形的集合来表现在3维空间内定义的客体。作为多边形，通常多采用最简单的三角形。构成客体的各多边形是采用矢量或矩阵等数学手法，从其自身具有的客体坐标向以观测者的视点的位置为基准的3维坐标即视野坐标进行坐标变换。而且为了显示到显示装置上，进行用于把以视野坐标表现的多边形向2维平面进行透视投影的坐标变换(透视变换)。这一连串的坐标变换进行之后的最终的多边形的位置数据就成为表示从视点到与显示器垂直的方向(Z轴)的距离的Z值和表示显示器面内的位置坐标的X值及Y值。 

在构成各多边形的像素的色值的决定方法方面，有在视野坐标中配置假想性的光源，物理地计算从该光源向多边形的各顶点照射的光的强度，再根据这些值把在多边形内的栅格化过程中各像素位置上的光的强度通过线形插值来求出的方法。 

或者，如专利文献1所示，有在多边形表面上粘贴称作纹理的表示物体表面的质感、特殊的模样等图像的方法。在该场合，在坐标变换前的客体坐标的阶段，对构成客体的多边形的各顶点，除了位置坐标以外，再赋予纹理坐标。并且与上述光强度的场合同样，在多边形的栅格化过程中按各像素位置一一对纹理坐标进行线形插值，按照所求出的纹理坐标来决定像素的色值。 

按照以上方式就能生成从特定的视点看到的图形图像，不过，为了生成如上所述的立体观看的视差图像，把视点的位置按右眼及左眼各自的位置进行调换，对同一客体进行2次描绘，从而生成多视点图像。在高价***中，具备可实现如上所述的写实手法的显示装置，生成多视点图像。 

另一方面，以前，在把多视点图像和无视差的通常的图像混在一 起存放在存储装置中的场合，有可区别地显示它们的缩小图像的技术。专利文献2的电子设备具备可实现写实手法的显示装置，在缩略图图像的平面性的一览显示时，对于3维图像所对应的缩略图图像加上 

「3D」的记号，并且以圆形或椭圆形标明，对于2维图像所对应的缩略图图像加上「2D」的记号，以三角形标明，从而可以区别根据2维图像制作成的缩略图和根据3维图像制作成的缩略图。 

专利文献1：特开2002-24850号公报 

专利文献2：特开2004-120165号公报 

发明内容

发明打算解决的课题 

在专利文献2中，是以「3D」、「2D」这样的记号以及圆形、椭圆形、三角形这样的图形来标明2维图像和3维图像的缩略图，不过，这样则两者在直观上难以区别。 

还有，在专利文献2中，可实现写实手法所形成的3维图像的显示的显示装置的配置是必须的，并且2维图像和3维图像的显示切换是必须的，所以存在***整体的成本变高的缺点。 

因此，本发明是以简易的构成来实现用户能从拍摄图像的代表图像中容易且直观地识别多视点图像的代表图像的装置。 

用于解决课题的方案 

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的第1缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；图像处理部，对与由图像识别部识别为多视点图像的图像对应的第1缩小图 像实施3维计算机图形处理，从而制作第2缩小图像；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示由缩小图像制作部制作成的第1缩小图像作为由图像识别部识别为单视点图像的图像的代表图像，并且一览显示由图像处理部制作成的第2缩小图像作为由图像识别部识别为多视点图像的图像的代表图像。 

根据本发明，一览显示实施了3维计算机图形处理的缩小图像作为多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像的代表图像。对多视点图像的代表图像进行了3维计算机图形处理，所以它与单纯的缩小图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，是廉价的。 

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；脸检测部，对于由图像识别部识别为多视点图像的图像，检测被复制体脸区域的有无；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示缩小图像作为由图像识别部识别为单视点图像的图像的缩小图像及由图像识别部识别为多视点图像且是未由脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示实施了3维计算机图形处理的给定的样品缩小图像作为由图像识别部识别为多视点图像且是由脸检测部检测到被复制体脸区域的图像的代表图像。 

根据本发明，一览显示实施了3维计算机图形处理的给定的样品图像作为检测到脸的多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像或未检测到脸的多视点图像的代表图像。对成为多视点图像的代表图像的给定的样品进行了3维计算机图形处理，所以有脸的多视点图像的代表图像和单纯的缩小图像的差异一目了然。还 有，因为使用给定的样品，所以不用为了显示多视点图像的代表图像而对各个多视点图像进行3维计算机图形处理。 

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；闪光发光识别部，对于由图像识别部识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示缩小图像作为由图像识别部识别为单视点图像的图像的代表图像，一览显示由缩小图像制作部制作成的缩小图像作为由图像识别部识别为多视点图像且是由闪光发光识别部识别为没有闪光发光的图像的代表图像，一览显示实施了3维计算机图形处理的给定的样品缩小图像作为由图像识别部识别为多视点图像且是由闪光发光识别部识别为有闪光发光的图像的代表图像。 

根据本发明，一览显示实施了3维计算机图形处理的缩小图像作为拍摄时有闪光发光的多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像或拍摄时没有闪光发光的多视点图像的代表图像。对拍摄时有闪光发光的多视点图像的代表图像进行了3维计算机图形处理，所以它与单纯的缩小图像或拍摄时没有闪光发光的多视点图像的代表图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，是廉价的。 

还具备从由图像识别部识别为多视点图像的图像中检测被复制体脸区域的有无的脸检测部，图像处理部对第1缩小图像设定了与由脸检测部检测到的被复制体脸区域对应的区域之后，对设定了的区域进行3维计算机图形处理，从而制作第2缩小图像，显示部一览显示第1缩小图像作为由图像识别部识别为多视点图像的图像中的未由脸检测 部检测到被复制体脸区域的图像的代表图像，并且一览显示第2缩小图像作为由脸检测部检测到被复制体脸区域的图像的代表图像。 

只限于对脸这样的重要部分实施图像处理，可以通过很少的处理把实质性的疑似立体图像作为代表图像来显示。 

本发明所涉及的图像处理装置，具备：图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储部，存储图像输入部中输入了的图像；缩小图像制作部，制作缩小存储部中存储的图像所得的第1缩小图像；图像识别部，识别存储部中存储的图像是多视点图像还是单视点图像；距离识别部，识别由图像识别部识别为多视点图像的图像中的被复制体处于远距离还是近距离；图像处理部，对根据由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的图像而制作成的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及显示部，按照对存储部中存储的图像进行一览显示的指示，一览显示由缩小图像制作部制作成的第1缩小图像作为由图像识别部识别为单视点图像的图像的代表图像，一览显示由缩小图像制作部制作成的第1缩小图像作为由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于远距离的图像的代表图像，一览显示由图像处理部制作成的第2缩小图像作为由图像识别部识别为多视点图像且是由距离识别部识别为被复制体处于近距离的图像的代表图像。 

根据本发明，仅对被复制体处于近距离的多视点图像实施3维计算机图形处理，所以不用对被复制体处于远距离而实施该处理也无意义的图像进行该处理。 

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的第1缩小 图像；识别所存储的图像是多视点图像还是单视点图像；对与识别为多视点图像的图像对应的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及按照对所存储的图像进行一览显示的指示，一览显示第1缩小图像作为识别为单视点图像的图像的代表图像，并且一览显示第2缩小图像作为识别为多视点图像的图像的代表图像。 

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的缩小图像；识别所存储的图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，检测被复制体脸区域的有无；以及按照对所存储的图像进行一览显示的指示，一览显示缩小图像作为识别为单视点图像的图像的缩小图像及识别为多视点图像且是未检测到被复制体脸区域的图像的代表图像，并且一览显示实施了3维计算机图形处理的给定的样品缩小图像作为识别为多视点图像且是检测到被复制体脸区域的图像的代表图像。 

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的缩小图像；识别所存储的图像是多视点图像还是单视点图像；对于识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及按照对所存储的图像进行一览显示的指示，一览显示缩小图像作为识别为单视点图像的图像的代表图像，一览显示缩小图像作为识别为多视点图像且是识别为没有闪光发光的图像的代表图像，一览显示实施了3维计算机图形处理的给定的样品缩小图像作为识别为多视点图像且是识别为有闪光发光的图像的代表图像。 

还包括以下步骤：从识别为多视点图像的图像中检测被复制体脸区域的有无；对第1缩小图像设定了与被复制体脸区域对应的区域之 后，对设定了的区域进行3维计算机图形处理，从而制作第2缩小图像；以及一览显示第1缩小图像作为识别为多视点图像的图像中的未检测到被复制体脸区域的图像的代表图像，并且一览显示第2缩小图像作为检测到被复制体脸区域的图像的代表图像。 

本发明所涉及的图像处理方法，包括以下步骤：输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；存储输入了的图像；制作缩小所存储的图像所得的第1缩小图像；识别所存储的图像是多视点图像还是单视点图像；识别识别为多视点图像的图像中的被复制体处于远距离还是近距离；对根据识别为多视点图像且是识别为被复制体处于近距离的图像而制作成的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及按照对所存储的图像进行一览显示的指示，一览显示第1缩小图像作为识别为单视点图像的图像的代表图像，一览显示第1缩小图像作为识别为多视点图像且是识别为被复制体处于远距离的图像的代表图像，一览显示第2缩小图像作为识别为多视点图像且是识别为被复制体处于近距离的图像的代表图像。 

使计算机执行该图像处理方法的程序也包含在本发明中。 

发明效果 

根据本发明，一览显示实施了3维计算机图形处理的缩小图像作为多视点图像的代表图像，一览显示单纯的缩小图像作为单视点图像、未检测到脸的多视点图像或者被复制体处于远距离的多视点图像的代表图像。对成为多视点图像的代表图像的给定的样品进行了3维计算机图形处理，所以具有脸的多视点图像的代表图像与单纯的缩小图像的差异一目了然。还有，不需要为显示多视点图像的代表图像而使用特殊的写实手法，是廉价的。 

附图说明

图1是摄像装置的框图。 

图2是第1实施方式所涉及的一览图像显示处理的流程图。 

图3是表示纹理映射的一个例子的图。 

图4是表示通过第1实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。 

图5是第2实施方式所涉及的一览图像显示处理的流程图。 

图6是表示通过第2实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。 

图7是第3实施方式所涉及的一览图像显示处理的流程图。 

图8是表示通过第3实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。 

图9是第4实施方式所涉及的一览图像显示处理的流程图。 

图10是表示通过第4实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。 

图11是第5实施方式所涉及的一览图像显示处理的流程图。 

图12是表示通过第5实施方式所涉及的一览图像显示处理而显示的缩略图的一个例子的图。 

图13是个人计算机的框图。 

符号说明 

1：摄像装置，2a：第1撮像部，2b：第2撮像部，10：LCD，62：主CPU，38：存储卡，100：个人计算机，102：CPU，108：硬盘装置 

具体实施方式

<第1实施方式> 

图1表示复眼摄像装置1的电构成。第1及第2撮像部2a、2b的透镜光轴L1、L2按平行的方式或具有给定角度的方式排列设置。 

第1撮像部2a由沿着透镜光轴L1排列的第1变焦透镜11a、第1光圈12a、第1聚焦透镜13a及第1图像传感器14a构成。第1光圈12a 与光圈控制部16a连接，还有，第1图像传感器14a与定时信号发生器(TG)18a连接。第1光圈12a、第1聚焦透镜13a的动作由测光测距CPU19a控制。TG18a的动作由主CPU62控制。 

摄像装置1中设有用于在用户使用该摄像装置1时进行种种操作的操作部70。该操作部70具备用于使摄像装置1动作的电源接通用的电源开关、用于选择自动拍摄、手动拍摄等的模式盘、用于进行各种菜单的设定、选择或变焦的十字键、闪光发光用开关及用于进行以十字键选择的菜单的执行、取消等的信息位置指定键。通过对操作部70的适当操作就能进行电源的接通/切断、各种模式(拍摄模式、重放模式等)的切换、变焦等。 

还有，摄像装置1中具备主CPU62、EEPROM146、YC/RGB变换部147及显示用的驱动器148。主CPU62进行该摄像装置1整体的控制。EEPROM146中存放该摄像装置1固有的固化数据、程序等。 

YC/RGB变换部147把由YC处理部35a·35b生成的彩***信号YC变换为3色的RGB信号，将其经由显示用的驱动器148向图像显示LCD10输出。 

按照来自输入操作部9的变焦操作，第1变焦透镜11a沿着透镜光轴L1向NEAR侧(伸出侧)或INF侧(缩入侧)移动，改变变焦倍率。该移动由未图示的马达驱动。光圈12a在AE(Auto Exposure)动作时改变开口值(光圈值)而限制光通量，进行曝光调整。聚焦透镜13a在AF(Auto Focus)动作时沿着透镜光轴L1向NEAR侧或INF侧移动而改变聚焦位置，进行焦点调整。该移动由未图示的马达驱动。 

在检测到静止画用释放开关的半按状态时，主CPU62分别从距离用摄像元件51a·51b获得测距数据。主CPU62基于所获得的测距数据，进行焦点、光圈等的调整。 

第1图像传感器14a接受由第1变焦透镜11a、第1光圈12a及第1聚焦透镜13a成像所得的被复制体光，在受光元件上按照受光量而积蓄光电荷。第1图像传感器14a的光电荷积蓄·转送动作由TG18a控制，由从TG18a输入的定时信号(时钟脉冲)决定电子快门速度(光电荷存储时间)。第1图像传感器14a在拍摄模式时按每个给定周期取得1画面的量的图像信号。 

第2撮像部2b是与第1撮像部2a相同的构成，由第2变焦透镜11b、第2光圈12b、第2聚焦透镜13b及与定时信号发生器(TG)14b连接的第2图像传感器14b构成。它们的动作由主CPU62控制。第1撮像部2a和第2撮像部2b基本上是联动而进行动作，不过，也可以使其各自单独地动作。另外，作为第1及第2图像传感器14a·14b，可以采用CCD型、CMOS型的图像传感器。 

从第1及第2图像传感器14a·14b输出的撮像信号分别输入到A/D变换器30a·30B中。A/D变换器30a·30b把所输入的图像数据从模拟变换为数字。通过A/D变换器30a·30b，把第1图像传感器14a的撮像信号作为第1图像数据(右眼用图像数据)而输出，把第2图像传感器14b的撮像信号作为第2图像数据(左眼用图像数据)而输出。 

图像信号处理电路31a·31b分别对从A/D变换器30a·31b输入的第1及第2图像数据实施灰度等级变换、白平衡补正、γ补正处理等各种图像处理。缓冲存储器32a·32b临时存放由图像信号处理电路31a·31b实施了各种图像处理的第1及第2图像数据。 

测光·测距CPU19a·19b分别根据缓冲存储器32a·32b中存放的第1及第2图像数据一一算出AF评价值及AE评价值。AF评价值是针对各图像数据的全区域或给定区域(例如中央部)把亮度值的高频成分加以累计来算出，表示图像的清晰度。亮度值的高频成分是针对 给定区域内把互相邻接的像素间的亮度差(对比度)相加所得的东西。还有，AE评价值是针对各图像数据的全区域或给定区域(例如中央部)把亮度值加以累计来算出，表示图像的亮度。AF评价值及AE评价值分别在后述的拍摄准备处理时执行的AF动作及AE动作中使用。 

缓冲存储器32a ·32b中存储的图像数据分别由YC处理部35a ·35b变换为亮度信号(Y信号)及色差信号(Cr、Cb信号)，并且接受亮度校正等给定的处理。处理后的YC信号分别存放在工作存储器128a·128b中。 

工作存储器128a·128b中存储的第1及第2图像数据的YC信号分别由控制器34读出到YC/RGB变换部147中。YC/RGB变换部147把第1及第2图像数据的YC信号变换为给定方式的视频信号(例如NTSC方式的彩色复合视频信号)之后，将其合成为用于进行图像显示LCD10上的立体显示的立体图像数据。在拍摄模式时LCD10用作电子取景器的情况下，由YC/RGB变换部147合成的立体图像数据通过LCD驱动器148作为实时取景图像显示在LCD10上。 

压缩解压缩处理电路36a·36b分别对工作存储器128a·128b中存储的第1及第2图像数据，若是静止画则按照JPEG，若是动画则按照MPEG2、MPEG4、H.264方式等给定的压缩形式实施压缩处理。介质控制器37把由压缩解压缩处理电路36a·36进行压缩处理后的各图像数据记录在经由I/F39而连接的存储卡38及其他记录介质中。 

在把这样记录在存储卡38中的第1及第2图像数据重放显示在LCD10上的场合，存储卡38的各图像数据由介质控制器37读出，由压缩解压缩处理电路36a·36进行解压缩处理，由YC/RGB变换部147变换为立体图像数据之后，通过LCD驱动器148作为重放图像而显示在LCD 10上。 

LCD10是未采用写实手法的通常的监视器，在图像拍摄时用作电子取景器，在图像重放时进行通过拍摄而获得的图像数据的显示。 

主CPU62统一控制复眼摄像装置1整体的动作。主CPU62除了与释放开关5a·5b、操作部70连接以外，还与作为非易失性存储器的EEPROM 146连接。EEPROM 146中存放着各种控制用的程序、设定信息等。主CPU62基于该程序、设定信息而执行各种处理。 

还有，主CPU62与光学***控制指示部127连接，按照对光学***控制指示部127的变焦操作而变更第1撮像部2a、第2撮像部2b的拍摄倍率。 

释放开关5a为2级按压的开关构造。在拍摄模式中，若很轻地按压(半按)释放开关5a，则会进行AF动作及AE动作，从而进行拍摄准备处理。在该状态下若进一步很重地按压(全按)释放开关5a，则会进行拍摄处理，把1画面的量的第1及第2图像数据从帧存储器32转送、记录于存储卡38中。 

AF动作是一边由主CPU62控制第1及第2聚焦透镜13a·13b而使其分别在给定方向移动，一边求出根据依次获得的第1及第2图像数据分别算出的AF评价值的最大值，从而进行的。AE动作是在AF动作完成之后，基于所算出的AE评价值来设定第1及第2光圈12a·12b的开口值和第1及第2图像传感器14a·14b的电子快门速度，从而进行的。 

还有，摄像装置1中具备用于进行辅助操作的操作LCD显示103。 

还有，摄像装置1是电源电池68可拆装的构成。电源电池68由可充电的二次电池，例如镍铬电池、镍氢电池、锂离子电池构成。电源电池68也可以由用完即弃型的一次电池，例如锂电池、碱电池构成。 电源电池68装在未图示的电池收纳室中，从而与摄像装置1的各电路电连接。 

第1撮像部2a、第2撮像部2b中分别具备检测第1撮像部2a和第2撮像部2b所构成的间隔/辐辏角的间隔/辐辏角检测电路4a·4b、存储间隔/辐辏角检测电路4a·4b所检测到的辐辏角的透镜间隔/辐辏角存储电路6、进行基线长的伸缩和由驱动马达等旋转光轴而改变辐辏的间隔/辐辏角驱动电路3a·3b。 

还有，摄像装置1中具备基于间隔/辐辏角检测电路4a·4b所检测到的间隔/辐辏角来控制间隔/辐辏角驱动电路3a·3b的辐辏角的变化的间隔/辐辏角控制电路5。 

充电·发光控制部138a·138b分别为了使闪光灯44a·44b发光而接受来自电源电池68的电力供给，对未图示的闪光发光用的电容器进行充电，控制闪光灯44a·44b的发光。 

充电·发光控制部138a·138b进行控制，使得在从主CPU62、测光·测距CPU19a·19b取入释放开关5a·5b的半按·全按操作信号等各种信号、表示发光量、发光定时的信号的情况下，相应地进行对闪光灯44a·44b的电流供给控制，在希望的定时获得希望的发光量。 

纵拍摄/横拍摄切换按钮40是用于指示以纵拍摄和横拍摄中的哪种进行拍摄的按钮。纵拍摄/横拍摄检测电路166根据该按钮的状态来检测以纵拍摄和横拍摄中的哪种进行拍摄。 

在2D/3D模式切换标志168上设定表示是2D模式还是3D模式的标志。 

距离用发光元件52a、52b各自由用于向第1撮像部2a及第2撮 像部2b所捕捉到的同一被复制体照射聚光点的发光二极管(LED)构成。 

距离用摄像元件51a、51b分别是取得由距离用发光元件52a、52b照射有聚光点的被复制体像的测距专用的摄像元件。 

距离用驱动/控制电路54进行使距离用发光元件52a、52b的发光定时和距离用摄像元件53a、53b同步的控制。 

通过距离用摄像元件53a、53b的撮像动作而获得的模拟图像信号分别由测距用A/D变换部55a、55b变换为数字图像数据，输出到距离信息处理电路57中。 

距离信息处理电路57根据所输入的数字图像数据而算出到第1撮像部2a及第2撮像部2b所捕捉到的被复制体的距离。这是基于所谓三角测距的原理。距离信息处理电路57所算出的距离信息存储在距离信息存储电路58中。 

脸检测部150从缓冲存储器32a或缓冲存储器32b中存放的图像数据、缓冲存储器42中存放的图像数据中检测包含成为被复制体的人物脸部分的区域即脸区域。 

脸区域的检测方法没有特别的限定，可以采用各种方法，例如可以适用本申请人在特开平9-101579号公报中披露的技术。该技术是判断拍摄到的图像的各像素的色相是否包含在肤色的范围中，将其按肤色区域和非肤色区域进行分割，并且检测图像中的边沿，把图像中的各部位按边沿部分或非边沿部分进行分类。并且，提取由位于肤色区域内、按非边沿部分分类的像素构成的并且由判断为边沿部分的像素围着的区域作为脸候选区域，判断提取到的脸候选区域是不是与人物的脸相当的区域，基于该判断结果将其作为脸区域来检测。还有，除此之外，也可以采用特开2003-209683号公报、特开2002-199221 号公报中记载的方法来检测脸区域。 

另外，多视点图像不是必须以上述复眼摄像装置1来取得，也可以通过使用单眼摄像装置的摆动立体法下的连续拍摄来取得。 

以下，参照图3的流程图，说明由主CPU62执行的一览图像显示处理的流程。规定该处理的程序存放在EEPROM146中。按照来自操作部70的「缩略图图像一览显示」的指示，对存储卡38中存放的所有多视点图像统一进行。 

在S1中，读入存储卡38的目录。 

在S2中，判断图像文件在该目录中是否存在。在图像文件存在的场合进入S3。在图像文件不存在的场合结束处理。 

在S3中，读出图像文件的标题部分。然后，判断是否检测到图像文件是存放了多视点图像的意思的识别信息。在存放了多视点图像的场合进入S5，在存放了通常的图像的场合进入S8。 

在S5中，根据图像文件中存放的多视点图像，制作缩略图图像。其具体手法与专利文献2的段落0040相同，可以按照间隔剔除数据的方式，仅制作左眼用图像，仅制作右眼用图像，或者制作这两者。 

在S6中，对所制作的缩略图图像实施3维CG处理，从而制作3维缩略图图像。例如图3所示，进行在与图像中存在的主要被复制体及其他各种物体(图3表示了茶杯，不过，也可以是人物等)对应的3维形状模型的多边形PG上粘贴缩略图图像th的对应区域的纹理映射，获得3维CG缩略图图像X。其具体手法与专利文献1相同。或者，也可以针对原来的多视点图像实施3维CG处理，对其进行剔除，从而制作3维CG缩略图图像，不过，从处理的负荷方面考虑，优选的是先制 作缩略图。 

另外，也可以把其他3D计算机图形手法适用于缩略图图像来制作3维CG缩略图图像。 

在S7中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的3维CG缩略图图像。 

在S8中，根据图像文件中存放的单视点的通常图像，制作缩略图图像。其具体手法与通常的缩略图图像相同，对单视点图像进行剔除来制作即可。把该缩略图称为通常缩略图图像。 

在S9中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的通常缩略图图像。 

在S10中，判断是否针对存储卡38的所有图像制作了3维CG缩略图图像或通常缩略图图像。在制作了的场合成进入S11，在制作未结束的场合回到S3，继续制作。 

在S11中，在LCD10上一览显示缓冲存储器41的3维CG缩略图图像及通常缩略图图像。其排序设为作为缩略图图像的制作基础的图像文件的名字顺序、记录日期时间顺序即可。即，3维CG缩略图图像及通常缩略图图像不加区别，在LCD10的一画面中3维CG缩略图图像及通常缩略图图像混在一起排列。 

另外，S3～S9的处理也可以在每次新记录图像时进行。 

图4表示在LCD10上一览显示的3维CG缩略图图像X及通常缩略图图像Y的一个例子。对3维CG缩略图图像X实施3维CG图形处理而赋予了立体效果，它与通常缩略图Y的差异一看便知，即使不 采用实现写实手法的特殊装置，观看者也能容易地认识多视点图像的缩小图像。 

<第2实施方式> 

图5是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把已经复制了脸的多视点图像的缩略图图像调换为特别的样品。 

S21～S24与S1～S4相同。 

在S25中，对脸检测部150发出指令，使得从多视点图像的一方或双方中提取脸。脸检测部150按照来自主CPU62的指令，从图像文件中存放的左眼用图像或右眼用图像中，尝试脸区域的检测。 

在S26中，判断脸检测部150是否检测出脸区域。在检测出脸区域的场合进入S27，在未检测出脸区域的场合进入S29。 

在S27中，从EEPROM146中取出对已经复制了脸的多视点图像进行表象的样品的3维缩略图图像。 

在S28中，在一览图像缓冲器中存放所取出的样品。样品的3维缩略图图像不是必须与实际的被复制体的脸相同，只要是样品的人物的脸即可，并且对其脸、身体等预先赋予了3D图形所形成的立体效果。 

在S29中，与上述S5相同。S30是在一览图像缓冲器中存放S29中制作成的缩略图图像。该缩略图图像称为立体图像缩小图像，与通常缩略图图像加以区别。 

S31～S34与上述S8～S11相同。 

图6表示执行了S34，结果在LCD10上一览显示的样品的3维缩略图图像S、通常缩略图图像Y的一个例子。 

样品缩略图图像S被实施了3维CG图形处理，所以与通常缩略图Y、立体图像缩小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。 

<第3实施方式> 

图7是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把闪光拍摄所得的多视点图像的缩略图图像调换为特别的样品。 

S41～S44与S1～S4相同。 

在S45中，从图像文件取得闪光发光信息，识别图像记录时的闪光灯44a·44b的接通或切断的状况。闪光发光信息例如是Exif文件的Flash标记中存放的信息。 

在S46中，基于闪光发光信息，判断拍摄时的闪光灯44a·44b的接通或切断。在拍摄时闪光灯44a·44b接通的场合进入S47，切断的场合进入S49。 

在S47中，从EEPROM146中取出对属于多视点图像这一点进行表象的样品的3维缩略图图像。与第2实施方式相同，通过3维CG处理对该样品赋予立体效果。另外，该样品的图案不是必须为特定人物的脸。 

在S48中，在一览图像缓冲器中存放所取出的样品的3维缩略图图像。样品的3维缩略图图像不是必须与实际的被复制体的脸相同，只是对于已经复制了人物的脸这一点进行3D图形显示的缩略图图像。 

S49～S54与上述S29～S34相同。 

图8表示执行了S54，结果在LCD10上一览显示的样品的3维缩略图图像W、通常缩略图图像Y的一个例子。 

样品缩略图图像W被实施了3维CG图形处理，所以与通常缩略图Y、立体图像缩小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。 

而且，不用直到难以作为多视点图像而有效利用的暗的图像为止一律进行样品显示，处理也有效率。 

<第4实施方式> 

图9是表示由主CPU62执行的一览图像显示处理的另一个例子。在这里，把已经复制了脸的多视点图像的缩略图图像调换为仅针对该多视点图像的脸区域实施3维CG处理所得的缩略图图像。 

S61～S66与S21～S26相同。此处，在S66中，在判断为有脸的场合进入S67，在判断为无脸的场合进入S69。 

在S67中，从已经复制了脸的多视点图像中提取脸区域，对该脸区域实施3维CG处理。这是例如从已经复制了脸的多视点图像中提取脸区域，并且以给定的剔除率剔除该多视点图像。在剔除后的缩小图像上设定与从原多视点图像中提取到的脸区域相当的区域。然后，制作该设定区域中的脸所特有的多边形，进行在该多边形上粘贴剔除后脸区域的纹理映射，获得仅对该脸区域实施了3维CG处理的缩略图图像。该方式是在剔除图像的制作后进行3维CG处理。 

或者，根据该检测到的脸自身，制作该人物的脸所特有的多边形， 在该多边形上粘贴脸区域的纹理映射，制作在多视点图像上仅对脸区域实施3维CG处理所得的临时的CG图像。然后，以给定的剔除率剔除该临时的CG图像，获得仅对脸区域实施3维CG处理所得的缩略图图像。该方式是在3维CG处理后制作剔除图像。 

上述纹理映射方式需要从多边形的制作开始，若制作精密的多边形，则处理负荷很大。作为多边形的简易制作方法，可以列举以下方法。首先，从检测到的脸区域检测脸的轮廓、眼、鼻、口等脸的构成部分，按照检测到的脸的构成部分的位置来决定多边形分割线。例如，把从两眼的中央部分(眉间)出发而沿着鼻梁达到鼻尖边沿的线、围着两眼的线、围着口的线、脸的轮廓作为多边形分割线。在该多边形上进行纹理映射的话，就能获得口和鼻子的部分***，眼周围洼陷的简易的3维CG缩略图图像。 

在S68中，在一览图像缓冲器中存放制作成的3维CG缩略图图像。 

S69～S74与上述S29～S34相同。 

图10表示执行了S74，结果在LCD10上一览显示的检测到脸的多视点图像所对应的3维缩略图图像S、通常缩略图图像Y、未检测到脸的多视点图像所对应的缩略图图像Z的一个例子。 

样品缩略图图像U仅针对脸区域实施了3维CG图形处理，所以与通常缩略图Y、单纯的视点图像的缩小图像Z的差异一看便知，很容易识别把脸作为被复制体的立体图像。而且，采用原图像对脸区域实施了3维CG图形处理，也能立体地明白原图像的脸的概要。 

<第5实施方式> 

图11是表示由主CPU62执行的一览图像显示处理的另一个例子。 在这里，仅对拍摄近距离的被复制体所得的多视点图像的缩略图图像进行3维CG处理。 

S81～S84与S41～S44相同。 

在S85中，从图像文件中取得距离信息，识别从图像记录时的摄像装置1到被复制体的距离。距离信息例如是Exif文件的“SubjectDistance”标记中存放的信息，由距离信息存储电路58存储。 

在S86中，基于距离信息D，判断被复制体是否位于比给定的距离远的位置(例如D＞10m)。被复制体为远距离的场合进入S89，不是远距离的场合即近距离的场合进入S87。 

在S87中，与S6相同，制作3维CG缩略图图像。 

在S88中，在缓冲存储器41中确保的一览图像缓冲器中存放制作成的3维CG缩略图图像。 

S89～S94与上述S69～S74相同。 

图12表示执行了S94，结果在LCD10上一览显示的3维缩略图图像T、通常缩略图图像Y、未实施3维CG处理的被复制体远的缩略图图像V的一个例子。 

样品缩略图图像T被实施了3维CG处理，所以与通常缩略图Y、被复制体远的图像的缩略图图像V的差异一看便知。 

而且，仅针对在拍摄时被复制体处于近距离的多视点图像实施3维CG处理，不用直到实施该处理也无意义的被复制体远的图像为止一律进行3维CG处理，处理有效率。 

<第6实施方式> 

图13是个人计算机100的框图。个人计算机100主要包括：控制各构成要素的动作的中央处理器(CPU)102；对装置的控制程序进行存放，成为程序执行时的作业区域的主存储器106；硬盘装置108，其中存放包含个人计算机100的操作***(OS)、按对与个人计算机100连接的外部设备的设备驱动器适合的方式对视点图像进行编辑的图像编辑处理的程序的各种应用软件、用户的图像等；CD-ROM装置110；临时存储显示用数据的显示存储器116；根据来自该显示存储器116的图像数据、文字数据等来显示图像、文字等的CRT监视器、液晶监视器等监视装置118；键盘120；作为位置输入设备的鼠标122；检测鼠标122的状态而把监视装置118上的鼠标指针的位置、鼠标122的状态等的信号向CPU102输出的鼠标控制器124；与互联网等网络30连接的通信接口132；具有其中可拆装存储卡38的卡***口的卡接口112；连接上述各构成要素的总线104；与摄像装置1进行USB连接的摄像装置连接I/F134。 

存放在硬盘装置108中的图像编辑处理的应用软件是通过在个人计算机100的CD-ROM装置110中放置其中记录了该应用软件的CD-ROM，从而安装在个人计算机100中。 

监视装置118，与LCD10相同，显示图像。 

在硬盘装置108中存放通过摄像装置连接I/F134从复眼摄像装置1接受的多视点图像乃至通常图像，或者通过卡I/F112从存储卡38取入的多视点图像乃至通常图像。 

CPU102对于硬盘装置108中存储的多视点图像及通常图像进行上述第1～5实施方式的一览图像显示处理。该处理可以是每次在硬盘装置108中存放各图像时，按每个图像单独执行，也可以是按照来自 键盘120、鼠标122的指示，对硬盘装置108中存放的所有图像统一进行。 

即，一览图像显示处理不是必须由摄像装置1进行，在其他装置中也可以实现。 

Claims (10)

1.一种图像处理装置，具备：

图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储部，存储上述图像输入部中输入了的图像；

缩小图像制作部，制作缩小上述存储部中存储的图像所得的第1缩小图像；

图像识别部，识别上述存储部中存储的图像是多视点图像还是单视点图像；

图像处理部，对与由上述图像识别部识别为多视点图像的图像对应的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及

显示部，按照对上述存储部中存储的图像进行一览显示的指示，一览显示由上述缩小图像制作部制作成的第1缩小图像作为由上述图像识别部识别为单视点图像的图像的代表图像，并且一览显示由上述图像处理部制作成的第2缩小图像作为由上述图像识别部识别为多视点图像的图像的代表图像。

2.一种图像处理装置，具备：

图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储部，存储上述图像输入部中输入了的图像；

缩小图像制作部，制作缩小上述存储部中存储的图像所得的缩小图像；

图像识别部，识别上述存储部中存储的图像是多视点图像还是单视点图像；

脸检测部，对于由上述图像识别部识别为多视点图像的图像，检测被复制体脸区域的有无；以及

显示部，按照对上述存储部中存储的图像进行一览显示的指示，一览显示上述缩小图像作为由上述图像识别部识别为单视点图像的图像的缩小图像及由上述图像识别部识别为多视点图像且是未由上述脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示实施了3维计算机图形处理的给定的样品缩小图像作为由上述图像识别部识别为多视点图像且是由上述脸检测部检测到被复制体脸区域的图像的代表图像。

3.一种图像处理装置，具备：

图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储部，存储上述图像输入部中输入了的图像；

缩小图像制作部，制作缩小上述存储部中存储的图像所得的缩小图像；

图像识别部，识别上述存储部中存储的图像是多视点图像还是单视点图像；

闪光发光识别部，对于由上述图像识别部识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及

显示部，按照对上述存储部中存储的图像进行一览显示的指示，一览显示上述缩小图像作为由上述图像识别部识别为单视点图像的图像的代表图像，一览显示由上述缩小图像制作部制作成的缩小图像作为由上述图像识别部识别为多视点图像且是由上述闪光发光识别部识别为没有闪光发光的图像的代表图像，一览显示实施了3维计算机图形处理的给定的样品缩小图像作为由上述图像识别部识别为多视点图像且是由上述闪光发光识别部识别为有闪光发光的图像的代表图像。

4.一种图像处理装置，具备：

图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储部，存储上述图像输入部中输入了的图像；

缩小图像制作部，制作缩小上述存储部中存储的图像所得的第1缩小图像；

图像识别部，识别上述存储部中存储的图像是多视点图像还是单视点图像；

脸检测部，从由上述图像识别部识别为多视点图像的图像中检测被复制体脸区域的有无；

图像处理部，对上述第1缩小图像设定了与由上述脸检测部检测到的被复制体脸区域对应的区域之后，对上述设定了的区域进行3维计算机图形处理，从而制作第2缩小图像；以及

显示部，按照对上述存储部中存储的图像进行一览显示的指示，一览显示上述第1缩小图像作为由上述图像识别部识别为单视点图像的图像和由上述图像识别部识别为多视点图像的图像中的未由上述脸检测部检测到被复制体脸区域的图像的代表图像，并且一览显示上述第2缩小图像作为由上述脸检测部检测到被复制体脸区域的图像的代表图像。

5.一种图像处理装置，具备：

图像输入部，输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储部，存储上述图像输入部中输入了的图像；

缩小图像制作部，制作缩小上述存储部中存储的图像所得的第1缩小图像；

图像识别部，识别上述存储部中存储的图像是多视点图像还是单视点图像；

距离识别部，识别由上述图像识别部识别为多视点图像的图像中的被复制体处于远距离还是近距离；

图像处理部，对根据由上述图像识别部识别为多视点图像且是由上述距离识别部识别为被复制体处于近距离的图像而制作成的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及

显示部，按照对上述存储部中存储的图像进行一览显示的指示，一览显示由上述缩小图像制作部制作成的第1缩小图像作为由上述图像识别部识别为单视点图像的图像的代表图像，一览显示由上述缩小图像制作部制作成的第1缩小图像作为由上述图像识别部识别为多视点图像且是由上述距离识别部识别为被复制体处于远距离的图像的代表图像，一览显示由上述图像处理部制作成的第2缩小图像作为由上述图像识别部识别为多视点图像且是由上述距离识别部识别为被复制体处于近距离的图像的代表图像。

6.一种图像处理方法，包括以下步骤：

输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储输入了的图像；

制作缩小所存储的图像所得的第1缩小图像；

识别所存储的图像是多视点图像还是单视点图像；

对与识别为上述多视点图像的图像对应的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及

按照对上述所存储的图像进行一览显示的指示，一览显示上述第1缩小图像作为上述识别为单视点图像的图像的代表图像，并且一览显示上述第2缩小图像作为上述识别为多视点图像的图像的代表图像。

7.一种图像处理方法，包括以下步骤：

输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储输入了的图像；

制作缩小上述所存储的图像所得的缩小图像；

识别上述所存储的图像是多视点图像还是单视点图像；

对于上述识别为多视点图像的图像，检测被复制体脸区域的有无；以及

按照对上述所存储的图像进行一览显示的指示，一览显示上述缩小图像作为上述识别为单视点图像的图像的缩小图像及上述识别为多视点图像且是上述未检测到被复制体脸区域的图像的代表图像，并且一览显示实施了3维计算机图形处理的给定的样品缩小图像作为上述识别为多视点图像且是上述检测到被复制体脸区域的图像的代表图像。

8.一种图像处理方法，包括以下步骤：

输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储上述输入了的图像；

制作缩小上述所存储的图像所得的缩小图像；

识别上述所存储的图像是多视点图像还是单视点图像；

对于上述识别为多视点图像的图像，识别拍摄时的闪光发光的有无；以及

按照对上述所存储的图像进行一览显示的指示，一览显示上述缩小图像作为上述识别为单视点图像的图像的代表图像，一览显示上述缩小图像作为上述识别为多视点图像且是上述识别为没有闪光发光的图像的代表图像，一览显示实施了3维计算机图形处理的给定的样品缩小图像作为上述识别为多视点图像且是上述识别为有闪光发光的图像的代表图像。

9.一种图像处理方法，包括以下步骤：

输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储输入了的图像；

制作缩小所存储的图像所得的第1缩小图像；

识别所存储的图像是多视点图像还是单视点图像；

从识别为多视点图像的图像中检测被复制体脸区域的有无；

对上述第1缩小图像设定了与上述被复制体脸区域对应的区域之后，对上述设定了的区域进行3维计算机图形处理，从而制作第2缩小图像；以及

按照对上述所存储的图像进行一览显示的指示，一览显示上述第1缩小图像作为被识别为单视点图像的图像和被识别为多视点图像的图像中的未检测到被复制体脸区域的图像的代表图像，并且一览显示上述第2缩小图像作为检测到被复制体脸区域的图像的代表图像。

10.一种图像处理方法，包括以下步骤：

输入包含从2个以上的视点拍摄到的多视点图像及从单一的视点拍摄到的单视点图像的图像；

存储上述输入了的图像；

制作缩小上述所存储的图像所得的第1缩小图像；

识别上述所存储的图像是多视点图像还是单视点图像；

识别上述识别为多视点图像的图像中的被复制体处于远距离还是近距离；

对根据上述识别为多视点图像且是上述识别为被复制体处于近距离的图像而制作成的第1缩小图像实施3维计算机图形处理，从而制作第2缩小图像；以及

按照对上述所存储的图像进行一览显示的指示，一览显示上述第1缩小图像作为上述识别为单视点图像的图像的代表图像，一览显示上述第1缩小图像作为上述识别为多视点图像且是上述识别为被复制体处于远距离的图像的代表图像，一览显示上述第2缩小图像作为上述识别为多视点图像且是上述识别为被复制体处于近距离的图像的代表图像。

Images