CN102783162B - 摄像装置 - Google Patents

Abstract

一种摄像装置，包括：多个微透镜，呈二维状地配置在摄影光学***的焦面附近；摄像元件，与微透镜分别对应地呈二维状配置有包括多个光电转换元件的多个元件组，多个光电转换元件经由微透镜接受通过了摄影光学***的来自被摄体的光束、输出图像信号；生成部，从由多个光电转换元件输出的图像信号，抽取与摄影光学***的光瞳面上的多个不同的部分区域各自对应的多个区域图像信号，生成与部分区域各自对应的多个图像数据来作为视点位置各不相同的多个视点图像数据；和接受部，接受选择视点数的视点数选择操作，生成部抽取与所选择的视点数相同数量的区域图像信号，生成视点图像数据。

Description

摄像装置

技术领域

本发明涉及生成多视点图像的摄像装置。

背景技术

以往，公知有使用两个摄像光学***拍摄由右眼用图像和左眼用图像构成的立体图像的立体摄像装置（例如专利文献1）。这样的立体摄像装置通过以预定间隔配置两个摄像光学***，从而使拍摄同一被摄体而得到的两个图像产生视差。

此外，还公知有将任意像面中的像的图像数据合成的摄像装置（例如专利文献2）。该摄像装置具有如下功能：从配置在构成微透镜阵列的各个微透镜的后方的像素阵列取出预定光电转换元件的输出，从而合成对焦于位于任意摄影距离的被摄体的图像数据。

专利文献1：日本特开平8-47001号公报

专利文献2：日本特开2007-4471号公报

发明内容

但是，存在无法使用单一的摄影光学***来生成具有任意数量的视差的图像的问题。

根据本发明的第一方案，一种摄像装置，包括：多个微透镜，呈二维状地配置在摄影光学***的焦面附近；摄像元件，与微透镜分别对应地呈二维状配置有包括多个光电转换元件的多个元件组，多个光电转换元件经由微透镜接受通过了摄影光学***的来自被摄体的光束、输出图像信号；生成部，从由多个元件组各自所含的多个光电转换元件输出的图像信号，抽取与摄影光学***的光瞳面上的多个不同的部分区域各自对应的多个区域图像信号，基于区域图像信号，生成与部分区域各自对应的多个图像数据来作为视点位置各不相同的多个视点图像数据；和接受部，接受选择视点数的视点数选择操作，生成部抽取与由视点数选择操作所选择的视点数相同数量的区域图像信号，生成视点图像数据。

根据本发明的第二方案，在第一方案的摄像装置中，优选是生成部，将从多个元件组各自抽取的多个区域图像信号中的、从不同的元件组抽取的、且与同一部分区域对应的区域图像信号合成，生成一个视点图像数据。

根据本发明的第三方案，在第一或第二方案的摄像装置中，优选是包括设定部，设定部设定用于抽取区域图像信号的抽取区域，设定部在元件组的不同位置设定与所选择的视点数相同数量的抽取区域，生成部按由设定部设定的抽取区域抽取区域图像信号。

根据本发明的第四方案，在第三方案的摄像装置中，优选是接受部接受选择视差的视差选择操作，视差表示在多个视点图像数据之间的视点的变化量；设定部以与由视差选择操作所选择的视差对应的位置间隔，设定抽取区域，生成部每隔位置间隔从抽取区域抽取区域图像信号，生成视点图像数据。

根据本发明的第五方案，在第三或第四方案的摄像装置中，优选是接受部接受选择图像的景深（被写界深度）的景深选择操作，设定部根据由景深选择操作所选择的景深，设定抽取区域的大小，生成部根据设定的抽取区域的大小，将多个图像信号合成、作为一个区域图像信号抽取，生成视点图像数据。

根据本发明的第六方案，在第三~第五方案的任一方案的摄像装置中，优选是接受部还接受使视点的位置在二维方向上不同的视点位置选择操作，设定部根据视点位置选择操作，设定抽取与视点数相同数量的抽取区域的方向，生成部沿着由设定部设定的方向抽取区域图像信号，生成视点图像数据。

根据本发明的第七方案，在第三~第六方案的任一方案的摄像装置中，优选是生成部，在由设定部设定的抽取区域与一个光电转换元件中的一部分重复的情况下，对从重复的光电转换元件输出的图像信号进行根据重复比例决定的加权、作为区域图像信号抽取。

根据本发明的第八方案，在第三~第七方案的任一方案的摄像装置中，优选是包括检测摄像装置的姿势的姿势检测部，设定部根据由姿势检测部检测出的姿势，设定抽取与视点数相同数量的抽取区域的方向，以使视点的位置不同，生成部沿着由设定部设定的方向抽取区域图像信号、生成视点图像数据。

根据本发明的第九方案，在第一~第八方案的任一方案的摄像装置中，优选是还包括显示控制部，显示控制部基于由生成部生成的多个视点图像数据而生成显示用图像数据，使与显示用图像数据对应的图像作为立体图像显示于显示器。

根据本发明，能够生成与由视点数选择操作所选择的视点数相同数量的视点图像数据。

附图说明

图1是说明本发明的实施方式的数字相机（camera）的构成的图。

图2是表示微透镜与摄像元件的配置的一个例子的图，图2（a）是表示xy平面中的微透镜的配置的图，图2（b）是表示光轴方向上的摄影透镜、微透镜和摄像元件的位置关系的图，图2（c）是表示一个像素阵列上的摄像像素的配置的图。

图3是说明区块的大小与视点数的关系的图，图3（a）是表示一个像素阵列上的摄像像素的配置的图，图3（b）是表示所生成的5视点的图像数据的一个例子的图。

图4是说明区块的大小与视点数的关系的图，图4（a）是表示一个像素阵列上的摄像像素与区块的配置关系的图，图4（b）是表示所生成的4视点的图像数据的一个例子的图。

图5是说明在多视点图像之间不产生视差的情况下的原理的图，图5（a）是表示生成5个视点图像时的光束，图5（b）是在焦面附近将图5（a）放大表示的图，图5（c）是在微透镜阵列和摄像元件的附近将图5（b）放大表示的图。

图6是说明在多视点图像之间不产生视差的情况下的原理的图，图6（a）表示与视点图像数据对应的视点图像，图6（b）表示入射到摄像元件的光束的样子。

图7是说明在多视点图像之间产生视差的情况下的原理的图，图7（a）表示与视点图像数据对应的视点图像，图7（b）表示入射到摄像元件的光束的样子。

图8是表示可变参数与固定参数的一个例子的图，图8（a）表示可变参数与可由可变参数控制的特性，图8（b）表示固定参数的一个例子。

图9是说明多视点图像生成时的运算处理的图，图9（a）表示在xy平面上的微透镜的坐标系，图9（b）表示在xy平面上的摄像元件的坐标系。

图10是说明第一实施方式中的数字相机的处理的流程图。

图11是表示实施方式中的数字相机的显示器的构成的一个例子的图，图11（a）表示双凸透镜（lenticularlens）的一个例子，图11（b）表示xy平面上的显示器与光束的关系。

图12是说明显示用图像数据的生成处理的概念图。

图13是说明第二实施方式的微透镜与摄像元件的配置的一个例子的图，图13（a）表示xy平面上的微透镜与摄像元件的配置，图13（b）表示将区块一般化了的情况下的xy平面上的微透镜与摄像元件的配置，图13（c）示意表示区块根据运算结果而移动的样子。

图14是说明第二实施方式的数字相机的处理的流程图。

图15是说明第三实施方式的数字相机的构成的图。

具体实施方式

第一实施方式

本实施方式的数字相机构成为可对一个视场（被写界）生成多个视点（视差）数量的图像。该数字相机当用户选择了所希望的视点数、视差、视点变化的方向、景深等时，能够做成与用户选择相应的多视点的图像。以下进行详细说明。

图1是表示第一实施方式的数字相机的构成的图。数字相机1构成为具有摄影透镜L1的更换透镜2可拆装。数字相机1具有：摄像单元100、控制电路101、A/D转换电路102、存储器103、驱动部104、存储卡接口107、操作部108、显示器109和LCD驱动电路110。摄像单元100具有许多微透镜120呈二维状排列而成的微透镜阵列12以及摄像元件13。另外，在图1中，将z轴设定为与摄影透镜L1的光轴平行，在与z轴正交的平面内，将x轴和y轴设定为彼此正交的方向。

摄影透镜L1由多个光学透镜组构成，将来自视场的光束成像于其焦面附近。另外，在图1中为了便于说明以一个透镜为代表表示摄影透镜L1。在摄影透镜L1的焦面附近依次配置有微透镜阵列12和摄像元件13。摄像元件13由具有多个光电转换元件的CCD、CMOS图像传感器构成。摄像元件13拍摄在摄像面上成像的被摄体像，被驱动部104驱动而将与被摄体像相应的光电转换信号（图像信号）输出到A/D转换电路102。另外，之后详细说明摄像单元100。驱动部104根据来自控制电路101的命令，向摄像元件13输出定时信号，控制摄像元件13的驱动定时。

A/D转换电路102是对摄像元件13输出的图像信号进行模拟处理后将其转换为数字图像信号的电路。控制电路101基于控制程序，使用从构成数字相机1的各部分输入的信号进行预定的运算，发送对数字相机1的各部分的控制信号，控制摄影工作。控制电路101在功能上具有图像处理部105和运算部106。图像处理部105对被A/D转换电路102进行了数字转换的图像信号实施各种图像处理，生成图像数据。并且，图像处理部105对所生成的图像数据实施JPEG压缩处理，以EXIF等形式将其记录于存储卡107a。运算部106进行用于由上述的图像处理部105进行的各种图像处理的运算处理。

存储器103是用于将被A/D转换电路102进行了数字转换的图像信号、图像处理、图像压缩处理及显示用图像数据作成处理的中途、处理后的数据暂时存储的易失性存储介质。存储卡接口107是供存储卡107a可拆装的接口。存储卡接口107是根据控制电路101的控制而将图像数据写入存储卡107a、或将记录于存储卡107a的图像数据读出的接口电路。存储卡107a是CF（compactflash注册商标）、SD卡等半导体存储卡。

LCD驱动电路110是基于控制电路101的命令而驱动显示器109的电路。显示器109例如由液晶等构成，在再现模式下显示基于记录于存储卡107a的图像数据由控制电路101做成的显示数据。此外，在显示器109显示用于设定数字相机1的各种动作的菜单画面。之面将详细说明LCD驱动电路110和显示器109。

操作部108接受用户的操作，将与操作内容相应的各种操作信号向控制电路101输出。操作部108包括电源按键、释放按键、模式选择按键、其他设定菜单的显示切换按键、设定菜单决定按键等。模式选择按键在进行用于在摄影模式和再现模式之间切换数字相机1的工作的操作时使用。此外，数字相机1，包括用于拍摄多个视点数的图像（多视点图像）的多视点图像生成模式作为摄影模式。在多视点图像生成模式中，可由用户选择拍摄的图像的视点数、视差、视点变化的方向、景深等视点条件。多视点图像生成模式下的视点条件的选择通过操作操作部108从上述菜单画面上选择来进行。

接着，详细说明摄像单元100的构成。摄像单元100如上所述具有微透镜阵列12和摄像元件13。微透镜阵列12由排列成二维状的多个微透镜120构成。在摄像元件13，以与微透镜120对应的配置图案配置接受通过了上述各微透镜120的光的像素阵列130。各个像素阵列130由排列成二维状的多个光电转换元件131（以下称为摄像像素131）构成。

图2表示微透镜120和摄像元件13的配置的一个例子。图2（a）是说明与摄影透镜L1的光轴方向正交的方向（xy平面）上的微透镜120和摄像元件13的摄像像素131的配置的一个例子的图。在图2（a）所示的微透镜阵列12，沿x轴方向排列6个微透镜120，沿y方向排列6个微透镜120，即排列6×6个微透镜120。对于一个微透镜120对应设有一个像素阵列130。各个像素阵列130包括例如沿x轴方向的5个摄像像素131和沿y轴方向的5个摄像像素131，即包括5×5个摄像像素131。即，对一个微透镜120配置5×5个摄像像素131。结果，在本实施方式中，摄像元件13具有30×30个摄像像素131。

图2（b）是说明摄影透镜L1的光轴方向（z轴方向）上的摄影透镜L1、微透镜120和摄像元件13的位置关系的图。如图2（b）所示，微透镜120配置在捕捉被摄体（物体面）的像的摄影透镜L1的焦点位置（成像面）、即与物体面共轭的位置。摄像元件13配置在以微透镜120的焦距离开的位置。结果，摄像元件13的摄像面与摄影透镜L1共轭。另外，在图2（b）中，表示摄影透镜L1的焦点对焦于物体面的情况，即来自摄影透镜L1的光束在微透镜120上成像的情况。

在图2（b）中，由与摄像像素131ai对应的微透镜120向摄影透镜L1的光瞳面投影的投影像所占的区域，是摄影透镜L1的光瞳上的部分区域P1。与部分区域P1同样，部分区域P2、P3、···与摄像像素131bi、131ci、···对应。透射了摄影透镜L1的光瞳上的部分区域P1、P2、P3、···的光束r1、r2、r3、···分别透射微透镜而入射到摄像像素131ai、131bi、131ci、···。另外，在图2（b）中，代表性示出向配置在摄影透镜L1的光轴上的微透镜120入射的光束r1~r5，但对于设置在与光轴分离开的位置的微透镜120也同样入射各光束r1~r5，被引导到对应的摄像像素131。此外，部分区域P1、P2、P3、···实际上呈二维状，即在y轴方向也存在，在此为了简化说明而仅考虑沿x方向的排列。

图2（c）表示一个像素阵列130i上的摄像像素131ai~131di的位置关系。另外，在图2（b）中，以在x轴方向上的摄影透镜L1的部分区域P1~P5为例，因此各光束r1~r5分别入射到沿x轴方向排列配置的摄像像素131ai~131di。并且，各摄像像素131ai、131bi、131ci、···分别输出图像信号ai、bi、ci、···。

使用从如上述那样构成的摄像单元100输出的图像信号，进行用于利用数字相机1的图像处理部105生成多视点（多视差）图像的处理。此外，本实施方式的数字相机1的LCD驱动电路110和显示器109构成为可将所生成的多视点（多视差）图像显示为立体图像（3D图像）。以下，说明（A）多视点（多视差）图像的生成原理、（B）在多视点图像之间产生视差的原理、（C）多视点图像的生成处理、（D）立体显示。

（A）多视点（多视差）图像的生成原理

使用从摄像单元100所含的各摄像像素131输出的图像信号，分别独立地检测来自被摄体的光束的位置和方向。能够与微透镜120的数量相应地检测来自被摄体的光束的位置。因此，基于图像信号而生成的图像数据的像素数、即分辨率受微透镜120的数量限制。如图2（a）所示，在微透镜阵列12具有6×6个微透镜120时，图像数据的分辨率为36（＝6×6）。

根据与一个微透镜120对应设置的摄像像素131的数量而检测视点的方向。如上所述，由于摄影透镜L1的光瞳面与摄像元件13的摄像面共轭，因此在摄影透镜L1的光瞳面分割出与一个像素阵列130所含的摄像像素131的个数相同数量的部分区域P。图像处理部105按与通过了该各部分区域P的光束r对应的每个图像信号生成图像数据。结果，图像处理部105对于同一被摄体生成与视点不同的部分区域P的数量相同数量、即与一个像素阵列130所含的摄像像素131的数量相同数量的图像数据。如图2（a）所示情况那样，在对一个微透镜120配置5×5个摄像像素131时，能够检测5×5个视点，因此图像处理部105生成5×5个视点不同的图像数据。

进而，图像处理部105将由一个像素阵列130规定的区域分割为多个抽取区域（例如矩形区域），使用从抽取区域所含的多个摄像像素131输出的像素信号而生成图像数据。此时，图像处理部105生成与抽取区域数量相同数量的视点数的图像数据。换言之，在摄影透镜L1的光瞳面分割出与抽取区域数量相同数量的部分区域P，图像处理部105按与通过了该各部分区域P的光束r对应的每个图像信号生成图像数据。另外，在以后的说明中，将抽取区域称为区块（block）。此外，区块的大小可通过在菜单画面上由用户使用操作部108进行选择、设定处理而设定。关于设定处理的详细内容将之后说明。

使用图3说明区块的大小与视点数的关系。在图3中表示由用户将区块Blo的大小设定为1的情况，即表示在一个区块Blo含有一个摄像像素131的情况。另外，在图3中，为了便于说明仅表示x轴方向的视点数。图3（a）以摄像元件13所含有的多个像素阵列130中的一个像素阵列130i为一例进行表示。

该情况下，图像处理部15从由摄像元件13输出的图像信号中抽取由图3（a）所示的像素阵列130i所含的摄像像素131ai输出的图像信号ai。进而，图像处理部105抽取从摄像元件13所含的所有像素阵列130的各个摄像像素131a输出的图像信号a。然后，图像处理部105使用抽取的所有图像信号a生成一个图像数据Im_a。同样，图像处理部105使用从各像素阵列130所含的各个摄像像素131b、···、131e输出的图像信号b、···、e而生成图像数据Im_b、···、Im_e。结果，如图3（b）所示，图像处理部105生成5个（5视点）的图像数据Im_a、Im_b、···、Im_e。

使用图4说明区块Blo的大小与视点数的关系。图4（a）表示由用户将区块Blo的大小设定为2×3的情况、即在一个区块Blo含有6（＝2×3）个摄像像素131的情况。另外，关于图4，也与图3一样，为了便于说明而仅表示x轴方向的视点数。图4（a）以摄像元件13所含的多个像素阵列130中的一个像素阵列130i为一个例子而表示。此外，区块Blo_bi（图4（a）的纵线区域）、区块Blo_ci（图4（a）的点区域）、区块Blo_di（图4（a）的横线区域）是使区块Blo_ai（图4（a）的斜线区域）沿x轴方向依次移动一个像素而成的。

此时，图像处理部15从由摄像元件13输出的图像信号中，将从像素阵列130i的区块Blo_ai所含的6（2×3）个摄像像素131输出的图像信号相加，抽取一个图像信号ai。进而，图像处理部105抽取从摄像元件13所含的所有像素阵列130的各个区块Blo_a内的摄像像素131输出的图像信号a。然后，图像处理部105使用抽取的所有图像信号a生成一个图像数据Im_a。同样，图像处理部105对来自各像素阵列130所含的各个区块Blo_b、···Blo_di内的摄像像素131的输出也进行同样的处理，生成图像数据Im_b、···Im_d。结果，如图4（b）所示，图像处理部105生成4个（4视点）图像数据Im_a、Im_b、···Im_d。

如上所述，在摄影透镜L1的光瞳面分割出与区块Blo的数量相同数量的部分区域P，因此摄影透镜L1的部分区域P的大小根据所设定的区块Blo的大小而确定。因此，摄像元件13的各像素（即区块Blo的大小）规定与摄像元件13成共轭关系的摄影透镜L1的部分区域P的大小、即光束的大小（直径）。因此，所设定的区块Blo的大小相当于摄影透镜L1的F值，区块Blo的大小越小F值越大。

如使用图3所说明的情况那样，区块Blo的大小设定为1时，图像处理部105基于对于一个微透镜120从一个摄像像素131输出的图像信号，生成5个图像数据Im_a～Im_e。因此，区块Blo的大小设定为1时F值变大，所以与生成的图像数据Im_a～Im_e各自对应的图像的景深变深。

如使用图4说明的情况那样，在区块Blo的大小设定为2×3的情况下，图像处理部105基于对于一个微透镜120从6个摄像像素131输出的图像信号，生成图像数据。此时的摄影透镜L1的部分区域P具有为图3的情况下的摄影透镜L1的部分区域P的大小的6倍的大小，因此入射到区块Blo内的摄像像素131的光束成为6倍大小（直径）。因此，区块Blo的大小设定为2×3时，F值变小，因此与生成的图像数据Im_a～Im_e各自对应的图像的景深变浅。结果，通过将区块Blo的大小设定得较大，从而由本实施方式的数字相机1生成与使用通常的单镜头反射相机等拍摄的、仅对主要被摄体聚焦而使远景（背景）、近景（前景）模糊（晕色）的照片同样的图像。

另外，在上述说明中将视点的移动方向作为x轴方向进行说明，但视点也可以沿y轴方向移动，也可以在xy平面上沿二维方向移动。此外，关于区块Blo的形状不限定于矩形。

（B）在多视点图像之间产生视差的原理

说明在如上所述那样生成的多个视点图像相互产生视差的情况和不产生视差的情况。首先，使用图5说明在多个视点图像相互不产生视差的情况。图5（a）是说明在拍摄侧生成5个视点图像时的光束r1~r5的图。图5（b）是将图5（a）所示的光束r1~r5中的、在摄影透镜L1和焦面（成像面）附近的光束r1~r5放大表示的图。图5（c）是将图5（b）所示的光束r1~r5中的、在微透镜阵列12和摄像元件13附近的光束放大表示的图。

在图5中，5个视点的位置与图2~图4所示的摄像像素131ai~131ei相同。如图5（a）所示，入射到与一个微透镜120对应设置的摄像像素131ai~131ei各自的光线在物体面Q1上在同一点相交。因此，对于存在于物体面Q1的被摄体，在与视点图像数据Im_a~Im_e各自对应的图像上不产生视差。与此相对，在偏离物体面Q1的面Q2相交的光束r1~r5被导向不同的微透镜120。因此，对于存在于偏离物体面Q1的面Q2的被摄体，在与视点图像数据Im_a~Im_e各自对应的图像上产生视差。以下，详细说明产生视差的情况和不产生视差的情况。

不产生视差的情况

参照图6说明多个视点图像相互不产生视差的情况。图6（a）表示与拍摄成像于焦面的被摄体“A”的像而生成的5个视点图像数据Im_a~Im_e对应的视点图像Ai~Ei。即，视点图像Ai~Ei分别与从摄像像素131ai~131ei输出的图像信号对应。图6（b）表示入射到摄像元件13的光束的样子。在图6（b）中，以纸面的上下方向为z轴方向，将z=0设定为微透镜120的面，即焦面。将成像于焦面（z=0）的被摄体“A”的像的位置表示为X1～X9。

形成在X5的位置成像的像的光束r1~r5经由微透镜1205分别入射到摄像像素131a5~131e5。此外，形成在X6的位置成像的像的光束r1~r5经由微透镜1206分别入射到摄像像素131a6~131e6。即，摄像元件13上的摄像像素131a1、131a2、131a3、···接受光束r1而输出图像信号。结果，摄像像素131a1、131a2、···拍摄位置X1、X2、···的像。

同样，摄像像素131b1、131b2、···接受光束r2，摄像像素131c1、131c2、···接受光束r3，摄像像素131d1、131d2、···接受光束r4，摄像像素131e1、131e2、···接受光束r5。结果，摄像像素131a1、131a2、···拍摄的像、摄像像素131b1、131b2、···拍摄的像、摄像像素131c1、131c2、···拍摄的像、摄像像素131d1、131d2、···拍摄的像、摄像像素131e1、131e2、···拍摄的像都成为位置X1、X2、···的像。因此，如图6（a）所示，基于从摄像像素131ai~131ei输出的各个图像信号而生成的5个视点图像Ai~Ei成为同一图像，因此不产生视差。

产生视差的情况

参照图7，说明多个视点图像相互不产生视差情况。图7（a）表示对成像于与焦面不同的面的被摄体“A”的像拍摄而生成的5个视点图像Ai~Ei。与图6（a）的情况相同，视点图像Ai~Ei分别与从摄像像素131ai~131ei输出的图像信号对应。图7（b）表示入射于摄像元件13的光束的样子。在图7（b）中也是将纸面的上下方向设为z轴方向，将z=0设定为微透镜120的面、即焦面。将成像于与焦面不同的面（z=h1）的被摄体“A”的像的位置表示为X1～X9。

形成在X5的位置成像的像的光束r1~r5中的光束r1经由微透镜1203入射到摄像像素131a3。此外，光束r2经由微透镜1204入射到摄像像素131b4，光束r3经由微透镜1205入射到摄像像素131c5，光束r4经由微透镜1206入射到摄像像素131d6，光束r5经由微透镜1207入射到摄像像素131e7。同样，形成在X6的位置成像的像的光束r1~r5中的光束r1入射到摄像像素131a4，光束r2入射到摄像像素131b5，光束r3入射到摄像像素131c6，光束r4入射到摄像像素131d7，光束r5入射到摄像像素131e8。结果，形成成像在不同位置的像的光束r1~r5各自经由不同的微透镜120入射到摄像元件13。

因此，摄像元件13上的摄像像素131a1、131a2、131a3、···接受光束r1而输出图像信号。即，摄像像素131a1、131a2、131a3、···拍摄位置X3、X4、X5、···的像。此外，摄像元件13上的摄像像素131b1、131b2、131b3、···接受光束r2，因此拍摄位置X2、X3、X4···的像。同样，摄像像素131c1、131c2、131c3、···接受光束r3，拍摄位置X1、X2、X3、···的像，摄像像素131d1、131d2、131d3、···接受光束r4，拍摄位置X0（未图示）、X1、X2···的像，摄像像素131e1、131e2、131e3、···接受光束r5，拍摄位置X（-1）（未图示）、X0（未图示）、X1、···的像。

结果，摄像像素131a1、131a2、···拍摄的像、摄像像素131b1、131b2、···拍摄的像、摄像像素131c1、131c2、···拍摄的像、摄像像素131d1、131d2、···拍摄的像、摄像像素131e1、131e2、···拍摄的像，其位置在x轴方向上逐次稍微偏移。因此，如图7（a）所示，基于从摄像像素131ai~131ei输出的各个图像信号而生成的5个视点图像Ai~Ei不成为同一图像，因此产生视差。如此，在物体面相对于数字相机1的进深方向、即取得距离信息的多个视点图像之间呈现出视差。如之后所述，该视差在能进行三维显示的显示元件上能够处理为立体信息。

（C）多视点图像的生成处理

以下，说明第一实施方式的数字相机1进行的多视点（多视差）图像的生成处理、即设定了多视点图像生成模式时的数字相机1的工作。另外，多视点图像生成模式是当根据用户对模式选择按键的操作而选择多视点图像生成模式、从操作部108输入操作信号时，由控制电路101设定的。

在多视点图像生成模式中，如上所述，构成为可由用户选择视点图像（即三维图像）的特性、即视点条件。作为可选择的特性，有视点变化的方向、视点数、视点的变化量、视点生成的像素数（区块Blo的大小）。这些特性是通过用户使用操作部108从显示于上述的显示器109的菜单画面上进行选择操作而设定。运算部106将与上述特性对应的参数设为可变参数，用于生成视点图像数据时的运算处理。

图8（a）表示各种可变参数与可由可变参数控制的特性。图8（a）所示的“区块内的像素（摄像像素131）数u、v”是用于决定区块Blo的大小的可变参数，根据所设定的区块Blo内的像素数，如上述那样决定视点图像的景深。另外，u表示区块Blo内的x轴方向的像素数，v表示区块Blo内的y轴方向的像素数。

“区块的移动次数Kx、Ky”是用于决定多视点图像的视点数的可变参数。图像处理部105在像素阵列130上设定与所设定的次数Kx、Ky相同数量的不同区块Blo，从各个区块Blo所含的摄像像素131抽取像素信号。若如图3、图4所示区块Blo移动5次，则生成5视点的图像，若区块Blo移动4次则生成4视点的图像。

“区块的移动量Sx、Sy”是用于决定多个视点图像之间的视点的变化量的可变参数。区块Blo移动的量越大，则在视点图像之间产生的视差越大。图像处理部105从以与设定的移动量Sx、Sy相应的位置间隔排列在像素阵列130上的区块Blo抽取图像信号。“区块的移动方向Arctan（Sy/Sx）”是用于决定视点图像的视点变化的方向的可变参数。图像处理部105从沿着所选择的移动方向设定于像素阵列130上的区块Blo抽取图像信号。在图3、图4中说明的例子中，表示设定x轴方向为移动方向的情况。“区块的初始位置U0、V0”是用于决定视点图像的视点的初始位置的可变参数。

此外，如图8（b）所示，作为固定参数，设定微透镜120的排列数M、N及间距p、q、摄像元件13的像素（摄像像素131）数Cx、Cy及间距s、t、生成图像的分辨率M、N。这些固定参数是取决于微透镜120和摄像元件13的构造的值。

在生成图3所示的5个视点（在x轴方向上5个视点）图像时，上述可变参数及固定参数的值如下所示。

微透镜120的x轴方向的排列数M=6

微透镜120的y轴方向的排列数N=6

摄像元件13的x轴方向的像素数Cx=30

摄像元件13的y轴方向的像素数Cy=30

区块的初始位置U0=0、V0=0

区块的移动次数Kx=5、Ky=1

区块的移动量Sx=1、Sy=0

区块内的像素数u=1、v=1

另外，此时的视点图像的分辨率是36（=6×6=M×N）。

在生成图4所示的4个多视点（在水平方向上4个视点）图像时，上述可变参数及固定参数的值如下所示。

微透镜120的x轴方向的排列数M=6

微透镜120的y轴方向的排列数N=6

摄像元件13的x轴方向的像素数Cx=30

摄像元件13的y轴方向的像素数Cy=30

区块的初始位置U0=0、V0=0

区块的移动次数Kx=4、Ky=1

区块的移动量Sx=1、Sy=0

区块内的像素数u=2、v=3

另外，此时的视点图像的分辨率是36（=6×6=M×N）。

当设定了上述的各种参数时，图像处理部105使用拍摄一个被摄体而取得的存储在存储器103的图像信号，生成多个视点图像数据。如上所述，图像处理部105从由与一个微透镜120对应的像素阵列130内的摄像像素131输出的图像信号中，抽取由所设定的区块Blo所包含的摄像像素131输出的像素信号。并且，图像处理部105对所有像素阵列130内同样地抽取像素信号，使用所抽取的多个像素信号生成一个视点图像数据Im。图像处理部105一边使上述处理移动所设定的区块Blo的移动量Sx、Sy，一边按所设定的区块Blo的移动次数Kx、Ky进行上述处理，由此生成多个视点图像数据Im。此时，图像处理部105基于运算部106的运算结果抽取图像信号。即，运算部106决定图像处理部105为了生成视点图像数据Im而抽取的图像信号。

首先，说明运算部106进行的运算处理。

图9（a）表示在xy平面上的微透镜阵列12的坐标系（m，n）。在该坐标系中，将图左下端的微透镜120的位置表示为（m，n）=（0，0）。另外，在图9（a）中，0≤m<6、0≤n<6。此外，图9（b）表示在xy平面上的摄像元件13的坐标系（i，j）。在图9（b）的摄像元件13的坐标系中，将来自配置在（i，j）的摄像像素131的像素值、即图像信号用I（i，j）表示。

运算部106，首先使用下式（1）算出设于（m，n）=（0，0）的位置的微透镜120的中心位置（X0，Y0）。另外，系数p是如上所述表示微透镜120的x轴方向的排列间距的固定参数，系数q是表示微透镜120的y轴方向的排列间距的固定参数。

X0=mp+p/2

Y0=nq+q/2···（1）

接着，运算部106使用下式（2）算出微透镜120中的区块的初始位置（左下端）（X，Y）。如上所述，系数s是表示摄像像素131的x轴方向的排列间距的固定参数，系数t是表示摄像像素131的y轴方向的排列间距的固定参数。系数Nx是表示在x轴方向生成的视点图像数据Im的个数的参数，0≤Nx<Kx。系数Ny是表示在y轴方向生成的视点图像数据Im的个数的参数，0≤Ny<Ky。

X=X0+U0+s·Nx·Sx

Y=Y0+V0+t·Ny·Sy···（2）

在生成图3所示的5视点图像数据和图4所示的4视点图像数据时，区块Blo的初始位置（X，Y）如下式（2）’表示。另外，如上所述，系数v是区块Blo所含的y轴方向的摄像像素131的数量。

X=mp+s·Nx

Y=（n+1/2）q-tv/2···（2）’

运算部106将使用式（2）算出的区块Blo的初始位置（X，Y）换算为摄像元件13的坐标系（i，j）。此时，运算部106使用下式（3）。

i=X/s

j=Y/t···（3）

在生成图3所示的5视点图像数据Im时，区块Blo的初始位置（X，Y）换算为下式（3）’所示的位置。另外，以下的换算是基于在图3中各参数可表示为U0=-p/2、V0=-tv/2、p=5s、q=5t、u=1、v=1。

i=X/s=mp/s+Nx=5m+Nx

j=Y/t=（n+1/2）q/t-v/2=5n+2···（3）’

生成图4所示的4视点图像数据Im时，区块Blo的初始位置（X，Y）换算为下式（3）”所示的位置。另外，以下的换算是基于在图4中各参数可表示为U0=-p/2、V0=-tv/2、p=5s、q=5t、u=2、v=3。

i=X/s=mp/s+Nx=5m+Nx

j=Y/t=（n+1/2）q/t-v/2=5n+1···（3）”

图像处理部105使用在上述式（3）算出的区块Blo的初始位置，抽取图像信号I。即，图像处理部105以与用式（3）算出的初始位置（i，j）对应的图像信号为基准，算出区块Blo内所含的图像信号之和（区块信号Ib（i，j））。此时，图像处理部105使用下式（4）算出区块信号Ib（i，j）。

Ib(i，j)＝∑I(i+k-1，j+I-1)

＝I(i，j)+I(i，j+1)+···+I(i，j+v-1)

+I(i+1，j)+I(i+1，j+1)+…+I(i+1

，j+v-1)

+I(i+2，j)+I(i+2，j+1)+…+I(i+2

，j+v-1)

+····

+I(i+u-1，j)+1(i+u-1，j+1)+…+I

(i+u-1，j+v-1)···(4)

生成图3所示的5视点图像数据Im时，区块信号Ib（i，j）为下式（4）’所示的值。此外，生成图4所示的4视点图像数据时，区块信号Ib（i，j）为下式（4）”所示的值。

Ib（i，j）=I（i，j）=I（5m+Nx，5n+2）···（4）’

Ib（i，j）=I（i，j）+I（i，j+1）+I（i，j+2）+I（i+1，j）+I（i+1，j+1）+I（i+1，j+2）···（4）”

使用对所有微透镜120进行以上的处理而生成的区块信号Ib（i，j），图像处理部105生成一个视点图像数据Im。即，图像处理部105以使得区块信号Ib（i，j）在视点图像数据Im内表示一个像素值的方式，将各区块信号Ib相加。其后，运算部106重新算出在使区块Blo沿所设定的移动方向（Arctan（Sy/Sx））移动了所设定的移动量Sx、Sy时的区块Blo的初始位置（i，j）。然后，图像处理部105基于新算出的区块Blo的初始位置（i，j）使用式（4）重新算出区块信号Ib（i，j），生成不同的一个视点图像数据Im。图像处理部105将上述处理反复进行所设定的移动次数Kx、Ky，生成多个视点图像数据Im。

图像处理部105使用如上述那样生成的多个视点图像数据Im生成多视点图像文件而记录于存储卡107a。另外，图像处理部105也可以对生成的视点图像数据Im分别施加关联地记录于存储卡107a。

使用图10的流程图说明以上所述的多视点图像生成处理。图10所示的各处理记录于控制电路101内的未图示的存储器，当在设定了多视点图像生成模式的状态下通过摄影处理取得的图像信号被存储于存储器103内时，通过控制电路101启动而执行。

在步骤S101中，将生成视点图像的个数（Nx，Ny）的值设定为初始值即0，进入步骤S102。在步骤S102中，作为微透镜120的初始位置，将m、n的值设定为0，进入步骤S103。

在步骤S103中，使用式（1）算出成为对象的微透镜120的中心位置，进入步骤S104。在步骤S104中，使用式（2），算出微透镜120的坐标系中的区块Blo的初始位置、即左下端部的坐标，进入步骤S105。在步骤S105中，使用式（3）将在步骤S104中算出的坐标值换算为摄像元件13的坐标系（i，j），进入步骤S106。

在步骤S106，使用式（4），将从区块所含的光电转换信号131输出的图像信号相加，生成区块信号Ib，进入步骤S107。在步骤S107，向下一微透镜120移动（m=m+1或n=n+1），进入步骤S108。在步骤S108，判断是否对于与所有微透镜120对应的像素阵列130结束了处理。在对于所有像素阵列130结束了处理时，即m=M且n=N时，进入步骤S109。在未对于所有像素阵列130结束了处理时，步骤S109判定为否定，返回步骤S103。

在步骤S109，将按各像素阵列130生成的区块信号Ib合成而生成一个视点图像数据Im，进入步骤S110。在步骤S110，使区块的位置移动设定的移动量即Sx、Sy。然后，将视点图像的个数设定为Nx=Nx+1或Ny=Ny+1，进入步骤S111。

在步骤S111，判断是否生成了所设定的视点数（Kx，Ky）的量的视点图像数据Im。在生成了所设定的视点数的视点图像数据Im时，即Nx=Kx且Ny=Ky时，在步骤S111判断为肯定，进入步骤S112。在未生成所设定的视点数的视点图像数据Im时，步骤S111判断为否定，返回步骤S102。在步骤S112，使用所生成的Kx×Ky个视点图像数据Im生成多视点图像文件，并记录于存储卡107a，结束处理。

（D）立体显示

说明用于使与如上述那样生成的多个视点图像数据Im各自对应的视点图像作为立体图像显示于显示器109的处理。

如图11所示，显示器109，在其表面具有双凸透镜150，该双凸透镜150具有多个具有沿轴向将圆筒形切断那样的形状的凸透镜151。即，显示器109利用公知的双凸透镜方式将多个视点图像显示为立体图像。如图11（a）所示，在本实施方式中，使双凸透镜150的各个凸透镜151的长边方向一致于y轴方向地配置。另外，在以下的说明中，作为代表，以x轴方向的处理为中心进行说明。

图11（b）表示显示器109的xy平面上处的剖面图。双凸透镜150的各个凸透镜151将来自构成显示器109的、沿y轴方向的多个像素列Co的光聚光而导向用户。在图11（b）中，一个凸透镜151a将从显示器109的像素列Co1_1~Co1_5发出的光聚光。并且，从多个凸透镜151导出的光中的来自像素列Co1_1、Co2_1、Co3_1、···的光在点W1成像。同样，来自像素列Co1_2、Co2_2、Co3_2、···的光在点W2成像，来自像素列Co1_3、Co2_3、Co3_3、···的光在点W3成像，来自像素列Co1_4、Co2_4、Co3_4、···的光在点W4成像，来自像素列Co1_5、Co2_5、Co3_5、···的光在点W5成像。

因此，用户（阅览者）从H1的位置观察在显示器109显示的图像时，用右眼观察点W1的像即来自像素列Co1_1、Co2_1、Co3_1、···的光，用左眼观察点W2的像即来自像素列Co1_2、Co2_2、Co3_2、···的光。此外，在用户从H2的位置观察图像时，用右眼观察点W4的像（来自像素列Co1_4、Co2_4、Co3_4、···的光），用左眼观察点W5的像（来自像素列Co1_5、Co2_5、Co3_5、···的光）。

另外，显示器109也可以利用视差屏障方式使多个视点图像显示为立体图像。此时，只要在图11的配置双凸透镜150的位置，配置具有使长边一致于y轴方向的多个细长开口的掩模（屏障）即可。

使用图12所示的概念图，说明生成向如上述可显示立体图像的显示器109输出的显示用数据的处理。将与拍摄同一视场而得的存在视差的多视点图像（例如5个视点）对应的视点图像数据设为Im1、Im2、···、Im5。此时，图像处理部105从视点图像数据Im1、Im2、···、Im5分别抽取与同一像素列Co1对应的图像数据并合成，由此作成一个显示用图像数据Id1。进而，图像处理部105从视点图像数据Im1、Im2、···、Im5分别抽取与像素列Co2对应的图像数据，作成一个显示用图像数据Id2。以下同样地图像处理部105作成一个显示用图像数据Id3～Id5。

当作成了各显示用图像数据Id1～Id5时，图像处理部105对LCD驱动控制部110输出显示用图像数据Id1，使显示器109的Co1显示与显示用图像数据Id1对应的图像。同样，图像处理部105对LCD驱动控制部110输出显示用图像数据Id2～Id5，使显示器109的Co2~Co5分别显示与显示用图像数据Id2～Id5对应的图像。

如上所述，来自像素列Co1_1、Co2_1、Co3_1、···的光在点W1成像，因此在点W1观察到与视点图像数据Im1对应的图像。同样，在点W2观察到与视点图像数据Im2对应的图像，在点W3观察到与视点图像数据Id3对应的图像，在点W4观察到与视点图像数据Im4对应的图像，在点W5观察到与视点图像数据Im5对应的图像。如上所述，位于H1的用户用右眼观察点W1，用左眼观察点W2。即，H1的用户用右眼观察与视点图像数据Im1对应的图像，用左眼观察与视点图像数据Im2对应的图像。在视点图像数据Im1与Im2之间有视差，用户用不同的眼睛观察与视点图像数据Im1和Im2分别对应的图像。结果，对同一视场拍摄而得的图像作为立体图像被用户观察到。另外，在用户位于H1时，用户用右眼观察与视点图像数据Im4对应的图像，用左眼观察与视点图像数据Im5对应的图像，由此将对同一视场拍摄而得的图像作为立体图像而观察。

根据以上说明的第一实施方式，可得到以下的作用效果。

（1）微透镜120在摄影透镜L1的焦面附近呈二维状配置多个。摄像元件13对于多个微透镜120分别具有多个像素阵列130，像素阵列130具有多个光电转换元件（摄像像素）131，配置成二维状。该摄像像素131经由微透镜120接受通过了摄影透镜L1的来自被摄体的光束，而输出图像信号。图像处理部105从由多个像素阵列130各自所含的多个摄像像素131输出的图像信号，抽取与摄影透镜L1的多个不同的部分区域P分别对应的多个区块信号Ib，基于抽取的区块信号Ib生成与部分区域P分别对应的多个图像数据Im，作为视点位置各不相同的视点图像数据Im。即，图像处理部105将从多个像素阵列130各自抽取的多个区块信号Ib中的、从不同像素阵列130抽取的、与同一部分区域P对应的区块信号Ib合成，生成一个视点图像数据Im。操作部108接受用户选择视点数的操作。并且，图像处理部105抽取由用户的操作所选择的视点数的区块信号Ib，生成视点图像数据Im。

要显示立体图像，相对于若视点移动则产生逆视、或因方向不同而容易产生模糊、莫尔条纹的、即难以观察且眼睛容易疲劳的双镜头式立体显示器，优选使用难以引起逆视的具有许多视点的显示器（多镜头式裸眼显示器）。以往，为了取得显示于该多镜头式裸眼显示器的图像，需要一边改变位置一边进行多次拍摄，或排列许多相机进行拍摄等繁杂的步骤。此外，在立体图像显示中，辐辏(两眼视点的交叉)与焦点的一致是为了不引起疲劳、观察异常的重要因素。但是，通常，在以立体方式拍摄的图像中，将2台相机平行配置而无限远地对焦(所谓的平行立体)的构成居多，难以满足上述条件。

本实施方式的数字相机1，具有上述构成，由此能够根据显示器的特性，使用1台相机取得用户所希望的视点数的视点图像数据，因此便利性提高。而且，与通常的单镜头反射拍摄相同，能够自由更换镜头，使用焦点调节功能使焦点对焦于被摄体的任意位置地进行拍摄。该情况下，即使镜头更换、变焦镜头等的焦距变化，另外即使被摄体的焦点位置变化，辐辏与焦点位置也总是相同，因此能够拍摄到不会使眼睛疲劳的自然的立体显示用图像。即，能够由与通常的相机相同地进行焦点调节而拍摄到的图像，制作使被摄体的对焦位置在前后有立体感的影像，因此用户能够不觉察到与使用通常的相机进行的拍摄有不协调感地，拍摄立体图像。

(2)运算部106算出与由用户选择的视点数相同数量的区块Blo作为用于抽取区块信号Ib的抽取区域，并设定于像素阵列130的各自上。并且，图像处理部105按每个设定的区块Blo将从区块Blo所含的摄像像素131输出的图像信号I相加，作为区块信号Ib而抽取。因此，能够生成用户所希望的视点数的视点图像数据Im，因此能够用一台相机进行与显示立体图像的监视器等的特性相应的立体图像摄影。

(3)操作部108接受用于选择表示多个视点图像数据Im之间的视点的变化量的视差的用户的操作。运算部106以与由用户选择的视差相应的位置间隔，在像素阵列130上设定区块Blo。即，运算部106算出区块Blo的移动量。并且，图像处理部105按多个位置的区块Blo抽取区块信号Ib，生成视点图像数据Im。因此，能够用一台相机进行具有用户所希望的视差的立体图像，所以便利性提高。

(4)操作部108接受用于选择图像的景深的用户操作。运算部106根据由用户选择的景深算出并设定区块Blo的大小。图像处理部105根据算出的区块Blo的大小，将来自区块Blo内所含的摄像像素131的多个图像信号I合成而作为一个区块信号Ib抽取，生成视点图像数据Im。因此，能够用简单的操作以立体图像获得用户所希望的景深。

（5）操作部108接受用于使视点位置在二维方向不同的用户操作。运算部106根据用户操作算出并设定用于抽取视点数的量的区块Blo的方向。并且，图像处理部105沿着算出的方向从区块Blo抽取区块信号Ib而生成视点图像数据Im。因此，能够生成在用户所希望的方向上视点不同的视点图像数据Im，因此能够用一台相机进行与显示立体图像的监视器等的特性相应的立体图像摄影。

（6）图像处理部105基于生成的多个视点图像数据Im而生成显示用图像数据Id，将与显示用图像数据Id对应的图像作为立体图像而显示于显示器109。因此，用户能够将与拍摄到的视点图像数据对应的图像立刻作为立体图像观察。

第二实施方式

参照附图说明本发明的第二实施方式的数字相机。在以下的说明中，对与第一实施方式相同的构成要素标注相同附图标记，主要说明不同点。对于未特别说明的部分，与第一实施方式相同。在本实施方式中，一个微透镜120的大小不是摄像像素131的大小的整数倍，在这一点与第一实施方式不同。该情况下，运算部106的运算处理和图像处理部105的区块信号Ib的算出处理与第一实施方式的情况不同。

图13表示xy平面上的摄像元件13的坐标系（i，j）上的微透镜120与摄像像素131的大小关系。如图13（a）、图13（b）所示，第二实施方式的微透镜120的与x轴或y轴方向平行的方向的直径不是摄像像素131的大小的整数倍。即，在x轴方向上，微透镜120的x轴方向包括摄像像素131u和131v的一部分的区域。另外，图13中的十字形状的标记表示微透镜120的中心位置。

图13（a）表示作为区块Blo的大小而设定了1×1、即u=v=1的情况。区块Blo具有其区域包括4个摄像像素131a~d的各一部分的大小。该情况下，运算部106计算摄像像素131a与区块Blo重复的区域相对于摄像像素131a的整个区域所占的比例（以下称为占有率）。图像处理部105将由运算部106算出的占有率与从摄像像素131a输出的图像信号相乘。对区块Blo所含的摄像像素131b~131d进行以上的处理，图像处理部105将算出的各个图像信号相加，作为区块Blo的区块信号Ib而算出。

图13（b）表示将区块Blo的大小一般化为u×v的情况。区块Blo包括14个摄像像素131a~131n的各一部分、和6个摄像像素131o~131t的整个区域。此时，与图13（a）的情况相同，图像处理部105将由运算部106算出的占有率与来自对应的摄像像素131a~131n各自的图像信号相乘，作为插补信号而算出。并且，图像处理部105将算出的摄像像素131a~131n各自的插补信号与从摄像像素131o~131t分别输出的图像信号相加，算出区块信号Ib。即，图像处理部105对图像信号施加与占有率相应的权重来算出区块信号Ib。以下进行详细说明。

首先，运算部106使用下式（5）算出设于（m，n）=（0,0）的微透镜120的中心位置（X0，Y0）。另外，如上所述，系数p是表示微透镜120的x轴方向的排列间距的固定参数，系数q是表示微透镜120的y轴方向的排列间距的固定参数。

X0=mp+p/2

Y0=nq+q/2···（5）

接着，运算部106使用下式（6）算出微透镜120中的区块Blo的初始位置（左下端）（X，Y）。如上所述，系数s是表示摄像像素131的x轴方向的排列间距的固定参数，系数t是表示摄像像素131的y轴方向的排列间距的固定参数。系数Nx是表示在x轴方向生成的视点图像数据Im的个数的参数，0≤Nx<Kx。系数Ny是表示在y轴方向生成的视点图像数据Im的个数的参数，0≤Ny<Ky。

X=X0+U0-u/2+s·Nx·Sx

Y=Y0+V0-v/2+t·Ny·Sy···（6）

运算部106将使用式（6）算出的区块Blo的初始位置（X，Y）换算为摄像元件13的坐标系（i，j）。即，使用摄像元件13的坐标系（i，j）中的整数部分和在端部产生的小数部分表示区块Blo的初始位置。此时，运算部106使用下式（7）。

i+a=X/s

j+b=Y/t···（7）

式（7）所示的a、b的值表示图13（b）所示的区块Blo的左下端部从摄像像素131s的左下端部分别沿x轴方向和y轴方向偏移的量。换言之，该a、b的值表示上述的占有率。

图像处理部105使用在上述式（7）算出的区块Blo的初始位置，抽取图像信号I。即，图像处理部105以与用式（7）算出的初始位置（i，j）对应的图像信号为基准，算出区块Blo内所含的图像信号之和（区块信号Ib（i，j））。此时，图像处理部105使用下式（8）算出区块信号Ib（i，j）。

Ｉｂ（ｉ，ｊ）＝

（1－ａ）·（1－ｂ）·Ｉ（ｉ，ｊ）＋（1－ａ）·ｂ·Ｉ（ｉ＋ｕ，

ｊ）＋ａ·ｂ·Ｉ（ｉ＋ｕ，ｊ＋ｖ）

＋（1－ａ）·｛Ｉ（ｉ，ｊ＋1）＋…＋Ｉ（ｉ，ｊ＋ｖ－1）｝

＋ａ·｛Ｉ（ｉ＋ｕ，ｊ＋1）＋…Ｉ（ｉ＋ｕ，ｊ＋ｖ－1）｝

＋（1－ｂ）·｛Ｉ（ｉ＋1，ｊ）＋…＋Ｉ（ｉ＋ｕ－1，ｊ）｝

＋ｂ·｛Ｉ（ｉ＋1，ｊ）＋…＋Ｉ（ｉ＋ｕ－1，ｊ）｝

＋Ｉ（ｉ＋1，ｊ＋1）＋…＋Ｉ（ｉ＋ｕ－1，ｊ＋1）

＋Ｉ（ｉ＋1，ｊ＋ｖ－1）＋…＋Ｉ（ｉ＋ｕ－1，ｊ＋ｖ－

1）···（8）

图13（a）所示的区块Blo的区块信号Ib（i，j）为下式（8）’所示的值。

Ib(i，j)＝

(1-a)·(1-b)·I(i，j)+(1-a)·b·I(i，j+1)

+a·(1-b)·I(i+1，j)+a·b·I(i+1，j+1)

···(8)’

当如上所述算出区块信号Ib时，与第一实施方式的情况相同，图像处理部105在使区块Blo移动了所设定的移动量Sx、Sy的位置，算出区块信号Ib。图13（c）表示根据运算部106的运算结果而区块Blo移动的样子。另外，在第二实施方式中，即使在微透镜120的直径不是摄像像素131的大小的整数倍的情况下，图像处理部105也能算出区块信号Ib。因此，即使区块Blo的移动量Sx、Sy不是整数倍的情况下，图像处理部105也能在移动后的区块Blo的位置算出区块信号Ib。换言之，可以将区块Blo的移动量设定为用户希望的任意实数值。

使用图14的流程图说明以上所述的第二实施方式的数字相机1的多视点图像生成处理。图14所示的各处理记录于控制电路101内的未图示的存储器，当在设定了多视点图像生成模式的状态下通过摄影处理取得的图像信号被存储于存储器103内时，通过控制电路101启动而执行。

在步骤S201中，将生成视点图像的个数（Nx，Ny）的值设定为初始值即0，进入步骤S202。在步骤S202中，作为微透镜120的初始位置，将m、n的值设定为0，进入步骤S203。

在步骤S203中，使用式（5）算出成为对象的微透镜120的中心位置，进入步骤S204。在步骤S204中，使用式（6），算出微透镜120的坐标系中的区块Blo的初始位置、即左下端部的坐标，进入步骤S205。在步骤S205中，使用式（7）将在步骤S204中算出的坐标值换算为摄像元件13的坐标系（i，j），进入步骤S206。

在步骤S206，使用式（8），将从区块Blo所含的摄像像素131输出的图像信号相加，生成区块信号Ib，进入步骤S207。从步骤S207（向下一微透镜移动）到步骤S212（多视点图像文件的生成、记录）的各处理与从图14所示的步骤S107（向下一微透镜移动）到步骤S112（多视点图像文件的生成、记录）的各处理相同。

根据以上说明的第二实施方式，除了由第一实施方式获得的作用效果之外，还可得到以下的作用效果。

图像处理部105在由运算部106算出的区块Blo与一个摄像像素131中的一部分重复的情况下，对从重复的摄像像素131输出的图像信号进行根据重复程度决定的加权，抽取区块信号Ib。因此，即使在摄像像素131与微透镜120的安装精度低的情况下也能生成用户所希望的立体图像。并且，区块Blo的大小、移动量等不会受摄像像素131限制，因此能够实现用户所希望的视点条件。

第三实施方式

参照附图说明本发明的第三实施方式的数字相机。在以下的说明中，对与第一和第二实施方式相同的构成要素标注相同附图标记，主要说明不同点。关于未特别说明的部分，与第一或第二实施方式相同。在本实施方式中，即使在用户将数字相机纵向设置进行图像摄影的情况下，也能生成多视点（多视差）图像，在这一点与第一和第二实施方式不同。

图15表示第三实施方式的数字相机1的控制***的框图。姿势传感器300例如由倾斜传感器、陀螺传感器等构成，检测数字相机1的重力方向，将检测信号向控制电路101输出。控制电路101基于所输入的检测信号，判断数字相机1的姿势、即数字相机1的横位置姿势或纵位置姿势。在图像数据取得时根据来自姿势传感器300的检测信号而判断的数字相机1的姿势作为姿势信息，与图像数据施加关联地存储于存储器103。

在设定了多视点图像生成模式的情况下，控制电路101参照与成为对象的图像数据施加了关联而存储于存储器103中的姿势信息。在姿势信息表示纵位置姿势时，运算部106将x轴方向的固定参数（M，Cx，p，s）和可变参数（U0，Kx，Sx，u）视为y轴方向的设定值，将y轴方向的固定参数（N，Cy，q，t）和可变参数（V0，Ky，Sy，v）视为x轴方向的设定值，进行第一和第二实施方式中说明的运算处理。并且，图像处理部105生成在y轴方向视点数不同的视点图像数据Im。

根据以上说明的第三实施方式，除了由第一实施方式或第二实施方式获得的作用效果之外，还可得到以下的作用效果。

姿势传感器300检测数字相机1的姿势。运算部106在由姿势传感器300检测到的姿势为纵位置摄影时，设定区块Blo的移动方向，以使视点的位置在摄像元件13上为y轴方向，即与横位置摄影不同。并且，图像处理部105沿着所设定的方向、即y轴方向抽取区块信号Ib而生成视点图像数据Im。因此，在用一台相机进行纵位置摄影和横位置摄影的任一方的情况下，都能生成立体图像，便利性提高。

以上说明的第一~第三实施方式的数字相机1可以如下变形。

（1）可以取代将与使用多视点图像数据由图像处理部105生成的显示用图像数据Id对应的图像立体显示于显示器109，显示于与数字相机1不同的外部的显示装置（例如个人计算机、电视机等）所具有的监视器。此时，外部的显示装置读取在数字相机1生成的、记录于存储卡107a的多视点图像文件。并且，显示装置使用读取的多视点图像文件中的视点图像数据Im，进行与图像处理部105同样的处理，生成显示用图像数据Id，输出到监视器。

另外，显示装置所具有的监视器与实施方式的显示器109同样地，也需要构成为可利用双凸透镜方式、视差屏障方式等显示立体图像。此外，在显示装置从数字相机1读取多视点图像文件时，可以使用例如LAN缆线、无线电通信等的接口。并且，也可以是外部的显示装置读取在数字相机1生成的图像数据、显示装置进行与图像处理部105相同的处理，生成视点图像数据Im。

（2）可以取代使用固定参数和可变参数从存储于存储器103的图像信号生成多个视点图像数据Im，而预先生成预定视点数的视点图像数据Im。该情况下，图像处理部105使用存储于存储器103的图像信号，例如生成100个视点图像数据Im以获得100视点的视点图像，并存储于存储器103。并且，图像处理部105按照所设定的可变参数从存储于存储器103的100个视点图像数据Im中选择与由用户选择的视点数相同数量的视点图像数据Im，生成多视点图像文件并记录于存储卡107a。

此外，只要不有损本发明的特征，本发明就不限于上述实施方式，在本发明的技术思想的范围内能想到的其他实施方式也包含于本发明的范围内。用于说明的实施方式及变形例可以各自适当组合来构成。

以下的优先权基础申请的公开内容作为引用文而编入于此。

日本专利申请2010年第046733号（2010年3月3日申请）。

Claims (9)

1.一种摄像装置，包括：

多个微透镜，呈二维状地配置在摄影光学***的焦面附近；

摄像元件，与所述微透镜分别对应地呈二维状配置有包括多个光电转换元件的多个元件组，所述多个光电转换元件经由所述微透镜接受通过了所述摄影光学***的来自被摄体的光束、输出图像信号；

设定部，设定所述摄影光学***的光瞳面上的多个不同的区域；和

生成部，从由所述多个元件组各自所含的所述多个光电转换元件输出的所述图像信号，抽取与由所述设定部设定的所述多个不同的区域各自对应的区域图像信号，基于所述区域图像信号，生成与所述区域各自对应的多个图像数据来作为视点位置各不相同的多个视点图像数据，

还包括输入视点条件的视点条件输入操作部，

所述设定部，基于由所述视点条件输入操作部操作的所述视点条件，设定所述摄影光学***的光瞳面上的多个不同的区域，

所述视点条件包括所述区域的位置、所述区域的大小、所述区域的数量、所述多个不同的区域的间隔和所述多个不同的区域的排列方向中的至少一个。

2.根据权利要求1所述的摄像装置，

所述视点条件输入操作部是输入视点位置、所述多个视点图像数据的数量、视点变化的方向、视点变化的量和视点图像的景深中的至少一个的操作。

3.根据权利要求1所述的摄像装置，

所述生成部，将从所述多个元件组各自抽取的多个所述区域图像信号中的、从不同的所述元件组抽取的、且与同一所述区域对应的所述区域图像信号合成，生成一个所述视点图像数据。

4.根据权利要求1所述的摄像装置，

所述视点条件输入操作部接受选择视差的视差选择操作，所述视差表示在所述多个视点图像数据之间的视点的变化量；

所述设定部以与由所述视差选择操作所选择的所述视差对应的位置间隔，设定所述区域，

所述生成部抽取与每隔所述位置间隔设定的所述区域对应的所述区域图像信号，生成所述视点图像数据。

5.根据权利要求1所述的摄像装置，

所述视点条件输入操作部接受选择图像的景深的景深选择操作，

所述设定部根据由所述景深选择操作所选择的所述景深，设定所述区域的大小，

所述生成部根据所述设定的所述区域的大小，将多个所述图像信号合成、作为一个区域图像信号抽取，生成所述视点图像数据。

6.根据权利要求1所述的摄像装置，

所述视点条件输入操作部还接受使所述视点的位置在二维方向上不同的视点位置选择操作、和选择视点的数量的视点数选择操作，

所述设定部根据所述视点位置选择操作，设定抽取与所述视点数相同数量的所述区域的方向，

所述生成部沿着由所述设定部设定的方向抽取所述区域图像信号，生成所述视点图像数据。

7.根据权利要求1所述的摄像装置，

所述生成部，在由所述设定部设定的所述区域与一个所述光电转换元件中的一部分对应的情况下，对从所述一个光电转换元件输出的图像信号进行根据所述区域对应的比例决定的加权、作为所述区域图像信号抽取。

8.根据权利要求1所述的摄像装置，

包括检测所述摄像装置的姿势的姿势检测部，

所述设定部根据由所述姿势检测部检测出的姿势，设定抽取与视点数相同数量的所述区域的方向，以使所述视点的位置不同，

所述生成部沿着由所述设定部设定的方向抽取所述区域图像信号、生成所述视点图像数据。

9.根据权利要求1所述的摄像装置，

还包括显示控制部，所述显示控制部基于由所述生成部生成的多个所述视点图像数据而生成显示用图像数据，使与所述显示用图像数据对应的图像作为立体图像显示于显示器。