CN102685377A

CN102685377A - 摄像装置

Info

Publication number: CN102685377A
Application number: CN2012100592541A
Authority: CN
Inventors: 田尻真一郎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-03-09
Filing date: 2012-03-02
Publication date: 2012-09-19
Anticipated expiration: 2032-03-02
Also published as: US20120229688A1; JP5716465B2; CN102685377B; US9116271B2; JP2012189708A

Abstract

本发明涉及摄像装置。摄像装置包括摄像透镜、透镜阵列和图像传感器，该摄像装置能够通过使用透镜阵列来减少由该装置拍摄的图像的亮度不均匀性。在通过使用摄像透镜、透镜阵列和图像传感器而在将光线彼此分开在多个视点方向上传播的同时获得图像的摄像装置中，透镜阵列构造成包括多个第一透镜部分和多个第二透镜部分。穿过摄像透镜和第一透镜部分的主光线可以被引导沿着与光接收表面基本垂直的方向传播到图像传感器13上的像素的光接收表面。可以减少图像传感器中的局部光学损失。

Description

摄像装置

技术领域

本发明涉及使用透镜阵列的摄像装置。

背景技术

过去，如在Stanford Tech Report CTSR 2005-02中Ren.Ng及七位其他作者的“Light Field Photography with a Hand-Held Plenoptic Camera”(下文中称作非专利文献1)中所述，已经发展和提出了多种摄像装置。此外，提出了用于对拍摄图像的数据执行预定图像处理并输出图像处理的结果的摄像装置。例如，如非专利文献1所述，提出了采用称作光场照相(Light Field Photography)的摄像技术的摄像装置。这种摄像装置具有设置在摄像透镜和图像传感器之间的透镜阵列(在下文中也称作摄像设备)。更具体地，透镜阵列设置在摄像透镜的焦平面上。因此，作为摄像对象的视频图片而在透镜阵列上生成的视频图片被接收为分成在多个视点方向上传播的光线的光，以使得在多个视点同时获得图像。

发明内容

在上述摄像装置中，图像传感器上的多个像素被分配到透镜阵列中的一个透镜，并且可以获取在分配到一个透镜的像素中所产生的视点图像。如果例如9(＝3×3)个像素以像素阵列形式分配到一个透镜，则可以获得九个视点的图像。例如，这些视点图像可以用作三维图像显示中的右视点图像和左视点图像。

但是如果透镜阵列设置在摄像透镜和图像传感器之间，则由像素接收的光的数量根据像素的位置而改变，产生引起亮度不均匀性的问题。因为亮度不均匀性引起拍摄图像的质量下降，所以期望通过降低亮度的不均匀件来解决这个问题。

期望提供能够通过使用包括透镜阵列的光学***来降低拍摄图像中的亮度不均匀性的摄像装置。

根据本发明的实施例的摄像装置包括：摄像透镜；光学***，其具有设置在摄像透镜的成像表面上的透镜阵列；和摄像设备，其用于接收穿过摄像透镜和光学***的透射光线，以获得所拍摄图像的数据。光学***构造成将穿过组成透镜阵列的透镜的主光线折射成在向透镜的光轴接近的方向上传播。

在本发明提供的摄像装置中，来自摄像对象并穿过摄像透镜的光被透镜阵列分成各自在视点方向上传播的光线，这些光线各自被摄像设备所接收以获得由光学产生的拍摄图像的数据。

如上所述，光学***构造成将穿过透镜阵列的透镜的主光线折射成在向透镜接近的光轴的方向上传播。因此，主光线可以被引导沿着与摄像装置的光接收表面基本垂直的方向传播。

根据本发明，由此提供的摄像状态具有摄像透镜、透镜阵列和摄像设备。此外，包括透镜阵列的光学***构造成将穿过透镜阵列的透镜的主光线折射成在向透镜的光轴接近的方向上传播。因此，来自光学***的主光线可以被引导沿着与摄像设备的光接收表面基本垂直的方向传播。结果，可以减少摄像设备中引起的局部光学损失的量。因此，可以减少通过使用包括透镜阵列的光线***所拍摄的图像的亮度不均匀性。

附图说明

图1是示出根据本发明的第一实施例的摄像装置的整体构造的示图；

图2是示出图1所示的图像处理部分的详细构造的功能框图；

图3A和图3B是示出表示图1所示的透镜阵列和图像传感器的示意构造的模型的多个立体图；

图4A至图4C是示出在对图3A和3B所示的透镜阵列的一体化结构的描述中涉及的模型的多个说明图；

图5是示出表示图1所示的前表面照射图像传感器和图像传感器的片上透镜的示意构造的模型的示图；

图6是示出表示微透镜、片上透镜和包括片上透镜的图像传感器的布局构造的模型的示图；

图7是示出在对将入射光线分开沿着多个视点方向传播进行描述时涉及的模型的说明图；

图8是示出在对通过图像传感器获取的摄像数据进行描述时涉及的模型的说明图；

图9A至图9I是示出在对根据图8所示的摄像数据所产生的视点图像进行描述时涉及的模型的多个说明图；

图10A至图10I是示出图9A至9I所示的视点图像的典型示例的多个说明图；

图11A和图11B是示出在对视点图像之间的视差的量进行描述时涉及的模型的多个说明图；

图12是示出在对入射到典型对比构造中的图像传感器的光线进行描述时涉及的模型的说明图；

图13是示出在对入射到第一实施例中的图像传感器的光线进行描述时涉及的模型的说明图；

图14A和图14B是示出分别在第一实施例和典型对比构造中光线的典型模拟形式的多个说明图；

图15是示出修改形式1中包括的透镜阵列和图像传感器的示意构造的立体图的示图；

图16是示出修改形式2中包括的透镜阵列和图像传感器的示意构造的立体图的示图；

图17是示出本发明的第二实施例中包括的透镜阵列和图像传感器的示意构造的立体图的示图；

图18是示出表示图17所示的图像传感器上设置的片上透镜的示意构造的模型的示图；

图19A和图19B是在对生成图18所示的片上透镜的典型过程进行描述时涉及的多个说明图；

图20是示出在对入射到第二实施例中的图像传感器的光线进行描述时涉及的模型的说明图；

图21是示出表示修改形式3中包括的图像传感器和其片上透镜的示意构造的模型的示图；和

图22是示出表示修改形式4中包括的后表面照射图像传感器和其片上透镜的示意构造的模型的示图。

具体实施方式

如下通过参考附图详细说明本发明的实施例。应当注意，在以下列顺序布置的章节中说明实施例。

1.第一实施例

第一实施例是具有在透镜阵列自身上预先确定的透镜表面的典型实施方式。

2.修改形式1

修改形式1是具有空气层透镜阵列的典型实施方式。

3.修改形式2

修改形式2是透镜阵列和图像传感器彼此一体化的典型实施方式。

4.第二实施例

第二实施例是片上透镜的光轴根据与片上透镜相关联的像素的位置而偏移的典型实施方式。

5.修改形式3

修改形式3是在分配的像素的数量增加的情况下、片上透镜的光轴进一步根据与片上透镜相关联的像素的位置而偏移的典型实施方式。

6.修改形式4

修改形式4是采用后表面照射型的图像传感器的典型实施方式。

<第一实施例>

[整体构造]

图1是示出根据本发明的第一实施例的摄像装置1的整体构造的示图。摄像装置1是采用所谓的单眼方法的光场相机。采用摄像装置1获得摄像对象2的图像，并对所拍摄的图像执行预先确定的图像处理以输出作为图像处理的结果的图像数据Dout，图像数据Dout用作视点图像。如图所示，摄像装置1采用摄像透镜11、透镜阵列12A、图像传感器13、图像处理部分14、图像传感器驱动部分15和控制部分16。应当注意，在下列描述中，沿着光轴Z1的方向称作Z方向。此外，在与光轴Z1垂直的XY平面上，水平方向或横向称作X方向，而竖直方向或纵向称作Y方向。

摄像透镜11是用于对摄像对象2的图像进行拍摄的主透镜。摄像透镜11通常是在相机(例如，摄像机或照相机)中使用的普通摄像透镜。在摄像透镜11的光入射(或光出射)侧上，设置孔径光阑10。

通过在摄像透镜11的焦平面(图像生成平面)上设置透镜阵列12A，透镜阵列12A可以用作将入射光线彼此分开以在多个视点方向上传播的光学***。透镜阵列12A包括之后描述的多个微透镜12A1。微透镜12A1被布置在X方向和Y方向上以形成二维阵列。通过通常采用光阻剂回流(resist reflow)方法或纳米压印方法，由树脂材料(例如光阻剂)制成的微透镜12A1形成于衬底上，衬底通常由玻璃或塑料制成。可替换地，通过在由玻璃等制成的衬底的主表面上执行蚀刻处理，生成微透镜12A1。图像传感器13设置在透镜阵列12A的光出射侧上。

图像传感器13是用于接收穿过透镜阵列12A的光线并根据该光线获取摄像数据D0的传感器。图像传感器13由布置在X和Y方向上而形成矩阵的多个像素组成。图像传感器13是固态摄像装置(例如，CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)图像传感器)。在图像传感器13的光入射侧(面向透镜阵列12A的一侧)上，设置用于每个像素的彩色滤光层132和片上透镜133。彩色滤光层132和片上透镜133将在后面描述。

图像处理部分14是用于对由图像传感器13获取的摄像数据D0执行预先确定的图像处理、并输出作为图像处理的结果的图像数据Dout的部分，图像数据Dout通常用作视点图像。图2是示出图像处理部分14的详细构造的功能框图。如图所示，图像处理部分14通常具有视点图像产生单元140和图像校正处理单元142。由图像处理部分14执行的图像处理的具体操作将在后面描述。

图像传感器驱动部分15是用于驱动图像传感器13以控制图像传感器13的曝光和读取操作的部分。

控制部分16是用于控制由图像处理部分14和图像传感器驱动部分15所执行的操作的部分。通常，控制部分16构造成包括微型计算机等。

(透镜阵列12A的典型详细构造)

图3A是示出透镜阵列12A和图像传感器13的立体图。另一方面，图3B是示出透镜阵列12A中包括的微透镜12A1和分配到微透镜12A1的像素之间的关系的立体图。在本实施例中，透镜阵列12A中包括的每个微透镜12A1具有在透镜阵列12A的光入射侧上的第一透镜部分S1和在透镜阵列12A的光出射侧上的第二透镜部分S2。也就是说，第一透镜部分S1和第二透镜部分S2形成微透镜12A1。第一透镜部分S1和第二透镜部分S2彼此正对。也就是说，连接第一透镜部分S1和第二透镜部分S2的线与微透镜12A1的光轴平行。透镜阵列12A的光入射侧是面向摄像透镜11的一侧，而透镜阵列12A的光出射侧是面向图像传感器13的一侧。如前所述，多个上述微透镜12A1布置在X和Y方向上以组成透镜阵列12A。应当注意，为简单起见，图3A只示出9(＝3×3)个微透镜12A1，这9个微透镜12A1布置在X和Y方向上以形成透镜阵列12A，而图3B只示出图像传感器13中包括的9(＝3×3)个像素P，作为分配到一个微透镜12A1的块区域U。因此，图像传感器13具有由分配到上述透镜阵列12A的9×9个像素P组成的九个块区域U。

第一透镜部分S1通常设置在摄像透镜11的焦平面上。因此，第一透镜部分S1将来自摄像透镜11的入射光线引导至朝向图像传感器13的方向，同时将入射光线彼此分开以在多个视点方向上传播。第二透镜部分S2具有使穿过第一透镜部分S1的主光线折射成沿着向每个微透镜12A1(第一透镜部分S1)的光轴接近的方向传播的功能。

具体地，在微透镜12A1中，以第二透镜部分S2的焦平面放置在第一透镜部分S1的主表面(或主平面)上、而第一透镜部分S1的焦平面放置在第二透镜部分S2的主表面上的方式，设置第一透镜部分S1和第二透镜部分S2。如果在如上所述正对的第一透镜部分S1和第二透镜部分S2中第二透镜部分S2的焦平面放置在第一透镜部分S1的主表面上、而第一透镜部分S1的焦平面放置在第二透镜部分S2的主表面上，则微透镜12A1的形状和用于制造微透镜12A1的材料不需要特别规定。在这种情况下，说出微透镜12A1的形状不特别规定的陈述暗示对象侧的透镜表面可以是凸的或凹的、图像侧的透镜表面可以是凸的或凹的、并且透镜表面的曲率可以具有任意值。但是应当注意，对第一透镜部分S1具有暴露于摄像透镜11的凸表面的透镜形状而第二透镜部分S2具有暴露于图像传感器13的凸表面的透镜形状的情况进行描述。

本实施例具有一体化结构，这暗示通过将第一透镜部分S1和第二透镜部分S2彼此一体化来提供第一透镜部分S1和第二透镜部分S2。图4A至4C是涉及对第一透镜部分S1和第二透镜部分S2的典型一体化结构的下列描述的说明图。如图4A和4B所示，第一透镜部分S1和第二透镜部分S2可以构造成具有在衬底120的两侧上包括透镜层121的结构，透镜层121通常由树脂材料(例如光阻剂)制成，衬底120通常由玻璃或塑料制成。在这种情况下，第一透镜部分S1和第二透镜部分S2中的每一个可以具有如图4A所示的平-凸形状或如图4B所示的凹-凸形状。可替换地，第一透镜部分S1和第二透镜部分S2中的每一个可以具有图中未示出的凸-凸形状或凹-凹形状。通过考虑用于制造透镜层121的树脂材料的折射率，可以适当地设置第一透镜部分S1和第二透镜部分S2的透镜形状。此外，第一透镜部分S1和第二透镜部分S2可以具有单层结构或包括由不同材料制成的堆叠层的多层结构。在此之外，只要在如上所述正对的第一透镜部分S1和第二透镜部分S2中，第二透镜部分S2的焦平面放置在第一透镜部分S1的主表面上而第一透镜部分S1的焦平面放置在第二透镜部分S2的主表面上，则第一透镜部分S1和第二透镜部分S2不需要具有相同的透镜形状并且不需要由相同的透镜材料制成，即，第一透镜部分S1和第二透镜部分S2可以具有彼此不同的透镜形状并且可以由彼此不同的透镜材料制成。

作为另一替换形式，如图4C所示，通过对用作基部材料的衬底120的两侧执行蚀刻处理、并随后马上进行图案化处理，可以形成透镜形状。

在具有如上所述的第一透镜部分S1和第二透镜部分S2的透镜阵列12A的光出射侧上，通过将图像传感器13与透镜阵列12A分开预先确定的间隙来设置图像传感器13。也就是说，图像传感器13被设置在使得图像传感器13能够接收穿过透镜阵列12A的光线的位置。图像传感器13上的每个块区域U被分配到组成透镜阵列12A的其中一个微透镜12A1。如上所述，块区域U包括设置在图像传感器13上的m×n个像素P。微透镜12A1的XY平面形状与块区域U的矩形形状相同。符号m和n表示等于或大于1的整数。但是，m＝n＝1的情况不适用。对于m＝n，例如，微透镜12A1的XY平面形状与块区域U的方形形状相同，并且微透镜12A1设置在暴露于块区域U的位置上。如果m×n的值增大，则分配到微透镜12A1的像素P的数量也增大。因此，获得的视点图像的数量也增大。也就是说，可分开的视点的数量也增大。另一方面，如果m×n的值减小，则分配到微透镜12A1的像素P的数量也减小。在这种情况下，每个视点图像中的像素P的数量增大。应当注意，每个视点图像中的像素P的数量表示分辨率。以m＝n＝3的情况作为示例来进行描述。在这种情况下，具有3×3个像素P的每个块区域U被分配到其中一个微透镜12A1。

(图像传感器13和片上透镜133的典型构造)

图5是示出图像传感器13和设置在图像传感器13中的片上透镜133的截面构造的示图。如图所示，通过在传感器部分130上生成布线层131、然后在布线层131上生成彩色滤光层132，将图像传感器13制成堆叠。传感器部分130包括用于每个片上透镜133的光电转换器(例如，PIN光电二极管)。对于每个像素P，用作光会聚透镜的片上透镜133设置在图像传感器13的彩色滤光层132上。图像传感器13是所谓的前表面照射CMOS图像传感器，其中布线层131设置在传感器部分130的光接收表面上。

彩色滤光层132包括用于不同颜色(例如，R(红色)、G(绿色)和B(蓝色))的滤光器。例如，布置用于不同颜色的滤光器，以形成通常具有1∶2∶1的比率的拜耳(Bayer)阵列。

图6是示出微透镜12A1、片上透镜133和图像传感器13的XZ截面构造的示图。具体地，该示图示出沿着微透镜12A1的光轴Z2的XZ截面。该XZ截面是穿过中心像素P0和周边像素P1的XZ截面。中心像素P0是设置在块区域U的中心的像素P，而周边像素P1是与中心像素P0相邻、并且在X方向上与中心像素P0分开的像素P。在本实施例的上述构造中，如上所述具有第一透镜部分S1和第二透镜部分S2的微透镜12A1的第二透镜部分S2设置成正对图像传感器13中的块区域U，并且与块区域U分开了预先确定的间隙。因此，如之后详述的，入射到微透镜12A1的光线被第一透镜部分S1和第二透镜部分S2折射，并被引导至图像传感器13中包括的传感器部分130。

[功能和效果]

(1.获取摄像数据)

在摄像装置1中，透镜阵列12A设置在摄像透镜11和图像传感器13之间的位置上。更具体地，透镜阵列12A设置在摄像透镜11的焦平面上。因此，在图像传感器13中，由摄像对象2发射的光线被记录为光线矢量，该光线矢量除了有关光线的强度的信息之外还包括有关光线的传播方向(或视点方向)的信息。也就是说，穿过透镜阵列12A的入射光线被彼此分开以在多个视点方向上传播，在视点方向上传播的光线被图像传感器13上的不同像素P接收。例如，如图7所示，穿过摄像透镜11并传播到透镜阵列12A的一些光线包括光线(或光通量)LA、光线LB和光线LC。光线LA是来自某一视点方向上的第一视点并被像素A接收的光线。光线LB是来自与该某一视点方向不同的另一视点方向上的第二视点并被像素B接收的光线。光线LC是来自与该某一视点方向和该另一视点方向不同的再一视点方向上的第三视点并被像素C接收的光线。以此方式，在彼此不同的多个视点方向上来自微透镜12A1的光线被分配到微透镜12A1的块区域U的不同像素接收。根据由图像传感器驱动部分15执行的驱动操作，图像传感器13通常一行接一行连续地执行读取操作，以获取摄像数据D0。

图8是示出在对摄像数据D0的像素数据阵列的下列描述中涉及的模型的说明图。如在对本实施例的描述中之前说明的，包括3×3个像素P的每个块区域U被分配到一个微透镜12A1。在这种情况下，对于图像传感器13中的每个块区域U，在操作中接收来自九个视点方向的光线，以接收像素数据A至像素数据I。应当注意，图8所示的摄像数据D0概念性示出从在图像传感器13中形成9×9个像素P的区域的九个块区域U获得的摄像数据D0。该摄像数据D0记为具有与设置在图像传感器13中的彩色滤光层132中的彩色阵列相对应的颜色的数据。如上所述获得的摄像数据D0输出至图像处理部分14。

(2.产生视点图像)

图2中所示的图像处理部分14中采用的视点图像产生单元140根据从图像传感器13接收的摄像数据D0来执行预定图像处理，以输出作为图像处理的结果的表示视点图像的图像数据Dout。

具体地，首先，视点图像产生单元140根据摄像数据D0执行处理以产生多个视点图像。也就是说，对于如图8中所示的摄像数据D0，视点图像产生单元140合成相同视点方向的像素数据的项(piece)。相同视点方向的像素数据的项是从存在于块区域U中的相同位置的像素提取出的像素数据的项。例如，将像素数据A的所有项从图8所示的摄像数据D0提取出并合成，以产生图9A所示的合成的数据，作为视点图像的数据。还对其他项的像素数据B至I以同样的方式执行该合成处理，以产生分别在图9B至9I中所示的合成数据的项，作为它们各自的视点图像的数据。以此方式，视点图像产生单元140根据摄像数据D0产生多个视点图像。在图9A至9I所示的典型示例中，视点图像是分别用于第一至第九视点的总共九个视点图像。这些视点图像输出至图像校正处理单元142，作为视点图像数据D1。

如上所述，由于上述合成处理而获得的视点图像被输出至图像校正处理单元142，作为视点图像数据D1。图像校正处理单元142对视点图像数据D1执行各种类型的图像处理，并输出由于图像处理而产生的视点图像数据，作为图像数据Dout。图像处理通常包括颜色插值处理、白平衡调节处理和伽马校正处理。颜色插值处理的典型示例是去马赛克(demosaic)处理。图像数据Dout还可以输出至外部提供给摄像装置1的接收器、或存储在摄像装置1内部提供但是图中未示出的记录部分中。

但是，应当注意，图像数据Dout可以是用于视点图像的数据或产生视点图像之前存在的摄像数据D0。如果将产生视点图像之前存在的摄像数据D0作为图像数据Dout，则因为不需要如上述一样的执行处理以产生视点图像(即，不需要执行处理以从摄像数据D0提取出视点图像、将提取的视点图像合成、然后重新布置合成的图像)，所以从图像传感器13读出的数据阵列作为摄像数据D0被输出至设置在摄像装置1外部的接收器或存储在记录部分中。

图10A至10I分别示出视点图像R1至R9，视点图像R1至R9是分别与图9A至9I所示的数据阵列相对应的视点图像的具体典型示例。摄像对象2的图像包括“人”、“山”和“花”三个摄像对象的图像Ra、Rb和Rc。“人”、“山”和“花”被定位在沿着屏幕深度方向彼此分开的位置上。视点图像R1至R9各自是通过将摄像透镜11的焦点调节到作为三个摄像对象之一的“人”的位置而拍摄的图像。也就是说，在视点图R1至R9的每一个中，“山”的图像Rb和“花”的图像Rc各自是离焦图像，“山”位于比“人”的位置更远离观察者的位置上，“花”位于比“人”的位置更接近观察者的位置上。在摄像装置1中，在不同视点拍摄的视点图像R1至R9中，“人”的聚焦图像Ra没有偏移。但是，离焦图像Rb和Rc在视点图像R1至R9中偏移。应当注意，图10A至10I通过过度夸大偏移而分别示出在视点图像R1至R9中实现的位置偏移，作为图像Rb和Rc的位置偏移。

如上述一样的九个视点图像R1至R9可以用于各种应用，作为视点之间具有视差的多视点图像。例如，分别对于右视点方向和左视点方向的两个视点图像可以用于显示三维图像。在这种情况下，由两个视点图像之间视差的量来确定显示的三维图像的立体效果。如果例如将图10D所示的视点图像R4和图10F所示的视点图像R6用作两个视点图像，则可以如下说明显示的三维图像的立体效果。“山”出现在比“人”的位置更远离观察者的位置上。在这种情况下，如图11A和11B所示，由视差量Wb来确定观察者看到的“山”的位置的远离程度，视差量Wb是图11A所示的视点R4中的图形Rb4和图11B所示的视点R6中的图形Rb6之间的位置偏移。另一方面，“花”出现在比“人”的位置更接近观察者的位置上。在这种情况下，由视差量Wc来确定观察者看到的“花”的位置的接近程度，视差量Wc是图11A所示的视点R4中的图形Rc4和图11B所示的视点R6中的图形Rc6之间的位置偏移。此外，视差量Wb越大，则观察者看到的“山”的位置越远。同样地，视差量Wc越大，则观察者看到的“花”的位置约接近。

(透镜阵列12A的功能)

如上所述，穿过摄像透镜11的光线在被透镜阵列12A彼此分开以在多个视点方向上传播的同时，被透镜阵列12A引导至图像传感器13。因此，在视点方向上传播的光线可以由图像传感器13上的像素P接收。下面的描述通过将透镜阵列12A实现的功能与图12所示的典型对比构造的功能进行对比，来说明通过与前述一样的具有第一透镜部分S1和第二透镜部分S2的透镜阵列12A实现的功能。

(典型对比构造)

图12是对于微透镜102具有焦距f的情况、在与本实施例进行对比的典型对比构造中入射到图像传感器103的光线的下列描述中涉及的说明图。片上透镜1033设置在与微透镜102分离开等于微透镜102的焦距f的距离的位置上。穿过微透镜102的光线被片上透镜1033会聚，然后被引导至图像传感器103中采用的传感器部分1030。

在上述典型对比构造中，穿过微透镜102的主光线包括主光线L100，主光线L100入射到存在于图像传感器103的块区域U的中心的中心像素P0。主光线L100沿着微透镜102的光轴传播，并沿着与传感器部分1030的光接收表面垂直的方向入射到该光接收表面。因此，穿过微透镜102的主光线L100几乎没有损失地被中心像素P0接收。

但是，在穿过微透镜102之后传播到块区域U的周边像素P1的入射主光线L101，沿着相对于包括周边像素P1的块区域U倾斜的方向到达周边像素P1。因此，在主光线L101到达传感器部分1030之前，主光线L101通常被图中由符号X表示的布线层1031等吸收。结果，与由中心像素P0接收的主光线L100相比，主光线L101的量很小。此外，因为主光线L101还被设置在布线层1031上的金属1031a吸收，所以金属1031a中的电子由于所谓的光电转换效应而受激发，并成为摄像数据中的噪声成分。上述由于接收光的量的不均匀性而根据像素的位置产生的不均匀性和由于所谓的光电效应产生的噪声成分，引起图像的质量下降。

(实施例)

在本发明的实施例中，另一方面，如图13所示，透镜阵列12A的每个微透镜12A1具有第一透镜部分S1和第二透镜部分S2，第一透镜部分S1和第二透镜部分S2根据预先确定的位置关系而设置在彼此相关的位置上。穿过摄像透镜11和第一透镜部分S1的主光线L包括传播到图像传感器13的块区域U的中心像素P0的主光线L0。因此，传播到中心像素P0的主光线L0沿着光轴Z2穿过微透镜12A1，然后沿着与光接收表面130b垂直或基本垂直的方向入射到传感器部分130的光接收表面130b。也就是说，传播到中心像素P0的主光线L0沿着与光接收表面130b垂直或基本垂直的方向入射到光电二极管130a。结果，在中心像素P0中，光电二极管130a能够容易地接收穿过微透镜12A1的主光线L0，而没有引起损失。

此外，主光线L还包括沿着朝向块区域U中的周边像素P1的方向传播的主光线L1。但是，在第二透镜部分S2中，主光线L1被折射以在向光轴Z2接近的方向上传播。应当注意，图中未示出，在块区域U的对角线方向上传播到中心像素P0附近的周边像素的主光线也以与主光线L1相同的方式在第二透镜部分S2中受到折射，以在向光轴Z2接近的方向上传播。因此，穿过摄像透镜11和第一透镜部分S1的主光线L能够容易地沿着与光接收表面130b基本垂直的方向到达像素P。也就是说，可以减少引起光学损失的情况的数量，从而可以避免产生接收光的量的不均匀性。除了别的原因之外，由于吸收在局部区域进入传感器部分130的光线而引起光学损失。此外，因为由传感器部分130吸收的光线的量减少，可以防止由于光电转换效应而产生噪声。

如上所述，根据实施例，在使用摄像透镜11、透镜阵列12A和图像传感器13来获得图像并同时将入射光线彼此分开以在多个视点方向上传播的摄像装置1中，透镜阵列12A具有第一透镜部分S1和第二透镜部分S2，第一透镜部分S1和第二透镜部分S2根据预先确定的位置关系而设置在彼此相关的位置上。因此，通过以这种方式提供具有第二透镜部分S2的透镜阵列12A，可以使得穿过摄像透镜11和第一透镜部分S1的主光线沿着与光接收表面130b基本垂直的方向入射到图像传感器13上的像素P的光接收表面130b。因此，可以减少在图像传感器13中引起的局部光学损失。结果，可以减少通过使用包括透镜阵列12A的光线***所拍摄的图像中的亮度不均匀性。

图14A和14B是分别示出在第一实施例和典型对比构造中光线的典型模拟形式。如上所述，本实施例采用包括微透镜12A1的透镜阵列12A。另一方面，典型对比构造采用微透镜102来代替透镜阵列12A。具体地，应当注意，图14A示出本实施例的模拟结果，而图14B示出图12中所示的典型对比构造的模拟结果。在图14B所示的对于典型对比构造的模拟结果中，在入射到光接收表面1030b的光线的分布中产生变化。另一方面，在图14A所示的对于本实施例的模拟结果中，由于第二透镜部分S2的折射效果，在入射到光接收表面130b的光线的分布中没有观察到变化。从这些模拟结果显而易见，在具有第二透镜部分S2的本实施例中可以减少光量的不均匀性。

然后，下列描述说明到目前所述的第一实施例的修改形式1和2。通过在根据第一实施例的摄像装置1中修改设置在摄像透镜11和图像传感器13之间的透镜阵列12A的构造来获得第一实施例的每个修改形式1和2。应当注意，在第一实施例的修改形式1和2中，与第一实施例中采用的相应部分相同的每个构造元件由与该相应部分相同的附图标记表示，并适当的省略对相同构造元件的说明。

<修改形式1>

图15是示出修改形式1中包括的透镜阵列12B和图像传感器13的示意构造的立体图的图示。以与第一实施例的透镜阵列12A相同的方式，修改形式1的透镜阵列12B在接近图15未示出的摄像透镜11的一侧上包括多个第一透镜部分S1、在接近图像传感器13的一侧上包括多个第二透镜部分S2。以第一透镜部分S1正对它们的相应第二透镜部分S2的方式，设置第一透镜部分S1和第二透镜部分S2。应当注意，同样对于图15所示的构造，为简单起见，图15只示出在X和Y方向上只布置3×3个第一透镜部分S1以形成矩阵的区域。同样地，也在X和Y方向上只布置3×3个第二透镜部分S2以形成矩阵。因为图像传感器13上的每九个像素被分配到透镜阵列12B中的一个第二透镜部分S2，所以对于总共3×3个第二透镜部分S2，图像传感器13只具有9×9个像素。

但是，对于修改形式1，空气层17存在于透镜阵列12B的第一透镜部分S1和第二透镜部分S2之间。也就是说，通过将第一透镜部分S1和第二透镜部分S2彼此分离开预先确定的光学距离，而将第一透镜部分S1和第二透镜部分S2设置成分开的主体。该光学距离是与第一实施例中的透镜间距离相同的距离。与上述第一实施例非常相似，第一透镜部分S1和第二透镜部分S2的形状以及用于制造第一透镜部分S1和第二透镜部分S2的材料不需要具体规定。例如，尽管如此，这里假设透镜形状为平-凸透镜形状。

同样在上述构造中，第一透镜部分S1通常设置在摄像透镜11的焦平面上，以将来自摄像透镜11的入射光线引导至在朝向图像传感器13的方向上传播并同时将入射光线分开在多个视点方向上传播。第二透镜部分S2具有将穿过第一透镜部分S1的主光线折射到在向第一透镜部分S1的光轴接近的方向上传播的功能。具体地，在透镜阵列12B中，以第二透镜部分S2的焦平面放置在第一透镜部分S1的主表面上、而第一透镜部分S1的焦平面放置在第二透镜部分S2的主表面上的方式，来设置第一透镜部分S1和第二透镜部分S2。

以与前述第一实施例相同的方式，在这样的透镜阵列12B的光出射侧上，设置图像传感器13。图像传感器13中的每个块区域U分配到组成透镜阵列12B的其中一个微透镜。图像传感器13中的每个块区域U具有m×n个像素，而组成透镜阵列12B的每个微透镜具有彼此正对的第一透镜部分S1和第二透镜部分S2。

在修改形式1中，如上所述，透镜阵列12B中包括的第一透镜部分S1和第二透镜部分S2可以设置成彼此分开。尽管如此，即使采用这样的构造，也可以提供与第一实施例等价的效果。

<修改形式2>

图16是示出表示透镜阵列12A和图像传感器13的示意构造的模型的立体图的图示，通过将透镜阵列12A和图像传感器13彼此一体化而在修改形式2中包括透镜阵列12A和图像传感器13。应当注意，图16中未示出图像传感器13的片上透镜。在修改形式2中，通过将透镜阵列12A与图像传感器13一体化来提供具有第一透镜部分S1和第二透镜部分S2的透镜阵列12A。也就是说，修改形式2具有将透镜阵列12A的第二透镜部分S2和图像传感器13构造为形成堆叠的结构，该堆叠包括图中未示出的片上透镜和树脂层18。片上透镜和树脂层18设置在第二透镜部分S2和图像传感器13之间。上述一体化结构可以构造成至少包括生成在图像传感器13上的片上透镜、树脂层18、第二透镜部分S2和第一透镜部分S1的堆叠。例如，在图像传感器13上，按照顺序连续地生成片上透镜、树脂层18和第二透镜部分S2。然后，再在第二透镜部分S2上生成的另一树脂层上构造第一透镜部分S1，以构造一体化结构。可替换地，通过采用前述技术来生成透镜阵列12A。然后，使得透镜阵列12A通过树脂层18与图像传感器13的上表面接触，在该上表面上已经生成片上透镜。在任一情况下，可以通过考虑用于制造堆叠的每一层的材料的折射率，适当地设计第一透镜部分S1和第二透镜部分S2的透镜形状。

在上述修改形式2中，可以通过将透镜阵列12A与包括片上透镜的图像传感器13一体化来提供透镜阵列12A。即使采用上述构造，也可以提供与第一实施例等价的效果。此外，通过将从透镜阵列12A至图像传感器13的构件一体化来生成一体化结构，可以将这些构件设置在摄像装置1中，而不需要彼此调节构件的位置。另外，可以防止随着时间流逝而产生构件的位置的偏移。结果，可以向摄像装置1提供优异的位置调节精度。

<第二实施例>

然后，如下说明本发明的第二实施例。应当注意，第二实施例中采用的作为与第一实施例中包括的相应部分相同的元件的每个构造元件由与该相应部分相同的附图标记表示，并在下列描述中不再对相同构造元件进行说明。

[构造]

图17是示出第二实施例中包括的透镜阵列12C和图像传感器13的示意构造的立体图的图示。根据第二实施例的透镜阵列12C在摄像透镜11的焦平面上具有多个微透镜12C1，每个微透镜12C1对应于第一实施例中采用的第一透镜部分S1。但是，透镜阵列12C不包括第二透镜部分S2。为简单起见，图17还示出在X和Y方向上只布置3×3个第一透镜部分S1以形成矩阵的透镜阵列12C。因为图像传感器13上的九个像素P被分配到透镜阵列12C中的一个第一透镜部分S1，所以对于总共3×3个第一透镜部分S1，图像传感器13只具有9×9个像素P。在本实施例中，为简单起见，没有示出图像传感器13上的所有9×9个片上透镜133，下面只描述片上透镜133A至133C，作为对于像素P设置在图像传感器13的光接收表面上每个片上透镜。除了光会聚功能之外，片上透镜133A至133C还具有与第一实施例中采用的第二透镜部分S2相同的功能。下面描述片上透镜133A至133C的构造。

(第二实施例的片上透镜133A至133C)

图18是示出表示设置在图像传感器13上的片上透镜133A和133B的截面构造的模型的示图。但是，图18没有示出片上透镜133C。同样对于第二实施例，以与第一实施例相同的方式对于像素P设置每个片上透镜133A至133C。与第一实施例非常相似，每个片上透镜133A至133C用作光会聚透镜。但是，对于第二实施例，分别对于像素P0、P1和图18中未示出的P2设置的片上透镜133A至133C的光轴分别在彼此不同的位置处与像素P0、P1和P2相交。片上透镜133的光轴也称作所谓的片上透镜133的芯。片上透镜133A至133C的光轴也分别称作片上透镜133A至133C的芯A0至A2。

设置在存在于块区域U的中心的中心像素P0上的片上透镜133A的透镜形状使得片上透镜133A的光轴A0与片上透镜133A的透镜孔径形状(XY平面形状)的中心一致。另一方面，周边像素P1是与中心像素P0相邻的像素，周边像素P1与中心像素P0在X或Y方向上分离开。对在周边像素P1上的片上透镜133B的透镜形状进行设置，使得片上透镜133B的光轴A1从片上透镜133B的透镜孔径形状的中心沿着朝向中心像素P0的向内方向偏移。此外，周边像素P2是与中心像素P0相邻的像素，周边像素P2与中心像素P0在块区域U的对角线方向上分离开。设置在周边像素P2上的片上透镜133C的透镜形状，使得片上透镜133C的光轴A2从片上透镜133C的透镜孔径形状的中心沿着向内方向进一步偏移。也就是说，设置在周边像素P上的片上透镜133的透镜形状，使得周边像素P与设置在块区域U的XY平面的中心处的中心像素P0之间的距离越长，则片上透镜133的光轴从片上透镜133的透镜孔径形状的中心沿着向内方向偏移的距离越长。

应当注意，每个片上透镜133A至133C具有用其母体透镜部分切出的形状。但是，实际上，待切出的区域根据与片上透镜133相关联的像素P的位置而偏移一距离。也就是说，如图19所示，片上透镜133A具有通过只切出母体透镜110的中心部分而获得的形状。另一方面，如图19B所示，片上透镜133B具有通过切出从母体透镜110的中心偏移的部分而获得的形状。片上透镜133C也具有以与片上透镜133B相同的方式获得的形状。

[功能和效果]

同样对于第二实施例，在与图1所示类似的构造中，以与第一实施例相同的方式，将透镜阵列12C设置在摄像透镜11和图像传感器13之间。因此，透镜阵列12C将穿过摄像透镜11的入射光线分开在朝向图像传感器13上的不同像素P的多个视点方向上传播。结果，图像传感器13上的不同像素P接收在视点方向上传播的光线，获得摄像数据D0。然后，通过对这样的摄像数据D0执行与前述类似的图像处理，可以获得多个视点图像。

但是，在第二实施例中，如图20所示，穿过摄像透镜11和微透镜12C1的主光线包括传播到图像传感器13的块区域U中的中心像素P0的主光线L0。传播到中心像素P0的主光线L0沿着光轴Z2穿过片上透镜133A，然后沿着与光接收表面130b垂直或基本垂直的方向到达传感器部分130的光接收表面130b。也就是说，传播到中心像素P0的主光线L0沿着与光接收表面130b垂直或基本垂直的方向到达光电二极管130a。因此，在中心像素P0中，光电二极管130a能够容易地接收穿过微透镜12C1的主光线L0，而不引起损失。

此外，主光线L还包括沿着朝向块区域U中的周边像素P1的方向传播的主光线L1。但是，在设置在周边像素P1上的片上透镜133B中，主光线L1被折射到在向光轴Z2接近的方向上传播。应当注意，在包括图20的附图中没有示出，传播到周边像素P2的主光线也在设置在周边像素P2上的片上透镜133C中受到折射，以在向光轴Z2接近的方向上传播。因此，穿过摄像透镜11和微透镜12C1的主光线L能够容易地沿着与光接收表面130b基本垂直的方向到达像素P。也就是说，可以避免产生接收光的量的不均匀性。此外，因为由传感器部分130吸收的光线的量减少，所以可以防止由于光电转换效应而产生噪声。

如上所述，根据第二实施例，在使用摄像透镜11、透镜阵列12C和图像传感器13来获得图像并同时将光线彼此分开以在多个视点方向上传播的摄像装置1中，图像传感器13在面向透镜阵列12C的一侧上包括片上透镜133A至133C。每个片上透镜133A至133C具有通过将其光轴根据其上生成片上透镜133的像素P的位置偏移一距离而形成的形状。因此，可以将穿过摄像透镜11和透镜阵列12C的主光线沿着与图像传感器13中设置的像素P的光接收表面基本垂直的方向而引导至图像传感器13。结果，可以获得与第一实施例提供的效果等价的效果。

然后，下列描述说明修改形式3，修改形式3作为目前所述的第二实施例的修改版本。通过在根据第二实施例的摄像装置1中修改设置在图像传感器13上的片上透镜的构造，获得第二实施例的修改形式3。应当注意，在第二实施例的修改形式3中，与第一和第二实施例中采用的相应部分相同的每个构造元件由与该相应部分相同的附图标记表示，并适当的省略对相同构造元件的说明。

<修改形式3>

对于上述第二实施例，包括3×3个像素的每个块区域U被分配到微透镜12C1。另一方面，对于修改形式3，块区域U中包括的像素的数量可以大于第二实施例的数量。即使块区域U中包括的像素的数量大于第二实施例，以与第二实施例相同的方式，片上透镜的光轴根据块区域U中设置的像素(作为与片上透镜相关联的像素)的位置而进一步偏移一距离。

图21是示出修改形式3的典型构造的示图，其中在分配到透镜阵列12C中包括的微透镜12C1的块区域U中包括的5×5个像素上生成的片上透镜当中，选择典型的片上透镜133A、133B和133D。如图所示，即使分配到微透镜12C1的块区域U中包括的像素的数量大于第二实施例的数量，也可以产生片上透镜133A、133B和133D的光轴A0、A1和A3被分别布置以形成同心圆形状的构造。

<修改形式4>

在前述第一和第二实施例中，图像传感器13是前表面照射型的传感器。但是，图像传感器13还可以是所谓的后表面照射型的传感器。图22是示出表示后表面照射图像传感器13的典型构造的模型的示图。在具有与图示类似的后表面照射型的图像传感器13中，布线层131设置在与包括光电二极管130a的传感器部分130的光入射侧相反的一侧上。因此，穿过片上透镜133的光线可以不经过布线层131而被传感器部分130所接收。结果，与具有前表面照射型的图像传感器13相比，光接收灵敏度高，从而可以实现具有约双倍亮度的摄像装置1。

至此说明了实施例和修改形式。但是，本发明的实施方式不限于这些实施例和修改形式。也就是说，可以对实施例和修改形式进行各种改变。例如在上述实施例中，通常包括m×n(＝3×3)个像素的块区域被分配到微透镜。但是，分配到微透镜的块区域不要求包括3×3个像素。例如，可以将m和n设置成2或不小于4的整数。还可以将m和n设置成彼此不同的整数。

此外，上述实施例实现了本发明提供的摄像装置，以用作包括用于产生视点图像的图像处理部分的典型装置。但是，本发明提供的摄像装置不要求包括这样的处理部分。

本申请包含与2011年3月9日递交于日本特许厅的日本在先专利申请JP 2011-052002中公开的内容相关的主题，该专利申请的全部内容通过引用结合于此。

Claims

1.一种摄像装置，其包括：

摄像透镜；

光学***，其具有设置在所述摄像透镜的成像表面上的透镜阵列；和

摄像设备，其用于接收穿过所述摄像透镜和所述光学***的透射光线，以获得所拍摄图像的数据，其中

所述光学***构造成将穿过组成所述透镜阵列的透镜的主光线折射成在向所述透镜的光轴接近的方向上传播。

2.根据权利要求1所述的摄像装置，其中，

所述透镜阵列包括：

多个第一透镜部分，其设置在所述摄像透镜的所述成像表面上；和

多个第二透镜部分，其分别设置成正对各第一透镜部分并将穿过所述第一透镜部分的主光线折射成在向所述光轴接近的方向上传播。

3.根据权利要求2所述的摄像装置，其中，以所述第二透镜部分的主表面放置在所述第一透镜部分的焦平面上，同时所述第一透镜部分的主表面放置在所述第二透镜部分的焦平面上的方式，设置所述第一透镜部分和所述第二透镜部分。

4.根据权利要求3所述的摄像装置，其中，通过将所述多个第一透镜部分和所述多个第二透镜部分彼此一体化而将所述第一透镜部分和所述第二透镜部分设置在所述透镜阵列中。

5.根据权利要求4所述的摄像装置，其中，通过将所述透镜阵列和所述摄像设备彼此一体化来设置所述透镜阵列和所述摄像设备。

6.根据权利要求1所述的摄像装置，其中：

所述摄像设备具有二维布置的多个像素；

所述光学***包括所述透镜阵列和多个第三透镜部分，所述多个第三透镜部分被分别提供给所述像素的每一个，所述第三透镜部分设置在所述摄像设备的面对所述透镜阵列的一侧上，所述第三透镜部分具有光会聚功能；并且

所述第三透镜部分将穿过组成所述透镜阵列的所述透镜的主光线折射成在向所述光轴接近的方向上传播。

7.根据权利要求6所述的摄像装置，其中：

组成所述透镜阵列的每一个所述透镜被设置成处于暴露于块区域的状态，所述块区域包括m×n个所述像素，其中m和n是等于或大于1的整数，但是m和n不能都等于1；并且

所述第三透镜部分的光轴定位在根据所述块区域中所述像素的位置而确定的彼此不同的位置上，对所述像素分别设置所述第三透镜部分。