具体实施方式
(1)为了解决上述课题,本发明的一个方式的固体摄像元件具备:感光单元阵列,多个单位模块被排列成2维状,每个单位模块各自包括第1感光单元、第2感光单元、第3感光单元、及第4感光单元;和分光要素阵列,与所述感光单元阵列对置地配置该分光要素阵列,该分光要素阵列包括多个分光要素。在假定所述分光要素阵列不存在的情况下,将各感光单元接收的光作为各感光单元的单元入射光时,所述分光要素阵列构成为:使在从所述第1感光单元的单元入射光中除去第1颜色成分的光之后的光上相加第2颜色成分的光而得到的光入射至所述第1感光单元,使在从所述第2感光单元的单元入射光中除去所述第2颜色成分的光之后的光上相加所述第1颜色成分的光而得到的光入射至所述第2感光单元,使在从所述第3感光单元的单元入射光中除去第3颜色成分的光之后的光上相加所述第1及第2颜色成分的光而得到的光入射至所述第3感光单元,使在从所述第4感光单元的单元入射光中除去所述第1及第2颜色成分的光之后的光上相加所述第3颜色成分的光而得到的光入射至所述第4感光单元。
(2)在某个实施方式中,所述分光要素阵列在各单位模块中包括与所述第1感光单元对置地配置的第1分光要素、与所述第2感光单元对置地配置的第2分光要素、与所述第3感光单元对置地配置的第3分光要素、以及与所述第4感光单元对置地配置的第4分光要素。所述第1分光要素使所述第1颜色成分的光的至少一部分入射至所述第2感光单元,使所述第1颜色成分以外的光入射至所述第1感光单元,所述第2分光要素使所述第2颜色成分的光的至少一部分入射至所述第1感光单元,使所述第2颜色成分以外的光入射至所述第2感光单元,所述第3分光要素使所述第3颜色成分的光的至少一部分入射至所述第4感光单元,使所述第3颜色成分以外的光入射至所述第3感光单元,所述第4分光要素使所述第1及第2颜色成分的光的至少一部分入射至所述第3感光单元,使所述第3颜色成分的光入射至所述第4感光单元。
(3)在项目(2)所述的固体摄像元件的某个方式中,所述第1分光要素使所述第1颜色成分的光的一半入射至所述第2感光单元,使所述第1颜色成分的光的剩余的一半入射至相邻的第1相邻单位模块中包含的1个感光单元,所述第2分光要素使所述第2颜色成分的光的一半入射至所述第1感光单元,使所述第2颜色成分的光的剩余的一半入射至相邻的第2相邻单位模块中包含的1个感光单元,所述第3分光要素使所述第3颜色成分的光的一半入射至所述第4感光单元,使所述第3颜色成分的光的剩余的一半入射至相邻的所述第1及第2相邻单位模块中的一方所包含的1个感光单元,所述第4分光要素使所述第1及第2颜色成分的光的一半入射至所述第3感光单元,使所述第1及第2颜色成分的光的剩余的一半入射至相邻的所述第1及第2相邻单位模块中的另一方所包含的1个感光单元。
(4)在项目(2)所述的固体摄像元件的某个方式中,所述第1分光要素使所述第1颜色成分的光的大致全部入射至所述第2感光单元,所述第2分光要素使所述第2颜色成分的光的大致全部入射至所述第1感光单元,所述第3分光要素使所述第3颜色成分的光的大致全部入射至所述第4感光单元,所述第4分光要素使所述第1及第2颜色成分的光的大致全部入射至所述第3感光单元。
(5)在项目(1)至(4)的任一项所述的固体摄像元件的某个方式中,所述第1颜色成分是红色及蓝色中的一个颜色成分,所述第2颜色成分是红色及蓝色中的另一个颜色成分,所述第3颜色成分是绿色的颜色成分。
(6)在项目(1)至(5)的任一项所述的固体摄像元件的某个方式中,所述第1分光要素、所述第2分光要素、所述第3分光要素及所述第4分光要素各自具有透光性部件,利用所述透光性部件的形状、以及所述透光性部件与折射率低于所述透光性部件的其他透光性部件之间的折射率之差来进行分光。
(7)在项目(1)至(5)的任一项所述的固体摄像元件的某个方式中,所述第1分光要素、所述第2分光要素、所述第3分光要素及所述第4分光要素各自包括分色镜,通过所述分色镜进行分光。
(8)本发明的一个方式的摄像装置具备:项目(1)至(7)任一项所述的固体摄像元件;光学***,其在所述固体摄像元件上形成像;和信号处理部,其对从所述固体摄像元件输出的信号进行处理,通过利用了从所述第1感光单元输出的第1光电变换信号、从所述第2感光单元输出的第2光电变换信号、从所述第3感光单元输出的第3光电变换信号、以及从所述第4感光单元输出的第4光电变换信号的运算,生成颜色信息。
(9)在项目(8)所述的摄像装置的某个方式中,所述信号处理部通过包含第1差信号与第2差信号之间的加减运算在内的运算来生成第1色差信号及第2色差信号,所述第1差信号表示所述第1光电变换信号与所述第2光电变换信号之间的差分,所述第2差信号表示所述第3光电变换信号与所述第4的光电变换信号之间的差分。
(10)在项目(8)或者(9)所述的摄像装置的某个方式中,所述信号处理部通过包含所述第1及第2光电变换信号的相加、所述第3及第4的光电变换信号的相加、以及所述第1至第4光电变换信号的相加中的任意一个在内的运算,来生成亮度信号。
(11)本发明的一个方式的信号处理方法是对从项目(1)至(7)的任一项所述的固体摄像元件输出的信号进行处理的方法,该方法包括:步骤A,获取从所述第1感光单元输出的第1光电变换信号、从所述第2感光单元输出的第2光电变换信号、从所述第3感光单元输出的第3光电变换信号、以及从所述第4感光单元输出的第4光电变换信号;和步骤B,利用所述第1至第4光电变换信号来生成颜色信息。
(12)在项目(11)所述的信号处理方法的某个方式中,所述步骤B包括:生成表示所述第1光电变换信号与所述第2光电变换信号之间的差分的第1差分信号的步骤;生成表示所述第3光电变换信号与所述第4光电变换信号之间的差分的第2差分信号的步骤;和通过包含所述第1差分信号与所述第2差分信号的加减运算在内的运算,来生成第1色差信号及第2色差信号的步骤。
(13)在项目(11)或者(12)所述的信号处理方法的某个方式中,所述步骤B还包括:通过包含所述第1及第2光电变换信号的相加、所述第3及第4光电变换信号的相加、以及所述第1至第4光电变换信号的相加中的任意一个在内的运算,来生成所述亮度信号的步骤;和利用所述亮度信号、所述第1色差信号、及所述第2色差信号,来生成所述单元入射光中所包含的红色、绿色及蓝色的颜色信号的步骤。
在说明本发明的具体实施方式之前,首先参照图1、2,说明本发明的实施方式的基本原理。再者,在以下的说明中,有时将在空间上对波段或者颜色成分不同的光进行分离称为“分光”。
本发明的实施方式的固体摄像元件具备:包括在摄像面上排列成二维状的多个感光单元(像素)的感光单元阵列、包括多个分光要素的分光要素阵列。图1是示意地表示在固体摄像元件10的摄像面上形成的感光单元阵列200及分光要素阵列100的一部分的立体图。分光要素阵列100与感光单元阵列200对置,且配置在光入射的一侧。再者,感光单元2的排列、形状、尺寸等并不限于该图的例子,也可以是公知的任意排列、形状、尺寸。此外,为了便于说明,由四角柱表示分光要素阵列100,但实际上并不是只具有这种形状,可以是各种结构。
若各感光单元2接收到光,则通过光电变换而输出与接收到的光的强度(入射光量)相应的电信号(以下,称为“光电变换信号”或者“像素信号”)。在本发明的实施方式中,各感光单元2接收通过分光要素阵列100行进方向已发生变化的多个波段(颜色成分)的光。其结果,各感光单元2所接收到的光具有与假设不存在分光要素时所接收的光不同的分光分布(每个波段的强度分布)。
以下,参照图2来说明摄像元件10的基本结构。
图2(a)是表示感光单元阵列200的基本像素结构(单位模块)40的一例的俯视图。感光单元阵列200具有多个单位模块40在摄像面上排列成二维状的结构,多个单位模块40中的每一个单位模块40包括4个感光单元2a、2b、2c、2d。在图示的例子中,在一个单位模块内,4个感光单元排列成2行2列。
图2(b)、(c)分别是示意地表示图1(a)中的AA′线剖面、BB′线剖面的图。图2(b)、(c)表示入射至摄像元件10的光在透过分光要素阵列100时,行进方向因颜色成分而变化,其结果各感光单元接收的光的分光分布彼此不同。在此,将假定不存在分光要素阵列100时各感光单元接收的光称为该感光单元的“单元入射光”。在一个单位模块中包含的感光单元2a~2d靠近的情况下,可以认为这些感光单元的单元入射光中包含的光的强度及分光分布大致相同。假定由记号“W”表示这些感光单元的单元入射光的可见光成分的强度。在本说明书中,将单元入射光中包含的可见光成分大致分类为第1颜色成分、第2颜色成分、第3颜色成分。若将第1~第3颜色成分的强度分别表示为C1、C2、C3时,W=C1+C2+C3。再有,将第1颜色成分及第2颜色成分的相加成分设为第4颜色成分(强度C4)。即,第4颜色成分是第3颜色成分的补色成分,其强度由C4=C1+C2表示。第1~第3颜色成分的组合是典型的红(R)、绿(G)、蓝(B)这3种原色的组合,但如果将可见光分为3个波段,则也可以是其他颜色成分的组合。
以下,说明本发明的实施方式中的分光要素阵列100的作用。分光要素阵列100向第1感光单元2a入射在从第1感光单元2a的单元入射光(强度W)除去第1颜色成分(强度C1)的光之后的光上相加第2颜色成分(强度C2)的光而得到的光。此外,向第2感光单元2b入射在从第2感光单元2b的单元入射光(强度W)中除去第2颜色成分的光(强度C2)之后的光上相加第1颜色成分的光(强度C1)而得到的光。再有,向第3感光单元2c入射在从第3感光单元2c的单元入射光(强度W)除去第3颜色成分(强度C3)的光之后的光上相加第4颜色成分、即第1及第2颜色成分的光(强度C4=C1+C2)而得到的光。此外,向第4感光单元2d入射在从第4感光单元2d的单元入射光(强度W)除去第4颜色成分(强度C4=C1+C2)的光之后的光上相加第3颜色成分(强度C3)的光而得到的光。
通过以上的构成,如图2(b)、(c)所示,感光单元2a~2d分别接收由W-C1+C2、W+C1-C2、W-C3+C4、W+C3-C4表示的强度的光。各感光单元输出与这些强度相应的光电变换信号(像素信号)。在此,将感光单元2a~2d输出的光电变换信号分别设为S2a~S2d,将与强度W对应的信号设为Ws,将与强度C1对应的信号设为C1s,将与强度C2对应的信号设为C2s,将与强度C3对应的信号设为C3s,还将与强度C4对应的信号设为C4s,设定C4s=C1s+C2s。于是,S2a~S2d能够由以下的式1~4表示。
(式1)S2a=Ws-C1s+C2s
(式2)S2b=Ws+C1s-C2s
(式3)S2c=Ws-C3s+C4s
(式4)S2d=Ws+C3s-C4s
将信号S2a、S2b的差分设为D1,将信号S2c、S2d的差分设为D2时,D1、D2分别由以下的式5、6表示。
(式5)D1=S2b-S2a=2C1s-2C2s
(式6)D2=S2c-S2d=2C4s-2C3s=2(C1s+C2s)-2C3s
进而,通过D1与D2的加减运算,分别得到以下的式7、8。
(式7)D1+D2=2(2C1s-C3s)
(式8)D2-D1=2(2C2s-C3s)
即,在将(2C1s-C3s)及(2C2s-C3s)设为色差成分时,得到与它们的2倍相当的色差信号。
另一方面,通过S2a与S2b的相加、S2c与S2d的相加、及S2a~S2d的相加的任意一个运算,如以下的式9~11所示,得到与单元入射光的强度W的2倍或4倍相当的信号。
(式9)S2a+S2b=2Ws
(式10)S2c+S2d=2Ws
(式11)S2a+S2b+S2c+S2d=4Ws
由于这些信号相当于全部入射光没有损失的情况下被光电变换时得到的信号,因此如果将它们的任意一个作为亮度信号,则在摄像灵敏度方面可获得理想的特性。
如果得到通过式9~11的任意一个运算求出的亮度信号、和通过式7、8求出的2个色差信号,则通过矩阵运算能够求出RGB信号。即,通过基于从感光单元2a~2d输出的4个光电变换信号S2a~S2d的信号运算,能够计算彩色信号。
根据本发明的实施方式中的摄像元件10,在不使用吸收一部分光的滤色器的情况下,利用分光要素且通过信号运算就能够获得彩色信息。因此,能够防止光的损失,可提高摄像灵敏度。再有,如式1~4的右边所示,在各像素信号的生成过程中,对C1s~C4s的任意信号不仅进行了加法运算而且还进行了减法运算,因此,在接收了光强度为W的光时,不会引起只有某个像素的信号值变得特别大或者变得特别小。可以说这在提高摄像元件相对于入射光的动态范围特性方面是有益的。
再者,在图1及图2(b)、(c)中,分光要素阵列100被描绘成覆盖多个感光单元的连续的要素,但分光要素阵列4也可以是在空间上分离的多个分光要素的集合体。作为这种分光要素,可使用例如后述的高折射率透明部件、分色镜、微棱镜等。本发明的实施方式中的分光要素阵列100如果可获得由上述式1~4表示的光电变换信号,则可以构成为任意方式,例如可以使用全息(hologram)元件等来进行分光。
以下,参照图3至图10,说明本发明的更为具体的实施方式。在以下的说明中,对于相同的要素赋予同一符号。
(实施方式1)
图3是表示本发明的第1实施方式的摄像装置的整体结构的框图。本实施方式的摄像装置是数字电子照相机,具备摄像部300、和基于从摄像部300送出的信号来生成表示图像的信号(图像信号)的信号处理部400。再者,摄像装置既可以仅生成静止图像,也可以具备生成运动图像的功能。
摄像部300具备用于对被摄体进行成像的光学镜头12、光学滤波器11、将通过光学镜头12及光学滤波器11后成像的光信息经由光电变换而变换为电信号的固体摄像元件10(图像传感器)。摄像部300还具备:信号产生/接收部13,其产生用于对摄像元件10进行驱动的基本信号,并且接收来自摄像元件10的输出信号,送出至信号处理部400;和元件驱动部14,其基于由信号产生/接收部13产生的基本信号,驱动摄像元件10。光学镜头12是公知的透镜,可以是具有多个透镜的透镜单元。光学滤波器11是在用于降低因像素排列产生的莫尔图案的水晶低通滤波器中结合了用于除去红外线的红外截止滤波器的部件。摄像元件10典型的是CMOS或者CCD,通过公知的半导体制造技术制造而成。信号产生/接收部13及元件驱动部14例如由CCD驱动器等LSI构成。
信号处理部400具备:对从摄像部300送出的信号进行处理后生成图像信号的图像信号生成部15、保存在图像信号的生成过程中所产生的各种数据的存储器30、和将生成的图像信号送出至外部的图像信号输出部16。图像信号生成部15可通过公知的数字信号处理处理器(DSP)等硬件、和执行包含图像信号生成处理在内的图像处理的软件的组合来适当地实现。存储器30由DRAM等构成。存储器30记录从摄像部300送出的信号,并且暂时记录由图像信号生成部15生成的图像数据、被压缩的图像数据。这些图像数据经由图像信号输出部16被送出至未图示的记录介质、显示部等。
再者,本实施方式的摄像装置具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素,但它们的说明对于本发明的理解不是特别需要,因此省略。此外,以上的结构仅仅是一例,本发明在除了摄像元件10及图像信号生成部15之外的构成要素中可适当组合使用公知的要素。
以下,说明本实施方式中的固体摄像元件10。
图4是示意地表示曝光过程中透过了镜头12的光入射至摄像元件10的情形的图。图4中,为了简单起见,省略了镜头12及摄像元件10以外的构成要素的记载。此外,镜头12一般可由在光轴方向上排列的多个透镜来构成,但为了简单起见,仅描绘成单一的透镜。在摄像元件10的摄像面10a上配置包括排列成2维状的多个感光单元(像素)在内的感光单元阵列。各感光单元典型的是光电二极管,通过光电变换而输出与入射光量相应的光电变换信号(像素信号)。向摄像面10a入射透过了镜头12及光学滤波器11的光(可见光)。一般,入射至摄像面10a的光的强度以及每个波段的入射光量的分布(分光分布)随着入射位置而不同。
图5(a)、(b)是表示本实施方式中的像素排列的例子的俯视图。感光单元阵列200例如如图5(a)所示那样具有在摄像面10a上排列成正方格子状的多个感光单元。感光单元阵列200由多个单位模块40构成,各单位模块40包括4个感光单元2a、2b、2c、2d。再者,感光单元的排列也可以不是这种正方格子状的排列,例如可以是图4(b)所示的斜向排列,还可以是其他的排列。如图5(a)、(b)所示,各单位模块中包含的4个感光单元2a~2d优选彼此接近,但即便是彼此分离,通过适当地构成后述的分光要素阵列也能够获得颜色信息。此外,各单位模块也可以包含5个以上的感光单元。
与感光单元阵列200对置地,在光入射侧配置包含多个分光要素在内的分光要素阵列。在本实施方式中,针对各单位模块中所包含的4个感光单元,分别各设置一个分光要素。
以下,说明本实施方式中的分光要素。
本实施方式中的分光要素是利用在折射率不同的2种透光性部件的边界产生的光的衍射使入射光随波段而朝向不同的方向的光学元件。该类型的分光要素具有:由折射率相对高的材料所形成的高折射率透明部件(芯部)、和由折射率相对低的材料形成且与芯部的各个侧面相接触的低折射率透明部件(包层部)。因芯部与包层部之间的折射率差,在透过两者的光之间产生相位差,因此引起衍射。由于该相位差随着光的波长而不同,因此能够根据波段(颜色成分)而在空间上使光分离。例如,能够使第1颜色成分的光的各一半朝向第1方向及第2方向,使第1颜色成分以外的光朝向第3方向。此外,也可以使各不相同的波段(颜色成分)的光朝向3个方向。由于能够通过芯部与包层部的折射率差来进行分光,因此在本说明书中,有时将高折射率透明部件称为“分光要素”。例如在专利第4264465号公报中公开了这种衍射型的分光要素的详细内容。
根据公知的半导体制造技术,通过执行薄膜的堆积及图案化,可制造出具有以上这种分光要素的分光要素阵列。通过适当地设计分光要素的材质(折射率)、形状、尺寸和排列图案等,能够使期望波段的光分离/合并入射至各个感光单元。其结果,能够从各感光单元所输出的光电变换信号的组中计算出与所需的颜色成分对应的信号。
以下,参照图6来说明本实施方式中的摄像元件10的基本结构及各分光要素的作用。
图6(a)是表示摄像元件10的基本结构的俯视图。在各单位模块中,针对4个感光单元2a、2b、2c、2d分别配置分光要素1a、1b、1c、1d。在摄像面10a上反复形成具有这种基本结构的多个图案。
图6(b)、(c)是分别表示图6(a)中的AA′线剖面及BB′线剖面的图。如图所示,摄像元件10具备:由硅等材料构成的半导体基板7、在半导体基板7的内部配置的感光单元2a~2d、在半导体基板7的表面侧(光入射侧)所形成的布线层5以及由低折射率透明部件构成的透明层6a、在透明层6a的内部配置的由高折射率透明部件构成的分光要素1a、1b、1c、1d。此外,隔着透明层6a而与各个感光单元对应地配置用于有效地向各感光单元聚光的显微透镜4a。再者,即便没有配置显微透镜4a,也能够获得本实施方式的效果。
图6(a)~(c)所示的结构可通过公知的半导体制造技术制造而成。图6(a)~(c)所示的摄像元件10具有光从布线层5侧入射至各感光单元的表面照射型结构。但是,本实施方式的摄像元件10并不限于这种结构,也可以具有从布线层5的相反侧接收光的背面照射型的结构。
如图6(b)所示,分光要素1a、1b具有在光透过的方向上较长的长方形形状的剖面,通过自身与透明层6a之间的折射率差来进行分光。分光要素1a使红(R)光及绿(G)光入射至对置的感光单元2a,使蓝(B)光的各一半入射至感光单元2b、以及相邻的单位模块中包含的感光单元(未图示)。另一方面,分光要素1b使绿(G)光及蓝(B)光入射至对置的感光单元2b,使红(R)光的各一半入射至入射感光单元2a、以及相邻的另一个单位模块中包含的感光单元(未图示)。在本实施方式中,按照分光要素1a、1b具有上述的分光特性的方式,来设计分光要素1a、1b的长度及厚度。
通过使用这种分光要素1a、1b,感光单元2a从分光要素1a接收R光及G光,从分光要素1b、以及相邻的单位模块中包含的分光要素各接收R光的一半。此外,感光单元2b从分光要素1b接收G光及B光,从分光要素1a、以及相邻的单位模块中包含的分光要素(未图示)中各接收B光的一半。
此外,如图6(c)所示,分光要素1c、1d也具有在光透过的方向上较长的长方形形状的剖面,通过自身与透明层6a之间的折射率差来进行分光。分光要素1c使品红色光(M)入射至对置的感光单元2c,使绿(G)光的各一半入射至感光单元2d、及相邻的单位模块中包含的感光单元(未图示)。在此,品红色光(M)是由红(R)光和蓝(B)光构成的光。另一方面,分光要素1d使绿(G)光入射至对置的感光单元2d,使品红色(M)光的各一半入射至感光单元2c、及相邻的其他单位模块中包含的感光单元(未图示)。在本实施方式中,按照分光要素1c、1d具有上述的分光特性的方式来设计分光要素1c、1d的长度及厚度。
由上述的分光要素1a~1d进行分光的结果,感光单元2a~2d分别输出由以下的式12~15表示的光电变换信号S2a~S2d。在此,分别由Rs、Gs、Bs表示相当于红光、绿光、蓝光的强度的信号。此外,将相当于品红色光的强度的信号Ms设为Rs+Bs,将相当于白光的强度的信号Ws设为Rs+Gs+Bs。
(式12)S2a=Ws-Bs+Rs=2Rs+Gs
(式13)S2b=Ws+Bs-Rs=Gs+2Bs
(式14)S2c=Ws-Gs+Ms=2Ms=2(Rs+Bs)
(式15)S2d=Ws+Gs-Ms=2Gs
式12~15分别相当于在式1~4中将C1s置换为Bs、将C2s置换为Rs、将C3s置换为Gs、将C4s置换为Ms之后的结果。即,在本实施方式中,第1颜色成分相当于B光,第2颜色成分相当于R光,第3颜色成分相当于G光,第4颜色成分相当于M光。
图像信号生成部15(图3)通过利用由式12~15表示的光电变换信号的运算来生成颜色信息。以下,参照图7来说明图像信号生成部15的颜色信息生成处理。图7是表示本实施方式中的颜色信息生成处理的步骤的流程图。
图像信号生成部15首先在步骤S10中获取光电变换信号S2a~S2d。接下来,在步骤S12中,通过(S2a-S2b)的运算来生成2(Rs-Bs),通过(S2d-S2c)的运算来生成2(Rs+Bs-Gs)。接着,在步骤S14中,通过所生成的2个信号2(Rs-Bs)及2(Rs+Bs-Gs)的加减运算,分别生成色差信号2(2Rs-Gs)及2(2Bs-Gs)。进而,在步骤S16中,通过相加像素信号S2a~S2d,从而生成表示单元入射光的强度的信号4(Rs+Gs+Bs)=4Ws,将其作为亮度信号。最后,在步骤S18中,根据2个色差信号和1个亮度信号,通过矩阵运算来获得RGB彩色信号。
例如,在专利文献6中公开了利用色差信号(2Rs-Gs)、(2Bs-Gs)的彩色化的具体方法。在本实施方式中,也可以利用专利文献6所公开的方法。如果存在2个色差信号和1个亮度信号、即3个信息,则能够通过矩阵运算来计算出RGB信号。
图像信号生成部15按感光单元阵列2的每个单位模块40来执行以上的信号运算,由此生成表示R、G、B的各颜色成分的图像的信号(称为“彩色图像信号”)。所生成的彩色图像信号通过图像信号输出部16被输出至未图示的记录介质或显示部。
这样,根据本实施方式的摄像装置,通过利用了光电变换信号S2a~S2d的加减运算处理,获得彩色图像信号。根据本实施方式中的摄像元件10,由于没有使用吸收光的光学元件,因此较之使用滤色器等的现有技术,能够大幅减少光的损失。此外,由于能够获得比专利文献6所公开的色差信号还高水平的色差信号,因此颜色再现性也变得更好。
如以上所述,在本实施方式的摄像元件10中,与感光单元阵列对置地配置以2行2列为基本结构的分光要素阵列。在第1行第1列配置将光分为蓝光和蓝光以外的光的分光要素1a。在第1行第2列配置将光分为红光和红光以外的光的分光要素1b。在第2行第1列配置将光分为绿光和绿光以外的光的分光要素1c。在第2行第2列配置将光分为品红色光和品红色光以外的光的分光要素1d。由于在摄像面上反复地形成这种分光要素的排列图案,因此即便使感光单元阵列200中的单位模块40的选择方式按1行或1列变化,所得到的4个光电变换信号通常也会成为由式12~15表示的4个信号的组合。即,通过使作为运算对象的像素块按1行及1列错开的同时进行上述的信号运算,能够大致按照像素数来获得RGB各颜色成分的信息。这意味着能够将摄像装置的分辨率提高至像素数的程度。因此,本实施方式的摄像装置与现有的摄像装置相比,除了灵敏度高以外,还能够生成高分辨率的彩色图像。
再者,图像信号生成部15不一定非要生成全部3个颜色成分的图像信号。可以构成为根据用途仅生成1色或者2色的图像信号。此外,还可以根据需要进行信号的放大、合成、补偿。
此外,理想的是各分光要素严格地具有上述的分光性能,但它们的分光性能也可以多少有些偏差。即,从各光感单元实际输出的光电变换信号也可以与式12~15所示的光电变换信号相比多少有些偏差。即便在各分光要素的分光性能相对于理想的性能有偏差的情况下,通过根据偏差的程度对信号进行补偿,也能够获得良好的颜色信息。
再有,本实施方式中的图像信号生成部15所进行的信号运算也可以由其他设备执行,而不是由摄像装置自身执行。例如,通过使接收了从摄像元件10输出的光电变换信号的输入的外部设备执行对本实施方式中的信号运算处理进行规定的程序,也能够生成颜色信息。
再者,摄像元件10的基本结构并不限于图6所示的构成。例如,即便以交换分光要素1a和分光要素1b之后的结构、或者交换分光要素1c和分光要素1d之后的结构进行配置,本实施方式的效果也没有变化。此外,也可以交换图6(a)所示的第1行的配置和第2行的配置,即便配置成分光要素1a、1b及分光要素1c、1d在列方向上排列而不是在行方向排列,其有效性也没有变化。
再有,如果分光要素阵列构成为对单位模块40中包含的4个感光单元2a、2b、2c、2d分别入射由(2R+G)、(G+2B)、2M(=2R+2B)、2G表示的光,则可以是任意构成。例如,也可以采用图8所示的结构。
图8是表示本实施方式的1个变形例的图。图8(a)是表示本变形例中的摄像元件10的基本结构的俯视图。图8(b)是图8(a)中的A-A′线剖面图,图8(c)是图8(a)中的B-B′线剖面图。图8(b)、(c)中还示出了与所关注的单位模块相邻的2个单位模块中包含的感光单元、以及与其对置的分光要素。图8(b)、(c)中由虚线包围的部分表示摄像元件10的1个单位要素。
在本变形例中,代替图6所示的分光要素1a、1b、1d,分别配置了分光要素1a′、1b′、1d′。分光要素1a′、1b′、1d′在射出光的一侧的前端具有阶梯差,通过自身与透明层6a之间的折射率差,将入射光分为0次、1次、-1次等衍射光。由于这些衍射角因波长而不同,因此能够将光根据颜色成分划分为3个方向。
如图8(b)所示,由虚线包围的单位要素中包含的分光要素1a′、1b′构成为都使入射光分离为R、G、B这3个颜色成分的光。分光要素1a′、1b′的朝向一致,都使G光入射至对置的感光单元,使R光入射至图8中在左侧相邻的感光单元,使B光入射至图8中在右侧相邻的感光单元。另一方面,相邻的单位要素中包含的2个分光要素的朝向与上述的朝向相反,使G光入射至对置的感光单元,使R光入射至图8中在右侧相邻的感光单元,使B光入射至图8中在左侧相邻的感光单元。其结果,向感光单元2a、2b分别入射由(2R+G)、(G+2B)表示的光。在本变形例中,某个单位要素中的接收由(2R+G)表示的光的感光单元、及接收由(G+2B)表示的光的感光单元的排列,与两侧相邻的其他单位要素中的排列相反。
此外,如图8(c)所示,分光要素1d′也构成为将入射光分离为R、G、B这3个颜色成分的光。分光要素1d′使G光入射至对置的感光单元2d,使R光入射至图8中在左侧相邻的感光单元,使B光入射至在右侧相邻的感光单元。通过这种结构,与图6所示的结构同样地,向感光单元2c、2d入射分别由2M、2G表示的光。其结果,通过与图6所示的结构相同的处理,能够获得颜色信息。
在以上的说明中,作为分光要素,采用了利用2个部件的折射率差来进行分光的光学元件,但本发明中的分光要素只要能够使期望的颜色成分的光入射至各感光单元,则可以是任意的分光要素。例如,作为分光要素,也可以使用微棱镜、分色镜。此外,也可以组合使用不同种类的分光要素。
作为一例,图9中表示在一部分利用了基于分色镜的光的透过和反射的摄像元件的构成例。图9(a)是表示该例中的基本像素结构的俯视图。图9(b)、(c)分别是表示图9(a)中的AA′线剖面及BB′线剖面的图。在该构成例中,代替图6所示的分光要素1a、1b,分别配置了包括分色镜的分光要素1e、1f。分光要素1c、1d具有与图6所示的分光要素1c、1d相同的特性。再者,图9所示的摄像元件10具有从布线层5的相反侧入射光的背面照射型的结构,但这并不是特别重要的,也可以具有表面照射型的结构。
如图9(b)、(c)所示,摄像元件10具备:由硅等材料构成的半导体基板7、在半导体基板7内配置的感光单元2a~2d、在半导体基板7的背面侧(光入射侧)形成的透明层6b、在透明层6b的内部配置的分光要素1e、1f及分光要素1c、1d。在半导体基板7的表面侧(光入射侧的相反侧)形成布线层5。此外,在表面侧配置支撑半导体基板7和布线层5等的固定基座9。固定基板9隔着透明层6b而与半导体基板7接合。透明层6b由折射率高于空气且低于分光要素1c、1d的透光性的部件形成。
分光要素1e包括接合了两个使B光反射而使B光以外的光透过的分色镜而得到的部件。分光要素1f包括接合了两个使R光反射而使R光以外的光透过的分色镜而得到的部件。相对于摄像面的法线对称地倾斜配置各分光要素中包含的2个分色镜。这些分色镜的倾斜角度被设定为其反射光在与摄像元件10的外部空气层之间的界面处进行全反射并入射至与对置像素相邻的2个像素中。
若向分光要素1e入射光,则B光被反射,R光及G光透过。被反射的B光的一半在透明层6b与空气的界面处进行全反射,入射至感光单元2b。被反射的B光的剩余的一半在透明层6b与空气的界面处进行全反射并入射至相邻的单位模块中包含的感光单元。透过了分光要素1e的R光及G光入射至感光单元2a。
若向分光要素1f入射光,则R光被反射,G光及B光透过。被反射的R光的一半在透明层6b与空气的界面处进行全反射,入射至感光单元2a。被反射的R光的剩余的一半在透明层6b与空气的界面处进行全反射,入射至相邻的其他单位模块中包含的感光单元。透过了分光要素1f的G光及B光入射至感光单元2a。
分光要素1c与图6所示的结构相同,使M光入射至感光单元2c,使G光入射至与感光单元2d相邻的单位模块中包含的感光单元。此外,对于分光要素1d,也与上述同样,使G光入射至感光单元2d,使M光入射至与感光单元2c相邻的单位模块中包含的感光单元。再者,分光要素1c、1d的尺寸及形状是考虑透明层6b与半导体基板7的界面处的折射后设计的。
通过这种结构,各感光单元2a~2d接收与采用图6所示的结构时完全相同的光。因此,从各感光单元2a~2d输出的光电变换信号也与图6的结构中的光电变换信号相比没有变化,可直接适用上述的信号运算。这样,即便采用图9所示的结构,也能够获得与采用了图6所示的结构时同样的效果。
(实施方式2)
接下来,参照图10说明本发明的第2实施方式。本实施方式的摄像装置较之实施方式1的摄像装置,仅摄像元件10的结构不同,其他的构成要素相同。以下,主要说明与实施方式1的摄像装置的不同点,省略重复部分的说明。
本实施方式中的摄像元件10具备将光分离为原色和补色的分色镜,而不具备利用衍射的分光要素。此外,本实施方式中的各分光要素不使光入射至相邻单位模块的感光单元,而使光仅入射至各单位模块内的感光单元。以下,说明本实施方式中的摄像元件10的基本结构。
图10是表示本实施方式中的摄像元件10的基本结构的图。本实施方式中的摄像元件10是背面照射型的摄像元件。再者,在本实施方式中,对于摄像元件10的类型是背面照射型还是表面照射型并不重要,摄像元件10可以是表面照射型。图10(a)是摄像元件10的受光面侧的俯视图。本实施方式中的摄像元件10的感光单元的排列与实施方式1中的排列同样,1个单位模块具有4个感光单元2a~2d。与感光单元2a、2b、2c对置地,分别相对于摄像面而倾斜配置分色镜3a、3b、3c、3d。在此,分色镜的倾斜角度被设定为其反射光在与摄像元件10外的空气层的界面处进行全反射并入射至对置像素的相邻像素。
图10(b)、(c)是分别表示图10(a)中的CC′线剖面及DD′线剖面的图。如图所示,摄像元件10具备:由硅等材料构成的半导体基板7、在半导体基板7内配置的感光单元2a~2d、在半导体基板7的背面侧(光入射侧)形成的透明层6b、在透明层6b的内部配置的分色镜3a、3b、3c、3d。在半导体基板7的表面侧(光入射侧的相反侧)形成布线层5。此外,在表面侧配置用于支撑半导体基板7和布线层5等的固定基座9。固定基板9隔着透明层6b而与半导体基板7接合。
如图10(b)所示,分色镜3a具有使R光和G光透过且使B光反射的特性。此外,分色镜3b具有使G光和B光透过且使R光反射的特性。其结果,透过分色镜3a之后的R光及G光入射至感光单元2a。被分色镜3a反射的B光在透明层6b与空气的界面处进行全反射,入射至感光单元2b。透过分色镜3b之后的G光及B光入射至感光单元2b。被分色镜3b反射的R光在透明层6b与空气的界面处进行全反射,入射至感光单元2a。
如图10(c)所示,分色镜3c具有使M光透过而使G光反射的特性。此外,分色镜3d具有使G光透过而使M光反射的特性。其结果,透过分色镜3c之后的M光入射至感光单元2c。被分色镜3c反射的G光在透明层6b与空气的界面处进行全反射,入射至感光单元2d。透过分色镜3d之后的G光入射至感光单元2d。被分色镜3d反射的M光在透明层6b与空气的界面处进行全反射,入射至感光单元2c。
通过利用这种分色镜3a~3d,各感光单元2a~2d接收与采用了实施方式1中的结构时完全相同的颜色成分的光。即,感光单元2a接收透过分色镜3a之后的R光及G光、被分色镜3b反射的R光。感光单元2b接收透过分色镜3b之后的G光及B光、被分色镜3a反射的B光。感光单元2c接收透过分色镜3c之后的M光、被分色镜3d反射的M光。感光单元2d接收透过分色镜3d之后的G光、被分色镜3c反射的G光。其结果,从各感光单元2a~2d输出的光电变换信号S2a~S2d与采用了实施方式1中的结构时相同,分别能够由式12~15表示。因此,通过与实施方式1中的处理完全相同的处理,能够获得颜色信息。
如以上所述,根据本实施方式的摄像装置,与实施方式1的摄像装置相同,通过使用了光电变换信号S2a~S2d的信号运算处理,得到彩色图像信号。根据本实施方式中的摄像元件10,由于也不使用吸收光的光学元件,因此较之利用滤色器等的现有技术,能够大幅减少光损失。此外,由于通过利用了4个光电变换信号的运算来得到3个颜色信号,因此具有相对于像素数而得到的颜色信息量比现有的摄像元件还多的效果。
如以上所述,在本实施方式的摄像元件10中,在第1行第1列配置将光分离为蓝光和蓝光以外的光的分色镜3a。在第1行第2列配置将光分离为红光和红光以外的光的分色镜3b。在第2行第1列配置将光分离为绿光和绿光以外的光的分色镜3c。在第2行第2列配置将光分离为品红色光和品红色光以外的光的分色镜3d。由于在摄像面上反复地形成这种分光要素的排列图案,因此即便将感光单元阵列200中的单位模块的选择方式按1行或者1列改变,所得到的4个光电变换信号通常也会成为由式12~15表示的4个信号的组合。即,使运算对象的像素块错开1行及1列的同时进行上述的信号运算,由此能够获得与像素数大致相应的RGB各颜色成分的信息。因此,本实施方式的摄像装置较之现有的摄像装置,除了灵敏度高之外,还能够生成高分辨率的彩色图像。
再者,摄像元件10的基本结构并不限于图10所示的构成。例如,即便配置成交换分色镜3a和分色镜3b、交换分色镜3c和分色镜3d的结构,本实施方式的效果也没有变化。此外,也可以是图10(a)所示的交换第1行的配置和第2行的配置,配置成分色镜3a、3b在列方向上排列而不是在行方向排列,其有效性也没有变化。
在本实施方式中,作为分光要素使用了分色镜,但是本发明中的分光要素只要是分离为原色光及其补色光的部件,则可以是任意的部件。例如,作为分光要素,也可以使用微棱镜、实施方式1中所使用的利用衍射的光学元件。此外,也可以组合使用不同种类的分光要素。
【产业上的可利用性】
本发明的实施方式中的固体摄像元件、摄像装置、及图像处理方法在使用固体摄像元件的所有的照相机中都是有效的。例如,可用于数字静止照相机、数字摄像机等民用照相机、工业用的固体监视照相机等。
符号说明
1a、1b、1c、1d、1e、1f分光要素
2、2a、2b、2c、2d摄像元件的感光单元
3a、3b、3c、3d分光要素(分色镜)
4a、4b显微透镜
5摄像元件的布线层
6a、6b透明层
7硅基板
9固定基板
10摄像元件
11光学滤波器
12光学透镜
13信号产生/接收部
14元件驱动部
15图像信号生成部
16图像信号输出部
17反射红色(R)以外的光的多层膜滤波器(分色镜)
18仅反射绿色(G)的多层膜滤波器(分色镜)
19仅反射蓝色(B)的多层膜滤波器(分色镜)
20遮光部
21透光性的树脂
22G光透过的多层膜滤波器(分色镜)
23R光透过的多层膜滤波器(分色镜)
24G光透过的有机色素滤波器
25R光透过的有机色素滤波器
26显微透镜
27金属层
30存储器
40感光单元的单位模块
100分光要素阵列
200感光单元阵列
300摄像部
400信号处理部