CN101098414A - 成像***以及图像传感器 - Google Patents

成像***以及图像传感器 Download PDF

Info

Publication number
CN101098414A
CN101098414A CNA2007101114283A CN200710111428A CN101098414A CN 101098414 A CN101098414 A CN 101098414A CN A2007101114283 A CNA2007101114283 A CN A2007101114283A CN 200710111428 A CN200710111428 A CN 200710111428A CN 101098414 A CN101098414 A CN 101098414A
Authority
CN
China
Prior art keywords
filter
color component
spectral characteristic
color
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101114283A
Other languages
English (en)
Inventor
高田伸一
猪熊一行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101098414A publication Critical patent/CN101098414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的成像***包括:图像传感器,其中在芯片上设置有多个单位像素;用于将从图像传感器输出的色彩分量转化为色彩信号的图像处理LSI。成像***在白光下仅选择透过具有与肉眼的光谱特性类似的光谱特性的滤光器的色彩分量,其中所述滤光器构成多层薄膜滤光器组,另一方面,成像***在低显色性照射下组合透过分色滤光器组的滤光器中任意选择出的滤光器的色彩分量从而输出该组合的色彩分量。

Description

成像***以及图像传感器
相关申请的交叉引用
这里引入2006年6月26日在日本提交的、专利申请号为No.2006-174975的全部内容作为参考,其具体包括说明书、附图和权利要求书。
技术领域
本发明涉及用于提供通过要求较高的可靠性并经常在白光或者低显色性(color rendering)照明下使用的车载摄像头或者类似物捕捉到的良好图像的成像***和图像传感器。
背景技术
为了提高运行车辆的安全性,现有技术中已经提出了许多在车辆中设置诸如视频摄像头等的成像装置以监控车辆周围的图像的许多***。
具体地,在视觉识别支持***中,在车辆的驾驶坐位附近设置的图像显示装置中显示安装在后视镜、侧镜或者类似物中的摄像头的输出以帮助驾驶人员检查接近车辆以及下一车道的状况、水平方向上车辆的盲点的图像等,以及识别***,用于执行捕捉图像处理以检测周围车辆的运动,然后根据周围车辆的距离和速度向驾驶人员发出警告,或者检测路线区域的预定位置以及识别标记。
该车载摄像头必须不受气候条件的影响。例如,为了实现不受气候条件影响的成像***,日本提前公开专利No.5-294183公开了一种技术,在该技术中将车辆后视镜的镜面部分形成为单向透视玻璃、在其中设置有具有光学滤光器以及CCD或者类似设备的摄像镜头,并向图像显示设备输出通过设置在驾驶室中的摄像头处理电路处理后的图像信号。
而且,在日本提前公开专利No.5-294183中,所公开的技术用于针对摄像头的安装位置解决如下问题,即:1)如果摄像头安装在驾驶室中,驾驶室的外观以及内部舒适度降低并且驾驶人员的视域变窄,2)如果摄像头设置在发动机间,则周围环境很差并且会导致摄像头失效,3)如果摄像头设置在车辆的***部分,具体地,位于门侧或者发动机间上,则会在安全性、设计以及诸如气动阻力的性能方面产生不良影响。
发明内容
在上述公知技术中,摄像头安装在不会导致车辆性能退化的摄像头安装位置。但是,依然存在限制车载摄像头性能的其他问题。即,1)通过单向透射玻璃提取外部图像,因此降低了灵敏度,2)由于摄像头的安装位置位于后视镜中,因此摄像头的方向和提取图像的视角范围是确定的,并且3)考虑到设计方面的问题,未来考虑取消后视镜后,无法采用该公知技术。
此外,与车辆的外部和发动机空间内部相比,后视镜的内部是很好的应用环境。但是,该应用环境仍然存在很多问题。例如,众所周知停在正午灼热的阳光下的车辆,包括驾驶室和后视镜内部的温度都会变得很高。在驾驶期间发动机空间内部的温度会远高于驾驶室的温度,并且安装在车辆外部的摄像头直接暴露于太阳光下。
而且,用于支持可视识别的车载摄像头***的目的在于在夜间或者隧道中的恶劣条件下将可视性提高到比裸眼可视性更高的级别。在多数情况,高压钠灯等由于其节能等原因用于道路照明和隧道照明。但是,高压钠灯具有较差的显色性并且通过假设在白光下执行的处理很难识别颜色。
图16为公知成像***结构的截面图。如图16所示,装置1501包括硅半导体衬底,在该衬底中P型层1503层叠在n型层1502上。此外,在衬底上还形成层间绝缘膜1504。
在P型层1503中,通过n型杂质的离子注入形成多个光电二极管(光电转换元件)1505。光电二极管1505将入射光1506转换为电并通过隔离区域1507彼此分离。
此外,在隔离区域1507上形成抑制入射光的遮光膜1508并在遮光膜1508上部形成滤色片1509。而且,在滤色片1509上部形成用来有效收集入射光1506的聚光透镜1510。通过滤色片1509的波长选择性,入射光1506分离为R(红)、G(绿)和B(蓝)波长范围以实现色分离。
但是,公知的滤色片1509包括由有机材料构成的颜料并导致如下不便。如果滤色片1509在高温环境停留几个小时,或者滤色片1509暴露于强入射光中几个小时,则颜料会发生化学变化并从而其波长选择性发生改变。因此,采用颜料滤光器的公知成像***具有由于高温或者高光辐射而导致的变色(降低色分离特性)的问题。如上所述,该问题在安装在车辆中的成像***尤其明显。而且,另一问题在于广泛用于道路照明和隧道照明的照明装置具有较低的显色性。
图17为表示高压钠灯和肉眼的光谱特性的曲线图。在图17中,1601表示高压钠灯的光谱特性,1602表示肉眼对蓝(B)分量的光谱特性、1603表示肉眼对绿(G)分量的光谱特性并且1604表示肉眼对红(R)分量的光谱特性。
图18为在高压钠灯下肉眼的光谱特性的曲线图。在图18中,1701表示R分量的光谱特性而1702表示G分量的光谱特性。高压钠灯的光谱集中于长波长一侧并且因此在高压钠灯的照射下,肉眼几乎只对红色分量敏感并且将所有色彩仅识别为红色或者接近红色。而且,同样在公知的摄像头中,采用光谱特性接近肉眼光谱特性的三原色R、G和B进行成像。因此,可能以同样的方式把所有色彩都识别为红色或者接近红色。如前所述,在执行假设在仅白光下进行的成像处理中也存在许多缺点。
基于上述问题,本发明的目的在于提供一种成像***,该成像***即使在将摄像头安装在诸如外部、驾驶室、发动机间等的任意位置时都不会由于环境温度或者直射阳光的影响而降低性能,并且该成像***的可见性高于正常道路照明下裸眼的可见性。
具体地,根据本发明的成像***的特征在于,该***包括:图像传感器,其中在芯片上设置有多个单位像素;用于将从图像传感器输出的色彩分量转化为色彩信号的图像处理部,其中所述图像传感器包括:用于针对各单位像素将入射光转换为电的光电转换元件;以及设置在光电转换元件上方由无机材料形成的多层薄膜滤光器,其用于选择性仅透射特定波长范围的入射光从而从入射光中分离出色彩分量,并且图像处理部包括用于组合通过多层薄膜滤光器分离的色彩分量的组合装置。
根据本发明的图像传感器是一种在一个芯片上设置有多个单位像素的图像传感器,其特征在于包括:用于针对各单位像素将入射光转换为电的光电转换元件;设置在光电转换元件上方由无机材料形成的多层薄膜滤光器,所述多层薄膜滤光器用于选择性地仅透射特定波长范围的入射光从而从入射光中分离出色彩分量;以及用于组合通过多层薄膜滤光器分离出的色彩分量的组合装置。
如前所述,本发明的成像***采用由无机材料形成的滤光器,从而不会发生由于颜料化学反应导致的变色问题。因此,本发明的成像***可以在高温和大量光辐射情况下使用,并且因此,该成像***可以从车辆装备目的方面考虑安装在诸如外部、驾驶室、发动机间等的任意位置。
而且,提供了一种通过改变夹在分别具有同样层结构的上部反射器和下部反射器之间的分隔层的厚度改变滤光器结构的波长范围的滤光器结构。因此,在用于制造成像***的半导体晶圆工艺中可以减少工艺步骤的数量,并且可以方便地以低成本大批量制造该成像***。
在单一芯片上以简单形式形成具有不同光谱特性的大量滤光器。因此,除了具有与肉眼光谱特性类似的光谱特性的滤光器以外,还形成用于选择性透射比肉眼对于三原色的光谱带宽更窄的部分波长范围的多个滤光器从而覆盖可见波长范围。在白光下,采用具有接近肉眼光谱特性的光谱特性的滤光器获得色彩信息。在低显色性照射下,组合透过具有比肉眼可见的三原色各波谱范围宽度窄的波长范围的滤光器的色彩信息,然后对于通过改变以组合方式透射光的滤光器的特性获得的色彩信息和采用未组合的滤光器的特性获得色彩信息进行组合,从而选择性地获得多个色彩信息。因此,不管该成像***在白光下、低显色性照射下还是其他类似情况或者即使光源发生改变情况下使用,均可提高色彩识别性能。
附图说明
图1为根据本发明的实施方式所述的成像***的图像传感器的结构的截面图;
图2为表示根据本发明所述的成像***安装在汽车车辆中的方式的示图;
图3A为公知的多层薄膜滤光器的层结构的示意图,图3B为公知的多层薄膜滤光器的透光率特性的曲线图;
图4A为根据本实施方式的多层薄膜滤光器的层结构的示意图,图4B为表示根据本实施方式的多层薄膜滤光器的透光率曲线图;
图5A到5D为用于形成根据本实施方式所述的多层薄膜滤光器的各个步骤的截面图;
图6为表示本实施方式的多层薄膜滤光器的透光率计算结果的曲线图;
图7示出了根据本实施方式所述的图像传感器上的多层薄膜滤光器的示例性结构以及多层薄膜滤光器的光谱特征曲线;
图8为该实施方式的成像***的整体结构的方框图;
图9为肉眼对于红色分量的理想光谱特性和介电多层薄膜滤光器对于红色分量的光谱特性之间关系的曲线图;
图10为表示肉眼对于红色分量的理想光谱特性和校正后介电多层薄膜滤光器对于红色分量的光谱特性之间关系的曲线图;
图11为在高压钠灯的照射下通过选择或者组合色彩信息形成的滤光器的光谱特性和高压钠灯的光谱特性之间的关系曲线;
图12为在高压钠灯照射下根据本实施方式所述的成像***的光谱特性曲线图;
图13为通过本实施方式的成像***在高压钠灯下获得的要成像的对象的色彩信息的曲线图;
图14为针对通过本实施方式的成像***在白光下获得的色彩信息的估计结果的曲线图;
图15为在本实施方式的成像***中建立图案表的方法的示意图;
图16为公知成像***结构的截面图;
图17为表示高压钠灯和肉眼的光谱特性的曲线图;以及
图18为在高压钠灯下肉眼的光谱特性的曲线图。
具体实施方式
以下将参照附图描述本发明的优选实施方式。以下优选实施方式仅为实施例,并不希望用来限制本发明以及其应用和用途。
图1为根据本发明的实施方式所述的成像***的图像传感器结构的截面图。如图1所示,图像传感器101包括硅半导体衬底,其中在该衬底上形成有n型层102、P型层103以及进一步的层间绝缘膜104。
在P型层103中,通过n型杂质的离子注入形成多个光电二极管(光电转换元件)105。光电二极管105对入射光106执行光电转换并通过隔离区域107彼此分离。
此外,在隔离区域107上部形成抑制入射光的遮光膜并在遮光膜上形成由介电材料形成的多层薄膜滤光器109以实现波长选择功能。而且,在多层薄膜滤光器109上方形成用来有效收集入射光106的聚光透镜110。
图2为表示根据本发明所述的成像***安装在汽车车辆中的方式的示意图。如图2所示,从外观来看,汽车201没有装配防护镜(fender mirror)和后视镜,而是在车辆的两侧分别安装有侧面摄像头202。通过安装在控制台中的图像控制装置203接受来自侧面摄像头202的图像信号并在设置在驾驶座附近的图像显示装置204上显示来自图像控制装置203的输出信号。
而且,在图像控制装置203中,进一步接收来自安装在车辆前部的前部摄像头205和安装在车辆尾部的后部摄像头206的输出信号并且可以切换轮流显示来自侧面摄像头202、前部摄像头205和后部摄像头206的图像信号,或者可以同时显示来自侧面摄像头202、前部摄像头205和后部摄像头206的所有图像信号。
通过设置在驾驶室(passenger compartment)和发动机空间中的摄像头,当车辆卷入诸如碰撞类的事故时,相比于将摄像头设置在车辆的外部的情况,摄像头得到保护的可能性更大。由于该特征,可以采用驾驶室摄像头(未示出)或者发动机空间摄像头(未示出)进行车辆外部监控。具体地,采用驾驶室摄像头或者发动机间摄像头作为用于记录车辆发生事故时碰撞前后的图像的车载黑匣子非常有效。
尽管在图2中未示出,但是在各侧面摄像头202、前部摄像头205和后部摄像头206中,均可包括图1所示的图像传感器。
以下,通过对本实施方式的多层薄膜滤光器和已知多层薄膜滤光器的透光率特性进行比较描述根据本实施方式所述的多层薄膜滤光器的透光率特性。
图3A为多层薄膜滤光器的层结构示图,该层结构为用于公知高反射率镜面的多层薄膜反射镜面。图3B为公知多层薄膜滤光器的透光率特性的曲线图。
如图3A所示,多层薄膜滤光器的层结构形成为简单层叠具有不同折射系数的材料的硅的氮化物(SiN)301和二氧化硅(SiO2)302和303。
在图3B中,纵坐标表示相对于入射光透过多层薄膜的光的透光率,而横坐标表示进入多层薄膜的光的波长。注意仅对于垂直入射光采用基于菲涅耳系数的矩阵方法执行计算,这里对数(pair number)为10并且设计中心波长为550nm。
现在,设计构成多层薄膜的各介电材料的光学薄膜厚度nd(n:材料的折射系数和d:材料的厚度)使其对应于设计中心波长λ的四分之一(λ/4)。因此,多层薄膜的各介电材料具有反射带的特性,在所述反射带中,中心处的波长为设计中心波长。反射带的带宽是由折射系数差确定的,并且折射系数差越大,则反射带的带宽越大。
但是,在上述的层结构中可以获得宽反射阻挡带,但是很难实现根据R、G和B的色分离功能选择性地透光。
图4A为根据本实施方式用作高反射率镜面的分色滤光器的多层薄膜滤光器的层结构。图4B为表示根据本实施方式的多层薄膜滤光器的透光率曲线图。
如图4A所示,根据本发明的实施方式所述的多层薄膜滤光器具有下述结构:分别具有λ/4(λ设计中心波长)多层薄膜结构的上部反射器305和下部反射器306彼此相对设置并且在二者之间夹有分隔层304。通过上述的层结构,在反射带中选择性地限定通带区域,而且,改变分隔层304的厚度,可以改变透射峰的波长。
图5A到5D为用于形成根据本实施方式所述的多层薄膜滤光器的各个步骤的截面图。首先,如图5A所示,采用高频溅射装置,在硅晶圆401上形成下部反射器402-405使其具有包括二氧化硅(SiO2)和二氧化钛(TiO2)的λ/4(λ设计中心波长)多层薄膜结构,并在该结构上形成由TiO2的分隔层406。其后,为了选择性地只透射特定波长,执行蚀刻步骤以获得所需的分隔层406厚度。
具体地,如图5B所示,在形成下部反射器402-406的晶圆表面上涂敷光刻胶,并在曝光前烘焙(预烘)以后,采用诸如步进式光刻机(stepper)的曝光装置执行曝光。然后,通过执行光刻胶显影和最终烘焙(后烘),形成光刻胶图案407。其后,采用CF4基(CF4-based)蚀刻气体最终执行蚀刻。因此,蚀刻分隔层406使得图5B的层结构的中心部分的厚度变为对应于红色(R)波长的厚度。
接下来,如图5C所示,以和图5B一样的工艺步骤,形成对应于绿(G)区域的光刻胶图案并执行干刻。因此,蚀刻分隔层406使得分隔层406右侧部分的厚度对应于绿色(G)波长范围。
此外,如图5D所示,以和图5A一样的方式,采用高频溅射装置,形成上部反射器408到411使其具有包括二氧化硅(SiO2)和二氧化钛(TiO2)的λ/4(λ设计中心波长)多层薄膜结构。
对于R、G和B,介电材料的多层结构的总厚度分别设计为562nm、542nm和622nm。
图6为表示本实施方式的多层薄膜滤光器的透光率计算结果的曲线图。纵坐标表示对于透过多层薄膜的入射光的透光率,而横坐标表示进入多层薄膜的光的波长。采用公知的特征矩阵方法(characteristic matrix method)进行计算。
作为介电材料,采用二氧化钛TiO2(折射系数为2.5)501作为高折射材料并采用二氧化硅SiO2(折射系数为1.45)502作为低折射系数材料。而且,分隔层503设计为具有200nm的光学薄膜厚度(80nm的薄膜厚度)、0nm的光学薄膜厚度(0nm的薄膜厚度)和50nm的光学薄膜厚度(20nm的薄膜厚度)。
如图6所示,通过提供或者不提供分隔层503或者改变薄膜厚度改变透射峰的波长特性。即,实现在成像***中所必不可少的R、G和B波长分离。
在该实施方式中,采用二氧化钛TiO2作为高折射系数材料。但是,除了二氧化钛以外,还可以采用硅的氮化物(SiN)、钽的氧化物(Ta2O5)或者二氧化锆(ZrO2)。此外,作为低折射系数的材料,在本实施方式中可以采用二氧化硅SiO2。但是,如果除二氧化硅以外的其它材料具有比用作高折射系数材料的介电材料的折射系数低的折射系数,则可以采用该材料。
如上所述,采用根据本发明的介电多层薄膜结构,可以通过正常半导体工艺形成滤光器。因此,不同于公知颜料滤光器,在形成光接收器部分、互连部分等部分以后,不必通过和正常半导体工艺不同的工艺步骤,即通过所谓的片上工艺(on-chip process)形成滤光器的步骤形成滤光器。因此,在工艺稳定性以及为提高生产率、降低成本方面可取得有益效果。
此外,介电多层薄膜滤光器可以仅由无机材料形成并且即使在高温和高辐射条件下也不会出现变色问题。因此,可以将介电多层薄膜滤光器安装在外部、发动机间、驾驶室或者为固定目的安装在车辆的任意其他位置。
图7示出了根据本实施方式所述的图像传感器上的多层薄膜滤光器的示例性结构以及多层薄膜滤光器光谱特征曲线。如图7所示,多层薄膜滤光器109包括以4×4的排列图案方式设置的具有不同光谱特性的16型滤光器601到616,4×4的滤光器排列方式表示了在图像传感器101上形成的部分排列并且因此毫无疑问在图像传感器101上形成有多个滤光器排列图案。
接下来,将描述每个滤光器光谱的带宽。滤光器604具有和肉眼对于红色分量的光谱特性类似的光谱特性604’,滤光器607和610具有和肉眼对于绿色分量的光谱特性类似的光谱特性607’和610’,而滤光器613具有和肉眼对于蓝色分量的光谱特性类似的光谱特性613’。此外,作为除滤光器604、607、610和613之外的其它滤光器的光谱特性,各所述薄膜的带宽小于肉眼的带宽(即,80nm到100nm)。
此外,将多层薄膜滤光器109划分为四组,即R滤光器排列组(红色分离滤光器组)620、G1滤光器排列组(绿色分离滤光器组)621、G2滤光器排列组(绿色分离滤光器组)622和B滤光器排列组(蓝色分离滤光器组)623。
具体地,R滤光器排列组620由滤光器601到604形成并且滤光器的光谱特性601’-604’集中于红色光谱区域。
G1滤光器排列组621包括滤光器605到608并且滤光器的光谱特性605’-608’集中于绿色光谱区域。
G2滤光器排列组622包括滤光器609到612并且滤光器的光谱特性609’-612’集中于绿色光谱区域。
B滤光器排列组623包括滤光器613到616并且滤光器的光谱特性613’-616’集中于蓝色光谱区域。
在该实施方式中,构成G2滤光器排列组622的滤光器609到612的光谱特性设计为与构成G1滤光器排列组621的滤光器605到608的光谱特性一样。因此,如果假设每个滤光器排列组均为单独滤光器,则可以实现和RGB拜耳排列(Bayer arrangement)一样的排列方式。
图8为该实施方式的成像***的整体结构的方框图。在图8中,101表示图像传感器并且109表示由有机材料层叠形成的多层薄膜滤光器。
在图8中,701表示用于模拟处理图像传感器101的输出信号的AFE(模拟前端)以及用于将该输出信号转换为数字信号的ADC(AD转换器)。
在图8中,702表示用于处理已经转换为数字信号的图像传感器101的输出信号从而产生所需图像数据的图像处理LSI。以下,将对图像处理LSI 702的电路结构进行描述。
在图8中,703表示用于从通过图像传感器101的每个滤光器分离出的色彩信息中仅选择所需色彩信息或者组合所选色彩信息的滤光器选择部(组合装置)。
在图8中,704表示用于选择性向后面要描述的色彩估计部705或者输入选择部706输出所选的或者组合后的色彩信息的输出选择部。
在图8中,705表示用于估计来自图像传感器101的输出信号色彩的色彩估计部。具体地,采用色彩估计部705的图案表,由在诸如具有较低显色性的高压钠灯或者类似物的照射下的有限色彩信息估计在白光下的色彩。
在图8中,706表示用于选择性输出从输出选择部704和色彩估计部705接收的色彩信息的输入选择部。
在图8中,707表示用于通过从输入选择部706接收的色彩信息产生所需色彩信号并输出三原色(R、G和B)的色彩信号的色彩产生部。在该实施方式中,输出三原色的色彩信号作为输出色彩信号。但是,也可以输出色差信号或者一些其他色彩信号***的信号。
在图8中,708表示用于基于从色彩产生部707接收到的色彩信号执行图像处理的图像处理部。
以下,将对本实施方式的成像***的处理操作进行描述。首先,描述白光下的处理。在白光下,针对通过图像传感器101获得的色彩信息,通过滤光器选择部703仅选择已经透过滤光器604、607、610和613的色彩信息,然后通过输出选择部704接收该色彩信息。输出选择部704选择接收的色彩信息作为输出目标,并且通过输入选择部706接收所述色彩信息。输入选择部706从输出选择部704向色彩产生部707输出色彩信息。
在这种情况下,如上所述,滤光器604具有和肉眼对于红色分量的光谱特性类似的光谱特性,滤光器607和610具有和肉眼对于绿色分量的光谱特性类似的光谱特性,而滤光器613具有和肉眼对于蓝色分量的光谱特性类似的光谱特性。那么,在白光下,滤光器选择部703仅选择色彩信息并且在这种条件下图像处理部708通过这些色彩信息产生图像。
在图像传感器101的滤光器排列中,滤光器604、607、610和613之间的位置关系与当前作为数码相机以及类似设备的主流排列方式的拜耳排列方式相同。因此,图像处理部708不需要特定的技术和运算方法,并且优点在于可以把已经普遍采用的公知图像处理工具应用于图像处理部708。
图9为肉眼对于红色分量的理想光谱特性和介电多层薄膜滤光器对于红色分量的光谱特性之间关系的曲线图。在图9中,801表示肉眼对于红色分量的理想光谱特性。滤光器604的光谱特性604’具有从理想光谱特性向长波长一侧偏移的趋势。
当分色滤光器由无机材料形成并且通过控制分隔层的厚度实现透光率特性时,很难实现理想的光谱特性,并且具体地,在诸如滤光器604的红色滤光器的情况,处于透光光谱的最大值的波长倾向于位于长波长一侧。这点被认为是存在上述趋势的原因。因此,为了校正向长波长一侧的偏移并获得更理想的光谱特性,在滤光器选择部703执行组合操作。
图10为表示肉眼对于红色分量的理想光谱特性和校正后介电多层薄膜滤光器对于红色分量的光谱特性之间关系的曲线图。在图10中,601’表示滤光器601的光谱特性,604’表示滤光器604的光谱特性,该光谱特性和肉眼对于红色分量的光谱特性类似,而801表示肉眼对于红色分量的光谱特性的理想光谱特性。在图10中,901表示通过组合滤光器601和604获得的光谱特性。
如图10所示,与滤光器604的光谱特性相比,组合光谱特性更接近肉眼对于红色分量的理想光谱特性。
在该实施方式中,已经描述了仅对红色分量执行校正的情况。不用说可以通过和对红色分量校正的方式一样的方式对蓝色和绿色分量执行校正。
接下来,描述根据本实施方式在除白光以外的其他环境下,即在广泛用于道路照明和隧道照明的高压钠灯照射环境下执行的处理。
在高压钠灯的照射下,对于从图像传感器101获得色彩信息,通过滤光器选择部703选择并组合通过滤光器615、616、605、608、601、602和603的色彩信息,然后通过输出选择部704接收该信息。输出选择部704选择色彩估计部705作为接收的色彩信息的输出目标并且通过色彩估计部705接收色彩信息。采用图案表,色彩估计部705利用在高压钠灯照射下的有限色彩信息估计在白光下的色彩。
高压钠灯的光谱主要集中于长波长一侧。因此,在高压钠灯的照射下肉眼基本上仅对红色分量敏感并且将所有的颜色都认为是红色或者接近红色。为此,对于原色R、G和B采用滤光器604、607、610和613,这些滤光器具有与肉眼的光谱特性类似的光谱特性,将所有的颜色都识别为红色或者接近红色。因此,在滤光器选择部703中,通过选择滤光器以及组合色彩信息改变滤光器的特性从而获得更多的色彩信息。
具体地,在高压钠灯的照射下,在滤光器选择部703中,不采用滤光器604、607、610和613,而是选择设计带宽小于肉眼带宽(即,80nm到100nm)的其他滤光器以组合色彩信息。
在该实施方式中,选择7种类型的光谱特性滤光器,组合透过所述7个滤光器的其中一些色彩信息,并且不组合其他色彩信息,从而获得包括组合滤光器和非组合滤光器的四种不同类型的光谱特性滤光器。
图11为在高压钠灯的照射下通过在滤光器选择部703选择或者组合色彩信息形成的四种类型滤光器的光谱特性和高压钠灯的光谱特性之间的关系曲线。
在该实施方式中,采用滤光器615、616、605、608、601、602和603。组合透过滤光器615、616和605的色彩信息以形成组合滤光器1002。组合透过滤光器602和603的色彩信息以形成组合滤光器1003。在图11中,1001表示高压钠灯的光谱特性,1002’表示组合滤光器1002的光谱特性,1003’表示组合滤光器1003的光谱特性。
如图11所示,在光谱集中的长波长一侧,配置具有窄带宽的滤光器或者甚至在组合后具有窄带宽的多个滤光器以细分色彩信息。在具有相对较少光谱分布的短波长一侧,配置通过组合许多滤光器从而具有宽的带宽的滤光器,从而有效获得色彩信息。
图12为根据本实施方式所述的成像***在高压钠灯照射下的光谱特性曲线图。如图12所示,在本实施方式的成像***中,在高压钠灯照射下,可以获得多个色彩信息1101到1104,并因此可以识别色彩。
然后,当向用户显示获得的色彩信息时,需要将该色彩信息转换为肉眼可区别的公知的R、G和B信息,然后进行显示。在这种情况下,最优选地将要成像的对象的色彩重现为在白光照射下的色彩。但是,由于不能获得蓝色到绿色分量的信息,因此必须通过红色分量的信息估计蓝色到绿色分量的信息。在公知的滤光器中,仅存在单独红色分量的信息,因此所述估计非常困难。但是,根据本实施方式,由于可以获得多个信息,可以通过所述多个信息估计要成像的对象的光谱并且在某种程度上可以估计白光下的色彩。
图13为在高压钠灯下获得的要通过本实施方式的成像***成像的对象的色彩信息的曲线图。在图13中,1201表示在白光下成像的对象A的光谱特性,而1202表示在白光下成像的对象B的光谱特性。
在这种情况下,如果在高压钠灯的照射下通过本实施方式的成像***成像对象A和B,则对于对象A可以获得色彩信息1201a、1201b、1201c和1201d。此外,对于对象B可以获得色彩信息1202a、1202b、1202c和1202d。
如通过根据本发明所述的上述的方式,可以获得对象A和B的部分光谱图案的信息。即,尽管采用公知的摄像头只能获得单独的红色信息并且无法获得光谱图案信息,但是本发明可以由光谱图案的信息估计在白光下的光谱特性。
图14为对于通过本实施方式的成像***获得的色彩信息在白光下的估计结果的曲线图。在图14中,1202a、1202b和1202c表示在高压钠灯照射下将要成像的对象B的色彩信息。
在该情况,基于带宽小于人可见光的波长带宽(即400nm到700nam)的色彩信息和依照通过多个滤光器的组合形成的滤光器的带宽的色彩信息,估计得到在白光下对象B的光谱802并且将估计的光谱802转换为肉眼可识别的公知R、G和B(在整个可见波长带宽中的色彩信号),从而获得作为B分量的1301、作为G分量的1302以及作为R分量的1303。
这里,可以提前准备用于估计色彩信息的具体方法和用于直接从1202a、1202b和1202c构成的组输出1301、1302和1303的转换表。作为一种用于建立所述表的方法,收集要成像的实际对象的特征从而以统计学的方式建立表。以下,将对建立表的方法进行描述。
图15为在本实施方式的成像***中建立图案表的方法的示意图。如图15所示,在该成像***中,通过两种方法获得对象的色彩信息。第一方法,通过具有在如1401a和1401b所示依据肉眼在白光下的光谱特性的光谱的摄像头拍摄的对象,第二方法,通过本发明的成像***在高压钠灯的照射下拍摄对象。
关于两个成像***收集到的对于多个对象的色彩信息的图案数据1403a、1403b...从而产生用于关联输入(即,带宽宽度小于肉眼可见光的波长带宽(即400nm到700nam)的色彩信息和与通过组合色彩信息获得的滤光器的带宽相关的色彩信息)和输出(整个可见波长带宽中的色彩信号)的图案表1404。
在该实施方式中,已经描述了通过在高压钠灯的照射下的色彩信息估计色彩的情况。但是,同样的方法自然也可以用于具有其他光谱特性的低显色光源中。
在该实施方式中,通过包括组合滤光器和非组合滤光器的四种类型的滤光器有效获得色彩信息。为了获得更详细的光谱图案信息,可以采用许多类型的滤光器或者仅采用非组合并且具有窄带宽的滤光器。在这种情况,如果细分色彩信息,则提高在白光下的估计精度,但是必须考虑到图案表信息也应相应地扩展到庞大的数量。
在该实施方式中,在图像处理LS1702中执行组合操作。但是,本发明不是仅限于该实施方式,在图像传感器101中也可以执行组合操作。在该情况,必须在该图像传感器101中单独提供组合装置。例如在日本特许专利公开No.3660915、No.3877695等类似专利中公开了所述组合装置,已经属于公知内容,因此这里不进行具体说明。
当在图像传感器101中执行滤光器选择部703的组合和选择操作时,减少从图像传感器101中输出的色彩信息数据,从而降低所需的传输带宽。
具体地,根据本实施方式,当在高压钠灯的情况下在成像处理LSI中执行组合操作时,必须将透过滤光器601、602、603、605、608、615和616的至少7个色彩信息发送给成像处理LSI。但是,在图像传感器101中执行组合操作,只将总共四个色彩信息,即组合滤光器1001和1002的色彩信息以及滤光器601和608的色彩信息发送给成像处理LSI。如上所述,如果必需的传输带宽减小,则图像传感器101的像素数量相应地增加从而提高分辨率,并且帧率等类似参数也得到提高。
如上所述,通过根据本发明的成像***,可以实现非常高的可靠性和将在白光和低显色照射下的色彩识别能力提高到比裸眼的色彩识别能力更高的级别的实际效果。因此,本发明的成像***非常有用并且具有较高的工业实用性。具体地,该成像***可以安装在汽车上并用作用于监控车辆周围图像并允许用户以可视方式识别图像的成像***。

Claims (14)

1、一种成像***,该***包括:
图像传感器,其中在芯片上设置有多个单位像素;以及
用于将从图像传感器输出的色彩分量转化为色彩信号的图像处理部,
其中所述图像传感器包括:用于针对每个单位像素将入射光转换为电的光电转换元件;以及设置在光电转换元件上方且由无机材料形成的多层薄膜滤光器,所述多层薄膜滤光器用于选择性地仅透射特定波长范围的入射光从而从入射光中分离出色彩分量,并且
图像处理部包括用于组合通过多层薄膜滤光器分离的色彩分量的组合装置。
2、根据权利要求1所述的成像***,其特征在于,所述多层薄膜滤光器分为包括用于透射红色波长范围并设置在一起的多个滤光器的多个红色分色滤光器组、包括用于透射绿色波长范围并设置在一起的多个滤光器的多个绿色分色滤光器组,以及包括用于透射蓝色波长范围并设置在一起的多个滤光器的多个蓝色分色滤光器组。
3、根据权利要求2所述的成像***,其特征在于,红色分色滤光器组包括具有与肉眼对于红色分量的光谱特性类似的光谱特性的红色滤光器;
绿色分色滤光器组包括具有与肉眼对于绿色分量的光谱特性类似的光谱特性的绿色滤光器;以及
蓝色分色滤光器组包括与肉眼对于蓝色分量的光谱特性类似的光谱特性的蓝色滤光器。
4、根据权利要求3所述的成像***,其特征在于,所述组合装置在白光下仅选择透过具有与肉眼的光谱特性类似的光谱特性的分色滤光器组的各滤光器的色彩分量从而输出该选择的色彩分量,并且另一方面,在所述组合装置在低显色性照射下组合通过分色滤光器组中任意选择出的滤光器的色彩分量从而输出该组合的色彩分量。
5、根据权利要求4所述的成像***,其特征在于,所述组合装置在白光下组合通过分色滤光器组中任意选择出的滤光器的色彩分量,然后输出该组合的色彩分量。
6、根据权利要求4所述的成像***,其特征在于,在低显色性照射下,组合装置输出通过从构成分色滤光器组的多个滤光器中任意选择出的多个滤光器的部分色彩分量并组合其余的色彩分量以输出该组合的色彩分量。
7、根据权利要求6所述的成像***,其特征在于,所述组合装置输出至少四种类型的色彩分量并且在图像处理部处理所述色彩分量以产生色彩信号。
8、根据权利要求1所述的成像***,其特征在于,所述图像处理部包括半导体芯片LSI。
9、一种图像传感器,其中在一个芯片上设置有多个单位像素,包括:
光电转换元件,用于针对每个单位像素将入射光转换为电;
设置在光电转换元件上方且由无机材料形成的多层薄膜滤光器,所述多层薄膜滤光器用于选择性地仅透射特定波长范围的入射光从而从入射光中分离出色彩分量;以及
用于组合通过多层薄膜滤光器分离出的色彩分量的组合装置。
10、根据权利要求9所述的图像传感器,其特征在于,所述多层薄膜滤光器分为包括用于透射红色波长范围并设置在一起的多个滤光器的多个红色分色滤光器组、包括用于透射绿色波长范围并设置在一起的多个滤光器的多个绿色分色滤光器组,以及包括用于透射蓝色波长范围并设置在一起的多个滤光器的多个蓝色分色滤光器组。
11、根据权利要求10所述的图像传感器,其特征在于,红色分色滤光器组包括具有与肉眼对于红色分量的光谱特性类似的光谱特性的红色滤光器;
绿色分色滤光器组包括具有与肉眼对于绿色分量的光谱特性类似的光谱特性的绿色滤光器;以及
蓝色分色滤光器组包括具有与肉眼对于蓝色分量的光谱特性类似的光谱特性的蓝色滤光器。
12、根据权利要求11所述的图像传感器,其特征在于,所述组合装置在白光下仅选择透过具有与肉眼的光谱特性类似的光谱特性的分色滤光器组的各滤光器的色彩分量从而输出该选择的色彩分量,并且另一方面,所述组合装置在低显色性照射下组合通过透过从任分色滤光器组中任意选择出的滤光器的色彩分量从而输出该组合的色彩分量。
13、根据权利要求12所述的图像传感器,其特征在于,在白光下,所述组合装置组合透过从构成分色滤光器组的多个滤光器中任意选择出的滤光器的色彩分量以输出该组合的色彩分量。
14、根据权利要求12所述的图像传感器,其特征在于,在低显色性照射下,组合装置输出透过从构成分色滤光器组的多个滤光器中任意选择出多个滤光器的部分色彩分量并组合其余的色彩分量以输出该组合的色彩分量。
CNA2007101114283A 2006-06-26 2007-06-20 成像***以及图像传感器 Pending CN101098414A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006174975A JP2008005383A (ja) 2006-06-26 2006-06-26 撮像装置及びイメージセンサ
JP2006174975 2006-06-26

Publications (1)

Publication Number Publication Date
CN101098414A true CN101098414A (zh) 2008-01-02

Family

ID=38873179

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101114283A Pending CN101098414A (zh) 2006-06-26 2007-06-20 成像***以及图像传感器

Country Status (3)

Country Link
US (1) US7903157B2 (zh)
JP (1) JP2008005383A (zh)
CN (1) CN101098414A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202222A (zh) * 2010-03-25 2011-09-28 株式会社东芝 固体摄像装置、其滤色器配置方法及图像记录装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007025092A1 (de) * 2007-05-30 2008-12-04 Osram Opto Semiconductors Gmbh Lumineszenzdiodenchip
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
US8400537B2 (en) * 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
JP2012253727A (ja) * 2011-06-07 2012-12-20 Toshiba Corp 固体撮像装置及びカメラモジュール
US8432466B2 (en) 2011-09-29 2013-04-30 International Business Machines Corporation Multiple image high dynamic range imaging from a single sensor array
JP6027832B2 (ja) * 2012-09-21 2016-11-16 オリンパス株式会社 撮像装置
CN103022049B (zh) * 2012-12-12 2015-12-02 京东方科技集团股份有限公司 阵列基板及其制作方法、显示装置
US10486600B1 (en) * 2015-09-28 2019-11-26 Apple Inc. Systems for improving side-mirror functionality of a vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05294183A (ja) 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
US6631316B2 (en) 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
JP4051780B2 (ja) * 1998-11-09 2008-02-27 株式会社ニコン 撮像素子の駆動方法および撮像装置
JP2000180621A (ja) * 1998-12-14 2000-06-30 Sony Corp オンチップカラーフィルタ及びこれを用いた固体撮像素子
JP3950715B2 (ja) * 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
WO2005069376A1 (ja) * 2004-01-15 2005-07-28 Matsushita Electric Industrial Co.,Ltd. 固体撮像装置、固体撮像装置の製造方法及びこれを用いたカメラ
JP4305848B2 (ja) * 2004-03-29 2009-07-29 シャープ株式会社 色フィルタアレイを用いた撮像装置
KR20070057934A (ko) 2004-09-17 2007-06-07 마츠시타 덴끼 산교 가부시키가이샤 색차를 해결한 이미지 입력장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202222A (zh) * 2010-03-25 2011-09-28 株式会社东芝 固体摄像装置、其滤色器配置方法及图像记录装置
US8525905B2 (en) 2010-03-25 2013-09-03 Kabushiki Kaisha Toshiba Solid-state imaging device, color filter arrangement method therefor and image recording apparatus

Also Published As

Publication number Publication date
US7903157B2 (en) 2011-03-08
JP2008005383A (ja) 2008-01-10
US20070296840A1 (en) 2007-12-27

Similar Documents

Publication Publication Date Title
CN101098414A (zh) 成像***以及图像传感器
US7852388B2 (en) Imaging device
US7952624B2 (en) Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same
US7560684B2 (en) On-vehicle imaging device
US7248297B2 (en) Integrated color pixel (ICP)
CN109906512A (zh) 摄像元件和电子设备
US9184200B2 (en) Infrared reflection/absorption layer for reducing ghost image of infrared reflection noise and image sensor using the same
CN101438411A (zh) 用于制造分离彩色滤光片的侧壁间隔物及对应图像传感器的方法
WO2006003807A1 (ja) 撮像素子
KR102661039B1 (ko) 촬상 소자 및 촬상 장치
US20080143829A1 (en) Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device
US20050205765A1 (en) Color photodetector array
JP4974897B2 (ja) 車載撮像装置
CN116802812A (zh) 摄像装置
US20050207044A1 (en) Color filter and method for fabricating the same
JP7261168B2 (ja) 固体撮像装置及び電子機器
WO2023243252A1 (ja) 光検出装置
EP4310911A1 (en) Imaging device
KR20240054968A (ko) 촬상 장치 및 전자 기기
CN117693816A (zh) 成像装置和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080102