JP5263373B2 - Semiconductor device and imaging device - Google Patents
Semiconductor device and imaging device Download PDFInfo
- Publication number
- JP5263373B2 JP5263373B2 JP2011243836A JP2011243836A JP5263373B2 JP 5263373 B2 JP5263373 B2 JP 5263373B2 JP 2011243836 A JP2011243836 A JP 2011243836A JP 2011243836 A JP2011243836 A JP 2011243836A JP 5263373 B2 JP5263373 B2 JP 5263373B2
- Authority
- JP
- Japan
- Prior art keywords
- visible light
- opening
- light
- color
- color separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、半導体装置および撮像装置に関する。
より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な物理量分布検知の半導体装置を利用した固体撮像装置などへの適用に好適な信号取得技術に関する。たとえば、可視光以外の波長成分（たとえば赤外光）による撮像をも可能とした撮像装置への適用に関する。
The present invention relates to a semi-conductor device and an imaging device.
More specifically, for example, a plurality of unit components that are sensitive to electromagnetic waves input from the outside such as light and radiation are arranged, and the physical quantity distribution converted into an electric signal by the unit components is converted into an electric signal. The present invention relates to a signal acquisition technique suitable for application to a solid-state imaging device or the like using a semiconductor device capable of detecting a physical quantity distribution that can be read as. For example, the present invention relates to application to an imaging apparatus that can also perform imaging using wavelength components other than visible light (for example, infrared light).
光や放射線などの外部から入力される電磁波などの物理量変化に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。 There are various physical quantity distribution detection semiconductor devices in which a plurality of unit components (for example, pixels) that are sensitive to changes in physical quantity such as light and radiation input from the outside such as electromagnetic waves are arranged in a line or matrix form. Used in the field.
たとえば、映像機器の分野では、物理量の一例である光（電磁波の一例）の変化を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。 For example, in the field of video equipment, a CCD (Charge Coupled Device) type, a MOS (Metal Oxide Semiconductor) type, or a CMOS (Complementary Metal-oxide Semiconductor) type solid that detects changes in light (an example of an electromagnetic wave) that is an example of a physical quantity. An imaging device is used. These read out, as an electrical signal, a physical quantity distribution converted into an electrical signal by a unit component (a pixel in a solid-state imaging device).
たとえば、固体撮像装置は、デバイス部の撮像部（画素部）に設けられている光電変換素子（受光素子；フォトセンサ）であるフォトダイオードにて、光や放射線などの外部から入力される電磁波を検知して信号電荷を生成・蓄積し、この蓄積された信号電荷（光電子）を、画像情報として読み出す。 For example, in a solid-state imaging device, a photodiode that is a photoelectric conversion element (light receiving element; photosensor) provided in an imaging unit (pixel unit) of a device unit receives electromagnetic waves input from outside such as light and radiation. The signal charges are detected and generated and accumulated, and the accumulated signal charges (photoelectrons) are read out as image information.
ここで、カラー画像を取得する構成とする場合には、特定の波長成分のみを透過するような色フィルタを画素ごとに配置して、複数個の画素の組によって必要な色成分を復元することで色を識別するイメージセンサとするのが現在の主流となっている。 Here, in the case of a configuration for acquiring a color image, a color filter that transmits only a specific wavelength component is arranged for each pixel, and a necessary color component is restored by a set of a plurality of pixels. It is the current mainstream to use an image sensor for identifying colors.
具体的には、色フィルタの組として、たとえば、図３４（Ａ）に示すように、色の３原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の減色フィルタを用いた色配列によって色を識別し、それぞれの色フィルタの下に光を検出する半導体層を設けることで、フィルタを透過した３原色光をそれぞれ別に検出する。また、図３４（Ｂ）に示すように、輝度信号取得用としての白（Ｙ）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列を用いることも考えられる。これらは、いずれもベイヤ（Ｂａｙｅｒ）配列と呼ばれる。 Specifically, as a set of color filters, for example, as shown in FIG. 34 (A), a color using subtractive color filters of the three primary colors red (R), green (G), and blue (B). By distinguishing colors by arrangement and providing a semiconductor layer for detecting light under each color filter, the three primary color lights transmitted through the filter are separately detected. Further, as shown in FIG. 34B, it is conceivable to use an array in which white (Y) for obtaining a luminance signal and red (R), green (G), and blue (B) are combined. These are all called a Bayer array.
単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しか持たないため、たとえば、周囲の画素の色情報を用いて補間処理を行なうことで、各画素において必要な色成分を復元するデモザイク処理が行なわれる（たとえば特許文献１，２を参照）。
In a single-plate color type solid-state imaging device, each pixel has information on only a single color component as described above. For example, interpolation is performed using the color information of surrounding pixels, so that it is necessary for each pixel. A demosaic process is performed to restore a color component (see, for example,
一方、近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を
撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。
On the other hand, in recent years, in digital still cameras and movie cameras, improvement of the quality of images taken under low illumination is an important issue. When shooting an image under low illumination, it is common to slow down the shutter speed, use a lens with a bright aperture value, or use a visible light source such as a flash.
この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。 In this case, if the shutter speed is decreased, camera shake and subject blur will be caused. Also, the aperture value of the lens usually has a limit, and it cannot be brightened beyond a certain level. Furthermore, when an external light source of visible light is used, there is a problem that the atmosphere due to the illumination on the spot is impaired.
低照度条件下では色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。 Light sources with a low color temperature and a large amount of infrared light are often used under low illumination conditions. In addition, if invisible light such as infrared light is used as auxiliary light, the atmosphere is hardly impaired. In view of the above, there is a demand for a technique for increasing effective photographing sensitivity under a light source containing a lot of invisible light such as infrared light.
たとえば、特許文献２には、図３４（Ｂ）を参照して説明した色配列、すなわち輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤ配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理について開示している。
For example,
特許文献２に記載の仕組みでは、図３４（Ｂ）に示す白画素を市松配置したカラーフィルタアレイを適用し、全ての画素が可視光成分以外（たとえば赤外光）を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得る信号処理について説明している。
In the mechanism described in
すなわち、図３４（Ｂ）に示す配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、図３４（Ａ）に示すように緑（Ｇ）画素を市松配置にする構成より大きな信号が得られる。このため、緑画素市松配置の場合に比べて解像度を左右する市松配置の信号のＳ／Ｎ比を良くすることができるというものである。 That is, according to the arrangement shown in FIG. 34 (B), the Y pixels in the checkered arrangement have sensitivity to almost the entire visible light, so that the green (G) pixels are arranged in the checkered arrangement as shown in FIG. 34 (A) . A larger signal is obtained. For this reason, it is possible to improve the S / N ratio of the checkered arrangement signal that affects the resolution as compared with the case of the green pixel checkerboard arrangement.
しかしながら、図３４（Ｂ）に示すような配列は、十分な照度がある場合には有効となるが、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することはできないという問題がある。 However, the arrangement shown in FIG. 34B is effective when there is sufficient illuminance, but in the case of darkness where sufficient illuminance cannot be obtained, or the light source includes a large amount of infrared light. Under low illuminance conditions or shooting conditions that use infrared auxiliary light with low illuminance, the sensitivity is still insufficient, and there is a problem that a high-quality image with reduced noise cannot be generated.
本発明は、上記事情に鑑みてなされたものであり、品質の良好な情報を取得することのできる仕組みを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a mechanism capable of acquiring information with good quality.
本発明に係る仕組みにおいては、可視光および非可視光に透過性をもつ開口部と、可視光に透過性をもち非可視光に非透過性をもつ非開口部とを設けることで、可視光に波長分離されることで通過波長領域成分のみとなった光が通過する非開口部を通しての信号検知と、開口部を通しての、波長分離をせずに可視光と非可視光が混在した状態での広波長領域成分についての信号検知とによって、通過波長領域成分のみの入射光成分と広波長領域成分を個別の検出部で、独立にあるいは同時に検知し独立に情報を取得するようにしたことに特徴を持つ。 In the mechanism according to the present invention, by providing an opening having transparency to visible light and invisible light and a non-opening having transparency to visible light and non-transmission to invisible light , visible light is provided. In the state where the signal detection through the non-opening through which the light that has passed through only the wavelength component by passing through the wavelength separation passes, and the visible light and non-visible light are mixed without wavelength separation through the opening. By detecting the signal for the wide wavelength region component, the incident light component of only the passing wavelength region component and the wide wavelength region component are detected independently or simultaneously by the individual detection unit, and information is acquired independently. Has characteristics.
すなわち、可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層とを、複数の検知部が形成されている基板上に一体的となるように形成する。 That is, it has an opening that is transmissive to visible light and invisible light, and the non-opening other than the opening is transmissive to the visible light and non-visible to the invisible light. and the non-visible light filter layer having permeability, part of the position corresponding to the opening portion has a transparency to visible light and invisible light, said plurality of color separation portion at a position corresponding to the non-opening A color separation filter layer having transparency to visible color components determined for each color separation unit and non-transparency to visible light color components other than the color components; It is formed such that the integral over the substrate a plurality of sensing portions are formed.
また、前記開口部に対応する位置の第１の検知部により、前記可視光および前記非可視光の入射光を検知し、前記非開口部および前記複数の色分離部に対応する位置の第２の検知部により、前記可視光の入射光成分を検知し、これによって第１，第２の検知部から得られる第１及び第２の検知信号に基づき、所定目的用の情報を取得することとした。 Further, by the first detecting portion of the position corresponding to the front KiHiraki opening, the visible light and detecting the incident light in the non-visible light, corresponding to the front Kihi opening and said plurality of color separation portion position the second detection portion detects the incident light component of the visible light, whereby the first, based on the first and second detection signals obtained from the second detecting section, the information for a given purpose I decided to get it.
前記第１の検知部から出力される前記第１の検知信号は、可視光および非可視光を含む広波長領域の入射光に関する情報を含む。 It said first detection signal output from said first detection unit includes information about the incident light of a wide wavelength range including visible light and invisible light.
また、前記第２の検知部から出力される第２の検知信号は、前記可視光の入射光成分に関する情報を含む。 The second detection signal output from the second detection unit includes information about the incident light component of the visible light.
開口部と非開口部とを持つ非可視光フィルタ層としては、非開口部が、所定の厚みを持つ層を複数積層した構造を有する積層部材を具備するものとするのがよい。
特に、積層部材は、隣接する層間で屈折率が異なるものであるのがよい。屈折率が異なる層を複数積層した構造を持つ積層膜を利用して可視光と非可視光とを波長分離することで、両者の成分信号を個別の検出部で、独立にあるいは同時に取得するようにするのである。
As a non-visible light filter layer having an opening and a non -opening, it is preferable that the non-opening includes a laminated member having a structure in which a plurality of layers having a predetermined thickness are laminated.
In particular, the laminated member may have different refractive indexes between adjacent layers. By using a laminated film with a structure in which multiple layers with different refractive indexes are laminated, visible light and non-visible light are wavelength-separated so that the component signals of both can be acquired independently or simultaneously by separate detectors. To do.
ここで、「積層部材」は、好ましくは、電磁波の内の所定の波長領域成分を反射させる特性を持ったものとする。さらに好ましくは、残りを通過させる特性を持ったものとする。なお、“残り”とは、反射される反射波長領域成分を除く全ての波長成分を意味するものではなく、少なくとも、反射波長領域成分を事実上含まないものであればよい。“反射波長領域成分を事実上含まない”とは、反射波長領域成分の影響をほぼ全く受けないことを意味し、影響を若干受けることがあってもよい。通過波長側については反射波長領域の影響を無視可能な信号を取得できればよいからである。なお、反射波長領域についても、通過波長領域成分の影響を無視可能な信号を取得できればよい。 Here, the “laminate member” preferably has a characteristic of reflecting a predetermined wavelength region component of the electromagnetic wave. More preferably, it has a characteristic of allowing the rest to pass. The “remaining” does not mean all the wavelength components except the reflected wavelength region component to be reflected, and may be at least one that does not substantially include the reflected wavelength region component. “The reflection wavelength region component is substantially not included” means that the reflection wavelength region component is hardly affected at all, and may be slightly affected. This is because it is only necessary to obtain a signal that can ignore the influence of the reflection wavelength region on the passing wavelength side. As for the reflection wavelength region, it is only necessary to obtain a signal that can ignore the influence of the passing wavelength region component.
たとえば、色分離フィルタ層として、３つの検知部に対して、可視領域の透過光が３原色の波長成分である原色系の色フィルタを用いる、あるいは、可視領域の透過光が３原色に対する各々の補色である補色系の色フィルタを用いることで、カラー画像を撮像するようにする。 For example, as a color separation filter layer , primary color filters in which transmitted light in the visible region is a wavelength component of the three primary colors are used for the three detection units, or transmitted light in the visible region for each of the three primary colors. A color image is captured by using a complementary color filter which is a complementary color.
各波長対応の検知部に位置整合させて波長別の光学部材を形成するという点では、色分離フィルタ層は、非可視光フィルタ層や検知部と別体よりは、一体的に構成されている方が好ましい。 The color separation filter layer is formed integrally with the non-visible light filter layer and the detection unit in that the wavelength-specific optical member is formed by aligning with the detection unit corresponding to each wavelength. Is preferred.
また、開口部を通過した広波長領域成分に基づく画像の解像度を高めるには、開口部を通過する広波長領域成分を検知する第１の検知部の配置密度が、非開口部を通過する第１の波長領域成分を検知する第２の検知部の配置密度よりも高くなるように２次元格子状に配置するのがよい。 Further, in order to increase the resolution of the image based on the wide wavelength region component that has passed through the opening, the arrangement density of the first detectors that detect the wide wavelength region component that passes through the opening has a first density that passes through the non-opening. It is preferable to arrange in a two-dimensional lattice so as to be higher than the arrangement density of the second detectors that detect one wavelength region component.
カラー撮像用途などとする場合には、第２の検知部は、第１の波長領域の成分をさらに波長分離して検知する複数の検知要素の組合せとなるので、この場合、第１の検知部の配置密度が、第２の検知部の波長別の各検知要素の配置密度よりも高くなるように２次元格
子状に配置するのがよい。特に、第１の検知部を、第２の検知部の内のそれぞれの波長成分を検知するものよりも密に、かつ市松模様となるように配置するのがよい。
In the case of color imaging use, the second detection unit is a combination of a plurality of detection elements that detect the components of the first wavelength region by further wavelength separation. In this case, the first detection unit Is preferably arranged in a two-dimensional lattice shape so as to be higher than the arrangement density of each detection element for each wavelength of the second detection unit. In particular, it is preferable to arrange the first detection unit so that the first detection unit is denser and has a checkered pattern than that of the second detection unit that detects each wavelength component.
つまり、可視光と非可視光とを混在させた広波長領域成分の信号を取得してその画像を生成する構成とする場合、可視光の色成分を検知する検知部の従来の配置態様に対して、その一部を、広波長領域成分を検知する検知部に置き換えた画素配列構造にしなければならず、各検知部をどのように配置するかで解像度に影響を与え得る。 In other words, when acquiring a signal of a wide wavelength region component in which visible light and invisible light are mixed and generating an image thereof, compared to the conventional arrangement of the detection unit that detects the color component of visible light Te, a part, must be to the pixel arrangement structure obtained by replacing the detection unit for detecting a wide wavelength range component, may affect the resolution and how to arrange the detection unit.
この点おいては、たとえば可視光の色成分に基づく通常カラー画像の方の解像度を重視する場合には、通常カラー画像生成に資する色別の複数の検知要素の内のある色成分を検知するもの（典型例はＧ色用の画素）が市松模様となるように配するのがよい。
一方、広波長領域成分に基づく画像（典型例は赤外光成分を含む輝度信号成分）の方の解像度を重視する場合には、その画像生成に資する検知部が市松模様となるように配するのがよい。
In this regard, for example, when importance is attached to the resolution of the normal color image based on the color component of visible light , a certain color component is detected among a plurality of detection elements for each color that contribute to normal color image generation. It is preferable to arrange the objects (typically G pixels) in a checkered pattern.
On the other hand, when importance is attached to the resolution of an image based on a wide wavelength region component (typically, a luminance signal component including an infrared light component), the detection unit contributing to the image generation is arranged in a checkered pattern. It is good.
また、これらの画素を２次元格子状に配する場合には、垂直方向および水平方向の各読取方向に対して平行および直交するようにする正方格子状に配するよりも、所定角度（典型例は略４５度）だけ回転させた状態の斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができる。加えて、周囲の実在する画素の信号を使って仮想の画素位置の信号を求めるようにすれば、さらに解像度を高くすることもできる。 In addition, when these pixels are arranged in a two-dimensional lattice shape, a predetermined angle (typical example) is provided rather than a square lattice shape that is parallel and orthogonal to the reading directions in the vertical direction and the horizontal direction. Are arranged in an oblique lattice shape rotated by approximately 45 degrees), the density of each pixel in the vertical direction and the horizontal direction is increased, and the resolution in that direction can be further increased. In addition, if the signal of the virtual pixel position is obtained using the signal of the surrounding actual pixels, the resolution can be further increased.
本発明によれば、非可視光フィルタ層の非開口部を通過した可視光のみに基づく情報を第２の検知信号で取得しながら、開口部を通過した広波長の入射光に基づく情報を第１の検知信号で取得することができる。
この広波長の入射光に基づく情報は、可視光に加えて非可視光も含むので、開口部側では、可視光のみに基づくよりも品質の良好な情報を取得できるようになる。
According to the present invention, based the based rather information only visible light that has passed through the non-opening portion of the invisible light filter layer while acquired in the second detection signal, the incident light of a wide wavelength which has passed through the opening The information can be acquired with the first detection signal .
Based rather information to the incident light of the wide wavelength, since in addition to visible light also includes non-visible light, the opening side, it becomes possible to obtain a good information of quality than based on only the visible light .
以下、図面を参照して本発明の実施形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜＜基本概念＞＞
図１は、本実施形態で採用する色分離フィルタの色配置例の基本構造を示す図である。ここでは、可視光カラー画像用に色フィルタＣ１，Ｃ２，Ｃ３（何れも選択的な特定波長領域である第１の波長領域成分を透過）の３つの波長領域（色成分）用のものと、色フィルタＣ１，Ｃ２，Ｃ３とは異なる色フィルタＣ４といった別個のフィルタ特性を有する４種類の色フィルタを規則的（本例では正方格子状）に配設している。なお、本例の場合、第１の波長領域成分は可視光領域成分となる。
<< basic concept >>
FIG. 1 is a diagram showing a basic structure of a color arrangement example of a color separation filter adopted in the present embodiment. Here, for the visible light color image, for the three wavelength regions (color components) of the color filters C1, C2, C3 (all transmitting the first wavelength region component which is a selective specific wavelength region), Four types of color filters having different filter characteristics such as a color filter C4 different from the color filters C1, C2, and C3 are regularly arranged (in this example, a square lattice shape). In the case of this example, the first wavelength region component is a visible light region component.
色フィルタＣ１，Ｃ２，Ｃ３，Ｃ４を通して対応する検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタＣ１，Ｃ２，Ｃ３が配される検知部が第１の検知部であり、色フィルタＣ４が配される検知部が第２の検知部である。また、色フィルタＣ１，Ｃ２，Ｃ３が配される検知部（検知要素）は、カラー画像取得のために第１の波長領域（可視光領域）を、さらに色分離に対応するように、波長分離して検知するためのものである。 Each component can be detected independently by detecting the corresponding detection unit through the color filters C1, C2, C3, and C4. A detection unit in which the color filters C1, C2, and C3 are arranged is a first detection unit, and a detection unit in which the color filter C4 is arranged is a second detection unit. In addition, the detection unit (detection element) in which the color filters C1, C2, and C3 are arranged has wavelength separation so that the first wavelength region (visible light region) is further adapted to color separation for color image acquisition. It is for detecting.
本実施形態において、色フィルタＣ４を通して得られる第２の波長領域の成分は、第２の検知部を、カラー画像取得用の色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率が高い画素とし、この第２の波長領域の成分を検知した第２の検知部から出力される高
光利用効率の検知信号を用いて、光の利用効率が高い画像信号を取得することができるようにするものである。
In the present embodiment, the component of the second wavelength region obtained through the color filter C4 has a higher light use efficiency in the second detection unit than the detection units of the color filters C1, C2, and C3 for color image acquisition. It is possible to obtain an image signal with high light use efficiency by using a detection signal with high light use efficiency output from the second detection unit that detects a component in the second wavelength region as a pixel. Is.
ここで、光の利用効率が高い画素とするに当たっては、本実施形態では、先ず第１の手法として、第２の波長領域の成分は、第１の波長領域の成分（可視光領域成分）のほぼ全体を含むとともに、この可視光領域成分以外の成分である不可視光領域成分（たとえば短波長側の紫外光成分や長波長側の赤外光成分）を含むものとする。第１の波長領域の成分以外の成分をも利用することで、光（電磁波）の利用効率を高める思想である。 Here, in order to obtain a pixel with high light use efficiency, in the present embodiment, as a first method, first, the component of the second wavelength region is the component of the first wavelength region (visible light region component). The invisible light region component (for example, the ultraviolet light component on the short wavelength side or the infrared light component on the long wavelength side) other than the visible light region component is included. The idea is to increase the utilization efficiency of light (electromagnetic waves) by using components other than the components in the first wavelength region.
こうすることで、第２の検知部から出力される高光利用効率の検知信号は、可視光部分のいわゆる輝度信号成分と不可視光信号成分の双方を含む広波長領域信号となり、その結果として、解像度の高い広波長領域画像を得ることができる。 By doing so, the detection signal of high light utilization efficiency output from the second detection unit becomes a wide wavelength region signal including both the so-called luminance signal component and invisible light signal component of the visible light portion, and as a result, the resolution A wide wavelength region image having a high image quality can be obtained.
また、第２の検知部で検知した広波長領域信号（検知信号の一例）と、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知した各第１の検知部から出力される各検知信号との間で所定の補正演算処理（ここでは色補正演算処理を意味する）を実行すれば、可視光カラー画像を色再現性の高い画像を取得することができるようになる（詳細は後述する）。 Further, a wide wavelength region signal (an example of a detection signal) detected by the second detection unit and each first detection unit that detects a component of the first wavelength region through the color filters C1, C2, and C3 are output. If a predetermined correction calculation process (here, meaning color correction calculation process) is executed between each detection signal, a visible light color image can be obtained with high color reproducibility (details). Will be described later).
また、不可視光成分として赤外光成分を適用したときには、眼で見ることのできない赤外光の像情報を同時に取得することができるので、たとえば、低照度環境下での撮像にも耐え得るようになる。可視光のない、たとえば夜間においても、赤外光を照射して撮像することで、鮮明な像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。このように、眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を可視光成分と同時に受けることができる。これによって新しい情報システムへのキーデバイスとして応用が広がる。 In addition, when an infrared light component is applied as an invisible light component, image information of infrared light that cannot be seen by the eyes can be acquired at the same time, so that it can withstand imaging in a low-light environment, for example. become. Even when there is no visible light, for example, at night, a clear image can be obtained by imaging by irradiating infrared light, so that it can be applied as an image sensor for crime prevention. In this way, in correspondence with a visible light image image that can be seen by the eye, infrared light image information that cannot be seen by the eye can be received simultaneously with the visible light component. This expands the application as a key device for new information systems.
また、不可視光成分として紫外光成分を適用したときには、眼で見ることのできない紫外光の像情報を同時に取得することができるので、たとえば、植物観察用の撮像にも使えるようになる。 In addition, when an ultraviolet light component is applied as the invisible light component, image information of ultraviolet light that cannot be seen by the eyes can be acquired at the same time, so that it can be used for imaging for plant observation, for example.
なお、第１の手法を適用するに当たっては、第２の検知部では、不可視光領域成分を検知する必要があるので、第２の検知部に赤外光などの不可視光が入射するようにする必要があるので、従来よく使われている赤外光カットフィルタを取り除いて撮像する。 In applying the first method, since the second detection unit needs to detect the invisible light region component, invisible light such as infrared light enters the second detection unit. Since it is necessary, the infrared light cut filter, which has been often used in the past, is removed for imaging.
なお、詳細については説明を割愛するが、光の利用効率が高い画素とするに当たっては、さらに好ましくは、第２の手法として、第２の波長領域の成分は、前述の第１の手法を適用しつつ、第１の波長領域の成分（可視光領域成分）に関しては、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知する各第１の検知部よりも、さらに感度の高い画素となるような成分とすることができる。第１の波長領域の成分に関して、第２の検知部で、第１の検知部よりも高感度で検知することで、光（電磁波）の利用効率を高める思想である。 In addition, although the description is omitted for details, in order to obtain a pixel with high light use efficiency, it is more preferable that the first method is applied to the second wavelength region component as the second method. However, the first wavelength region component (visible light region component) is more sensitive than each first detection unit that detects the first wavelength region component through the color filters C1, C2, and C3. The component can be a pixel. This is a concept that increases the utilization efficiency of light (electromagnetic wave) by detecting the component in the first wavelength region with higher sensitivity than the first detection unit by the second detection unit.
なお、この場合、第２の検知部で検知した高感度信号（検知信号の一例）と、色フィルタＣ１，Ｃ２，Ｃ３を通して第１の波長領域の成分を検知した各第１の検知部から出力される各検知信号との間で所定の補正演算処理（ここでは高感度化補正演算処理を意味する）を実行することで、可視光カラー画像を高感度に取得することができるようにする。 In this case, the high sensitivity signal (an example of the detection signal) detected by the second detection unit and the output from each first detection unit that detects the component in the first wavelength region through the color filters C1, C2, and C3. By executing a predetermined correction calculation process (in this case, a high-sensitivity correction calculation process) with each detected signal, a visible light color image can be acquired with high sensitivity.
ここで、色フィルタＣ１，Ｃ２，Ｃ３は、理想的には、たとえば、可視光帯内のある色成分で透過率が略１、その他で略ゼロとする原色フィルタとする。たとえば、可視光VL（
波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタであってもよい。
Here, the color filters C1, C2, and C3 are ideally primary color filters that have a transmittance of about 1 for a certain color component in the visible light band and about zero for the other. For example, visible light VL (
Blue component B (wavelength λ = 380 to 780 nm) as the three primary colors (for example, the wavelength λ = 400 to 500 nm, the transmittance is about 1, and the other is about zero), the green component G (for example, the wavelength λ = 500 to 600 nm for the transmittance) May be a primary color filter centered on a red component R (for example, the wavelength λ = 600 to 700 nm, the transmittance is approximately 1, and the other is approximately zero).
もしくは、色フィルタＣ１，Ｃ２，Ｃ３は、可視光帯内のある色成分で透過率が略ゼロ、その他で略１の透過率を持つ補色系の色フィルタとする。たとえば、黄Ｙｅ（たとえば波長λ＝４００〜５００ｎｍで透過率が略ゼロ、その他で略１）、マゼンダＭｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略ゼロ、その他で略１）、シアンＣｙ（たとえば波長λ＝６００〜７００ｎｍで透過率が略ゼロ、その他で略１）など、可視光の３原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。 Alternatively, the color filters C1, C2, and C3 are complementary color filters having a certain color component in the visible light band and a transmittance of substantially zero and the other of approximately one. For example, yellow Ye (for example, wavelength λ = 400 to 500 nm, the transmittance is substantially zero, and other values are approximately 1), magenta Mg (for example, wavelength λ = 500 to 600 nm, the transmittance is approximately zero, and other values are approximately 1), cyan Cy It may be a complementary color filter having substantially zero transmittance for the three primary color components of visible light, such as (for example, the wavelength λ = 600 to 700 nm and the transmittance is substantially zero, otherwise approximately 1).
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。 Since the complementary color filter is more sensitive than the primary color filter, the sensitivity of the imaging apparatus can be increased by using a complementary color filter in which the transmitted light in the visible region is the complementary color of each of the three primary colors. it can. On the other hand, the use of a primary color filter has an advantage that the color signal of the primary color can be acquired without performing the difference processing, and the signal processing of the visible light color image is simplified.
なお、透過率が“略１”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。 Note that the transmittance of “substantially 1” means an ideal state. In actuality, the filter has to be a subtractive color filter that attenuates the transmittance of light, and the transmittance is relatively high. Will be reduced. Even in this case, it is sufficient if the transmittance in the wavelength region is much larger than the transmittance in other wavelength regions. Some of them may have “transmittance other than“ 1. ”Also, the transmittance is“ nearly zero ”, which is also an ideal state, and the transmittance in that wavelength region. May be much smaller than the transmittance in other wavelength regions, and some may have “non-zero” transmittance.
また、原色系および補色系の何れも、可視光領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。 In addition, both the primary color system and the complementary color system need only pass a wavelength region component of a predetermined color (primary color or complementary color) in the visible light region, and whether or not to pass the ultraviolet light region or the infrared light region. That is, the transmittance for infrared light and ultraviolet light is not questioned. Of course, it is preferable in terms of color reproducibility that the transmittance with respect to infrared light and ultraviolet light is preferably substantially zero.
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばＲ，Ｇ，Ｂの各々に対して透過率が高くその他の色（たとえばＲであればＧやＢ）の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色（たとえばＲであればＧやＢ）の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。 For example, each color filter generally used at present has a high transmittance with respect to each of R, G, B, for example, in the visible light band, and the transmittance of other colors (for example, G or B for R). Although it is low, the transmittance outside the visible light band is not specified, and is usually higher than the transmittance of other colors (for example, G or B for R). For example, each filter has sensitivity in the infrared region. There is light transmission in the infrared region. However, in this embodiment, there is a problem of color reproducibility even with such a characteristic having high transmittance outside the visible light band, but it is not affected as a basic idea.
一方、色フィルタＣ４は、少なくとも、第２の検知部を色フィルタＣ１，Ｃ２，Ｃ３の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第１の波長領域（本例では可視光）から赤外光領域までの全域の成分、あるいは、紫外光領域から第１の波長領域（本例では可視光）までの全域の成分、あるいは紫外光領域〜第１の波長領域（本例では可視光）〜赤外光領域の全域の成分を通過させるものであるのがよい。本実施形態では、このような、色フィルタＣ４を全域通過フィルタと称する。 On the other hand, the color filter C4 only needs to be for a predetermined wavelength region in which at least the second detection unit is a pixel having higher light use efficiency than the detection units of the color filters C1, C2, and C3. Specifically, the entire component from the first wavelength region (visible light in this example) to the infrared light region, or the entire component from the ultraviolet light region to the first wavelength region (visible light in this example). Alternatively, it is preferable that components in the entire region from the ultraviolet light region to the first wavelength region (visible light in this example) to the infrared light region are allowed to pass. In the present embodiment, such a color filter C4 is referred to as an all-pass filter.
たとえば、第２の検知部が、青色から赤色までの光（波長４５０〜６６０ｎｍ）に対して感度を持つようにする白色フィルタを用いるのがよい。可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるという点においては、色フィルタＣ４としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、「フィルタＣ４を通して」第２の検知部で検知すると称する。 For example, it is preferable to use a white filter that allows the second detector to be sensitive to light from blue to red (wavelength 450 to 660 nm). In terms of allowing all wavelength components from visible light to infrared light (particularly near-infrared light) to pass through, the color filter C4 can be configured so as not to be provided with a color filter. In the present embodiment, it is referred to as being detected by the second detection unit “through the filter C4”, including a configuration in which a color filter is not actually provided.
なお、色フィルタＣ１，Ｃ２，Ｃ３が配される画素の検知部（たとえばフォトダイオードなどの撮像素子）は、可視光に感度を有していればよく、近赤外光に感度を有する必要はない。一方、色フィルタＣ４が配される画素のフォトダイオードなどで構成される検知部は、色フィルタＣ４が全域通過フィルタでかつ赤外光対応とする場合には、可視光と赤外光に感度を有することが必要である。 It should be noted that the pixel detection unit (for example, an imaging device such as a photodiode) in which the color filters C1, C2, and C3 are arranged only needs to be sensitive to visible light, and needs to be sensitive to near infrared light. Absent. On the other hand, the detection unit configured by a photodiode of a pixel in which the color filter C4 is arranged has sensitivity to visible light and infrared light when the color filter C4 is an all-pass filter and supports infrared light. It is necessary to have.
また、色フィルタＣ４が配される色画素は、この色フィルタＣ４が配される色画素に基づいて得られる第２の波長領域の成分に関わる物理情報（本例では広波長領域画像）再現用として使用されるだけでなく、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素に基づいて得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタＣ４は、色フィルタＣ１，Ｃ２，Ｃ３に対しての補正フィルタとして機能することになるのである。 Further, the color pixel in which the color filter C4 is arranged is used for reproducing physical information (in this example, a wide wavelength area image) related to the component of the second wavelength area obtained based on the color pixel in which the color filter C4 is arranged. As well as being used as a color correction pixel and a sensitivity correction pixel for a color signal for reproducing a visible light color image obtained based on a color pixel provided with color filters C1, C2, and C3. Can do. The color filter C4 functions as a correction filter for the color filters C1, C2, and C3.
たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタＣ１，Ｃ２，Ｃ３が配される色画素から第１の波長領域の信号成分ＳC1，ＳC2，ＳC3を、この第１の波長領域の成分とは異なる第２の波長領域（赤外）の成分から事実上分離して、それぞれ独立の検知領域で検知する。 For example, in reproducing a visible light color image, first, signal components SC1, SC2, and SC3 in the first wavelength region are obtained from the color pixels in which the color filters C1, C2, and C3 are arranged. Are substantially separated from the components in the second wavelength region (infrared) different from those of the first detection region and detected in independent detection regions.
また、色フィルタＣ４が配される高光利用効率対応の検知部で得られる信号成分ＳC4を使うことで、可視光成分の少ない低照度環境下での撮影時に、可視光領域以外の成分も使うことが可能となるので、可視光成分のみの場合よりも検知される信号レベルが大きくなり、効果的なノイズ低減を実現することができるようになる。 In addition, by using the signal component SC4 obtained by the detection unit corresponding to the high light utilization efficiency in which the color filter C4 is arranged, components other than the visible light region can be used at the time of photographing in a low illumination environment with few visible light components. Therefore, the detected signal level becomes larger than that in the case of only the visible light component, and effective noise reduction can be realized.
そして、さらに好ましくは、各信号成分ＳC1，ＳC2，ＳC3を、信号成分ＳC4を使ってより色再現の良好な補正演算（特に色再現補正演算と称する）を実行する、あるいはより高感度な信号となるように補正演算（特に高感度化補正演算と称する）を実行する。 More preferably, each signal component SC1, SC2, SC3 is subjected to a correction operation with better color reproduction (particularly referred to as a color reproduction correction operation) using the signal component SC4, or a signal with higher sensitivity. Thus, a correction calculation (particularly referred to as a high-sensitivity correction calculation) is executed.
なお、色フィルタＣ４を通して得られる広波長領域画像に関しては、可視光と不可視光との混在による像を取得するようにしてもよいが、たとえば、色フィルタＣ４が第１の波長領域（本例では可視光）から赤外光までの全域の成分を通過させる全域通過フィルタである場合には、信号成分ＳC4から信号成分ＳC1，ＳC2，ＳC3により得られる可視光像の成分を減算することで、赤外光像のみを抽出するようにしてもよい。 In addition, regarding the wide wavelength region image obtained through the color filter C4, an image obtained by mixing visible light and invisible light may be acquired. For example, the color filter C4 has a first wavelength region (in this example, In the case of an all-pass filter that passes all components from visible light to infrared light, the red light image component obtained from the signal components SC1, SC2, and SC3 is subtracted from the signal component SC4. Only the external light image may be extracted.
このようにして、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した４種類の波長領域（ここでは４種類の色フィルタを配設した各画素）で得られる信号出力をマトリクス演算すると、主に色フィルタＣ１，Ｃ２，Ｃ３を通した可視光カラー画像および色フィルタＣ４を通した広波長領域画像をそれぞれ独立かつ同時に取得することができるし、広波長領域画像に関しては、可視光カラー画像に対しての補正にも使えるようになる。 In this manner, four types of color filters having different filter characteristics are arranged in each pixel of the image sensor such as a photodiode, and four types of wavelength regions (here, four types of wavelength filters) are arranged. When a matrix operation is performed on the signal output obtained from each pixel provided with various types of color filters, a visible light color image mainly passing through the color filters C1, C2, and C3 and a wide wavelength region image passing through the color filter C4 are respectively obtained. It can be acquired independently and simultaneously, and for a wide wavelength region image, it can be used for correction of a visible light color image.
ここで、考え方としては、従前の撮像信号処理と同様にして、色フィルタＣ１，Ｃ２，Ｃ３を通した画素から得られる各画素信号に基づいて輝度信号（本実施形態では合成輝度信号と称する）を取得して出力用の輝度信号とすることができるが、本実施形態では、このようなことを行なわずに、色フィルタＣ４を通して得られる広波長領域信号ＳＡから出力用の輝度信号を取得する。なお、合成輝度信号に関しては、出力用の色信号の一例である色差信号の生成には使用する。 Here, as a concept, a luminance signal (referred to as a combined luminance signal in the present embodiment) is based on each pixel signal obtained from pixels that have passed through the color filters C1, C2, and C3 in the same manner as in the conventional imaging signal processing. In this embodiment, the luminance signal for output is acquired from the wide wavelength region signal SA obtained through the color filter C4 without doing this. . The synthesized luminance signal is used to generate a color difference signal that is an example of an output color signal.
また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材（いわゆる赤外光カットフィルタ）を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタ（ＩＲカットフィルタ）を不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。 Further, as an example of the color reduction filter, there is no need to place an expensive glass optical member (so-called infrared light cut filter) having a thickness or weight in front of a sensor on the optical path of the imaging optical system. By eliminating the need for an expensive infrared light cut filter (IR cut filter), the optical system can be made lightweight and compact, and the cost can be greatly reduced. Of course, an infrared light cut filter insertion / extraction mechanism is unnecessary, and the apparatus does not become large.
また赤外光カットフィルタが不用になることによって、赤外光カットフィルタによる光透過率低減を排除できるので、その分だけ高感度化も達成される。また、赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、低照度時であっても、色再現性が良好になるし、さらにその際に、色補正を加えることで、一層の色再現性の改善を図ることもできる。 In addition, since the infrared light cut filter is not required, a reduction in light transmittance due to the infrared light cut filter can be eliminated, so that high sensitivity can be achieved accordingly. In addition, by performing color imaging without an infrared light cut filter, it is possible to achieve high sensitivity by effectively using light in the near infrared region while combining with the current signal processing circuit, even at low illuminance. However, the color reproducibility is improved, and further color reproducibility can be improved by applying color correction at that time.
＜＜色分離フィルタ配列＞＞
図２〜図６は、色分離フィルタ配列の具体例を示す図である。
<< Color separation filter array >>
2 to 6 are diagrams illustrating specific examples of the color separation filter array.
＜第１例＞
図２に示す色フィルタ群（色フィルタアレイ）３１４の第１例の配列態様では、たとえば図２（Ａ）に示す第１例の配列態様（その１）のように、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを利用しており、先ず、正方格子状に配された単位画素が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタに対応するように、色分離フィルタの繰返単位が２画素×２画素で配されて画素部を構成するように色フィルタ１４を配置する。
<First example>
In the arrangement example of the first example of the color filter group (color filter array) 314 shown in FIG. 2, a so-called Bayer arrangement like the arrangement example (part 1) of the first example shown in FIG. First, color separation is performed so that unit pixels arranged in a square lattice shape correspond to three color filters of red (R), green (G), and blue (B). The
また、赤外光とともに可視光の全波長成分を受光・検知する検知部（検知領域）を設けるべく、２つの緑（Ｇ）のうちの一方を白色フィルタＷに置き換える。つまり、可視光カラー画像用に原色フィルタ１４Ｒ（Red ），１４Ｇ（Green ），１４Ｂ（Blue）の３つの波長領域（色成分）用のものと、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂの成分とは異なる赤外光用の白色フィルタ１４Ｗ（White ）といった別個のフィルタ特性を有する４種類の色フィルタ１４を規則的に配設している。白色フィルタ１４Ｗは、可視光帯の全成分（Ｒ，Ｇ，Ｂ成分）を透過する特性のものであるとともに、特に本実施形態では、赤外光成分をも透過する特性のものとする。
Further, one of the two green (G) is replaced with a white filter W in order to provide a detection unit (detection region) that receives and detects all wavelength components of visible light together with infrared light. That is, the components for the three wavelength regions (color components) of the
なお、白色フィルタ１４Ｗが配される白色画素は、可視光から赤外光（特に近赤外光）までの全波長の成分を通過させるものであり、この点においては、事実上、色フィルタ１４を設けない広波長領域画素１２Ａ（All ）とする構成を採ることができる。
Note that the white pixel on which the
ただし、実際に撮像素子を形成する際には、色フィルタ層の上層にさらにマイクロレンズをオンチップで形成することがある。この場合、Ｃ４の部分のみに色フィルタが設けられていないと、その部分を埋めるなどの対処が必要になるが、Ｃ４に白色フィルタ１４Ｗを設けるとそれが不要になる。また、Ｃ４に白色フィルタ１４Ｗを設けると、可視光領域の検知感度を、Ｃ１，Ｃ２，Ｃ３についての検知感度に応じて調整できる利点もある。
However, when actually forming an image sensor, a microlens may be further formed on-chip above the color filter layer. In this case, if the color filter is not provided only in the portion C4, it is necessary to take measures such as filling the portion, but if the
たとえば、偶数行奇数列には第１のカラー（赤；Ｒ）を感知するための第１のカラー画素を配し、奇数行奇数列には第２のカラー（緑；Ｇ）を感知するための第２のカラー画素を配し、奇数行偶数列には第３のカラー（青；Ｂ）を感知するための第３のカラー画素を配し、偶数行偶数列には赤外光IRを感知するための第４のカラー画素（ここでは白画素もしくは広波長領域画素）を配しており、行ごとに異なったＧ／Ｂ、またはＲ／Ｗ（Ｒ／Ａ）の画素が市松模様状に配置されている。このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、Ｇ／ＢまたはＲ／Ｗ（Ｒ／Ａ）の
２色が２つごとに繰り返される。
For example, a first color pixel for sensing a first color (red; R) is arranged in even rows and odd columns, and a second color (green; G) is sensed in odd rows and odd columns. The second color pixels are arranged, the third color pixels for sensing the third color (blue; B) are arranged in the odd rows and even columns, and the infrared light IR is arranged in the even rows and even columns. A fourth color pixel (in this case, a white pixel or a wide wavelength region pixel) for sensing is arranged, and a different G / B or R / W (R / A) pixel for each row is in a checkered pattern. Is arranged. In the color arrangement of the basic color filter of such a Bayer arrangement, two colors of G / B or R / W (R / A) are repeated every two in both the row direction and the column direction.
原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを通して対応する検知部（画素１２Ｒ，１２Ｇ，１２Ｂ）で検知することで可視光カラー画像を撮像できるとともに、白色フィルタ１４Ｗを通して（もしくはフィルタなしで）対応する検知部（広波長領域画素１２Ａ）で検知することで赤外光画像、もしくは赤外光と可視光の混在画像を可視光カラー画像とは独立かつ同時に撮像することができる。
A visible light color image can be picked up by detecting with a corresponding detection unit (
たとえば、赤外光IRと可視光VLの混合成分を受光する広波長領域画素１２Ａからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、広波長領域の画素信号を取得することができる。
For example, by using the pixel data from the wide
また、広波長領域画素１２Ａで得られる赤外光IRと可視光VLの混合成分の像とともに画素１２Ｒ，１２Ｇ，１２Ｂで可視光VLの色画像が得られるが、両者の差分を取ることで、赤外光IRのみの像が得られる。また、この広波長領域画素１２Ａから得られる混在画像信号（広波長領域画像信号）は、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを配した画素１２Ｒ，１２Ｇ，１２Ｂから得られる可視光カラー画像に対しての補正信号としても利用することができる。
In addition, a color image of visible light VL can be obtained by the
なお、上記例では、可視光カラー画像撮像用の色フィルタ群３１４として、原色フィルタ１４Ｒ，１４Ｇ，１４Ｂを用いていたが、補色フィルタ１４Ｃｙ，１４Ｍｇ，１４Ｙｅを用いることもできる。
In the above example, the
この場合、たとえば、図２（Ｂ）に示す第１例の配列態様（その２）のように、原色フィルタ１４Ｒをイエローフィルタ１４Ｙｅに、原色フィルタ１４Ｇをマゼンタフィルタ１４Ｍｇに、原色フィルタ１４Ｂをシアンフィルタ１４Ｃｙに、それぞれ置き換えた配置とするとよい。そして、対角に２つ存在することになるマゼンタフィルタ１４Ｍｇの一方に、白色フィルタ１４Ｗを配するか、もしくは色フィルタ１４を配しない。
In this case, for example, the
また、Ｃｙ，Ｍｇ，Ｙｅの補色フィルタのみの組合せに限らず、原色フィルタの１つである緑色フィルタ１４Ｇを補色フィルタと組み合せたものに対しても、広波長領域画素１２Ａを設けることもできる。たとえば、図２（Ｃ）に示す第１例の配列態様（その３）のように、Ｃｙ，Ｍｇの２つの補色フィルタとＧの原色フィルタとを組み合わせたフィールド蓄積周波数インターリーブ方式用のものにおいて、４画素内に２つ存在する原色フィルタ１４Ｇの内の一方を白色フィルタ１４Ｗに置き換えるか、もしくは色フィルタ１４を配しないとよい。
The wide
＜第２例〜第５例＞
図３〜図６に示す色フィルタ群３１４の第２例〜第５例の配列態様は、解像度低下を考慮した画素配列である。
<Second Example to Fifth Example>
The arrangement modes of the second to fifth examples of the
画素配列に関して言えば、図２のような配列構造を適用した場合、単純に従来のＲＧＢ原色フィルタやＣｙ，Ｍｇ，Ｙｅ補色フィルタ（あるいは原色フィルタＧ）の可視光の画素に広波長領域対応用の画素（広波長領域画素１２Ａ）を追加することになる。
Regarding the pixel arrangement, when the arrangement structure as shown in FIG. 2 is applied, the conventional RGB primary color filter and the visible light pixels of the Cy, Mg, Ye complementary color filter (or the primary color filter G) are simply compatible with a wide wavelength region. Pixels (wide
たとえば、本来、可視光カラー画像撮像用の緑色画素Ｇやマゼンタ色画素Ｍｇが、広波長領域画素１２Ａに置き換わることになり、可視光カラー画像および赤外光画像の何れについても、解像度低下を招く可能性がある。たとえば、従来のＲＧＢベイヤ配列のＧの１つの画素を広波長領域画素１２Ａに置き換えると、解像度が低下する。しかしながら、広波長領域画素１２Ａと解像度に大きく寄与する波長成分の画素（たとえば緑色画素１２Ｇ）の配置態様を工夫することで、この解像度低下の問題を解消することができる。
For example, the green pixel G and the magenta color pixel Mg for capturing a visible light color image are originally replaced with the wide
この際に重要なことは、従来と同様に、各色の色フィルタ１４をモザイク状に配した色分離フィルタ構造を採用する場合、赤外光と可視光の混在の広波長領域画素１２Ａがある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系ＲＧＢまたは補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つの画素がある一定の格子間隔を持ってモザイク模様になるように配置することである。
In this case, what is important is that when a color separation filter structure in which the
ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。あるいは、可視光の原色系ＲＧＢまたは補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様（市松模様）となるようにする配置態様がある。
Here, “to make a mosaic pattern” means that when attention is paid to a certain color pixel, they are arranged in a grid pattern with a certain grid interval. The color pixels are not necessarily required to be adjacent to each other. As a typical example of the arrangement mode in which the color pixels are adjacent to each other, an arrangement mode in which the wide
＜第２例：原色フィルタへの適用例＞
たとえば、ＲＧＢ原色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のＧの画素の配置密度を維持し、可視光領域の残りのＲもしくはＢの画素を、広波長領域画素１２Ａに置き換えるとよい。たとえば図３（Ａ）に示す第２例の配列態様（その１）のように、２行２列の単位画素マトリクス１２内において先ず、奇数行奇数列および偶数行偶数列に可視光領域の緑色成分を感知するための色フィルタ１４Ｇを設けた緑色画素１２Ｇを配し、偶数行奇数列には白色フィルタ１４Ｗを設けたもしくは色フィルタ１４を設けない広波長領域画素１２Ａを配する。広波長領域画素１２Ａは、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である。
<Second Example: Application Example to Primary Color Filter>
For example, in order to suppress the reduction in the resolution of the visible light color image while using the RGB primary color filter, the arrangement density of the G pixels in the visible light region is maintained, and the remaining R or B pixels in the visible light region are It may be replaced with the
また、単位画素マトリクス１２の列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の青色成分を感知するための色フィルタ１４Ｂを設けた青色画素１２Ｂを配し、行方向の偶数番目の単位画素マトリクス１２における奇数行偶数列に可視光領域の赤色成分を感知するための色フィルタ１４Ｒを設けた赤色画素１２Ｒを配する。単位画素マトリクス１２の列方向の偶数番目においては、青色画素１２Ｂと赤色画素１２Ｒの配置を逆にする。全体としては、色フィルタ群３１４の繰返しサイクルは、２×２の単位画素マトリクス１２で完結することになる。
In the odd-numbered
なお、赤色画素１２Ｒ、緑色画素１２Ｇ、および青色画素１２Ｂを纏めて可視光検知画素１２VLと称する。可視光検知画素１２VLは、ＲＧＢ信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。
The
この図３（Ａ）に示すような配置形態の場合、可視光の原色系ＲＧＢ画素の内の１つの緑色画素１２Ｇとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与する緑色画素１２Ｇの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。
In the case of the arrangement as shown in FIG. 3A, a checkered pattern arrangement is adopted in which one
ただし、赤色画素１２Ｒと青色画素１２Ｂの配置密度はベイヤ配列に対して１／２になるのでカラー分解能が低下する。しかしながら、色に関する人間の視感度は、緑Ｇに比べて赤Ｂや青Ｂは劣るので、大きな問題にはならないと考えてよい。
However, since the arrangement density of the
一方、輝度信号に寄与する広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）に関しては、広波長領域画素１２Ａの配置密度が、可視光領域の緑色成分を感知するための緑色画素１２Ｇに対して１／２になるので、輝度画像の分解能は、原色画素１２Ｒ，１２Ｇ，１２Ｂで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
On the other hand, for the wide wavelength region image (that is, the luminance image) obtained by the wide
また、広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度低下を抑えるには、たとえば図３（Ｂ）に示す第２例の配列態様（その２）のように、図３（Ａ）に示す可視光領域の緑色成分を感知するための緑色画素１２Ｇと、広波長領域画素１２Ａの配置を入れ替えるとよい。この場合、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素１２Ａの配置密度をベイヤ配列の場合と同じにできるので、出力される輝度画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与する緑色画素１２Ｇの配置密度は、広波長領域画素１２Ａに対して１／２になるので、可視光カラー画像は、広波長領域画素１２Ａから得られる輝度画像の分解能よりも劣る。カラー分解能に関しては、図３の場合と同様である。
Further, in order to suppress the resolution reduction of the wide wavelength region image (that is, the luminance image) obtained by the wide
＜第３例：補色フィルタへの適用例＞
また、Ｃｙ，Ｍｇ，Ｙｅ補色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のＭｇの画素の配置密度を維持し、可視光領域の残りのＲもしくはＢの画素を、広波長領域画素１２Ａに置き換えるとよい。たとえば図４（Ａ）に示す第３例の配列態様（その１）のように、２行２列の単位画素マトリクス１２内において、先ず、奇数行奇数列および偶数行偶数列に可視光領域のマゼンタ色成分を感知するための色フィルタ１４Ｍｇを設けたマゼンタ画素１２Ｍｇを配し、偶数行奇数列には白色フィルタ１４Ｗを設けたもしくは色フィルタ１４を設けない広波長領域画素１２Ａを配する。なお、マゼンタ色Ｍｇの内の一方を緑色Ｇに置き換えることもできる。
<Third example: application example to complementary color filter>
Further, in order to suppress the resolution reduction of the visible light color image while using the Cy, Mg, Ye complementary color filter, the arrangement density of the Mg pixels in the visible light region is maintained, and the remaining R or B pixels in the visible light region are replaced. It may be replaced with the wide
この場合、可視光の補色系Ｃｙ，Ｍｇ，Ｙｅ画素の内の１つのマゼンタ画素１２Ｍｇとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与するマゼンタ画素１２Ｍｇの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。 In this case, a checkered pattern arrangement is used in which one magenta pixel 12Mg of complementary colors Cy, Mg, Ye pixels of visible light and the squares of the other color pixels are alternately arranged, and the resolution in the visible light color image is adopted. Since the arrangement density of the magenta pixels 12Mg that greatly contributes to can be made the same as that of the Bayer array, the resolution of the visible light color image obtained by using the synthesized luminance signal is eliminated.
なお、カラー画素Ｃｙとカラー画素Ｙｅの配置密度はマゼンタ画素１２Ｍｇの配列に対して１／２になるのでカラー分解能が低下するが、色に関する人間の視感度は低く大きな問題にはならないと考えてよい。 In addition, since the arrangement density of the color pixels Cy and the color pixels Ye is halved with respect to the arrangement of the magenta pixels 12Mg, the color resolution is lowered. Good.
また、輝度信号に寄与する広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）に関しては、広波長領域画素１２Ａの配置密度が、可視光領域のマゼンタ色成分を感知するためのマゼンタ画素１２Ｍｇに対して１／２になるので、輝度画像の分解能は、原色画素１２Ｒ，１２Ｇ，１２Ｂで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
For a wide wavelength region image (that is, a luminance image) obtained by the wide
また、赤外光画像の解像度低下を抑えるには、たとえば図４（Ｂ）に示す第３例の配列態様（その２）のように、図４（Ａ）に示す可視光領域のマゼンタ色成分を感知するためのマゼンタ画素１２Ｍｇと、広波長領域画素１２Ａの配置を入れ替えるとよい。この場合、広波長領域画素１２Ａとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素１２Ａの配置密度をベイヤ配列の場合と同じにできるので、広波長領域画素１２Ａで得られる広波長領域画像（つまり輝度画像）の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与するマゼンタ画素１２Ｍｇの配置密度は、広波長領域画素１２Ａに対して１／２になるので、可視光カラー画像は、輝度画像の分解能よりも劣る。カラー分解能に関しては、図４（Ａ）の場合と同様である。
Further, in order to suppress a reduction in the resolution of the infrared light image, for example, as in the arrangement example (part 2) of the third example shown in FIG. 4B, the magenta color component in the visible light region shown in FIG. The arrangement of the magenta pixel 12Mg and the wide
なお、解像度低下を抑えるための上記の配置態様例では、緑色Ｇまたはマゼンタ色Ｍｇの画素をできるだけ高密度でモザイク模様（定型例としての市松模様）となるように配置していたが、その他の色（Ｒ，ＢまたはＣｙ，Ｙｅ）の画素を市松模様となるように配置しても、ほぼ同様の効果を得ることができる。もちろん、解像度や色分解能を高める上では、視感度の高い色成分のフィルタをできるだけ高密度でモザイク模様となるように配置するのが好ましい。 In the above arrangement example for suppressing the reduction in resolution, the pixels of green G or magenta color Mg are arranged in a mosaic pattern (checkered pattern as a standard example) at as high a density as possible. Even if the pixels of the colors (R, B or Cy, Ye) are arranged in a checkered pattern, substantially the same effect can be obtained. Of course, in order to increase the resolution and the color resolution, it is preferable to arrange the color component filters having high visibility so as to form a mosaic pattern with as high a density as possible.
特に、本実施形態では、色フィルタＣ４を通して得られる広波長領域信号ＳＡから出力用の輝度信号を取得することにするので、この点を考慮すれば、図３（Ｂ）に示したような、広波長領域画素１２Ａの配置密度ができるだけ高くなるような色フィルタ１４の配列態様、つまり白画素に相当する広波長領域画素１２Ａが最も高密度となるようにしつつ市松状に配置したカラーフィルタアレイとすることが、全体として、高解像度化に大きく寄与することになる。
In particular, in the present embodiment, the luminance signal for output is obtained from the wide wavelength region signal SA obtained through the color filter C4. Therefore, in consideration of this point, as shown in FIG. An arrangement mode of the
こうすることで、可視光成分の少ない低照度環境下での撮影画像について、可視光領域以外の成分も使うことで効果的なノイズ低減を実現することに加えて、解像度の高い高品質な画像を取得することが可能となる。 By doing this, in addition to realizing effective noise reduction by using components other than the visible light region for shot images in a low-light environment with few visible light components, high-resolution images with high resolution Can be obtained.
＜第４例＆第５例：斜め配置への適用例＞
なお、上記例では、正方格子状に色フィルタを配置する事例を説明したが、斜め格子状に配列することもできる。たとえば、図５（Ａ）に示す第４例の配列態様（その１）は、図３（Ａ）に示す配置態様を、右回りに略４５度だけ回転させた状態の画素配列になっている。また図５（Ｂ）に示す第４例の配列態様（その２）は、図３（Ｂ）に示す配置態様を、右回りに略４５度だけ回転させた状態の画素配列になっている。このように、斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができるのである。
<Example 4 & Example 5: Application example to oblique arrangement>
In the above example, the case where the color filters are arranged in a square lattice shape has been described. However, the color filters may be arranged in an oblique lattice shape. For example, the arrangement mode (No. 1) of the fourth example shown in FIG. 5A is a pixel arrangement in a state where the arrangement mode shown in FIG. 3A is rotated approximately 45 degrees clockwise. . Further, the arrangement example (No. 2) of the fourth example shown in FIG. 5B is a pixel arrangement obtained by rotating the arrangement example shown in FIG. 3B clockwise by approximately 45 degrees. As described above, when arranged in an oblique lattice shape, the pixel density in the vertical direction and the horizontal direction increases, and the resolution in that direction can be further increased.
また、図６に示す第５例の配列態様は、図３（Ｂ）に示す第４例の配列態様（その２）に対して、演算処理により仮想の広波長領域画素１２AAを算出可能にしたもので、さらに高解像度化を図ることができる。なお、仮想の広波長領域画素１２AAは、上下または左右の実在する広波長領域画素１２Ａの信号を元に演算することができる。
In addition, the arrangement example of the fifth example shown in FIG. 6 enables calculation of the virtual wide wavelength region pixel 12AA by the arithmetic processing, compared to the arrangement example (part 2) of the fourth example shown in FIG. Therefore, higher resolution can be achieved. Note that the virtual wide wavelength region pixel 12AA can be calculated based on the signals of the actual wide
以上説明したように、色フィルタ群３１４をなす色フィルタ１４の配列（色配列）としては様々なものを適用し得るが、何れにおいても、広波長領域画素１２Ａは、所定の間隔を持って市松状に配置されている。このような色配列を持つ半導体装置としての固体撮像素子を適用して撮影した画素信号に基づいて信号処理（特に輝度成分に関わる信号処理）を実行すれば、広波長領域画素１２Ａからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、特に、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることが可能となる。
As described above, various arrangements (color arrangements) of the
＜撮像装置＞
図７は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。撮像装置３００は、可視光カラー画像および近赤外光成分を含む輝度画像を独立に得る撮像装置や、近赤外光成分を使った補正をした可視光カラー画像を得る撮像装置になっている。
<Imaging device>
FIG. 7 is a diagram illustrating a schematic configuration of an imaging apparatus which is an example of a physical information acquisition apparatus. The
具体的には、撮像装置３００は、被写体Ｚの像を担持する光Ｌを撮像部側に導光して結像させる撮影レンズ３０２と、光学ローパスフィルタ３０４と、半導体装置の一例である固体撮像素子（イメージセンサ）３１２、不可視光カットフィルタ層の一例である赤外光カットフィルタ層３１３、および色フィルタ群３１４を有する全体として半導体装置をなす撮像部３１０と、固体撮像素子３１２を駆動する駆動部３２０と、固体撮像素子３１２から出力された不可視光成分信号の一例である赤外光信号ＳIR（赤外光成分）および可視光信号ＳVL（可視光成分）を処理する撮像信号処理部３３０とを備えている。
Specifically, the
赤外光カットフィルタ層３１３は、第１の波長領域の成分としての可視光領域および第２の波長領域の成分としての赤外光成分に対して透過性を有する開口部３１３ａと第１の波長領域の成分としての可視光領域に対して透過性を有するとともに第２の波長領域の成分としての赤外光成分に対して非透過性を有する非開口部３１３ｂとを具備する第１の波長分離フィルタ部の一例である。
The infrared light cut
また、色フィルタ群３１４は、第１の波長領域としての可視光領域をそれぞれ異なる波長領域成分に分離する第２の波長分離フィルタ部の一例である。
The
光学ローパスフィルタ３０４は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。
The optical low-
なお、図中に点線で示したように、一般的な撮像装置では、光学ローパスフィルタ３０４と合わせて、赤外光成分を低減させる赤外光カットフィルタ３０５を設けるが、本実施形態では、赤外光カットフィルタ３０５を備えない構成を基本とする。
Note that, as indicated by the dotted line in the figure, in a general imaging apparatus, an infrared light cut
また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ３０２を通して入射された光Ｌ１を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材（波長分離光学系という）を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
When the visible light color image and the near-infrared light image are obtained independently, the wavelength that separates the light L1 incident through the photographing
固体撮像素子３１２は、２次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる赤外光カットフィルタ層３１３および固体撮像素子３１２の具体的な構成については後述する。
The solid-
固体撮像素子３１２の撮像面では、被写体Ｚの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部３２０へ出力されるセンサ駆動用のパルス信号によって制御される。
On the imaging surface of the solid-
固体撮像素子３１２から読み出された電荷信号は撮像信号処理部３３０に送られ、所定の信号処理が加えられる。
The charge signal read from the solid-
ここで、本実施形態の構成においては、色フィルタＣ４としては、色フィルタＣ１，Ｃ２，Ｃ３を通して得られる信号よりも光の利用効率が高い広波長領域信号が得られるようにしており、色フィルタＣ４を通して得られる広波長領域信号ＳＡに含まれる赤外光撮像信号ＳIRは、可視光帯域の全成分で示される、一般的に輝度信号ＳY と称されるものを補完する信号成分として機能するようになっている。 Here, in the configuration of the present embodiment, as the color filter C4, a wide wavelength region signal having higher light utilization efficiency than the signals obtained through the color filters C1, C2, and C3 is obtained. The infrared imaging signal SIR included in the wide wavelength region signal SA obtained through C4 functions as a signal component that complements what is generally referred to as the luminance signal SY, which is indicated by all components in the visible light band. It has become.
たとえば、撮像信号処理部３３０は、固体撮像素子３１２から出力されたセンサ出力信号（色フィルタＣ４を通して得られる輝度信号ＳY および赤外光撮像信号ＳIRでなる広波長領域信号ＳＡ並びに色フィルタＣ１，Ｃ２，Ｃ３を通して得られる色信号ＳＲ，ＳＧ，ＳＢ）に対して黒レベル調整やゲイン調整やクリッピング処理やガンマ補正などの前処理を行なう前処理部３３２と、前処理部３３２から出力されたアナログ信号をデジタイル信号に変換するＡＤ変換部３３４と、ホワイトバランス補正や撮影レンズ３０２で生じるシェーディングや固体撮像素子３１２の画素欠陥などを補正する補正処理部３３６と、本発明に係る信号処理装置の一例である画像信号処理部３４０とを備えている。
For example, the imaging
画像信号処理部３４０は、被写体Ｚを色フィルタＣ１〜Ｃ４の配列パターン（モザイクパターン）に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換するデモザイク信号処理部３４１を備えている。
The image
なお、一般に、波長成分（色成分）や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。 In general, a demosaic process that generates a luminance image or a monochrome image as information with uniform color and sensitivity for all pixel positions from a mosaic image as mosaic-shaped imaging information with different wavelength components (color components) and sensitivities. This is called processing.
詳細は後述するが、デモザイク信号処理部３４１は、色フィルタＣ４を通して得られる色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度信号生成部、および、色フィルタＣ１，Ｃ２，Ｃ３を通して得られる色・感度モザイク画像を用いて単色画像Ｒ，Ｇ，Ｂを生成する単色画像信号生成部とを有する。
Although details will be described later, the demosaic
また、詳細は後述するが、信号処理形態によっても異なるものの、単色画像信号生成部の後段には、単色画像信号生成部で得られる単色画像Ｒ，Ｇ，Ｂに基づいて色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）を生成する色差信号処理部が設けられることもあるし、また、輝度信号生成部で得られる輝度信号に基づき取得される所定の信号成分と単色画像信号生成部で得られる単色画像Ｒ，Ｇ，Ｂに基づく単色画像信号Ｒａ，Ｇａ，Ｂａとを加算して最終的な色出力信号としての単色画像信号Ｒｚ，Ｇｚ，Ｂｚを生成する合成処理部が設けられることもある。後者の場合、さらに、その後段に色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）を生成する色差信号処理部が設けられることもある。 Although details will be described later, although different depending on the signal processing mode, a color difference signal (for example, R−) is provided at the subsequent stage of the monochrome image signal generation unit based on the monochrome images R, G, and B obtained by the monochrome image signal generation unit. Y, B−Y) may be provided, or a predetermined signal component obtained based on the luminance signal obtained by the luminance signal generation unit and the monochrome image signal generation unit may be obtained. There may be provided a synthesis processing unit that adds the monochrome image signals Ra, Ga, Ba based on the monochrome images R, G, B to generate the monochrome image signals Rz, Gz, Bz as final color output signals. . In the latter case, a color difference signal processing unit that generates a color difference signal (for example, RY, BY) may be provided in the subsequent stage.
また、画像信号処理部３４０は、デモザイク信号処理部３４１の輝度信号生成部から出力された広波長領域信号ＳＡに対して所望の輝度信号処理を加えて最終的な輝度出力信号としての輝度信号Ｙｚを生成する輝度信号処理部を備えていてもよい。輝度信号処理部を設けない場合には、デモザイク処理で得られたものを、そのまま輝度信号Ｙｚとして出力することになる。
In addition, the image
また、画像信号処理部３４０は、デモザイク信号処理部３４１の輝度信号生成部から出力された広波長領域信号ＳＡから赤外光撮像信号ＳIRを抽出することで赤外光画像を表わす赤外光信号ＳIRｚを生成する赤外信号処理部を備えていてもよい。
In addition, the image
本実施形態では、輝度信号処理部、色差信号処理部、合成処理部、赤外信号処理部を纏めて、出力画像信号処理部３４３と称する。
In the present embodiment, the luminance signal processing unit, the color difference signal processing unit, the synthesis processing unit, and the infrared signal processing unit are collectively referred to as an output image
出力画像信号処理部３４３の後段には、図示を割愛するが、さらにモニタ出力用のビデオ信号とするためのエンコーダが設けられることもある。エンコーダでは、２系統の色差信号（たとえばＲ−Ｙ，Ｂ−Ｙ）に基づいて、各種の放送方式に準拠したサブキャリアで変調することでクロマ信号を生成し、さらに輝度信号Ｙと合成することで、ビデオ信号を生成する。
Although not shown, an encoder for generating a video signal for monitor output may be provided at the subsequent stage of the output image
単色画像信号生成部は、注目する色成分について、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＲ
，ＳＧ，ＳＢを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。
The single color image signal generation unit, for the color component of interest, each color / sensitivity mosaic image obtained through the color filters R, G, B, color mosaic pattern information indicating the arrangement pattern of the color filters R, G, B, and the sensitivity mosaic pattern Based on the information, neighboring pixel signals SR of the same color
, SG, and SB, the color / sensitivity mosaic image is interpolated to generate a single color image in which all the obtained pixels have pixel values of the respective color components.
輝度画像生成部も、同様に、色フィルタＣ４を通して得られる色・感度モザイク画像、色フィルタＣ４の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号ＳＡを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。 Similarly, the luminance image generation unit also uses the color / sensitivity mosaic image obtained through the color filter C4, the color mosaic pattern information indicating the arrangement pattern of the color filter C4, and the sensitivity mosaic pattern information to detect pixel signals of the same color in the vicinity. By applying interpolation processing to the color / sensitivity mosaic image using SA, a wide wavelength region image in which all the obtained pixels have pixel values of the high wavelength region signal component is generated, which is effectively used as a luminance image. Try to use it.
色フィルタＣ４を設けない、Ｒ，Ｇ，Ｂの３原色フィルタを配したベイヤ配列の場合、色フィルタＲ，Ｇ，Ｂを通して得られる各色・感度モザイク画像、色フィルタＲ，Ｇ，Ｂの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、３原色成分Ｒ，Ｇ，Ｂの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、本実施形態では、このような演算が不要になる。 In the case of a Bayer array in which three primary color filters of R, G, and B are arranged without the color filter C4, each color / sensitivity mosaic image obtained through the color filters R, G, and B, and an array pattern of the color filters R, G, and B The estimated values of the three primary color components R, G, and B are obtained based on the color mosaic pattern information indicating the sensitivity mosaic information and the sensitivity mosaic pattern information, and the obtained estimated values are multiplied by a color balance coefficient, and the multiplied values for the respective colors are added. However, although it is necessary to generate a luminance image having the sum as a pixel value, in this embodiment, such a calculation is not necessary.
このような構成によって、撮像装置３００は、撮影レンズ３０２により赤外光IRを含む被写体Ｚを表わす光学画像を取り込み、赤外光画像（近赤外光光学画像）と可視光像（可視光光学画像）とを分離することなく撮像部３１０に取り込み、撮像信号処理部３３０によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理（たとえばＲ，Ｇ，Ｂ成分への色信号分離など）を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
With such a configuration, the
たとえば、撮影レンズ３０２は、波長３８０ｎｍ程度から２２００ｎｍ程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子３１２上に結像させる。
For example, the photographing
また、本実施形態の撮像装置３００においては、撮像部３１０に、本来の検知目的の波長成分の検知に最適化された検知部（イメージセンサ）を設けるようにする点に特徴を有している。特に、本実施形態においては、可視光VLと赤外光IRの内の短波長側を検知するべく、可視光VLの検知に最適化された固体撮像素子３１２が設けられている。
In addition, the
ここで“最適化されたイメージセンサ”とは、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外が可能な限り含まれないようにするような波長分離対応の領域を備えた構造を持つことを意味する。 Here, the “optimized image sensor” is an area corresponding to wavelength separation that prevents an image signal having a wavelength component originally intended for detection to include a wavelength component other than the wavelength component intended for detection as much as possible. It means having a structure with.
波長分離光学系による光路上での波長分離を備えなくても、イメージセンサ側で波長分離対応の構造を持つようにすることで、光学系をコンパクトにすることを可能にする点に特徴を有している。 Even if the wavelength separation optical system does not provide wavelength separation on the optical path, the optical sensor can be made compact by having a structure that supports wavelength separation on the image sensor side. doing.
このような撮像装置の構造は、特開平１０−２１０４８６号公報や特開平０６−１２１３２５号公報のように、波長分離光学系で分離した各波長成分を、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とは異なる。 The structure of such an imaging apparatus is as follows. Each wavelength component separated by the wavelength separation optical system is converted into an individual sensor having the same structure as disclosed in JP-A-10-210486 and JP-A-06-121325. By making it enter, it differs from the structure which acquires a visible light image and an infrared-light image separately.
また、特開平１０−２１０４８６号公報のように、コールドミラーを透過した可視光成分をさらに３枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させることで、可視光VLに関して、Ｒ，Ｇ，Ｂの個別の画像を取得する仕組みとも異なる。特開平１０−２１０４８６号公報の方式では、可視光VLについて３つのセンサが必要になり、感度向上はあるものの、コストが増大するという問題点がある。本実施形態の構成ではこの問題がない。 Further, as disclosed in Japanese Patent Application Laid-Open No. 10-210486, the visible light component transmitted through the cold mirror is further separated into three components, a red component, a green component, and a blue component, and each is incident on an individual sensor. By doing so, it is different from the mechanism for acquiring R, G, B individual images with respect to the visible light VL. The method disclosed in Japanese Patent Application Laid-Open No. 10-210486 requires three sensors for the visible light VL, and has the problem that the cost increases although the sensitivity is improved. This configuration does not have this problem.
また、特開２００２−３６９０４９号公報のように、光路上にて２段構えで波長分離を行ない、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とも異なる。同公報の方式では、光路上にて２段構えで波長分離を行なうので、光学系が大掛かりになる難点がある。加えて、感度やボケなどの問題も有する。本実施形態の構成ではこの問題がない。 Further, as disclosed in Japanese Patent Application Laid-Open No. 2002-369049, wavelength separation is performed in two stages on the optical path and incident on each individual sensor having the same structure. It is also different from the configuration of acquiring each individually. In the method of this publication, wavelength separation is performed in two stages on the optical path, so that there is a problem that the optical system becomes large. In addition, there are problems such as sensitivity and blur. This configuration does not have this problem.
たとえば、本実施形態の構成では、撮像部３１０による可視光VLの撮像において、減色フィルタの一例として赤外光カットフィルタを固体撮像素子３１２の前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、コストを大幅に低減できる。また、厚みや重さのある赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外光カットフィルタの挿入／抜出機構が不要であり、装置が大がかりになることもない。既存のガラス製の赤外光カットフィルタを用いる場合に比べて、コスト的に有利になるし、コンパクトになって携帯性などに優れたデジタルカメラなどの撮像装置を提供することができる。
For example, in the configuration of the present embodiment, it is not necessary to insert an infrared light cut filter as an example of a subtractive color filter in front of the solid-
また、赤外光カットフィルタを固体撮像素子３１２の前に入れる構成では、ガラス基板をＣＣＤやＣＭＯＳなどの撮像素子の前に入れることで光路の途中に空気とガラス界面が生じてしまう。したがって、透過して欲しい可視光VLの光までがその界面で反射されてしまい、感度低下を招く問題が生じる。さらにこのような界面が多くなることで、斜め入射における（ガラス内で）屈折する角度が波長によって異なり、光路の変化による焦点ぼけを引き起こす。これに対して固体撮像素子３１２の前側の光路上にガラス製の赤外光カットフィルタを用いないことで、このような焦点ぼけがなくなる利点が得られる。
Further, in the configuration in which the infrared light cut filter is placed in front of the solid-
なお、さらに波長分離性能を向上させるために、光学系が大きくなってしまなどの問題が生じてしまうが、全体に弱い赤外光カットフィルタを入れてもよい。たとえば５０％以下の赤外光カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。 In addition, in order to further improve the wavelength separation performance, problems such as an optical system becoming large may occur. However, a weak infrared light cut filter may be inserted as a whole. For example, an infrared light cut filter of 50% or less may be inserted to cut the visible light VL to a level with almost no problem.
何れにしても、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外（本例では赤外光IR）とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。 In any case, depending on how the signal processing is performed, it is possible to capture an image in which visible light VL and non-visible light (in this example, infrared light IR) are mixed. Depending on the situation, an image of only visible light VL and an image of only infrared light IR can be separated and output.
さらに、固体撮像素子３１２上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光領域において所定の波長透過特性を持つ色フィルタを画素（単位画素マトリクス）に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光領域中の特定波長領域のみの像が得られる。
Furthermore, as an example of an optical member that separates the visible light VL into a predetermined wavelength region component on the solid-
また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応（色別）のフォトダイオードに位置整合させ、規則的に配列することで、可視光領域を波長別（色別）に分離することができ、これらの色別の画素から得られる各画素信号に基づいて、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像（可視光カラー画像）が得られる。 In addition, the color filters having different wavelength transmission characteristics in the visible light region are integrated on the plurality of photodiodes constituting the unit pixel matrix so as to be aligned with the photodiodes corresponding to the respective wavelengths (by color), and regularly. By arranging them in the visible light region, it is possible to separate the visible light region by wavelength (by color), and based on each pixel signal obtained from these pixels by color, there is almost no influence of infrared light IR. A color image of only visible light VL (visible light color image) is obtained.
もちろん、波長別（色別）の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素１２Ａ側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。
Of course, it is also possible to obtain a monochrome image with only visible light by synthesizing signals by wavelength (by color). An application using a monochrome image including an infrared light component obtained on the wide
このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光ＩＲに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。 In this way, it is always possible to independently obtain a monochrome image or color image of visible light VL and an “image related to infrared light IR” independently. The “image related to the infrared light IR” means an image of only the infrared light IR that is hardly affected by the visible light VL, or an image in which the infrared light IR and the visible light VL are mixed.
赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像（モノクロ撮像もしくはカラー撮像）と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできるのである。また、可視光VLのみの成分（モノクロ像成分もしくはカラー像成分）と、赤外光IRと可視光VLとを混在させた成分との合成処理（詳しくは差分処理）により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。 Imaging with only visible light VL (monochrome imaging or color imaging) that is almost unaffected by infrared light IR and mixed imaging with infrared light IR and visible light VL can be performed simultaneously. It is. In addition, the effect of visible light VL is achieved by combining (specifically, differential processing) a component that includes only visible light VL (monochrome image component or color image component) and a component that mixes infrared light IR and visible light VL. It is also possible to perform imaging using only infrared light IR that does not receive substantially any of the above.
なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域（可視光VL）の影響を無視可能な赤外画像（物理情報の一例）を取得できればよく、可視光VL側については反射波長領域成分（赤外光IR）の影響を無視可能な通常画像（物理情報の一例）を取得できればよい。 In the above, “substantially unaffected” means that the human visual sense is ultimately taken into account. Generally, if a clear difference cannot be recognized by human visual sense, It may be “received”. In other words, it is only necessary to obtain an infrared image (an example of physical information) that can ignore the influence of the pass wavelength region (visible light VL) on the infrared light IR side, and a reflected wavelength region component (infrared) on the visible light VL side. It is only necessary to obtain a normal image (an example of physical information) that can ignore the influence of (light IR).
なお、色フィルタＣ４として、白色フィルタを使用する場合には、色フィルタＣ４が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタＣ１，Ｃ２，Ｃ３が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。 When a white filter is used as the color filter C4, the correction pixel in which the color filter C4 is arranged has sensitivity in a wide wavelength range from visible light to infrared light. Compared to other pixels for visible light imaging where C2 and C3 are arranged, the pixel signal is likely to be saturated.
この問題を避けるには、色フィルタＣ４が配される第２の検知部の検知時間を駆動部３２０により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部３３２に送るようにするのがよい。この場合、６０フレーム／秒より高いレートで信号を送ることで飽和に対して効果が得られる。
In order to avoid this problem, the
あるいは単に０．０１６６７秒より短い時間（蓄積時間）で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、２４０フレーム／秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に４．１６ミリ秒より短い時間（蓄積時間）で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間（蓄積時間）で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。 Alternatively, the charge may be read from the correction pixel detection unit in a time shorter than 0.01667 seconds (accumulation time). In this case, the accumulation of charges in an effective short time may be read out by discharging the charge signal to the substrate side using overflow. More desirably, sending a signal at a rate higher than 240 frames / second is more effective against saturation. Alternatively, the charge may be read from the detection unit in a time shorter than 4.16 milliseconds (accumulation time). In any case, it suffices if the pixel signal output from the detection unit for the correction pixel is hardly saturated. It should be noted that it is possible to read out the charges in a short time (accumulation time) so as not to saturate in this way only for the correction pixels, or for all the pixels.
さらに短い時間で読み取った信号を２回以上積算することで、弱い信号を強い信号に変換し、Ｓ／Ｎ比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いＳ／Ｎ比が得られ、ダイナミックレンジが広がることになる。 Furthermore, by integrating the signals read in a short time twice or more, weak signals may be converted into strong signals and the S / N ratio may be increased. For example, in this way, appropriate sensitivity and a high S / N ratio can be obtained and the dynamic range can be widened even if an image is taken in a dark place or an image is taken in a bright place.
＜撮像素子；色フィルタ群と赤外光カットフィルタ層の配置順＞
図８および図９は、固体撮像素子３１２を構成する色フィルタ群３１４と赤外光カットフィルタ層３１３の配置順を説明する図である。図１０は、比較例としての、固体撮像素子が一般的なベイヤ配列の色フィルタ配列を持つ場合の撮像装置の概略構成を示す図である。
<Image sensor: arrangement order of color filter group and infrared light cut filter layer>
FIG. 8 and FIG. 9 are diagrams for explaining the arrangement order of the
図１０に示した比較例は、一般的な単板カラー方式の固体撮像素子３１２を具備する撮像装置の構成を示している。単板カラー方式の固体撮像素子は、光路上に備えられたガラス製の赤外線カットフィルタおよび光学レンズを通して入射される光のうち、カラーフィルタを透過する光を受光する。固体撮像素子で光電変換されて電気信号として出力される画像信号は、固体撮像素子に内蔵されるＡ／Ｄ変換器によりデジタル信号に変換された後、撮像信号処理部（カメラ信号処理部）において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施される。
The comparative example shown in FIG. 10 shows a configuration of an imaging apparatus including a general single-plate color solid-
ここで、図８および図９に示した本実施形態の構成と図１０に示した比較例との比較から分かるように、本実施形態の構成では、先ず、ガラス製の赤外光カットフィルタ３０５を光路上に備えておらず、この赤外光カットフィルタ３０５に代えて、撮像部３１０に、赤外光カットフィルタ層３１３を設けるようにしている点に特徴を有する。
Here, as can be seen from a comparison between the configuration of the present embodiment shown in FIGS. 8 and 9 and the comparative example shown in FIG. 10, in the configuration of the present embodiment, first, an infrared light cut
先ず、撮像部３１０は、固体撮像素子３１２の表面に、固体撮像素子３１２の各単位画素マトリクス（画素）１２をなす画素１２Ｒ，１２Ｇ，１２Ｂ，１２Ａに対応するように、赤外光カットフィルタ層３１３と色フィルタ群３１４とを所定の順で配置して、これらを一体的に構成して、全体として、撮像素子となるようにしている。
First, the
ここで、本実施形態において、赤外光カットフィルタ層３１３としては、詳細は後述するが、誘電体積層膜１を利用した構造のものを使用する。そして、固体撮像素子３１２の広波長領域画素１２Ａの部分に開口部３１３ａを割り当て、かつ他の赤色画素１２Ｒ、緑色画素１２Ｇ，青色画素１２Ｂの部分に非開口部３１３ｂを割り当て、非開口部３１３ｂに誘電体積層膜１を利用した赤外光カットフィルタ膜を形成する。
Here, in the present embodiment, as the infrared light cut
また、色フィルタ群３１４については、赤色画素１２Ｒの部分に色フィルタ１４Ｒを割り当て、緑色画素１２Ｇの部分に色フィルタ１４Ｇを割り当て、青色画素１２Ｂの部分に色フィルタ１４Ｂを割り当て、広波長領域画素１２Ａの部分に白色フィルタ１４Ｗを割り当てるか、色フィルタ１４を無しとする。
In the
つまり、撮像部３１０は、不可視光の一例である赤外光をカットする赤外光カットフィルタ層３１３が固体撮像素子３１２の上に一体的に形成され、固体撮像素子３１２は、赤外光カットフィルタ層３１３の開口部３１３ａに対応する部分に可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である広波長領域画素１２Ａを備え、また、赤外光カットフィルタ層３１３の非開口部３１３ｂに対応する部分に波長領域別に可視光信号を取得する特定波長領域信号取得素子の一例である赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂを備えた構造をなしている。
That is, in the
ここで、図８に示す第１例の配置順では、色フィルタ群３１４が光入射側に配置され、色フィルタ群３１４と固体撮像素子３１２との間に赤外光カットフィルタ層３１３が配置された態様である。
Here, in the arrangement order of the first example shown in FIG. 8, the
非開口部３１３ｂの誘電体積層膜１によって赤外光がカットされるので、赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂの部分には、可視光領域〜赤外光波長領域の成分のうち、対応する色フィルタ１４を通して赤外光カットフィルタ層３１３に所定の色成分が入射し、さらに赤外光カットフィルタ層３１３によって赤外光領域を含まない可視光領域の所定の色成分のみが入射することになる。一方、開口部３１３ａは赤外光がカットされることがなく、広波長領域画素１２Ａの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。
Since the infrared light is cut by the dielectric
このような第１例の配置順の構造では、半導体である固体撮像素子３１２の上層に先ず誘電体積層膜１でなる赤外光カットフィルタ層３１３を一体的に形成してから、さらにその上層に色フィルタ群３１４や図示を割愛したマイクロレンズを形成することができるので、赤外光カットフィルタ層３１３の製造時の温度条件が後述の第２例と比べて余裕があり、比較的、製造が容易である。ただし、色フィルタ群３１４が光入射側となるので、一般的に有機物で生成される色フィルタ群３１４の耐候性（劣化性能）の点では第２例よりも劣る。
In such a structure in the arrangement order of the first example, an infrared light cut
一方、図９に示す第２例の配置順では、赤外光カットフィルタ層３１３が光入射側に配置され、赤外光カットフィルタ層３１３と固体撮像素子３１２との間に色フィルタ群３１４が配置された態様である。
On the other hand, in the arrangement order of the second example shown in FIG. 9, the infrared light cut
非開口部３１３ｂの誘電体積層膜１によって赤外光がカットされるのは、第１例の場合と同様であるので、赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂの部分には、可視光領域〜赤外光波長領域の成分のうち、赤外光カットフィルタ層３１３によって赤外光領域を含まない可視光領域の成分のみが色フィルタ群３１４に入射し、さらに、色フィルタ群３１４によって対応する色フィルタ１４を通して所定の色成分のみが入射することになる。一方、開口部３１３ａは赤外光がカットされることがなく、広波長領域画素１２Ａの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。
Infrared light is cut by the dielectric
このような第２例の配置順の構造では、赤外光カットフィルタ層３１３が光入射側となるので、一般的に有機物で生成される色フィルタ群３１４の耐候性（劣化性能）の点では第１例よりも優る。
In the arrangement structure of the second example as described above, since the infrared light cut
ただし、半導体である固体撮像素子３１２の上層に先ず色フィルタ群３１４を形成してから、さらにその上層に誘電体積層膜１でなる赤外光カットフィルタ層３１３や図示を割愛したマイクロレンズを形成することになるので、赤外光カットフィルタ層３１３の製造時の温度条件が前述の第１例と比べて余裕がなく、製造手法に工夫を要する。
However, the
たとえば、誘電体積層膜１を構成する誘電体層としては、酸化シリコンＳｉＯ2 やシリコンナイトライドＳｉＮ、あるいはアルミナＡｌ2Ｏ3やジルコニアＺｒＯ2や酸化チタンＴｉＯ2 や酸化マグネシウムＭｇＯや酸化亜鉛ＺｎＯなどの酸化物あるいはポリカーボネートＰＣやアクリル樹脂ＰＭＭＡなどの高分子材料、炭化珪素ＳｉＣやゲルマニウムＧｅなどを利用するが、その膜の一般的な製造時の温度条件は、固体撮像素子３１２上に形成された色フィルタ群３１４をなす各色フィルタ１４の耐え得る温度（たとえば２００°Ｃ程度）に対して比較的高くなり（たとえばＳｉＮ層では６００〜８００°Ｃ程度）、色フィルタ群３１４の膜劣化の問題が生じ得る。
For example, the dielectric layer constituting the dielectric
この問題を解消するには、たとえば、プラズマ処理で誘電体層を製膜することが考えられるが、この場合でも、製膜時の温度条件は、たとえば３８０°Ｃ程度となり、依然として、色フィルタ１４の耐え得る温度（たとえば２００°Ｃ程度）に対して高く、色フィルタ群３１４の膜劣化の問題が残る。
In order to solve this problem, for example, it is conceivable to form a dielectric layer by plasma treatment. Even in this case, the temperature condition during film formation is, for example, about 380 ° C., and the
さらに、製膜時の温度条件を低減するべく、スパッタ処理で誘電体層を製膜することが考えられる。この手法では、色フィルタ１４の耐え得る温度（たとえば２００°Ｃ程度）に対して問題のないようにすることができる。ただし、この手法では、膜厚の均一性に難点がありキチンとした膜ができ難く、赤外光カット性能の点では第１例よりも劣ることになる。
Furthermore, in order to reduce the temperature conditions during film formation, it is conceivable to form a dielectric layer by sputtering. In this method, there can be no problem with respect to the temperature that the
また、製膜時の温度条件を考慮する必要がないように、赤外光カットフィルタ層３１３を別途作成しておき、色フィルタ群３１４上に貼り付けることも考えられる。しかしながら、この場合、赤外光カットフィルタ層３１３の開口部３１３ａに対応する部分に広波長領域画素１２Ａが配置され、赤外光カットフィルタ層３１３の非開口部３１３ｂに対応する部分の色フィルタ群３１４の赤色フィルタ１４Ｒ、緑色フィルタ１４Ｇ、青色フィルタ１４Ｂのそれぞれに対応する部分に赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂを配置するという、位置合せの管理が必要となる難点がある。
It is also conceivable that an infrared light cut
＜撮像部；誘電体積層膜を利用＞
図１１は、撮像部３１０の一実施形態を説明する図である。撮像部３１０は、一般的な単板カラー方式の固体撮像素子と同様に、撮像素子の表面に、各検知部（一般的に画素と呼ばれる）において、特定の波長成分のみを透過するような色フィルタ１４を対応する画素位置に位置決めして貼り付け（一体的に形成して）、複数個の画素の組によって必要な色成分を復元する構造を採用する。
<Imaging unit; using dielectric laminated film>
FIG. 11 is a diagram illustrating an embodiment of the
加えて、本実施形態の撮像部３１０は、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた点に特徴を有する。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。
In addition, the
具体的には、本出願人が特願２００４−３５８１３９号にて提案している構成を利用したもので、固体撮像素子３１２の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光（電磁波）の内の本来の検知目的外である波長成分（本例では赤外光IR成分）を反射させ残り（本例では可視光VL成分）を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ（分光検知部）としている。固体撮像素子３１２（センサ）の基本構造そのものは、ＣＣＤ型やＣＭＯＳ型やその他の何れであってもよい。
Specifically, the present applicant uses the configuration proposed in Japanese Patent Application No. 2004-358139, and the refractive index is different between adjacent layers on the incident surface side where the electromagnetic wave of the solid-
積層部材が持つ前述の特性は、逆に言えば、入射される光（電磁波）の内の本来の検知目的の波長成分（本例では可視光VL成分）を通過させ残り（本例では赤外光IR成分）を反射させる特性ということができる。 In other words, the above-mentioned characteristics of the laminated member pass the wavelength component (visible light VL component in this example) of the incident light (electromagnetic wave) that is originally intended for detection (in this example, infrared light). It can be said that the light IR component) is reflected.
可視光VLの検知部（可視光検知画素１２VL）側に、可視光VLの検知に最適化された誘電体積層膜を利用した分光イメージセンサ構造を持つイメージセンサとしている。赤外光IRを誘電体積層膜を利用して光学的に排除し、可視光VLの検知部に入射した可視光VL成分だけの光電子だけを可視光検知画素１２VLで電気信号に変換するようにする。 The image sensor has a spectral image sensor structure using a dielectric laminated film optimized for detection of visible light VL on the visible light VL detection unit (visible light detection pixel 12VL) side. Infrared light IR is optically eliminated using a dielectric laminated film, and only the photoelectrons of only the visible light VL component incident on the visible light VL detection unit are converted into electrical signals by the visible light detection pixel 12VL. To do.
光路上で波長分離を行なうことなく、１つのイメージセンサ上の可視光検知画素１２VL（たとえばＲ，Ｇ，Ｂの各色画素１２Ａ，１２Ｇ，１２Ｂ）に誘電体多層膜を利用した分光フィルタを一体的に形成し、広波長領域画素１２Ａには誘電体多層膜を利用した分光フィルタを形成しない開口部３１３ａを設けることで、可視光検知画素１２VL（１２Ａ，１２Ｇ，１２Ｂ）から得られる画素信号に基づく可視光像（特に可視光カラー画像）と、広波長領域画素１２Ａから得られる画素信号に基づく赤外光成分を含む画像（本例では輝度画像に相当するもの）とを、独立かつ同時に取得できるようにしている。これにより、赤外光IRの影響を殆ど受けることなく、可視光像を、赤外光成分を含む画像とは独立に得ることができるようになる。
A spectral filter using a dielectric multilayer film is integrated with a visible light detection pixel 12VL (for example, each
＜誘電体積層膜を利用した波長分離の概念＞
誘電体積層膜１は、図１１（Ａ）に示すように、隣接する層間で屈折率ｎｊ（ｊは２以上の正の整数；以下同様）が異なり（屈折率差Δｎ）、所定の厚みｄｊを持つ層を複数積層した構造を有する積層部材である。これによって、後述するように、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持つようになる。
<Concept of wavelength separation using dielectric laminated film>
As shown in FIG. 11A, the dielectric
誘電体積層膜１をなす各誘電体層１＿ｊの層数の数え方は、その両側の厚い層（第ｎ０層１＿０および第ｋ層１＿ｋ）を層数として数えずに、たとえば、第１層目から第ｋ層側に向けて順に数える。実質的には、両側の厚い層（第０層１＿０および第ｋ層１＿ｋ）を除いた基本層１＿１〜１＿ｎ（図ではｎ＝５）により、誘電体積層膜１が構成される。
The number of layers of each dielectric layer 1_j forming the dielectric
このような構造を持つ誘電体積層膜１に光を入射させると、誘電体積層膜１での干渉により、反射率（あるいは透過率）が波長λに対してある依存性を持つようになる。光の屈折率差Δｎが大きいほどその効果が強くなる。
When light is incident on the
特に、この誘電体積層膜１が、周期的な構造や、ある条件（たとえば各層の厚みｄの条件ｄ〜λ／４ｎ）を持つことで、白色光などの入射光Ｌ１が入射すると、ある特定波長域の光（特定波長領域光）の反射率だけを効果的に高めて殆どを反射光成分Ｌ２にさせ、すなわち透過率を小さくさせて、かつ、それ以外の波長域の光の反射率を低くすることで殆どを透過光成分Ｌ３にさせる、すなわち、透過率を大きくさせることができる。
In particular, when this dielectric
ここで波長λは、ある波長域の中心波長であり、ｎはその層の屈折率である。本実施形態では、この誘電体積層膜１による反射率（あるいは透過率）の波長依存性を利用することで、分光フィルタ１０を実現する。
Here, the wavelength λ is the center wavelength in a certain wavelength range, and n is the refractive index of the layer. In the present embodiment, the
図１１（Ｂ）は、赤外光IR（InfraRed）と可視光VL（Visible Light ）とを分光する事例で示している。可視光VLよりも長波長側である赤外領域の波長λ（主に７８０ｎｍより長波長側）の赤外光IRに対して、高い反射率を持たせるような誘電体積層膜１を形成することで、赤外光IRをカットすることができる。
FIG. 11B shows an example in which infrared light IR (InfraRed) and visible light VL (Visible Light) are split. The dielectric
なお、誘電体積層膜１をなす各誘電体層１＿ｊの部材（層材）は、複数の層で誘電体積層膜１を構成することから少なくとも２種となり、３層以上の場合には各誘電体層１＿ｊの何れもが異なる層材でなるものであってもよいし、２種（あるいはそれ以上）を交互にあるいは任意の順に積層したものであってもよい。また、誘電体積層膜１を、基本的な第１および第２の層材で構成しつつ、一部を第３（あるいはそれ以上）の層材に代えるようにしてもよい。以下、具体的に説明する。
The members (layer materials) of each dielectric layer 1_j constituting the dielectric
＜＜誘電体積層膜の設計手法；赤外光カットの例＞＞
＜厚みｄｊの設計手法＞
図１２〜図１４は、誘電体積層膜１を設計する手法の基本概念を説明する図である。ここでは、誘電体積層膜１を、基本的な第１および第２の層材で構成しつつ、赤外光IRを選択的に反射させるような設計例を述べる。
<< Design method of dielectric laminated film; Infrared light cut example >>
<Design method of thickness dj>
12-14 is a figure explaining the basic concept of the method of designing the dielectric
図１２にその構造図を示すように、本実施形態で用いる誘電体積層膜１は、両側（以下、光入射側を第０層、反対側を第ｋ層と称する）の厚い酸化シリコンＳｉＯ2 （以下ＳｉＯ２と記す）に挟まれて、第１および第２の層材でなる複数の誘電体層１＿ｊが積層されて構成されている。図示した例では、誘電体層１＿ｊをなす第１および第２の層材として何れも一般的な材料を用いることとし、シリコンナイトライドＳｉ3Ｎ4（以下ＳｉＮと記す）を第１の層材、酸化シリコンＳｉＯ２を第２の層材とする２種を用いて、これらを交互に積層している。また、誘電体積層膜１の構造は、上下に十分に厚い酸化シリコンＳｉＯ２層がある場合（ｄ０＝ｄｋ＝∞）を仮定している。
As shown in the structural diagram of FIG. 12, the dielectric
このような誘電体積層膜１は、下記式（１）の条件を満たすことで、反射率を有効に高くすることができる。
Such a dielectric
ここでｄｊ（ｊは層番号；以下同様）は、誘電体積層膜１を構成する各誘電体層１＿ｊの厚みであり、ｎｊは、その各誘電体層１＿ｊの屈折率であり、λ０は反射波長領域の中心波長（以下反射中心波長という）である。
Here, dj (j is the layer number; hereinafter the same) is the thickness of each dielectric layer 1_j constituting the
誘電体積層膜１をなす各誘電体層１＿ｊの層数の数え方は、その両側の厚い酸化シリコンＳｉＯ２を層数として数えずに、たとえば、第１層目から第ｋ層側に向けて順に、ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層で３層、ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層／ＳｉＯ２層／ＳｉＮ層で５層というように数える。図＠４では、７層構造を示している。
The number of layers of each dielectric layer 1_j constituting the dielectric
また、反射波長領域である赤外光IRの反射中心波長λ０＝９００ｎｍとして、奇数番目の層をなすシリコンナイトライドＳｉＮの屈折率ｎα＝２．０３、０番目、偶数番目、およびｋ番目の層をなす酸化シリコンＳｉＯ２の屈折率ｎβ＝１．４６としており、屈折率差Δｎは、０．５７である。 Further, the refractive index nα = 2.03 of the silicon nitride SiN forming the odd-numbered layer, the zeroth-numbered, even-numbered and k-th layers, with the reflection center wavelength λ0 = 900 nm of the infrared light IR being the reflection wavelength region. The refractive index nβ = 1.46 of the silicon oxide SiO2 forming the refractive index difference Δn is 0.57.
また、上記式（１）に従い、シリコンナイトライドＳｉＮの厚みｄα（＝ｄ１，ｄ３，…；ｊ＝奇数）は１１１ｎｍ、酸化シリコンＳｉＯ２層の厚みｄβ（＝ｄ２，ｄ４，…；ｊ＝偶数）は１５４ｎｍとしている。 Further, according to the above formula (1), the silicon nitride SiN thickness dα (= d1, d3,..., J = odd) is 111 nm, and the silicon oxide SiO2 layer thickness dβ (= d2, d4,..., J = even). Is 154 nm.
図１３は、一般的な材料を用いた図１２の構造について、層数を変えて、有効フレネル係数法で計算した反射率Ｒの結果（反射スペクトル図）を示し、これにより、反射スペクトルの層数依存特性が分かる。 FIG. 13 shows the result (reflection spectrum diagram) of the reflectance R calculated by the effective Fresnel coefficient method for the structure of FIG. 12 using a general material and changing the number of layers. You can see the number-dependent characteristics.
図１３の結果から、層数が増えるに従い、赤外光IRの反射中心波長λ０＝９００ｎｍを中心に反射率Ｒが高くなっているのが分かる。さらに、このように波長９００ｎｍを反射中心波長λ０に選ぶことで、ほぼ赤外光IRと可視光VLを分けていることが分かる。ここでは、５層以上にすることで、反射率Ｒが０．５以上、特に、７層以上にすることで、反射率が０．７を超えて望ましいことが分かる。
From the results of FIG. 13, it can be seen that as the number of layers increases, the reflectance R increases with the reflection center wavelength λ0 = 900 nm of the infrared light IR as the center. Furthermore, it can be seen that the infrared light IR and the visible light VL are substantially separated by selecting the
図１４は、誘電体層１＿ｊの厚みの変動依存性（ばらつきとの関係）を説明する反射スペクトル図である。ここでは、７層の場合を例に、各誘電体層１＿ｊの厚みｄｊを±１０％変えて計算した結果（反射スペクトル図）を示している。 FIG. 14 is a reflection spectrum diagram for explaining the dependence of the thickness of the dielectric layer 1_j on variation (relationship with variation). Here, the result (reflection spectrum diagram) calculated by changing the thickness dj of each dielectric layer 1_j by ± 10% is shown by taking the case of seven layers as an example.
条件式（１）は、フレネル係数法による理想的な計算値であるが、実際には式（１）の条件はゆるやかで幅がある。たとえば、±１０％の厚みｄｊの誤差があっても有効に反射率を高くできることがフレネル係数法による計算で分かった。 Conditional expression (1) is an ideal calculated value by the Fresnel coefficient method, but in reality, the condition of expression (1) is gentle and wide. For example, it has been found by calculation using the Fresnel coefficient method that the reflectivity can be effectively increased even if there is an error in the thickness dj of ± 10%.
たとえば、図１３に示すように、厚みｄｊにばらつきの差があっても、有効に反射率Ｒを高くできることが分かった。たとえば、赤外光IRの反射中心波長λ０＝９００ｎｍにおいて反射率Ｒが０．５以上という十分な反射率Ｒが得られているし、赤外光IR全体（主に７８０ｎｍより長波長側）においても、反射が強いことが分かる。したがって、実際には、ばらつきも加味すれば、誘電体層１＿ｊの厚みｄｊは、下記式（２）の範囲であれば、反射率を有効に高くする上で、十分な効果が得られることになる。 For example, as shown in FIG. 13, it has been found that the reflectivity R can be effectively increased even if the thickness dj varies. For example, a sufficient reflectance R of 0.5 or more is obtained at the reflection center wavelength λ0 = 900 nm of the infrared light IR, and the entire infrared light IR (mainly longer wavelength side than 780 nm) is obtained. However, it turns out that reflection is strong. Therefore, in practice, if the thickness dj of the dielectric layer 1_j is in the range of the following formula (2), taking into account variations, a sufficient effect can be obtained in effectively increasing the reflectance. Become.
＜反射中心波長λ０の設計手法＞
図１５〜図１７は、反射中心波長λ０の条件を説明する図である。厚みｄｊの数値条件は、スペクトルの赤外反射領域のバンド幅ΔλIRに依存する。反射スペクトルの概念を示した図１５（Ａ）のように、赤外反射領域のバンド幅ΔλIRが広い場合には長波長側に中心波長λ０を持っていかないと可視光VLでの反射が顕著になる。また反射スペクトルの概念を示した図１５（Ｂ）のように、逆に赤外反射領域のバンド幅ΔλIRが狭い場合には、短波長側に中心波長λ０を持っていかないと可視光VLに近い赤外領域での反射が起こらなくなる。可視光VLと赤外光IRの波長分離性能が非常によい。
<Design method of reflection center wavelength λ0>
15 to 17 are diagrams for explaining the condition of the reflection center wavelength λ0. The numerical condition of the thickness dj depends on the bandwidth ΔλIR of the infrared reflection region of the spectrum. As shown in FIG. 15A showing the concept of the reflection spectrum, when the bandwidth ΔλIR of the infrared reflection region is wide, the reflection with the visible light VL is remarkable unless the center wavelength λ0 is provided on the long wavelength side. Become. On the contrary, as shown in FIG. 15B showing the concept of the reflection spectrum, when the bandwidth ΔλIR of the infrared reflection region is narrow, it is close to the visible light VL unless it has the center wavelength λ0 on the short wavelength side. Reflection in the infrared region does not occur. The wavelength separation performance of visible light VL and infrared light IR is very good.
ところで、シリコンＳｉの吸収スペクトルは、たとえば、赤外領域の内、７８０ｎｍ≦λ≦９５０ｎｍの範囲の赤外光IRを反射させれば、赤外カット効果として十分であると考えることができる。これは、波長９５０ｎｍより長波長側の光は殆どシリコンＳｉ内部で吸収されず、光電変換されないからである。したがって７８０ｎｍ≦λ≦９５０ｎｍの範囲の波長の赤外光IRを反射できるように反射中心波長λ０を選べばよいことになる。 By the way, the absorption spectrum of silicon Si can be considered to be sufficient as an infrared cut effect if, for example, infrared light IR in the range of 780 nm ≦ λ ≦ 950 nm is reflected in the infrared region. This is because light having a wavelength longer than 950 nm is hardly absorbed inside the silicon Si and is not photoelectrically converted. Therefore, the reflection center wavelength λ0 may be selected so that infrared light IR having a wavelength in the range of 780 nm ≦ λ ≦ 950 nm can be reflected.
また、可視光VLでも、赤（Ｒ）領域の内、６４０〜７８０ｎｍの範囲の光は視感度が低いために反射されてもされなくても特に撮像素子の性能に影響はないと考えてよい。したがって６４０〜７８０ｎｍの波長領域に反射が生じていても不都合がない。 Further, even in the visible light VL, it may be considered that the light in the range of 640 to 780 nm in the red (R) region does not particularly affect the performance of the image sensor even if it is reflected or not because of low visibility. . Therefore, there is no problem even if reflection occurs in the wavelength region of 640 to 780 nm.
さらに、赤外反射領域のバンド幅ΔλIRは、誘電体積層膜１の屈折率差Δｎが大きいときには広くなり、逆に屈折率差Δｎが小さいときには狭くなる。したがって、赤外反射領域のバンド幅λIRは、ＳｉＮ／ＳｉＯ２多層膜の場合には狭く、Ｓｉ／ＳｉＯ２多層膜の場合には広くなる。
Further, the bandwidth ΔλIR of the infrared reflection region becomes wider when the refractive index difference Δn of the dielectric
これらのことから、ＳｉＮ／ＳｉＯ２多層膜（屈折率差Δｎ＝０．５７）の場合には、図１６の反射スペクトル図に示す７８０ｎｍと９５０ｎｍの反射中心波長λ０の計算から、７８０ｎｍ≦λ０≦９５０ｎｍの範囲であれば、ほぼ上述の条件を満たすことが分かる。ところで、図１６は後述する図２１のような積層構造で、λ０＝７８０ｎｍとλ０＝９５０ｎｍになるように、誘電体層１＿ｊの膜厚ｄｊだけを変えて計算されたものである。
Therefore, in the case of a SiN /
また同様に、Ｓｉ／ＳｉＯ２多層膜（屈折率差Δｎ＝２．６４）の場合、図１７の反射スペクトル図に示すように９００ｎｍ≦λ０≦１１００ｎｍの範囲であれば、ほぼ上述の条件を満たす。
Similarly, in the case of a Si /
以上のことから、シリコンナイトライドＳｉＮやシリコンＳｉと酸化シリコンＳｉＯ２の組合せにおいては、反射中心波長λ０としては、下記式（３−１）を満たせばよいことになる。好ましくは、下記式（３−２）を満たすのがよい。これらは、９００ｎｍ近傍を反射中心波長λ０とするのが理想的であることを意味する。 From the above, in the combination of silicon nitride SiN or silicon Si and silicon oxide SiO2, the following formula (3-1) should be satisfied as the reflection center wavelength λ0. Preferably, the following formula (3-2) is satisfied. These mean that it is ideal that the vicinity of 900 nm be the reflection center wavelength λ0.
もちろん、上記で示した材料は一例に過ぎず、上述のような効果は必ずしも酸化シリコンＳｉＯ2 とシリコンナイトライドＳｉＮ層の組み合わせに限ったことでなく、屈折率差が０．３以上、さらに望ましくは０．５以上あるような材料を選べば同様な効果があることが計算によって見積もられた。 Of course, the materials shown above are only examples, and the above-described effects are not necessarily limited to the combination of silicon oxide SiO 2 and silicon nitride SiN layer, and the refractive index difference is 0.3 or more, and more desirable. It was estimated by calculation that a similar effect can be obtained by selecting a material having a value of 0.5 or more.
たとえばＳｉＮ膜は、作製条件によって多少の組成のばらつきがあってもよい。また、誘電体積層膜１を構成する誘電体層１＿ｊとしては、酸化シリコンＳｉＯ２やシリコンナイトライドＳｉＮの他に、アルミナＡｌ2Ｏ3やジルコニアＺｒＯ2 （ 屈折率２．０５）や酸化チタンＴｉＯ2（屈折率２．３〜２．５５）や酸化マグネシウムＭｇＯや酸化亜鉛ＺｎＯ（屈折率２．１）などの酸化物あるいはポリカーボネートＰＣ（屈折率１．５８）やアクリル樹脂ＰＭＭＡ（屈折率１．４９）などの高分子材料、炭化珪素ＳｉＣ（屈折率２．６５）やゲルマニウムＧｅ（屈折率４〜５．５）などの半導体材料も使用可能である。
For example, the composition of the SiN film may vary slightly depending on the manufacturing conditions. In addition to silicon oxide SiO2 and silicon nitride SiN, dielectric layer 1_j constituting dielectric
高分子材料を用いることで、従来のガラス製にはない特徴を持った光学フィルタを構成することができる。すなわち、プラスチック製にすることができ、軽量で耐久性（高温、高湿、衝撃）に優れる。 By using a polymer material, an optical filter having characteristics not found in conventional glass can be configured. That is, it can be made of plastic and is lightweight and excellent in durability (high temperature, high humidity, impact).
＜＜誘電体積層膜を利用した分波イメージセンサ＞＞
図１８〜図２２は、誘電体積層膜１を利用した固体撮像素子３１２への適用に好適な分光イメージセンサ１１の一実施形態を説明する図である。この分光イメージセンサ１１は、誘電体積層膜１を利用した分光フィルタ１０の基本的な設計手法を用いて構成されるものである。ここでは、赤外光IRを選択的に反射させるような誘電体積層膜１を半導体素子層上に形成することで、赤外光IRをカットして可視光VL成分を受光するようにした分光イメージセンサ１１の設計例を述べる。
<< Demultiplexing Image Sensor Using Dielectric Multilayer Film >>
18 to 22 are views for explaining an embodiment of the spectral image sensor 11 suitable for application to the solid-
なお、分光イメージセンサ１１の基本構造は、分光フィルタ１０を半導体素子層の受光部上に形成したもので、これだけでは、単波長分波対応（つまりモノクロ画像撮像用）の分光イメージセンサ１１になるが、分光イメージセンサ１１の各受光部に対させて色フィルタ（色分離フィルタ）１４の所定色（たとえばＲ，Ｇ，Ｂの何れか）を設けることで、カラー画像撮像対応となる。
Note that the basic structure of the spectral image sensor 11 is that the
ここで、図１２〜図１４を用いて説明した誘電体積層膜１をシリコン（Ｓｉ）フォトディテクタなどの検知素子が形成された屈折率が誘電体積層膜１をなす各誘電体層１＿ｊよりも大きい半導体素子層上に作製するに当たっては、半導体素子層から誘電体積層膜１までの距離、すなわち第ｋ層の誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋが重要である。
Here, the refractive index of the
これは図１８の構造図に示すように、たとえばシリコンＳｉ（屈折率４．１）でなる半導体素子層（フォトディテクタなど）の表面であるシリコン基板１＿ωの表面からの反射光Ｌ４との干渉効果によって、トータルな反射光ＬＲtotal のスペクトルが変化することを意味する。 As shown in the structural diagram of FIG. 18, this is due to the interference effect with the reflected light L4 from the surface of the silicon substrate 1_ω, which is the surface of a semiconductor element layer (photodetector, etc.) made of silicon Si (refractive index 4.1), for example. This means that the spectrum of the total reflected light LRtotal changes.
図１９は、トータルな反射光ＬＲtotal の、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図である。ここでは、図１２に示した７層構造の誘電体積層膜１について、誘電体層１＿ｋの厚みｄｋを変えて計算した結果を示している。図１９内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。
FIG. 19 is a reflection spectrum diagram illustrating the dependence of the total reflected light LRtotal on the variation of the thickness dk of the silicon oxide SiO2 layer forming the dielectric layer 1_k. Here, the calculation result of the dielectric
図１９内の各図から分かるように、厚みｄｋ＝０．１５４μｍのとき、すなわち赤外光IRの反射中心波長λ０に対して、条件式（１）を満たす値のときに、反射スペクトルは殆ど影響を受けず、赤外光IR（波長λ≧７８０ｎｍ）を強く反射していることが分かる。それに対して厚みｄｋ＝０．３〜５０μｍまでのスペクトルには、厚みｄｋ＝∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。 As can be seen from each figure in FIG. 19, when the thickness is dk = 0.154 μm, that is, when the reflection center wavelength λ0 of the infrared light IR is a value satisfying the conditional expression (1), the reflection spectrum is almost the same. It can be seen that infrared light IR (wavelength λ ≧ 780 nm) is strongly reflected without being affected. On the other hand, it can be seen that another vibration occurs in the spectrum of thickness dk = 0.3 to 50 μm, compared to the reflection spectrum of thickness dk = ∞. As a result, it can be seen that there is a wavelength region in which the reflection in the infrared is dip-shaped.
ただし、厚みｄｋ＝２．５μｍ以上になると、赤外でのディップの半値幅が３０ｎｍ以下になり、とりわけ厚みｄｋ＝５．０μｍ以上になるとその半値幅が２０ｎｍ以下となり、一般的なブロードな自然光に対して十分に半値幅が狭くなるので平均化された反射率となる。さらに、厚みｄｋ＝０．３〜１．０μｍのスペクトルに関しては、可視光VLでの反射率が高いことも分かる。これらのことから、望ましくは、厚みｄｋ＝０．１５４μｍ付近、すなわち条件式（１）を満たす値のときが最適であると言える。 However, when the thickness dk = 2.5 μm or more, the half width of the infrared dip becomes 30 nm or less, and particularly when the thickness dk = 5.0 μm or more, the half width becomes 20 nm or less. On the other hand, the half-value width is sufficiently narrowed, so that the averaged reflectance is obtained. Further, it can be seen that the reflectance with visible light VL is high with respect to the spectrum having a thickness dk = 0.3 to 1.0 μm. From these facts, it can be said that the thickness dk = 0.154 μm, that is, the value satisfying the conditional expression (1) is optimal.
図２０は、誘電体層１＿ｋをなす酸化シリコンＳｉＯ２層の厚みｄｋの変動依存性を説明する反射スペクトル図であって、特に、厚みｄｋ＝０．１５４μｍ付近で、厚みｄｋの値を変えて計算した結果を示すものである。図２０内の各図において、横軸は波長λ（μｍ）で、縦軸は反射率Ｒである。 FIG. 20 is a reflection spectrum diagram illustrating the variation dependency of the thickness dk of the silicon oxide SiO2 layer forming the dielectric layer 1_k, and is calculated by changing the value of the thickness dk, particularly in the vicinity of the thickness dk = 0.154 μm. The results are shown. In each figure in FIG. 20, the horizontal axis is the wavelength λ (μm), and the vertical axis is the reflectance R.
この結果から分かるように、条件式（１）を満たす厚みｄｋ＝０．１５４μｍを中心として、厚みｄｋ＝０．１４〜０．１６μｍの範囲であれば、可視光VLでの反射が抑えられることが分かる。 As can be seen from this result, reflection with visible light VL can be suppressed if the thickness dk = 0.154 to 0.16 μm with the thickness dk = 0.154 μm satisfying the conditional expression (1) as the center. I understand.
以上のことから、分光イメージセンサ１１の最適構造は、図２１の構造図に示すように、実質的には、第ｋ層の誘電体層１＿ｋを含めて８層構造の誘電体積層膜１Ａを有するものとなり、その反射スペクトルの計算結果は図２２に示す反射スペクトル図のようになる。言い換えると、誘電体積層膜１Ａは、シリコン基板１＿ω上に、第２の層材である酸化シリコンＳｉＯ２でなる層を４周期分設けた構造をなしている。
From the above, the optimum structure of the spectroscopic image sensor 11 is, as shown in the structural diagram of FIG. 21, substantially the dielectric layered
＜＜製造プロセスの具体例＞＞
図１７は、上記実施形態で説明した積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。この図１７は、赤外光IR用の受光部と可視光VL用の受光部とを備えた分光イメージセンサの製造プロセス例である。
<< Specific Example of Manufacturing Process >>
FIG. 17 is a diagram illustrating a specific process example for manufacturing a spectral image sensor having a sensor structure using the laminated film described in the above embodiment. FIG. 17 shows a manufacturing process example of a spectral image sensor including a light receiving unit for infrared light IR and a light receiving unit for visible light VL.
この構造の作製に当たっては、一般的なＣＣＤやＣＭＯＳ構造の回路をまず形成する（図１７（Ａ））。この後に、Ｓｉフォトダイオードの上にたとえばＣＶＤ（Chemical Vapor Deposition ；化学気相成長法）などを用いてＳｉＯ２膜とＳｉＮを順次積層する（図１７（Ｂ））。
In manufacturing this structure, a general CCD or CMOS structure circuit is first formed (FIG. 17A). Thereafter, an
この後、たとえば４つの画素の内１つだけをリソグラフィ技術やＲＩＥ（Reactive IonEtching）法などを用いてエッチングすることで、赤外光IR用の受光部に最下層のＳｉＯ２膜に達する開口部（図８，図９の開口部３１３ａに対応する）を設ける（図１７（Ｅ））。この赤外光IR用の受光部は、他の可視光カラー画像撮像用の色画素に対して補正画素
としても使用される。
Thereafter, for example, only one of the four pixels is etched using lithography technology, RIE (Reactive Ion Etching) method, or the like, so that an opening reaching the lowermost SiO2 film in the light receiving portion for infrared light IR ( (Corresponding to the
この後、誘電体積層膜１などの保護のために、一部に開口部が設けられた誘電体積層膜１上にたとえば再度ＣＶＤなどを用いてＳｉＯ２膜を積層して平坦化する（図１７（Ｆ））。もちろん、このプロセスは必須ではない。
Thereafter, in order to protect the dielectric
なお、この際、可視光VL用の３つの画素（Ｒ，Ｇ，Ｂ成分用）をエッチングしないように、赤外光IR用の受光部に開口部が設けられたフォトレジストを用いてもよい（図１７（Ｃ），（Ｄ））。この場合、誘電体積層膜１上にＳｉＯ２膜を積層する前に、フォトレジストを除去する必要がある（図１７（Ｄ）→（Ｅ））。
At this time, a photoresist in which an opening is provided in a light receiving portion for infrared light IR may be used so that the three pixels (for R, G, and B components) for visible light VL are not etched. (FIGS. 17C and 17D). In this case, it is necessary to remove the photoresist before laminating the
また、図示を割愛するが、さらにその上に色フィルタやマイクロレンズを画素に対応するように形成する。この際、可視光用の検知部には赤、緑、青色の原色フィルタを配することで、３色の画素が可視光の赤、緑、青色の３原色を受光するようにする。また、開口部の画素については、白色フィルタを配することで、または色フィルタを配さずにおくことで、可視光と赤外光とを纏めて受光するようにする。 Although omitted from the drawing, a color filter and a microlens are further formed thereon so as to correspond to the pixels. At this time, red, green, and blue primary color filters are arranged in the detection unit for visible light so that the three color pixels receive the three primary colors of visible light, red, green, and blue. In addition, with respect to the pixels in the opening, visible light and infrared light are collectively received by providing a white filter or not providing a color filter.
こうすることで、３原色可視光の画素の検知部上にはＳｉＮ層とＳｉＯ２層の誘電体多層膜が形成されるが、開口部の検知部上にはこの誘電体多層膜が形成されないこととなる。このような構造で作製された撮像素子を用いることで、３原色の組合せでなる可視光像
（可視光カラー画像）を撮像できるだけでなく、赤外光と可視光の混在画像を、可視光カラー画像とは独立かつ同時に撮像することができる。
By doing so, the dielectric multilayer film of the SiN layer and the SiO2 layer is formed on the detection part of the pixel of the three primary colors visible light, but the dielectric multilayer film is not formed on the detection part of the opening. It becomes. By using an image sensor manufactured with such a structure, not only a visible light image (visible light color image) composed of a combination of the three primary colors can be imaged, but also a mixed image of infrared light and visible light can be displayed in a visible light color. Images can be taken independently and simultaneously with the image.
さらに若干の赤外光IRが漏れて可視光VL用の光電変換素子（フォトダイオードなど）に入射する場合、全体に弱い赤外光カットフィルタを入れてもよい。たとえば５０％以下の赤外光カットフィルタを入れることで、可視光VLに対して殆ど問題のないレベルまでカットしても赤外光IR用の光電変換素子（フォトダイオードなど）では、赤外光IRが集光するので十分な感度となる。 Furthermore, when some infrared light IR leaks and enters a photoelectric conversion element (photodiode or the like) for visible light VL, a weak infrared light cut filter may be inserted as a whole. For example, by inserting an infrared light cut filter of 50% or less, infrared light is converted into infrared light IR photoelectric conversion elements (such as photodiodes) even if the visible light VL is cut to a level where there is almost no problem. Since IR is condensed, the sensitivity is sufficient.
なお、このような製造プロセスでは、Ｓｉ基板表面近くまでエッチングする、すなわち赤外光IR用の受光部に最下層のＳｉＯ２膜に達する開口部を設けるため（図１７（Ｅ））、エッチングによるダメージが問題になることがある。この場合は、Ｓｉ基板直上のＳｉＯ２層の厚みｄを大きくしてダメージを低減することも可能である。
In such a manufacturing process, etching is performed up to the surface of the Si substrate, that is, an opening reaching the
ここでｄｋ＝２．５μｍ以上になると、図１９のように反射スペクトルの赤外光領域でのディップの半値幅が狭くなるので、一般的なブロードな自然光に対して平均化された反射率となるので、赤外光の反射が可能となる。したがって望ましくは第ｋ番目の誘電体層１＿ｋの厚みｄｋを２．５μｍ以上にするのがよい。さらに望ましくは、５μｍ以上の厚みにするとなおよい。 Here, when dk = 2.5 μm or more, since the half width of the dip in the infrared region of the reflection spectrum becomes narrow as shown in FIG. 19, the reflectance averaged with respect to general broad natural light Therefore, infrared light can be reflected. Therefore, the thickness dk of the kth dielectric layer 1_k is preferably 2.5 μm or more. More desirably, the thickness is 5 μm or more.
また、シリコン基板１＿ω上に形成されるフォトダイオードや画素内アンプなどためのメタル配線、すなわち、検知部としての画素内アンプなどから検知信号としての画素信号を撮像部（検出領域）から読み出すための信号線をなす配線層をシリコン基板１＿ω直上に形成する場合、シリコン基板１＿ω直上に誘電体積層膜１を設けた構造よりは、シリコン基板１＿ω上である程度離したところに誘電体積層膜１を形成する、すなわちメタル配線より上側に誘電体積層膜１を形成することで、製造プロセスが容易になり、コストが低く抑えられるメリットが得られる。ここでは、詳細な説明は割愛するが、メタル配線を考慮した分光イメージセンサとするには、誘電体積層膜１をなす層数を増やすことで、ある程度よい結果が得られる。
Further, a metal wiring for a photodiode or an amplifier in the pixel formed on the silicon substrate 1_ω, that is, a pixel signal as a detection signal from an in-pixel amplifier as a detection unit or the like is read out from the imaging unit (detection region). When the wiring layer forming the signal line is formed directly on the silicon substrate 1_ω, the dielectric stacked
なお、上記の分光フィルタ１０の構造は、誘電体積層膜１を利用した基本構造を示したもののであり、その他の様々な変形が可能である。同様に、上記の分光イメージセンサ１１の構造は、誘電体積層膜１を利用した分光フィルタ１０をＣＭＯＳやＣＣＤなどの受光部上に形成する基本構造を示したもののであり、その他の様々な変形が可能である。たとえば、詳細な説明は割愛するが、分光フィルタ１０や分光イメージセンサ１１の変形例としては、本願出願人が特願２００４−３５８１３９号にて提案しているように様々な構成を採用することができる。
The structure of the
また、前述では、固体撮像素子３１２として、本願出願人が特願２００４−３５８１３９号にて提案した誘電体積層膜１を利用したものについて説明したが、本実施形態で使用し得る固体撮像素子は、このようなものに限らない。たとえば、本出願人が特願２００４−２５００４９号にて提案したような回折格子を利用して波長分離を実現する構成のものや、その他の仕組みを利用して波長分離を実現する構成のものなど、様々なものを使用することができる。
In the above description, the solid-
たとえば、回折格子を利用して波長分離を行なう構造のものでは、広波長領域信号取得素子の部分については大きな開口部を設け、特定波長領域信号取得素子の部分には回折格子用の微小開口部を設けることになるが、特定波長領域信号取得素子の部分については、波長順に分離するので、特定波長領域信号取得素子の配置態様の自由度が少ない。 For example, in a structure that performs wavelength separation using a diffraction grating, a large opening is provided for the wide wavelength region signal acquisition element portion, and a small opening for the diffraction grating is provided for the specific wavelength region signal acquisition element portion. However, since the portion of the specific wavelength region signal acquisition element is separated in order of wavelength, the degree of freedom of the arrangement mode of the specific wavelength region signal acquisition element is small.
また、不可視光領域成分（たとえば赤外光成分）をも検知する形態の広波長領域画素１２Ａと可視光成分をさらに波長分離して検知する特定波長領域信号取得素子（赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂの組合せなど）とを２次元マトリクス状に配置した構造とする場合、特定波長領域信号取得素子側については、不可視光領域成分（たとえば赤外光成分）と可視光成分の分離性能が、色再現上、問題となり得る。
Further, a wide
この点においては、本願出願人が特願２００４−３５８１３９号にて提案しているように、第１の検知部の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った積層部材が配されている構造の本来的に赤外光成分の抑制能力の高い素子とするのが好ましい。 In this regard, as proposed by the present applicant in Japanese Patent Application No. 2004-358139, the refractive index differs between adjacent layers on the incident surface side where the electromagnetic wave of the first detection unit is incident, and has a predetermined thickness. Inherently suppresses infrared light components in a structure in which a laminated member with a characteristic of reflecting a predetermined wavelength region component of electromagnetic waves and passing the remaining component is arranged. It is preferable to use an element with high capability.
＜＜フィルタの分光特性＞＞
図２４および図２５は、赤外光カットフィルタ層３１３および色フィルタ群３１４赤を用いた波長分離の具体例を説明する図である。ここで、図２４は、色フィルタ群３１４をなす各色フィルタ１４の光透過特性（分光特性）の基本を示した図である。また、図２５は、色フィルタ群３１４をなす各色フィルタ１４の特性例を示す図である。
<< Filter spectral characteristics >>
24 and 25 are diagrams for explaining a specific example of wavelength separation using the infrared light cut
まず、本例では、赤色近傍の波長を透過する赤（Ｒ）、緑色近傍の波長を透過する緑（Ｇ）、青色近傍の波長を透過する青（Ｂ）、これらに加え、赤外線（IR）とＲＧＢの全てを透過する白（もしくは色フィルタを使用しない）の各種類の分光特性を持つ色フィルタ１４によって色フィルタ群３１４を構成する。
First, in this example, red (R) that transmits wavelengths near red, green (G) that transmits wavelengths near green, blue (B) that transmits wavelengths near blue, and in addition to infrared (IR) The
これら色フィルタ１４の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線
（ＩＲ）とＲＧＢを全て透過するＡ（＝Ｙ＋IR）チャネルからなり、対応する赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ、赤外線（ＩＲ）とＲＧＢを全て検知する広波長領域画素１２Ａによって、４種類の分光からなるモザイク画像を得ることができる。
The spectrum of these
広波長領域画素１２Ａを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む広波長領域信号ＳＡとして広波長領域画素１２Ａにより測定できる。
By providing the wide
なお、図２４では、白色フィルタ１４Ｗの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、Ｒ，Ｇ，Ｂの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。
In FIG. 24, the transmission characteristics of the
ただし、広波長領域画素１２Ａから得られる広波長領域信号ＳＡには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。
However, the wide wavelength region signal SA obtained from the wide
具体的には、先ず、可視光カラー画像撮像用の色フィルタ群３１４として、可視光VL（波長λ＝３８０〜７８０ｎｍ）の３原色である青色成分Ｂ（たとえば波長λ＝４００〜５００ｎｍで透過率が略１、その他で略ゼロ）、緑色成分Ｇ（たとえば波長λ＝５００〜６００ｎｍで透過率が略１、その他で略ゼロ）、赤色成分Ｒ（たとえば波長λ＝６００〜７００ｎｍで透過率が略１、その他で略ゼロ）を中心とする原色フィルタ群３１４Ｒ，１４Ｇ，１４Ｂを用いる。
Specifically, first, as the
なお、透過率が“略１”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“１”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。 Note that the transmittance of “approximately 1” means an ideal state, and the transmittance in the wavelength region is much larger than the transmittance in other wavelength regions. That's fine. Some of them may have “transmittance other than“ 1. ”Also, the transmittance is“ nearly zero ”, which is also an ideal state, and the transmittance in that wavelength region. May be much smaller than the transmittance in other wavelength regions, and some may have “non-zero” transmittance.
また、通過波長領域成分である可視光VL領域の内の所定色（原色もしくは補色）の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜１によって赤外光IR成分をカットするからである。
Also, it is only necessary to pass a wavelength region component of a predetermined color (primary color or complementary color) in the visible light VL region which is a transmission wavelength region component, and whether to pass the infrared light IR region which is a reflection wavelength region component. The transmittance for infrared light IR is not questioned. This is because the infrared light IR component is cut by the dielectric
一例として、図２５（Ａ）に示すような分光感度特性のものを用いることができる。たとえば、Ｂチャネルに対応する青色フィルタ１４Ｂは、青色に相当する３８０ｎｍ〜４８０ｎｍ程度の波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応する緑色フィルタ１４Ｇは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応する赤色フィルタ１４Ｒは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。なお、これらのＲＧＢ対応の色フィルタ１４Ｒ，１４Ｇ，１４Ｂは、約７００ｎｍ以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。
As an example, one having a spectral sensitivity characteristic as shown in FIG. For example, the
一方、Ａチャネル対応の白色フィルタ１４Ｗは、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分の全ての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素１２Ａにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素１２Ａが、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにしている。
On the other hand, the
なお、本例では、白色フィルタ１４Ｗの可視光領域の透過率は、青色フィルタ１４Ｂ、緑色フィルタ１４Ｇ、赤色フィルタ１４Ｒの各可視光領域の透過率の比と概ね同じにしつつ、全体としてそれらの透過率よりも高く、広波長領域画素１２Ａでの可視光領域の感度自体も、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素（本例では赤色画素１２Ｒ、緑色画素１２Ｇ、青色画素１２Ｂ）よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。
In this example, the transmittance of the visible light region of the
詳細な説明は割愛するが、このような高感度で得られる広波長領域画素１２Ａからの可視光領域のＲ，Ｇ，Ｂの成分を使って、青色画素１２Ｂ、赤色画素１２Ｒ、青色画素１２Ｂのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。
Although a detailed description is omitted, using the R, G, and B components of the visible light region from the wide
＜＜撮像信号処理部の詳細；第１例＞＞
図２６は、撮像信号処理部３３０（特に画像信号処理部３４０）の第１例の詳細構成を示した機能ブロック図である。ここでは、色フィルタ群３１４が、図３（Ｂ）に示した色配列の場合に対応するものとして説明する。
<< Details of Imaging Signal Processing Unit; First Example >>
FIG. 26 is a functional block diagram illustrating a detailed configuration of the first example of the imaging signal processing unit 330 (particularly, the image signal processing unit 340). Here, description will be made assuming that the
本実施形態の撮像信号処理部３３０では、ＲＧＢの原色系やＣｙ，Ｍｇ，Ｙｅの補色系などの特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子（画素１２Ｒ，１２Ｇ，１２Ｒの組や画素１２Ｃｙ，１２Ｍｇ，１２Ｙｅ（，１２Ｇ）の組）と、可視光成分および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子（広波長領域画素１２Ａ）によって構成される色配列を持つ固体撮像素子３１２から出力される画素信号を処理する。
In the imaging
これまでの説明から分かるように、撮像信号処理部３３０での処理例は、たとえば低照度の下で色フィルタ群３１４を具備する撮像部３１０２を適用して撮影したノイズを多く含む１枚の画像データに基づいて、そのノイズを多く含む画像についてのノイズ低減処理に好適なものである。
As can be understood from the above description, the processing example in the imaging
ここで、第１例の撮像信号処理部３３０は、色フィルタ群３１４として、ＲＧＢＷの色配列を持つ撮像部３１０（たとえばＣＣＤ固体撮像素子やＣＭＯＳ固体撮像素子）において撮影された画像の信号処理によって、輝度信号（Ｙ）と、２つの色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を取得するための信号処理構成に対応したものである。
Here, the imaging
なお、撮像部３１０によって取得された画像データ（画素信号）に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図２６には示しておらず（図７の前処理部３３２や補正処理部３３６を参照）、図２６では、特に画像信号処理部３４０に着目して示している。
Note that, for example, processing such as white balance adjustment is performed on the image data (pixel signal) acquired by the
図示のように、第１例の画像信号処理部３４０はＲＧＢＷの配列を持つ撮像部３１０によって取得される信号から、広波長領域画素１２Ａの取得信号（広波長領域信号ＳＡ）で示されるモザイク画像Ａを取得し、広波長領域信号で示されるデモザイク画像Ａ２を輝度信号として生成する輝度信号生成部４１０と、ＲＧＢ素子（１２Ｒ，１２Ｇ，１２Ｂ）の取得信号ＳＲ，ＳＧ，ＳＢで示されるモザイク画像Ｒ，Ｇ，Ｂを取得し、可視光領域信号に対応するデモザイク画像Ｒ２，Ｇ２，Ｂ２（単色画像Ｒ，Ｇ，Ｂ）を示す色に関する信号を生成する単色画像信号生成部４２０と、単色画像信号生成部４２０で取得されたデモザイク画像Ｒ２，Ｇ２，Ｂ２（単色信号ＳＲ２，ＳＧ２，ＳＢ２）に基づいて色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する色差信号生成部４３０とから構成されている。
As illustrated, the image
輝度信号生成部４１０は第１の物理情報取得部の一例であり、単色画像信号生成部４２０は第２の物理情報取得部の一例であり、色差信号生成部４３０は第３の物理情報取得部の一例である。輝度信号生成部４１０および単色画像信号生成部４２０によって、デモザイク信号処理部３４１が構成され、単色画像信号生成部４２０と色差信号生成部４３０とで色成分抽出部が構成され、輝度信号生成部４１０と色差信号生成部４３０が出力画像信号処理部３４３を構成するようになっている。
The luminance signal generation unit 410 is an example of a first physical information acquisition unit, the monochrome image
輝度信号生成部４１０は、モザイク画像Ａに対して最適化されたフィルタ定数を持つローパスフィルタ（ＬＰＦ；補間フィルタ）４１２Ａを具備している。また、単色画像信号生成部４２０は、モザイク画像Ｒ，Ｇ，Ｂに対して最適化されたフィルタ定数を持つローパスフィルタ（ＬＰＦ；補間フィルタ）を色別に具備している。
The luminance signal generation unit 410 includes a low-pass filter (LPF; interpolation filter) 412A having a filter constant optimized for the mosaic image A. Further, the monochromatic image
ここで、単色画像信号生成部４２０は、緑色系統に関しては、ローパスフィルタ４２２Ｇを具備するが、赤色系統と青色系統に関しては、先ずローパスフィルタ４２２Ｒ，４２２Ｂを具備し、ローパスフィルタ４２２Ｒ，４２２Ｂの後段に、さらに、ローパスフィルタ４２２Ｒ，４２２Ｂから出力されるモザイク画像Ｒ１，Ｂ１に対して最適化されたフィルタ定数を持つローパスフィルタ４２４を色別に具備している（それぞれ４２４Ｒ，４２４Ｂで示す）。
Here, the monochromatic image
輝度信号生成部４１０のローパスフィルタ４１２Ａおよび単色画像信号生成部４２０のローパスフィルタ４２２Ｒ，４２２Ｇ，４２２Ｂへは、撮像部３１０側から、各画素位置の画素信号が選択スイッチ４０２を介して対応するものへ切替入力される。
The pixel signal at each pixel position corresponds to the low-
また、色差信号生成部４３０は、単色画像信号生成部４２０から出力されたデモザイク画像Ｒ２，Ｇ２，Ｂ２を示す単色信号ＳＲ２，ＳＧ２，ＳＢ２に基づいて輝度成分を示す合成輝度信号ＳＹ２を生成し、単色信号ＳＲ２，ＳＢ２との差を取ることで色差信号Ｒ−Ｙ，Ｂ−Ｙを生成するマトリクス演算部４３２を具備している。
The color difference
＜デモザイク処理の一例＞
図２７〜図３１は、デモザイク信号処理部３４１（輝度信号生成部４１０と単色画像信号生成部４２０）におけるデモザイク処理によって、各信号成分のデモザイク画像を取得する手法の一例を説明する図である。なお、各図において、デモザイク画像中のＲＧＢＡはモザイク画像によって得られる画素値であり、ｒｇｂａはデモザイク処理によって得られる補間画素値を示している。
<Example of demosaic processing>
FIGS. 27 to 31 are diagrams illustrating an example of a technique for acquiring a demosaic image of each signal component by demosaic processing in the demosaic signal processing unit 341 (the luminance signal generation unit 410 and the monochrome image signal generation unit 420). In each figure, RGBA in the demosaic image is a pixel value obtained by the mosaic image, and rgba indicates an interpolated pixel value obtained by the demosaic process.
白色フィルタ１４Ｗを具備したＲＧＢＷもしくは白色フィルタ１４Ｗを具備しないＲＧＢＡの配列を持つ撮像部３１０において撮影された信号は、図示を割愛したＡＤ変換部（図７のＡＤ変換部３３４を参照）においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＷ（ＲＧＢＡ）各々に対応する４つのモザイク画像を示すものとなる。
A signal photographed by the
たとえば、図３（Ｂ）に示した色配列の色フィルタ群３１４を具備した撮像部３１０を適用した場合、図２７（Ｂ）〜図３０（Ｂ）に示すような４つのモザイク画像Ｒ，Ｇ，Ｂ，Ｗ（もしくはＲ，Ｇ，Ｂ，Ａ；以下Ｒ，Ｇ，Ｂ，Ａで説明する）が取得される。なお、図２７（Ａ）〜図３０（Ａ）に示した色フィルタ群３１４の色配列は、図３（Ｂ）に示した色配列に対して、１行下（２行目）、１列右（２列目）から切出した状態で示している。
For example, when the
これらの４つのモザイク画像Ｒ，Ｇ，Ｂ，Ａは、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ４１２Ａ，４２２Ｒ，４２２Ｇ，４２２Ｂ，４２４Ｒ，４２４Ｂにそれぞれ入力され、デモザイク処理が実行される。
These four mosaic images R, G, B, and A are low-
デモザイク処理は、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、全ての画素の画素値を設定する処理によって行なわれる。たとえば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行なうアルゴリズムである。 The demosaic process is performed by a process of setting the pixel values of all the pixels by executing interpolation based on surrounding pixel values for pixels having no pixel value. For example, a method similar to the known Vargra algorithm can be applied. The Vargra algorithm is an algorithm for performing demosaicing by obtaining eight-direction gradients of pixel values and averaging pixel values having similar gradients.
このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる２次元ＦＩＲフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、Ｒ，Ｂについては、２段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ４２２Ｒ，４２２Ｂでの処理の後、さらにローパスフィルタ４２２Ｇと同様のローパスフィルタ４２４Ｒ，４２４Ｂによって、全ての画素の画素値の設定が行なわれる。
This demosaic process is a process of determining the pixel value of a pixel portion where no pixel value exists based on the pixel values of surrounding pixels. This processing is performed by a so-called two-dimensional FIR filter. That is, a filter having a coefficient corresponding to the pixel position is applied. For R and B, a two-stage low-pass filter is applied, and after processing by the low-
周囲画素の画素値を使うに当たっては様々な手法を採り得るが、本実施形態でのデモザイク信号処理部３４１では、ある色に着目したときに、その着目色の色フィルタが配されていない画素の画素値を、その着目色の色フィルタが配されている近傍の有効画素の画素値を使って色補間処理を行なう。
Various methods can be used to use the pixel values of the surrounding pixels. However, in the demosaic
たとえば、輝度信号成分のデモザイク画像を取得するに当たっては、図２７（Ｃ）に示すように、デモザイク画像Ａ２を取得するローパスフィルタ４１２Ａでは、広波長領域画素１２Ａを具備しない画素部分（たとえばａ34）の画素値ａ34を、その周囲の４つの広波長領域画素１２Ａ（画素位置Ａ24，Ａ33，Ａ44，Ａ35）から得られるＡ信号（画素値Ａ24，Ａ33，Ａ44，Ａ35）に基づく下記式（４）で示される補間処理を実行する。これにより、デモザイク画像Ａ２が得られる。
For example, when acquiring the demosaic image of the luminance signal component, as shown in FIG. 27C, the low-
また、緑色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Ｇを取得するローパスフィルタ４２２Ｇでは、先ず、図２８（Ｂ）に示すように、デモザイク画像Ｇを処理対象として、同ライン（行）にも同カラム（列）にも緑色画素１２Ｇを具備しない画素部分（たとえばｇ23）の画素値ｇ23を、その周囲の４つの緑色画素１２Ｇ（画素位置Ｇ12，Ｇ32，Ｇ34，Ｇ14）から得られるＧ信号（画素値Ｇ12，Ｇ32，Ｇ34，Ｇ14）に基づく下記式（５）で示される補間処理を実行する。これにより、デモザイク画像Ｇ１が得られる。
Further, when acquiring the demosaic image of the green signal component, the low-
次に、図２８（Ｃ）に示すように、デモザイク画像Ｇ１を処理対象として、同ラインまたは同カラムに緑色画素１２Ｇを具備しない画素部分（たとえばｇ33）の画素値ｇ33を、その周囲の２つの緑色画素１２Ｇ（画素位置Ｇ32，Ｇ34）から得られるＧ信号（画素値Ｇ32，Ｇ34）と、式（５）に準じて得られるその周囲の２つの仮想緑色画素１２ｇ（画素位置ｇ23，ｇ43）から得られるｇ信号（画素値ｇ23，ｇ43）とに基づく下記式（６）で示される補間処理を実行する。これにより、デモザイク画像Ｇ２が得られる。
Next, as shown in FIG. 28C, the pixel value g33 of the pixel portion (for example, g33) that does not include the
なお、式（５）に準じて得られる仮想緑色画素１２ｇから得られるｇ信号を使わずに、同ラインもしくは同カラムに存在する隣接の２つの緑色画素１２Ｇから得られるＧ信号（たとえば画素値Ｇ21，Ｇ23）に基づく下記式（７）で示される補間処理を実行してもよい。
Note that a G signal (for example, a pixel value G21) obtained from two adjacent
また、赤色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Ｒを取得するローパスフィルタ４２２Ｒでは、図２９（Ｂ）に示すように、デモザイク画像Ｒを処理対象として、同ライン（行）に赤色画素１２Ｒを具備し、かつ同カラム（列）に赤色画素１２Ｒを具備する、赤色画素１２Ｒを具備しない画素部分（たとえばｒ45）の画素値ｒ45を、その周囲の４つの赤色画素１２Ｒ（画素位置Ｒ25，Ｒ43，Ｒ65，Ｒ47）から得られるＲ信号（画素値Ｒ25，Ｒ43，Ｒ65，Ｒ47）に基づく下記式（８）で示される補間処理を実行する。
Further, when acquiring the demosaic image of the red signal component, the low-
これにより、ローパスフィルタ４２２Ｒから出力されるデモザイク画像Ｒ１では、Ｒ成分についての画素値が得られている画素の配置態様が、Ｇ成分について示した図２８（Ｂ）の状態（デモザイク画像Ｇ２）と事実上同じになる。よって、後は、ローパスフィルタ４２２Ｇと同様のローパスフィルタ４２４Ｒは、Ｇ成分についての処理と同様にして、補間処理を実行すればよいことになる。
Thereby, in the demosaic image R1 output from the low-
たとえば、デモザイク画像Ｒ２を取得するローパスフィルタ４２４Ｒでは、前述のようにしてローパスフィルタ４２２Ｒで生成されたデモザイク画像Ｒ１を処理対象として、図２９（Ｃ）に示すように、同ライン（行）にも同カラム（列）にも赤色画素１２Ｒや式（８）で得られる仮想赤色画素１２ｒを具備しない画素部分（たとえばｒ54）の画素値ｒ54を、その周囲の２つ（対角）の赤色画素１２Ｒおよび２つ（対角）の仮想赤色画素１２ｒ（画素位置Ｒ43，Ｒ65，ｒ63，ｒ45）から得られるＲ信号およびｒ信号（画素値Ｒ43，Ｒ65，ｒ63，ｒ45）に基づく下記式（９）で示される補間処理を実行する。これにより、デモザイク画像Ｒ１１が得られる。
For example, in the low-
次に、図２９（Ｄ）に示すように、デモザイク画像Ｒ１１を処理対象として、同ラインまたは同カラムに赤色画素１２Ｒや仮想赤色画素１２Ｒを具備しない画素部分（たとえばｒ64）の画素値ｒ64を、その周囲の１つの赤色画素１２Ｒ（画素位置Ｒ65）から得られるＲ信号（画素値Ｒ65）と、式（８）に準じて得られるその周囲の１つの仮想赤色画素１２ｒの画素部分（画素位置ｒ63）から得られるｒ信号（画素値ｒ63）と、式（９）に準じて得られるその周囲の２つの仮想赤色画素１２ｒの画素部分（画素位置ｒ54，ｒ74）から得られるｒ信号（画素値ｒ54，ｒ74）とに基づく下記式（１０）で示される補間処理を実行する。これにより、デモザイク画像Ｒ２が得られる。
Next, as shown in FIG. 29D, with the demosaic image R11 as a processing target, the pixel value r64 of the pixel portion (for example, r64) that does not include the
なお、式（９）に準じて得られる仮想赤色画素１２ｒのｒ信号を使わずに、その周囲の１つの赤色画素１２Ｒ（画素位置Ｒ65）から得られるＲ信号（画素値Ｒ65）と、式（８）に準じて得られるその周囲の１つの仮想赤色画素１２ｒの画素部分（画素位置ｒ63）から得られるｒ信号（画素値ｒ63）に基づく下記式（１１）で示される補間処理を実行してもよい。
Note that the R signal (pixel value R65) obtained from one surrounding
同様にして、青色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Ｂを取得するローパスフィルタ４２２Ｂでは、図３０（Ｂ）に示すように、デモザイク画像Ｂを処理対象として、同ライン（行）に青色画素１２Ｂを具備し、かつ同カラム（列）に青色画素１２Ｂを具備する、青色画素１２Ｂを具備しない画素部分（たとえばｂ43）の画素値ｂ43を、その周囲の４つの青色画素１２Ｂ（画素位置Ｂ23，Ｂ41，Ｂ63，Ｂ45）から得られるＢ信号（画素値Ｂ23，Ｂ41，Ｂ63，Ｂ45）に基づく下記式（１２）で示される補間処理を実行する。
Similarly, when acquiring the demosaic image of the blue signal component, the low-
これにより、ローパスフィルタ４２２Ｂから出力されるデモザイク画像Ｂ１では、Ｂ成分についての画素値が得られている画素の配置態様が、Ｇ成分について示した図２８（Ｂ）の状態（デモザイク画像Ｇ２）と事実上同じになる。よって、後は、ローパスフィルタ４２２Ｇと同様のローパスフィルタ４２４Ｂは、Ｇ成分についての処理と同様にして、補間処理を実行すればよいことになる。
Thereby, in the demosaic image B1 output from the low-
たとえば、デモザイク画像Ｂ２を取得するローパスフィルタ４２４Ｂでは、前述のようにしてローパスフィルタ４２２Ｂで生成されたデモザイク画像Ｂ１を処理対象として、図３０（Ｃ）に示すように、同ライン（行）にも同カラム（列）にも青色画素１２Ｂや式（Ｂ１）で得られる仮想青色画素１２ｂを具備しない画素部分（たとえばｂ54）の画素値ｂ54を、その周囲の２つ（対角）の青色画素１２Ｂおよび２つ（対角）の仮想青色画素１２ｂ（画素位置Ｂ45，Ｂ63，ｂ43，ｂ65）から得られるＢ信号およびｂ信号（画素値Ｂ45，Ｂ63，ｂ43，ｂ65）に基づく下記式（１３）で示される補間処理を実行する。これにより、デモザイク画像Ｂ１１が得られる。
For example, in the low-pass filter 424B that acquires the demosaic image B2, the demosaic image B1 generated by the low-
次に、図３０（Ｄ）に示すように、デモザイク画像Ｂ１１を処理対象として、同ラインまたは同カラムに青色画素１２Ｂや仮想青色画素１２ｂを具備しない画素部分（たとえばｂ64）の画素値ｂ64を、その周囲の１つの青色画素１２Ｂ（画素位置Ｂ63）から得られるＢ信号（画素値Ｂ63）と、式（１２）に準じて得られるその周囲の１つの仮想青色画素１２ｂの画素部分（画素位置ｂ65）から得られるｂ信号（画素値ｂ65）と、式（１３）に準じて得られるその周囲の２つの仮想青色画素１２ｂの画素部分（画素位置ｂ54，ｂ74）から得られるｂ信号（画素値ｂ54，ｂ74）とに基づく下記式（１４）で示される補間処理を実行する。
Next, as shown in FIG. 30D, the pixel value b64 of the pixel portion (for example, b64) that does not include the
なお、式（１３）に準じて得られる仮想青色画素１２ｂのｂ信号を使わずに、その周囲の１つの青色画素１２Ｂ（画素位置Ｂ63）から得られるＢ信号（画素値Ｂ63）と、式（１２）に準じて得られるその周囲の１つの仮想青色画素１２ｂの画素部分（画素位置ｂ65）から得られるｂ信号（画素値ｂ65）に基づく下記式（１５）で示される補間処理を実行してもよい。
Note that the B signal (pixel value B63) obtained from one surrounding
なお、ここで示した補間処理演算は一例であり、他の色信号との相関を利用したような色補間処理を行なってもよい。 Note that the interpolation processing calculation shown here is an example, and color interpolation processing using correlation with other color signals may be performed.
このような補間処理によって、図３１に示すように、図３１（Ａ１）に示すモザイク画像Ａから図３１（Ｂ１）に示すデモザイク画像Ａ２が得られ、また、図３１（Ａ２）に示すモザイク画像Ｇから図３１（Ｂ２）に示すデモザイク画像Ｇ２が得られ、また、図３１（Ａ３）に示すモザイク画像Ｒから図３１（Ｂ３）に示すデモザイク画像Ｒ２が得られ、また、図３１（Ａ４）に示すモザイク画像Ｂから図３１（Ｂ４）に示すデモザイク画像Ｂ２が得られる。 By such an interpolation process, as shown in FIG. 31, the demosaic image A2 shown in FIG. 31 (B1) is obtained from the mosaic image A shown in FIG. 31 (A1), and the mosaic image shown in FIG. 31 (A2). The demosaic image G2 shown in FIG. 31 (B2) is obtained from G, the demosaic image R2 shown in FIG. 31 (B3) is obtained from the mosaic image R shown in FIG. 31 (A3), and FIG. 31 (A4) The demosaic image B2 shown in FIG. 31 (B4) is obtained from the mosaic image B shown in FIG.
デモザイク画像Ｒ２が、図２６に示すローパスフルタ４２２Ｒ，４２４Ｒにおける補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像Ｇ２が、図２６に示すローパスフルタ４２２Ｇにおける補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像Ｂ２が、図２６に示すローパスフルタ４２２Ｂ，４２４Ｂにおける補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像Ａ２が、図２６に示すローパスフルタ４１２Ａにおける補間処理によって生成されるＡチャネルのデモザイク画像である。
The demosaic image R2 is an R channel demosaic image generated by the interpolation processing in the low pass filters 422R and 424R shown in FIG. 26, and the demosaic image G2 is generated by the interpolation processing in the
図２６に示す輝度信号生成部４１０に設けられるローパスフルタ４１２Ａにおける補間処理によって生成される図３１（Ｂ１）に示すデモザイク画像Ａ２は、Ａチャネル、すなわち、ＧＢＲなどの可視光領域の波長と赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。
The demosaic image A2 shown in FIG. 31 (B1) generated by the interpolation processing in the low-
このデモザイク画像Ａ２は、図２６に示すように、ローパスフィルタ４１２Ａからの出力として得られ、その信号は、“Ａ＝Ｙ＋ＩＲ”を示すものとなり、信号Ａは、可視光領域から赤外光領域までを含み、より広範囲の波長の光成分を含むデモザイク画像Ａ２が出力されることになる。
As shown in FIG. 26, the demosaic image A2 is obtained as an output from the low-
一方、単色画像信号生成部４２０に設けられるローバスフィルタ４２２Ｒ，４２２Ｇ，４２２Ｂ，４２４Ｒ，４２４Ｂにおいて生成されたＲＧＢ対応のデモザイク画像Ｇ２，Ｒ２，Ｂ２、すなわち、図３１（Ｂ２）〜（Ｂ４）に示すデモザイク画像Ｇ２，Ｒ２，Ｂ２は、図２６に示す色差信号生成部４３０のマトリクス演算部４３２に入力され、デモザイク画像Ｇ２，Ｒ２，Ｂ２を示す各信号に基づくマトリックス演算によって色差信号Ｒ−Ｙ，Ｂ−Ｙが生成されて出力される。
On the other hand, the RGB-compatible demosaic images G2, R2, and B2 generated by the low-
なお、色差信号Ｒ−Ｙ，Ｂ−Ｙ中の輝度信号成分Ｙは、輝度信号生成部４１０から得られるもの（広波長領域信号ＳＡに基づくデモザイク画像Ａ２）とは異なり、デモザイク画像Ｇ２，Ｒ２，Ｂ２を用いた合成処理によって得られる合成輝度信号ＳＹ２であり、たとえば“ＳＹ２＝０．６＊Ｇ２＋０．３＊Ｒ２＋０．１＊Ｂ２”とする。 The luminance signal component Y in the color difference signals RY and BY is different from that obtained from the luminance signal generation unit 410 (the demosaic image A2 based on the wide wavelength region signal SA), and the demosaic images G2, R2, and so on. This is the combined luminance signal SY2 obtained by the combining process using B2, for example, “SY2 = 0.6 * G2 + 0.3 * R2 + 0.1 * B2”.
なお、色差信号生成部４３０は、輝度信号生成部４１０で得られたデモザイク画像Ａ２を利用して色差信号を生成する構成とすることもできる。この場合、詳細な説明は割愛するが、可視光領域内を複数に波長分離して各成分を検知して得られる単色画像信号生成部４２０の各デモザイク画像Ｒ２，Ｇ２，Ｂ２と 輝度信号生成部４１０で得られた高感度のデモザイク画像Ａ２における可視光成分（特に色別の成分）とを使って、各デモザイク画像Ｒ２，Ｇ２，Ｂ２に対して高感度化補正演算を実行し、その後に色差信号を生成するようにしてもよい。
The color difference
一方、たとえば、図３４（Ｂ）に示したＲＧＢＹの色配列を持つベイヤ配列の構成を持つ撮像部を使用し、図２６に示す信号処理回路を適用して、輝度信号と色差信号を生成した場合、詳細な補間演算式については記載を割愛するが、前述の本実施形態に従った補間演算式における“Ａ”を“Ｙ”に置き換えたものと考えればよく、輝度信号は、可視光領域の波長成分のみしか含まない輝度信号（Ｙ）となる。 On the other hand, for example, an image pickup unit having a Bayer array configuration having the RGBY color array shown in FIG. 34B is used, and the signal processing circuit shown in FIG. 26 is applied to generate a luminance signal and a color difference signal. In this case, the description of the detailed interpolation calculation formula is omitted, but it can be considered that “A” in the interpolation calculation formula according to the above-described embodiment is replaced with “Y”, and the luminance signal is in the visible light region. The luminance signal (Y) includes only the wavelength component.
これに対して、前述のように、本実施形態に従ったＲＧＢＡの色配列を持つ色フィルタ群３１４を具備した撮像部３１０を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むＡチャネルのデモザイク画像Ａ２を得ることができ、これを輝度信号“Ａ＝Ｙ＋ＩＲ”として使用することができる。
On the other hand, as described above, by applying the
このように、輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Ａチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのＳ／Ｎ比を改善することが可能となる。本構成は、たとえば、高い色再現性を要求されないが感度やＳ／Ｎ比を高める必要がある監視カメラなどの用途に適している。 In this way, by including an infrared light component in the luminance component, even in image data captured in an environment with low illuminance, a demosaic image corresponding to A channel is used in an environment where a level difference of the infrared light component is detected. The pixel value of each pixel becomes data reflecting the level difference of the infrared light component, and it is possible to improve the S / N ratio of image data taken in an environment with low illuminance. This configuration is suitable for applications such as surveillance cameras that do not require high color reproducibility but need to increase sensitivity and S / N ratio.
＜＜撮像信号処理部の詳細；第２例＞＞
図３２および図３３は、撮像信号処理部３３０（特に画像信号処理部３４０）の第２例を説明する図である。ここで、図３２は、撮像信号処理部３３０の第２例の詳細構成を示した機能ブロック図である。また、図３３は、第２例の画像信号処理部３４０で使用するハイパスフィルタのフィルタ定数の一例を示す図である。ここでも、色フィルタ群３１４が、図３（Ｂ）に示した色配列の場合に対応するものとして説明する。
<< Details of Imaging Signal Processing Unit; Second Example >>
32 and 33 are diagrams illustrating a second example of the imaging signal processing unit 330 (particularly the image signal processing unit 340). Here, FIG. 32 is a functional block diagram showing a detailed configuration of the second example of the imaging
この第２例は、色再現性を改善する色補正演算処理機能を画像信号処理部３４０が備える点に特徴を有する。すなわち、第１例の画像信号処理部３４０では、輝度信号生成部４１０から得られる輝度成分（広波長領域信号ＳＡ）に赤外光成分を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るという問題がある。これは、色差信号レベルが同じであっても、Ｙチャネルの輝度信号レベルが異なると、目に感じる色合いが異なって認識されることに起因するものである。第２例の画像信号処理部３４０は、この点を改善し、色再現性を高めた構成である。
This second example is characterized in that the image
先ず、第２例の画像信号処理部３４０は、出力としてＲＧＢの色信号を出力する。なお、撮像部３１０によって取得された画像データ（画素信号）に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図３２には示しておらず（図７の前処理部３３２や補正処理部３３６を参照）、図３２では、特に画像信号処理部３４０に着目して示している。
First, the image
図示のように、第２例の画像信号処理部３４０は、概略的には、第１例の画像信号処理部３４０に加えて、輝度信号生成部４１０に対応する輝度信号生成部６１０で生成されたデモザイク画像Ａ２から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部６４２と、広波長領域信号高周波成分画像生成部６４２で生成された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部６４４とを備えている。
As illustrated, the image
また、第２例の画像信号処理部３４０は、単色画像信号生成部４２０に対応する単色画像信号生成部６２０を具備している。出力画像信号処理部３４３は、色差信号生成部４３０に代えて色信号生成部６３０を具備するとともに、色信号生成部６３０の後段に、可視光色成分信号抽出部６４４が抽出した色成分信号と、色信号生成部６３０から出力された色成分信号との合成処理を実行する合成処理部６５０を具備している。
The image
合成処理部６５０は、加算部６５２をＲ，Ｇ，Ｂの色別に有している（それぞれ６５２Ｒ，６５２Ｇ，６５２Ｂで示す）。
The
輝度信号生成部６１０は第１の物理情報取得部の一例であり、単色画像信号生成部６２０は第２の物理情報取得部の一例であり、色信号生成部６３０は第３の物理情報取得部の一例である。また、広波長領域信号高周波成分画像生成部６４２と可視光色成分信号抽出部６４４とで、輝度信号生成部６１０から出力される輝度信号に基づいて、色に関する信号を生成する第４の物理情報取得部が構成される。また、合成処理部６５０は、第５の物理情報取得部の一例である。
The luminance
輝度信号生成部６１０と単色画像信号生成部６２０によってデモザイク信号処理部３４１（図示を省略する）が構成される。また、輝度信号生成部６１０と、広波長領域信号高周波成分画像生成部６４２と、可視光色成分信号抽出部６４４とで、広波長領域信号に対応するデモザイク画像Ａ２から可視光の色成分信号を抽出する第１色成分信号抽出部６４０が構成される。
The luminance
また、単色画像信号生成部６２０と色信号生成部６３０とで、ＲＧＢ素子の取得信号であるモザイク画像Ｒ，Ｇ，Ｂを入力し可視光領域信号に対応するデモザイク画像Ｒ２，Ｇ２，Ｂ２を生成し、デモザイク画像Ｒ２，Ｇ２，Ｂ２に基づいて色成分信号を抽出する第２色成分信号抽出部６４１が構成される。合成処理部６５０は、第１色成分信号抽出部６４０が抽出した色成分信号と、第２色成分信号抽出部６４１が抽出した色成分信号との合成処理を実行する。
Further, the monochrome image signal generation unit 620 and the color
輝度信号生成部６１０は、ローパスフィルタ４１２Ａに対応するローパスフィルタ６１２Ａを具備する。広波長領域信号高周波成分画像生成部６４２は、モザイク画像Ａの高周波成分に対して最適化されたフィルタ定数を持つハイパスフィルタ（ＨＰＦ）６４３Ａを具備し、デモザイク画像Ａ２から高周波成分を抽出し広波長領域信号高周波成分画像を生成する。ハイパスフィルタ６４３Ａは、たとえば高域成分を抽出するＦＩＴフィルタである。
The luminance
可視光色成分信号抽出部６４４は、ハイパスフィルタ６４３Ａから出力された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出するマトリクス演算部６４５を具備する。
The visible light color component
単色画像信号生成部６２０は、ローパスフィルタ４２２Ｒ，４２２Ｇ，４２２Ｂに対応するローパスフィルタ６２２Ｒ，６２２Ｇ，６２２Ｂおよびローパスフィルタ４２４Ｒ，４２４Ｂに対応するローパスフィルタ６２４Ｒ，６２４Ｂを具備する。
The monochrome image signal generation unit 620 includes low-
輝度信号生成部６１０のローパスフィルタ６１２Ａおよび単色画像信号生成部６２０のローパスフィルタ６２２Ｒ，６２２Ｇ，６２２Ｂへは、撮像部３１０側から、各画素位置の画素信号が選択スイッチ６０２を介して対応するものへ切替入力される。
The pixel signal at each pixel position corresponds to the low-
色信号生成部６３０は、単色画像信号生成部６２０から出力されたデモザイク画像Ｒ２，Ｇ２，Ｂ２を示す単色信号ＳＲ２，ＳＧ２，ＳＢ２に基づいて単色信号ＳＲ３，ＳＧ３，ＳＢ３を抽出するマトリクス演算部６３２を具備している。
The color
輝度信号生成部６１０は、第１例の輝度信号生成部４１０と同様に、補間処理（上記式（４）を参照）によってデモザイク画像Ａ２を生成する。また、単色画像信号生成部６２０は、第１例の単色画像信号生成部４２０と同様に、補間処理（前記式式（５）〜（７）を参照）によってデモザイク画像Ｇ２を生成し、補間処理（前記式（８）〜（１１）を参照）によってデモザイク画像Ｒ２を生成し、補間処理（前記式（１２）〜（１５）を参照）によってデモザイク画像Ｂ２を生成する。
Similar to the luminance signal generation unit 410 of the first example, the luminance
このような補間処理によって、第１例と同様に、図３１（Ａ１）に示すモザイク画像Ａから図３１（Ｂ１）に示すデモザイク画像Ａ２が得られ、また、図３１（Ａ２）に示すモザイク画像Ｇから図３１（Ｂ２）に示すデモザイク画像Ｇ２が得られ、また、図３１（Ａ３）に示すモザイク画像Ｒから図３１（Ｂ２）に示すデモザイク画像Ｒ２が得られ、また、図３１（Ａ４）に示すモザイク画像Ｂから図３１（Ｂ４）に示すデモザイク画像Ｂ２が得られる。 As in the first example, the demosaic image A2 shown in FIG. 31 (B1) is obtained from the mosaic image A shown in FIG. 31 (A1), and the mosaic image shown in FIG. 31 (A2) is obtained. The demosaic image G2 shown in FIG. 31 (B2) is obtained from G, the demosaic image R2 shown in FIG. 31 (B2) is obtained from the mosaic image R shown in FIG. 31 (A3), and FIG. 31 (A4) The demosaic image B2 shown in FIG. 31 (B4) is obtained from the mosaic image B shown in FIG.
デモザイク画像Ｒ２が、図３２に示すローパスフルタ６２２Ｒ，６２４Ｒにおける補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像Ｇ２が、図３２に示すローパスフルタ６２２Ｇにおける補間処理によって生成されるＧチャネルのデモザイク画像であり、デモザイク画像Ｂ２が、図３２に示すローパスフルタ６２２Ｂ，６２４Ｂにおける補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像Ａ２が、図３２に示すローパスフルタ６１２Ａにおける補間処理によって生成されるＡチャネルのデモザイク画像である。
The demosaic image R2 is an R channel demosaic image generated by the interpolation processing in the low-
図３２に示す輝度信号生成部６１０に設けられるローパスフルタ６１２Ａにおける補間処理によって生成される図３１（Ｂ１）に示すデモザイク画像Ａ２は、Ａチャネル、すなわち、ＧＢＲなどの可視光領域の波長と赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されデモザイク画像である。
The demosaic image A2 shown in FIG. 31 (B1) generated by the interpolation processing in the low-
このデモザイク画像Ａ２は、図３２に示すように、ローパスフィルタ６１２Ａからの出力として得られ、その信号は、“Ａ＝Ｙ＋ＩＲ”を示すものとなり、信号Ａは、可視光領域から赤外光領域を含み、より広範囲の波長の光成分を含むデモザイク画像が出力されることになる。
As shown in FIG. 32, the demosaic image A2 is obtained as an output from the low-
第１例では、このデモザイク画像Ａ２を、そのまま出力用の輝度信号成分として使用することにしていたが、第２例では、さらに、以下のような信号処理を実行する。 In the first example, the demosaic image A2 is used as it is as a luminance signal component for output, but in the second example, the following signal processing is further executed.
すなわち、第２例の画像信号処理部３４０では、このＡチャネルのデモザイク画像Ａ２を、広波長領域信号高周波成分画像生成部６４２のハイパスフィルタ６４３Ａに入力し、Ａチャネルのデモザイク画像Ａ２から高周波成分Ａhpf を抽出する。
That is, in the image
ハイパスフィルタ６４３Ａは、たとえば、下記式（１６）に示す係数、あるいは、図３３に示す係数を持つフィルタである。 The high-pass filter 643A is, for example, a filter having a coefficient represented by the following formula (16) or a coefficient illustrated in FIG.
ハイパスフィルタ６４３Ａは、ローパスフィルタ６１２Ａより出力されたＡチャネルのデモザイク画像Ａ２から高周波成分Ａhpf を抽出し、Ａチャネル高周波成分抽出結果画像を生成する。ハイパスフィルタ６４３Ａは、生成したＡチャネル高周波成分抽出結果画像を、可視光色成分信号抽出部６４４のマトリクス演算部６４５に入力する。
The high-pass filter 643A extracts the high-frequency component Ahpf from the A-channel demosaic image A2 output from the low-
マトリクス演算部６４５は、Ａチャネルに含まれるＲＧＢ各々の波長成分データを抽出する。前述したようにＡチャネルは可視光成分と赤外光成分の両方の波長領域情報を含んでおり、ＲＧＢに相当する波長成分信号も含まれる。マトリクス演算部６４５は、Ａチャネル高周波成分抽出結果画像からＲＧＢ要素を抽出する。
The
マトリクス演算部６４５は、白色フィルタ１４ＷのＲ，Ｇ，Ｂの各波長成分の透過率特性を考慮した割合で、ＲＧＢ要素の高周波成分［Ｒhpf ，Ｇhpf ，Ｂhpf ］を抽出する。たとえば、下記式（１７）に示す係数に従って、Ａチャネル高周波成分抽出結果画像を構成する各画素の画素値［Ａｈｐｆ］に基づいて、ＲＧＢ要素の高周波成分［Ｒhpf ，Ｇhpf ，Ｂhpf ］を抽出する。
The
一方、マトリクス演算部６３２は、単色画像信号生成部６２０の各ローパスフィルタ６２２Ｒ、６２２Ｇ，６２２Ｂ，６２４Ｒ，６２４Ｂにおける補間処理によって生成されたデモザイク画像Ｒ２，Ｇ２，Ｂ２に基づいて、デモザイク画像Ｒ２，Ｇ２，Ｂ２に含まれるＲ信号、Ｇ信号、Ｂ信号を選択抽出するためのマトリクス演算を実行して、選択抽出したＲＧＢ信号（デモザイク画像Ｒ３，Ｇ３，Ｂ３）を出力する。
On the other hand, the
合成処理部６５０は、マトリクス演算部６４５で生成されたＲＧＢ要素の高周波成分Ｒhpf ，Ｇhpf ，Ｂhpf と、マトリクス演算部６３２で生成されたデモザイク画像Ｒ３，Ｇ３，Ｂ３を示すＲＧＢ信号とを、それぞれ色別の加算部６５２Ｒ，６５２Ｇ，６５２Ｂで加算することで、最終的な出力信号としてのＲＧＢ信号を生成して出力する。
The synthesizing
このような第２例の処理例では、可視光成分と赤外光成分を含む広い波長領域からなる信号成分画像としてのＡチャネル画像に基づいて高周波成分抽出画像を生成し、この高周波成分抽出画像からＲＧＢ信号を抽出して、デモザイク画像Ｒ２，Ｇ２，Ｂ２から抽出したＲＧＢ信号に加算する処理構成とした。 In such a processing example of the second example, a high frequency component extraction image is generated based on an A channel image as a signal component image including a wide wavelength region including a visible light component and an infrared light component, and the high frequency component extraction image The RGB signal is extracted from the image data and added to the RGB signal extracted from the demosaic images R2, G2, and B2.
より広い波長領域の信号成分を含むＡチャネル画像に基づく高周波成分抽出画像を適用することで、解像度の高い画像を得ることが可能となる。また、Ａチャネル画像からＲＧＢ信号を取得して、デモザイク画像Ｒ２，Ｇ２，Ｂ２から抽出したＲＧＢ信号に加算することで、より正確なＲＧＢ信号を生成して出力することが可能となり、色再現性を高めることが可能となる。 By applying a high frequency component extraction image based on an A channel image including a signal component in a wider wavelength region, an image with high resolution can be obtained. Further, by acquiring RGB signals from the A channel image and adding them to the RGB signals extracted from the demosaic images R2, G2, and B2, it becomes possible to generate and output a more accurate RGB signal, and color reproducibility. Can be increased.
以上、説明したように、本実施形態の構成によれば、不可視光の一例である赤外光をカットする赤外光カットフィルタ層３１３および可視光領域を色対応の波長別に分離する色フィルタ群３１４を固体撮像素子３１２の上に所定の順で一体的に形成した。また、固体撮像素子３１２としては、赤外光カットフィルタ層３１３の開口部３１３ａに対応する部分に可視光および不可視光成分を含む光波長領域の光信号を取得する広波長領域画素１２Ａと、赤外光カットフィルタ層３１３の非開口部３１３ｂに対応する部分に波長領域別に可視光信号を取得する赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂを備えた構造とした。
As described above, according to the configuration of the present embodiment, the infrared light cut
そして、このような構造を持つ単板式の撮像部３１０（固体撮像素子３１２）によって取得される各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号あるいはＲＧＢの色信号を生成する構成とした。 Then, based on each mosaic image data acquired by the single-plate imaging unit 310 (solid-state imaging device 312) having such a structure, a luminance signal including an infrared component and a color difference signal or RGB color signal are obtained. Generated configuration.
これにより、広波長領域画素１２Ａからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、その出力信号を輝度信号成分として使うことで、特に、可視光成分の少ない低照度環境下での撮影画像について、可視光成分に重畳されて出力される不可視光成分を利用することができるようになり、ノイズの少ない高品質な輝度画像が得られる。
Thereby, from the wide
カラー固体撮像素子を具備する撮像装置において、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件で撮影された画像でも、ノイズを低減した高品質な画像データを生成することを可能となる。また、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。 In an imaging device equipped with a color solid-state imaging device, in the case of darkness where sufficient illuminance cannot be obtained, low illuminance conditions where the light source contains a lot of infrared light, or auxiliary light of infrared light at low illuminance Even for an image shot under the shooting conditions to be used, high-quality image data with reduced noise can be generated. Further, by performing color correction based on an A channel image having RGB and infrared components, an image with high color reproducibility can be generated.
また、広波長領域画素１２Ａの配置密度を、可視光用の赤色画素１２Ｒ，緑色画素１２Ｇ、青色画素１２Ｂの配置密度よりも高くすることで、解像度の高い高品質な輝度画像を取得することができる。加えて、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうようにすれば、色再現性の高いカラー画像を生成することもできる。
In addition, by setting the arrangement density of the wide
一方、広波長領域画素１２Ａは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになるので、可視光成分の多い高照度環境下での撮影時には、飽和現象が懸念されるが、前述のように、広波長領域画素１２Ａの検知時間を駆動制御部１４６により制御するなどの対処を実行することで、この問題を解消することができる。
On the other hand, since the wide
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various changes or improvements can be added to the above-described embodiment without departing from the gist of the invention, and embodiments to which such changes or improvements are added are also included in the technical scope of the present invention.
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。 Further, the above embodiments do not limit the invention according to the claims (claims), and all combinations of features described in the embodiments are not necessarily essential to the solution means of the invention. Absent. The embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, as long as an effect is obtained, a configuration from which these some constituent requirements are deleted can be extracted as an invention.
たとえば、上記実施形態で説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 For example, the series of processes described in the above embodiments can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
たとえば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program may be temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送し、またはＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスクなどの記録媒体にインストールすることができる。 The program is installed on the computer from the above-described removable recording medium, transferred wirelessly from the download site to the computer, or transferred to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
また、上記実施形態で説明した各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、システムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 In addition, the various processes described in the above embodiment are not only executed in time series according to the description, but may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Further, the system is a logical set configuration of a plurality of devices, and is not limited to a device in which each device is in the same casing.
１…誘電体積層膜、１０…分光フィルタ、１１…分光イメージセンサ、１４…色フィルタ、３００…撮像装置、３１０…撮像部、３１２…固体撮像素子、３１３…赤外光カットフィルタ層、３１３ａ…開口部、３１３ｂ…非開口部、３１４…色フィルタ群、３２０…駆動部、３３０…撮像信号処理部、３３２…前処理部、３３４…ＡＤ変換部、３３６…補正処理部、３４０…画像信号処理部、３４１…デモザイク信号処理部、３４３…出力画像信号処理部、３４４…輝度信号処理部、４０２…選択スイッチ、４１０…輝度信号生成部、４１２Ａ，４２２Ｒ，４２２Ｇ，４２２Ｂ，４２４Ｒ，４２４Ｂ…ローパスフィルタ、４２０…単色画像信号生成部、４３０…色差信号生成部、４３２…マトリクス演算部、６０２…選択スイッチ、６１０…輝度信号生成部、６１２Ａ，６２２Ｒ，６２２Ｇ，６２２Ｂ，６２４Ｒ，６２４Ｂ…ローパスフィルタ、６２０…単色画像信号生成部、６３０…色信号生成部、６３２…マトリクス演算部、６４０…第１色成分信号抽出部、６４１…第２色成分信号抽出部、６４２…広波長領域信号高周波成分画像生成部、６４３Ａ…ハイパスフィルタ、６４４…可視光色成分信号抽出部、６４５…マトリクス演算部、６５０…合成処理部、６５２…加算部
DESCRIPTION OF
Claims (17)
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記検知部の格子状の画素配列に対し、２画素ピッチで格子状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion at a position corresponding to the opening is at a two-pixel pitch with respect to the grid-like pixel arrangement of the detection unit. Arranged in a grid,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the grid-like pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し、２画素ピッチで格子状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion corresponding to the opening is in a grid pattern with a pitch of 2 pixels with respect to the diagonal grid pixel array. Placed in
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the diagonal lattice pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置されるとともに、前記斜め格子状の画素配列の各格子点にも配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is arranged at a position corresponding to the opening in a checkered pattern with respect to the diagonal grid pixel arrangement and also at each grid point of the diagonal grid pixel arrangement. ,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
請求項１から５の何れか一項に記載の半導体装置。 The semiconductor device according to claim 1, wherein the non-opening portion of the non-visible light filter layer includes a laminated member having a structure in which a plurality of layers having a predetermined thickness are laminated.
請求項６に記載の半導体装置。 The semiconductor device according to claim 6, wherein the laminated member has a refractive index different between adjacent layers.
請求項６または７に記載の半導体装置。 The semiconductor device according to claim 6, wherein a silicon dioxide film is formed in at least an opening of the laminated member of the invisible light filter layer.
請求項１から８のいずれか一項に記載の半導体装置。 Wherein the first detection portion, wherein the second detection unit, the semiconductor device according to any one of claims 1 to 8 which are periodically arranged with a certain number ratio.
請求項１から９の何れか一項に記載の半導体装置。 Wherein corresponding to the opening of the non-visible light filter layer, a portion of the color separation filter layer, white according to any one of claims 1 filter portion is formed which transmits visible light component 9 Semiconductor device.
請求項１から９の何れか一項に記載の半導体装置。 Wherein corresponding to the opening of the non-visible light filter layer, a portion of the color separation filter layer, any one of claims 1 to 9, the filter unit is formed passing through the entire wavelength components of the visible light A semiconductor device according to 1.
請求項請求項１から９の何れか一項に記載の半導体装置。 The non wherein corresponding to the opening of the visible light filter layer, a semiconductor device according to any one of the color separation claims the portion of the filter layer does not filter portion is formed claims 1 to 9.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記検知部の格子状の画素配列に対し、２画素ピッチで格子状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion at a position corresponding to the opening is at a two-pixel pitch with respect to the grid-like pixel arrangement of the detection unit. Arranged in a grid,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the grid-like pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し、２画素ピッチで格子状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion corresponding to the opening is in a grid pattern with a pitch of 2 pixels with respect to the diagonal grid pixel array. Placed in
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the diagonal lattice pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置されるとともに、前記斜め格子状の画素配列の各格子点にも配置され、
前記開口部に対応して位置する第１の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第２の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第１の検知部から出力される第１の検知信号と、前記第２の検知部から出力される第２の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is arranged at a position corresponding to the opening in a checkered pattern with respect to the diagonal grid pixel arrangement and also at each grid point of the diagonal grid pixel arrangement. ,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011243836A JP5263373B2 (en) | 2011-11-07 | 2011-11-07 | Semiconductor device and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011243836A JP5263373B2 (en) | 2011-11-07 | 2011-11-07 | Semiconductor device and imaging device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006160718A Division JP5070742B2 (en) | 2006-06-09 | 2006-06-09 | Information acquisition method, information acquisition device, semiconductor device, signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012080553A JP2012080553A (en) | 2012-04-19 |
| JP5263373B2 true JP5263373B2 (en) | 2013-08-14 |
Family
ID=46240200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011243836A Expired - Fee Related JP5263373B2 (en) | 2011-11-07 | 2011-11-07 | Semiconductor device and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5263373B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106165398A (en) * | 2014-04-04 | 2016-11-23 | 株式会社尼康 | Imaging apparatus, camera head and image processing apparatus |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015133130A1 (en) * | 2014-03-06 | 2015-09-11 | 日本電気株式会社 | Video capturing device, signal separation device, and video capturing method |
| US9369681B1 (en) * | 2014-11-25 | 2016-06-14 | Omnivision Technologies, Inc. | RGBC color filter array patterns to minimize color aliasing |
| JP6794989B2 (en) * | 2015-09-18 | 2020-12-02 | 日本電気株式会社 | Video processing equipment, shooting equipment, video processing methods and programs |
| US11118961B2 (en) * | 2016-09-02 | 2021-09-14 | Sony Semiconductor Solutions Corporation | Imaging apparatus with infrared-based temperature detection devices |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311988B2 (en) * | 2003-06-12 | 2009-08-12 | アキュートロジック株式会社 | Color filter for solid-state image sensor and color image pickup apparatus using the same |
| US7746396B2 (en) * | 2003-12-17 | 2010-06-29 | Nokia Corporation | Imaging device and method of creating image file |
| JP2007189376A (en) * | 2006-01-12 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Solid-state imaging device and camera module |
-
2011
- 2011-11-07 JP JP2011243836A patent/JP5263373B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106165398A (en) * | 2014-04-04 | 2016-11-23 | 株式会社尼康 | Imaging apparatus, camera head and image processing apparatus |
| CN106165398B (en) * | 2014-04-04 | 2019-07-02 | 株式会社尼康 | Photographing element, photographic device and image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012080553A (en) | 2012-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5070742B2 (en) | Information acquisition method, information acquisition device, semiconductor device, signal processing device | |
| JP4882297B2 (en) | Physical information acquisition apparatus and semiconductor device manufacturing method | |
| KR101244147B1 (en) | Physical information acquiring method, physical information acquiring device and semiconductor device | |
| JP4839632B2 (en) | Imaging device | |
| JP4867448B2 (en) | Physical information acquisition method and physical information acquisition device | |
| JP4930109B2 (en) | Solid-state imaging device, imaging device | |
| JP5187433B2 (en) | Physical information acquisition method and physical information acquisition device | |
| KR101234315B1 (en) | Method and apparatus for acquiring physical information, method for manufacturing semiconductor device including array of a plurality of unit components for detecting physical quantity distribution, light-receiving device and manufacturing method therefor, and solid-state imaging device and manufacturing method therefor | |
| US8384818B2 (en) | Solid-state imaging device including arrays of optical elements and photosensitive cells | |
| TWI460520B (en) | Solid-state imaging device and camera module | |
| KR100553056B1 (en) | Image pickup apparatus | |
| US8408821B2 (en) | Visible and infrared dual mode imaging system | |
| WO2007086155A1 (en) | Solid-state imaging device, signal processing method, and camera | |
| JP4887915B2 (en) | Solid-state imaging device | |
| JP2008005488A (en) | Camera module | |
| JP5263373B2 (en) | Semiconductor device and imaging device | |
| US7138663B2 (en) | Color separation device of solid-state image sensor | |
| WO2013099151A1 (en) | Solid-state imaging element, imaging device, and signal processing method | |
| JP2003258220A (en) | Imaging element and imaging device | |
| JP2005167356A (en) | Imaging device | |
| JP4027116B2 (en) | Imaging device and imaging apparatus | |
| JP2004193284A (en) | Imaging device | |
| JP2004128201A (en) | Solid-state imaging device and imaging system | |
| JP2016197794A (en) | Imaging device | |
| JP2003243638A (en) | Image pickup element and image pickup device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
| LAPS | Cancellation because of no payment of annual fees |