JP2008079172A - Two-wavelength image sensor and imaging method using dual-wavelength image sensor - Google Patents

Two-wavelength image sensor and imaging method using dual-wavelength image sensor Download PDF

Info

Publication number
JP2008079172A
JP2008079172A JP2006258242A JP2006258242A JP2008079172A JP 2008079172 A JP2008079172 A JP 2008079172A JP 2006258242 A JP2006258242 A JP 2006258242A JP 2006258242 A JP2006258242 A JP 2006258242A JP 2008079172 A JP2008079172 A JP 2008079172A
Authority
JP
Japan
Prior art keywords
visible light
infrared light
image
light image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006258242A
Other languages
Japanese (ja)
Inventor
Daisuke Takamuro
大介 高室
Junji Nakanishi
淳治 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006258242A priority Critical patent/JP2008079172A/en
Publication of JP2008079172A publication Critical patent/JP2008079172A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a two-wavelength image sensor which is capable of concurrently photographing a visible light image and an infrared light image of different resolutions. <P>SOLUTION: A two-wavelength image sensor which is capable of capturing a visible light image and an infrared light image includes a substrate; visible light detection regions and infrared light detection regions provided alternately on the substrate in a fixed arrangement term in the direction of columns; a visible light detectors provided in the visible light detection regions; infrared light detectors provided in the infrared light detection regions; and a displacement driving mechanism which is capable of displacing the visible light detectors and the infrared light detectors, with respect to an object in the direction of columns by the arrangement term, wherein visible light images, captured prior to and after the displacement by the arrangement term are composited, to create a visible light image and infrared light images captured, prior to and after the displacement by the arrangement term are composited to create an infrared light image.. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、２波長イメージセンサおよび２波長イメージセンサを用いた撮像方法に関し、特に、可視光イメージと赤外光イメージとを１つのチップ上に形成した２波長イメージセンサおよびこれを用いた撮像方法に関する。   The present invention relates to a two-wavelength image sensor and an imaging method using the two-wavelength image sensor, and more particularly to a two-wavelength image sensor in which a visible light image and an infrared light image are formed on one chip and an imaging method using the same. About.

防犯、各種検査、車載応用分野など様々な分野において、可視光画像と赤外光画像とを組み合わせることにより検知能力の向上が図られている。例えば、解像度の高い可視光画像と、人間が放出する遠赤外光から得られる赤外光画像とを組み合わせた、検知能力の高い防犯用のイメージセンサが提案されている。更には、可視光撮像素子と赤外光撮像素子とをワンチップ化することによりイメージセンサの小型化、高機能化が図られている。   In various fields such as crime prevention, various inspections, and in-vehicle application fields, detection performance is improved by combining a visible light image and an infrared light image. For example, an image sensor for crime prevention having a high detection capability, which combines a visible light image with high resolution and an infrared light image obtained from far-infrared light emitted by humans, has been proposed. Furthermore, downsizing and higher functionality of the image sensor are achieved by integrating the visible light image sensor and the infrared light image sensor into one chip.

可視光撮像素子と赤外光撮像素子とをワンチップ化したイメージセンサとして、固体撮像素子（ＣＣＤ）を用いるセンサーが提案されている。これは固体撮像素子が近赤外領域にも感度を持つことを利用するもので、可視光画像と近赤外光画像とを固体撮像素子で得ている（例えば、特許文献１参照）。   A sensor using a solid-state imaging device (CCD) has been proposed as an image sensor in which a visible light imaging device and an infrared light imaging device are integrated into one chip. This utilizes the fact that the solid-state imaging device has sensitivity also in the near-infrared region, and a visible light image and a near-infrared light image are obtained by the solid-state imaging device (for example, see Patent Document 1).

また、１つのイメージセンサで解像度の異なる２種類の画像を得る方法として、同一サイズの可視光検出器を所定のピッチでアレイ状に配置したイメージセンサを用いて、被写体と可視光検出器との相対位置を変えて画像を撮像し、解像度の異なる画像を合成する方法も提案されている（例えば、特許文献２参照）。
特開平１０−６５１３５号公報 特開２００２−１５９０１４号公報 In addition, as a method of obtaining two types of images having different resolutions with one image sensor, using an image sensor in which visible light detectors of the same size are arranged in an array at a predetermined pitch, the object and the visible light detector are There has also been proposed a method of capturing an image by changing the relative position and synthesizing images having different resolutions (see, for example, Patent Document 2).
Japanese Patent Laid-Open No. 10-65135 JP 2002-159014 A

しかしながら、これらのイメージセンサでは、人間が発する遠赤外光から得られる遠赤外光画像の撮影ができなかった。また、解像度の異なる可視光画像と遠赤外光画像とを得ることもできなかった。   However, these image sensors cannot take a far-infrared light image obtained from a far-infrared light emitted by a human. In addition, a visible light image and a far infrared light image having different resolutions could not be obtained.

そこで、本発明は、解像度の異なる可視光画像と遠赤外光画像とが同時に撮影可能なイメージセンサの提供を目的とする。   Therefore, an object of the present invention is to provide an image sensor capable of simultaneously capturing a visible light image and a far-infrared light image having different resolutions.

本発明は、可視光イメージと赤外光イメージとを取得できる２波長イメージセンサであって、基板と、基板上に、一定の配置周期で、列方向に交互に設けられた可視光検出領域および赤外光検出領域と、可視光検出領域に設けられた可視光検出器と、赤外光検出領域に設けられた赤外光検出器と、可視光検出器および赤外光検出器を、被写体に対して、列方向に配置周期分だけ変位可能な変位駆動機構とを含み、配置周期分の変位前後に取得した可視光画像を合成して可視光イメージを作成し、配置周期分の変位前後に取得した赤外光画像を合成して赤外光イメージを作成することを特徴とする２波長イメージセンサである。   The present invention is a two-wavelength image sensor capable of acquiring a visible light image and an infrared light image, and a visible light detection region alternately provided in a column direction at a constant arrangement period on the substrate and the substrate, and Infrared light detection region, visible light detector provided in visible light detection region, infrared light detector provided in infrared light detection region, visible light detector and infrared light detector In contrast, it includes a displacement drive mechanism that can be displaced by the arrangement period in the column direction, and creates a visible light image by combining the visible light images acquired before and after the displacement for the arrangement period, before and after the displacement for the arrangement period. The two-wavelength image sensor is characterized in that an infrared light image is created by synthesizing the acquired infrared light image.

また、本発明は、可視光検出領域および赤外光検出領域が一定の配置周期で列方向に交互に設けられ、可視光検出領域に可視光検出器が設けられ、赤外光検出領域に赤外光検出器が設けられた２波長イメージセンサを用いた撮像方法であって、第１位置において、可視光検出器により第１可視光画像を取得するとともに、赤外光検出器により第１赤外光画像を取得する第１撮像工程と、可視光検出器および赤外光検出器を、列方向に配置周期分だけずれた第２位置に移動させる工程と、第２位置において、可視光検出器により第２可視光画像を取得するとともに、赤外光検出器により第２赤外光画像を取得する第２撮像工程と、第１可視光画像と第２可視光画像とを合成して可視光イメージを取得するとともに、第１赤外光画像と第２赤外光画像とを合成して赤外光イメージを取得する工程とを含むことを特徴とする２波長イメージセンサを用いた撮像方法でもある。   Further, according to the present invention, the visible light detection region and the infrared light detection region are alternately provided in the column direction with a fixed arrangement period, the visible light detector is provided in the visible light detection region, and the red light detection region is An imaging method using a two-wavelength image sensor provided with an external light detector, wherein a first visible light image is obtained by a visible light detector at a first position, and a first red light is obtained by an infrared light detector. A first imaging step of acquiring an external light image; a step of moving the visible light detector and the infrared light detector to a second position shifted by an arrangement period in the column direction; and a visible light detection at the second position. The second visible light image is acquired by the detector, the second imaging step of acquiring the second infrared light image by the infrared light detector, and the first visible light image and the second visible light image are combined and visible. While acquiring a light image, the first infrared light image and the second infrared light It is also the imaging method using a two-wavelength image sensor, characterized in that by combining the image and a step of acquiring an infrared light image.

本発明によれば、同一基板上に作製した可視光検出器と赤外光検出器とを含む２波長イメージセンサにより、異なる解像度の可視光画像と赤外光画像を同時に取得することができる。   According to the present invention, a visible light image and an infrared light image with different resolutions can be simultaneously acquired by a two-wavelength image sensor including a visible light detector and an infrared light detector manufactured on the same substrate.

実施の形態１．
図１は、全体が１００で表される、本実施の形態１にかかる２波長イメージセンサの斜視図である。２波長イメージセンサ１００は、基板５０を含む。基板５０は、例えばシリコンから形成される。基板５０の上には、熱型赤外光検出器１と、可視光検出器２とが、２次元アレイ状に設けられている。Ｘ軸方向（列方向）には、熱型赤外光検出器１と可視光検出器２とが交互に等間隔に配置されている。また、Ｙ軸方向（行方向）には、熱型赤外光検出器１または可視光検出器２が等間隔に配置されている。 Embodiment 1 FIG.
FIG. 1 is a perspective view of a two-wavelength image sensor according to the first embodiment, the whole of which is represented by 100. FIG. The two-wavelength image sensor 100 includes a substrate 50. The substrate 50 is made of, for example, silicon. On the substrate 50, the thermal infrared detector 1 and the visible light detector 2 are provided in a two-dimensional array. In the X-axis direction (column direction), the thermal infrared detector 1 and the visible light detector 2 are alternately arranged at equal intervals. Further, in the Y-axis direction (row direction), the thermal infrared detectors 1 or the visible light detectors 2 are arranged at equal intervals.

熱型赤外光検出器１、可視光検出器２の周囲には、熱型赤外光検出器１から赤外光画像信号を読み出すための赤外駆動走査回路３と赤外信号走査回路４、及び、可視光検出器２から可視光画像信号を読み出すための可視駆動走査回路６と可視信号走査回路７が設けられている。   Around the thermal infrared detector 1 and the visible light detector 2, an infrared drive scanning circuit 3 and an infrared signal scanning circuit 4 for reading an infrared light image signal from the thermal infrared detector 1. A visible driving scanning circuit 6 and a visible signal scanning circuit 7 for reading a visible light image signal from the visible light detector 2 are provided.

赤外信号走査回路４には赤外出力アンプ５が接続され、赤外光画像信号を増幅して信号合成部１０に送る。一方、可視信号走査回路７には可視出力アンプ８が接続され、可視光画像信号を増幅して信号合成部１０に送る。信号合成部１０では、赤外光画像信号と可視光画像信号を合成して、所望の画像を得る。   An infrared output amplifier 5 is connected to the infrared signal scanning circuit 4 to amplify the infrared light image signal and send it to the signal synthesis unit 10. On the other hand, a visible output amplifier 8 is connected to the visible signal scanning circuit 7 to amplify the visible light image signal and send it to the signal synthesis unit 10. The signal synthesis unit 10 synthesizes the infrared light image signal and the visible light image signal to obtain a desired image.

更に、基板５０は、例えば静電アクチュエータからなる変位駆動機構（振動駆動機構）９を含む。変位駆動機構９は、例えばＸ軸方向に、熱型赤外光検出器１および可視光検出器２の位置を移動させる。   Further, the substrate 50 includes a displacement drive mechanism (vibration drive mechanism) 9 made of, for example, an electrostatic actuator. The displacement drive mechanism 9 moves the positions of the thermal infrared light detector 1 and the visible light detector 2 in the X-axis direction, for example.

それぞれの駆動走査回路３、６と、信号走査回路４、７によるスキャン動作によって、アレイ状に配置された熱型赤外光検出器１と可視光検出器２で検出された信号が、時系列に読み出され、２次元の赤外光画像信号と可視光画像信号とが得られる。   Signals detected by the thermal infrared detector 1 and the visible light detector 2 arranged in an array by the scanning operations of the respective drive scanning circuits 3 and 6 and the signal scanning circuits 4 and 7 are time-series. To obtain a two-dimensional infrared image signal and a visible light image signal.

また、変位駆動機構９により、熱型赤外光検出器１と可視光検出器２の配置が、Ｘ軸方向に１周期（１ピッチ）分だけ変位する。これにより、撮像光学系を介して２波長イメージセンサに入射した入射光の結像位置と、２波長イメージセンサとの相対的な位置関係が１周期分だけ変位する。信号合成部１０では、変位の前後に撮像されたそれぞれ２枚の可視光画像信号と赤外光画像信号を合成し、可視光画像と赤外光画像をそれぞれ１枚ずつ作成し、合成した画像を外部インタフェース（図示せず）に合わせて出力する。なお、画像作成工程については、後で詳説する。   The displacement drive mechanism 9 displaces the arrangement of the thermal infrared detector 1 and the visible light detector 2 by one period (one pitch) in the X-axis direction. As a result, the relative positional relationship between the imaging position of the incident light incident on the two-wavelength image sensor via the imaging optical system and the two-wavelength image sensor is displaced by one period. The signal combining unit 10 combines two visible light image signals and infrared light image signals captured before and after displacement, creates one visible light image and one infrared light image, and combines the images. Are output in accordance with an external interface (not shown). The image creation process will be described in detail later.

このように、変位前後の画像信号をそれぞれ取得し、これを合成して画像を作成することにより、熱型赤外光検出器１と可視光検出器２の２種類の検出器を配置することにより生じる、Ｘ軸方向（列方向）の不感領域をそれぞれ補間し、画像の劣化がなく実際の画素数よりも解像度の高い画像を得ることができる。   In this way, two types of detectors, the thermal infrared detector 1 and the visible light detector 2, are arranged by acquiring image signals before and after displacement and synthesizing them to create an image. The insensitive regions in the X-axis direction (column direction) generated by the above are interpolated, and an image with higher resolution than the actual number of pixels can be obtained without image degradation.

図２は、図１の２波長イメージセンサ１００をＩ−Ｉ方向に見た場合の断面図である。
２波長イメージセンサ１００は、例えばシリコンからなる基板５０を含み、基板５０上には、熱型赤外光検出器１と可視光検出器２とが形成されている。 FIG. 2 is a cross-sectional view of the two-wavelength image sensor 100 of FIG. 1 when viewed in the II direction.
The two-wavelength image sensor 100 includes a substrate 50 made of, for example, silicon, and the thermal infrared light detector 1 and the visible light detector 2 are formed on the substrate 50.

熱型赤外光検出器１は、基板５０に設けられた空隙１１を有する。空隙１１は、エッチングホール１２より基板５０をエッチングすることにより形成され、空隙１１の上には、ＢＯＸ酸化膜１３と、その上に形成されたＳＯＩダイオード１４が、支持脚により支持されている。更に、ＳＯＩダイオード１４の上には、遠赤外光を吸収する吸収膜１５が設けられている。吸収膜１５は、例えばクロム、窒化バナジウムなどの金属または金属化合物からなる。
熱型赤外光検出器１では、吸収膜１５が遠赤外光を吸収することにより生じた温度変化を、ＳＯＩダイオード１４の物性値の変化、例えばダイオードの順方向電圧の変化として検出する。 The thermal infrared detector 1 has a gap 11 provided in the substrate 50. The air gap 11 is formed by etching the substrate 50 from the etching hole 12, and the BOX oxide film 13 and the SOI diode 14 formed thereon are supported on the air gap 11 by support legs. Further, an absorption film 15 that absorbs far-infrared light is provided on the SOI diode 14. The absorption film 15 is made of a metal or a metal compound such as chromium or vanadium nitride.
In the thermal infrared light detector 1, a temperature change caused by the absorption film 15 absorbing far-infrared light is detected as a change in a physical property value of the SOI diode 14, for example, a change in a forward voltage of the diode.

一方、可視光検出器２は、フォトダイオード２１を含む。フォトダイオード２１の上には誘電体膜２２が設けられ、更に、誘電体膜２２の上には、フォトダイオード２１上部を除いて遮光膜２３が設けられている。可視光検出器２では、誘電体膜２２を通って入射した入射光をフォトダイオード２１により検出する。   On the other hand, the visible light detector 2 includes a photodiode 21. A dielectric film 22 is provided on the photodiode 21, and a light shielding film 23 is provided on the dielectric film 22 except for the upper part of the photodiode 21. In the visible light detector 2, incident light that has entered through the dielectric film 22 is detected by the photodiode 21.

なお、熱型赤外光検出器１と可視光検出器２との間にはフィールド酸化膜３１、３２やトレンチ分離酸化膜３３が設けられ、それぞれの間を電気的に絶縁している。
また、基板５０には、駆動走査回路や信号走査回路のような読み出し回路４１や、配線層４２等が適宜設けられている。 In addition, field oxide films 31 and 32 and a trench isolation oxide film 33 are provided between the thermal infrared detector 1 and the visible light detector 2 and are electrically insulated from each other.
The substrate 50 is appropriately provided with a readout circuit 41 such as a drive scanning circuit and a signal scanning circuit, a wiring layer 42, and the like.

実施の形態２．
図３は、本発明の実施の形態２にかかる、２波長イメージセンサの画素配置を示すレイアウト図である。図３において、横方向が図１の列方向（Ｘ軸方向）、縦方向が図１の行方向（Ｙ軸方向）に相当する。 Embodiment 2. FIG.
FIG. 3 is a layout diagram showing a pixel arrangement of the two-wavelength image sensor according to the second exemplary embodiment of the present invention. 3, the horizontal direction corresponds to the column direction (X-axis direction) in FIG. 1, and the vertical direction corresponds to the row direction (Y-axis direction) in FIG.

２波長イメージセンサでは、図３（ａ）に示すように、複数の熱型赤外光検出器１と複数の可視光検出器２が、半導体基板（図示せず）上にアレイ状に周期配列されている。即ち、横方向には、略同一占有面積の熱型赤外光検出器１と可視光検出器２が、略同一ピッチで交互に配置されている。また、縦方向には、略同一占有面積の熱型赤外光検出器１または可視光検出器２が、略同一ピッチで配置されている。   In the two-wavelength image sensor, as shown in FIG. 3A, a plurality of thermal infrared detectors 1 and a plurality of visible light detectors 2 are periodically arranged in an array on a semiconductor substrate (not shown). Has been. That is, in the horizontal direction, the thermal infrared detectors 1 and the visible light detectors 2 having substantially the same occupied area are alternately arranged at substantially the same pitch. In the vertical direction, the thermal infrared detectors 1 or visible light detectors 2 having substantially the same occupied area are arranged at substantially the same pitch.

可視光検出器２は、可視領域から近赤外領域の波長の光を検知し、熱型赤外光検出器１は、中赤外領域から遠赤外領域の波長の光を検知する。ここでは、熱型赤外光検出器１と可視光検出器２とはともに正方形となっている。可視光検出器２のサイズは、熱型赤外光検出器１のサイズより小さく、熱型赤外光検出器１のサイズの略４分の１となっている。即ち、熱型赤外光検出器１では、感度を向上させるために画素面積を大きくし、一方、可視光検出器２では、解像度を向上させるために画素面積を小さくしてある。   The visible light detector 2 detects light having a wavelength from the visible region to the near infrared region, and the thermal infrared light detector 1 detects light having a wavelength from the middle infrared region to the far infrared region. Here, the thermal infrared detector 1 and the visible light detector 2 are both square. The size of the visible light detector 2 is smaller than the size of the thermal infrared light detector 1 and is approximately a quarter of the size of the thermal infrared light detector 1. That is, in the thermal infrared detector 1, the pixel area is increased in order to improve sensitivity, while in the visible light detector 2, the pixel area is decreased in order to improve resolution.

図４は、図３に示す２波長イメージセンサを用いた画像取得プロセスを示すダイヤグラムであり、撮像工程から出力工程まで７つの工程を含む。図３（ｂ）を参照しながら、画像取得プロセスの各工程について説明する。   FIG. 4 is a diagram showing an image acquisition process using the two-wavelength image sensor shown in FIG. 3, and includes seven steps from an imaging step to an output step. Each step of the image acquisition process will be described with reference to FIG.

撮像工程：熱型赤外光検出器１と可視光検出器２とを備えた２波長イメージセンサにより、画像データを取得する。これにより、列方向（図３では横方向）に、可視光検出器２と熱型赤外光検出器１の配置周期（ピッチ）分ずつ間隔の空いた（この間隔の空いた領域が、後述の「不感領域」となる。）可視光画像データと赤外光画像データがそれぞれ同時に取得できる。   Imaging process: Image data is acquired by a two-wavelength image sensor including a thermal infrared light detector 1 and a visible light detector 2. As a result, an interval is provided in the row direction (lateral direction in FIG. 3) by the arrangement period (pitch) of the visible light detector 2 and the thermal infrared light detector 1 (this spaced region is described later). The visible light image data and the infrared light image data can be acquired simultaneously.

読み出し工程：可視光検出器２と熱型赤外光検出器１で取得した可視光画像データと赤外光画像データを、読み出し回路（駆動走査回路、信号走査回路）を用いてそれぞれ読み出す。   Reading step: Visible light image data and infrared light image data acquired by the visible light detector 2 and the thermal infrared light detector 1 are read out using a reading circuit (drive scanning circuit, signal scanning circuit), respectively.

変位工程：変位駆動機構９により、可視光検出器２ａと熱型赤外光検出器１を、配置周期分だけ変位させる。具体的には、図３（ｂ）に示すように、撮像光学系（図示せず）を介して入射する入射光の結像位置と２波長イメージセンサとの相対位置を、配置周期（ピッチ）分だけ横方向に変位させる。変位は、例えば静電アクチュエータのような変位駆動機構を用いて行われる。この変位中には撮像は行わない。   Displacement step: The visible light detector 2a and the thermal infrared light detector 1 are displaced by the arrangement period by the displacement drive mechanism 9. Specifically, as shown in FIG. 3B, the relative position between the imaging position of incident light incident via an imaging optical system (not shown) and the two-wavelength image sensor is determined as an arrangement period (pitch). Displace laterally by the amount. The displacement is performed using a displacement drive mechanism such as an electrostatic actuator. Imaging is not performed during this displacement.

撮像工程：２波長イメージセンサにより、変位後の位置における画像データを取得する。これにより変位後の位置において、列方向（図３では横方向）に、可視光検出器２と熱型赤外光検出器１の配置周期（ピッチ）分ずつ画像が間引かれた可視光画像データと赤外光画像データがそれぞれ取得できる。   Imaging process: Image data at a position after displacement is acquired by a two-wavelength image sensor. As a result, in the position after displacement, the visible light image in which the images are thinned out by the arrangement period (pitch) of the visible light detector 2 and the thermal infrared light detector 1 in the column direction (lateral direction in FIG. 3). Data and infrared light image data can be acquired.

読み出し工程：変位後の位置において、可視光検出器２と熱型赤外光検出器１で取得した可視光画像データと赤外光画像データを、読み出し回路を用いてそれぞれ読み出す。   Reading step: At the position after the displacement, the visible light image data and the infrared light image data acquired by the visible light detector 2 and the thermal infrared light detector 1 are read out using a reading circuit, respectively.

画像合成工程：変位の前後に取得された、それぞれ２枚の可視光画像データと赤外光画像データを並べるように合成し、可視光画像と赤外光画像をそれぞれ１枚ずつ作成する。   Image composition step: Two visible light image data and infrared light image data obtained before and after displacement are combined so as to be arranged, and one visible light image and one infrared light image are created.

出力工程：合成した画像を外部インタフェースに合わせて出力する。   Output process: Output the synthesized image in accordance with the external interface.

このように、本実施の形態２にかかる画像取得プロセスでは、配置周期分の変位の前後で画像データを取得し、これらの画像を並べるように合成して最終的な画像を取得する。これにより、可視光検出器２と熱型赤外光検出器１の２種類の検出器を、Ｘ軸方向（列方向、図３では左右方向に）に交互に配置することにより生じる不感領域を補間し、画像の劣化なく実画素数よりも高い解像度の画像を得ることができる。   As described above, in the image acquisition process according to the second embodiment, image data is acquired before and after the displacement corresponding to the arrangement period, and these images are combined so as to be arranged to obtain a final image. As a result, an insensitive region generated by alternately arranging two types of detectors, the visible light detector 2 and the thermal infrared detector 1, in the X-axis direction (column direction, left-right direction in FIG. 3). Interpolation can be performed to obtain an image with a resolution higher than the actual number of pixels without image degradation.

図５は、図４に示す画像取得プロセスで得られる赤外光画像データと可視光画像データを示すものである。赤外光画像データは、（ａ）変位前（赤外光画像データ１ａ）、（ｂ）変位後（赤外光画像データ１ｂ）にそれぞれ取得され、これらが並ぶように合成されて、（ｃ）赤外光画像出力として出力される。   FIG. 5 shows infrared light image data and visible light image data obtained by the image acquisition process shown in FIG. Infrared light image data is acquired before (a) before displacement (infrared light image data 1a) and (b) after displacement (infrared light image data 1b), and is synthesized so that they are aligned, and (c ) Output as infrared light image output.

一方、可視光画像データは、（ａ）’変位前（可視光画像データ２ａ）、（ｂ）’変位後（可視光画像データ２ｂ）にそれぞれ取得され、これらが並ぶように合成されて、（ｃ）’可視光画像出力として出力される。   On the other hand, the visible light image data is acquired (a) before the displacement (visible light image data 2a) and (b) after the displacement (visible light image data 2b), and these are combined so that they are aligned. c) 'Output as a visible light image output.

本実施の形態にかかる２波長イメージセンサでは、可視光画像と赤外光画像の画素数比は４：１となり、赤外光画像よりも解像度の高い可視光画像が得られる。このように、可視光画像が赤外光画像に比べて４倍の分解能を有することを利用して、例えば、解像度の低い赤外光画像によって侵入者の有無を検知し、侵入者を検知した場合に解像度の高い可視光画像に切り替えて人物や人相を特定する防犯カメラに応用することができる。   In the two-wavelength image sensor according to this embodiment, the pixel number ratio between the visible light image and the infrared light image is 4: 1, and a visible light image having a higher resolution than the infrared light image can be obtained. Thus, utilizing the fact that a visible light image has a resolution four times that of an infrared light image, for example, the presence or absence of an intruder is detected by an infrared light image having a low resolution, and an intruder is detected. In some cases, the present invention can be applied to a security camera that switches to a visible light image having a high resolution to identify a person or a human face.

なお、熱型赤外光検出器１と可視光検出器２のサイズの比を変えることにより、可視光画像と赤外光画像の画素数比を変更することが可能である。   Note that the pixel number ratio between the visible light image and the infrared light image can be changed by changing the size ratio between the thermal infrared detector 1 and the visible light detector 2.

実施の形態３．
図６は、本発明の実施の形態３にかかる、２波長イメージセンサの画素配置を示すレイアウト図である。複数の熱型赤外光検出器１と複数の可視光検出器２が、半導体基板上にアレイ状に周期配列されている。即ち、横方向には、略同一占有面積の熱型赤外光検出器１と可視光検出器２が、略同一ピッチで交互に配置されている。また、縦方向には、略同一占有面積の熱型赤外光検出器１または可視光検出器２が、略同一ピッチで配置されている。 Embodiment 3 FIG.
FIG. 6 is a layout diagram showing a pixel arrangement of the two-wavelength image sensor according to the third embodiment of the present invention. A plurality of thermal infrared detectors 1 and a plurality of visible light detectors 2 are periodically arranged in an array on a semiconductor substrate. That is, in the horizontal direction, the thermal infrared detectors 1 and the visible light detectors 2 having substantially the same occupied area are alternately arranged at substantially the same pitch. In the vertical direction, the thermal infrared detectors 1 or visible light detectors 2 having substantially the same occupied area are arranged at substantially the same pitch.

ここでは、熱型赤外光検出器１は矩形であり、可視光検出器２は正方形である。可視光検出器２のサイズは、熱型赤外光検出器１のサイズより小さく、可視光検出器２のサイズの略８分の１となっている。   Here, the thermal infrared light detector 1 is rectangular, and the visible light detector 2 is square. The size of the visible light detector 2 is smaller than the size of the thermal infrared light detector 1 and is approximately one eighth of the size of the visible light detector 2.

図６の２波長イメージセンサでは、図３に示す画像取得プロセスを用いることにより、可視光画像と赤外光画像の画素数比が８：１であり、赤外光画像よりも解像度の高い可視光画像が得られる。即ち、可視光画像は赤外光画像に比べて８倍の分解能を有することとなる。   In the two-wavelength image sensor of FIG. 6, by using the image acquisition process shown in FIG. 3, the pixel number ratio between the visible light image and the infrared light image is 8: 1, and the visible resolution has a higher resolution than the infrared light image. A light image is obtained. That is, the visible light image has a resolution eight times that of the infrared light image.

図７は、熱型赤外光検出器１を用いた、本実施の形態３にかかる画像取得プロセスを示すダイヤグラムである。図７は、熱型赤外光検出器１を用いた画像取得プロセスである。可視光検出器２を用いた画像取得プロセスは、図３のプロセスと同様であり、変位の前後に撮像された２枚の可視光画像データの合成により、１枚の可視光画像が作成される。   FIG. 7 is a diagram showing an image acquisition process according to the third embodiment using the thermal infrared light detector 1. FIG. 7 shows an image acquisition process using the thermal infrared light detector 1. The image acquisition process using the visible light detector 2 is the same as the process of FIG. 3, and a single visible light image is created by combining two visible light image data captured before and after the displacement. .

これに対して、赤外光画像は、変位の前後に熱型赤外光検出器１により画像データを取得する工程は同じであるが、最終的に、画像信号加算による画像合成工程において、検出された信号電荷を加算して出力が行われる。   In contrast, an infrared light image has the same process of acquiring image data by the thermal infrared light detector 1 before and after displacement, but is finally detected in an image synthesis process by adding image signals. Output is performed by adding the signal charges.

図８は、本実施の形態３にかかる画像取得プロセスで得られる赤外光画像データと可視光画像データである。図８の工程で得られる赤外光画像データは、（ａ）変位前（赤外光画像データ１ａ）、（ｂ）変位後（赤外光画像データ１ｂ）にそれぞれ取得され、これらが加算されて、（ｃ）赤外光画像出力として出力される。この結果、赤外光画像データの画素は、（ｃ）に示すような１ｃ（１ａ＋１ｂ）の領域となる。   FIG. 8 shows infrared light image data and visible light image data obtained by the image acquisition process according to the third embodiment. The infrared light image data obtained in the process of FIG. 8 is acquired before (a) before displacement (infrared light image data 1a) and (b) after displacement (infrared light image data 1b), and these are added. (C) is output as an infrared light image output. As a result, the pixels of the infrared light image data become a 1c (1a + 1b) region as shown in (c).

一方、可視光画像データは、（ａ）’変位前（可視光画像データ２ａ）、（ｂ）’変位後（可視光画像データ２ｂ）にそれぞれ取得され、これらが合成されて、（ｃ）’可視光画像出力として出力される。この結果、可視光画像（２ａ又は２ｂ）と赤外光画像（１ｃ）の画素数比は１６：１となる。   On the other hand, visible light image data is acquired (a) 'before displacement (visible light image data 2a) and (b)' after displacement (visible light image data 2b), respectively, and these are combined, and (c) ' Output as a visible light image output. As a result, the pixel number ratio between the visible light image (2a or 2b) and the infrared light image (1c) is 16: 1.

このように、本実施の形態３にかかる画像取得プロセスを用いることにより、可視光画像と赤外光画像の画素数比を大きくすることができる。特に、熱型赤外光検出器１の列方向（Ｘ軸方向、図８では左右方向）の不感領域を補間し、実際の画素サイズ（１ａ又は１ｂ）より大きい赤外光画像（１ｃ）を形成することができる。   Thus, by using the image acquisition process according to the third embodiment, the pixel number ratio between the visible light image and the infrared light image can be increased. In particular, an insensitive region in the column direction (X-axis direction, left-right direction in FIG. 8) of the thermal infrared detector 1 is interpolated to obtain an infrared light image (1c) larger than the actual pixel size (1a or 1b). Can be formed.

この結果、可視と赤外の画素サイズ比の変更や赤外画素の信号加算出力などにより取得される可視光画像と赤外光画像の画素数比を大きく変更できるので、２波長イメージセンサの用途に応じて画素数比を最適化する。   As a result, the pixel number ratio between the visible light image and the infrared light image acquired by changing the pixel size ratio between visible and infrared, or the signal addition output of the infrared pixel can be greatly changed. The pixel number ratio is optimized according to the above.

実施の形態４．
図９は、本実施の形態にかかる２波長イメージセンサの画像取得プロセスを示すダイヤグラムである。 Embodiment 4 FIG.
FIG. 9 is a diagram showing an image acquisition process of the two-wavelength image sensor according to the present embodiment.

図９において、可視光画像の取得プロセスは、図３に示すプロセスと同様であり、変位の前後において画像を取得、読み出しを行い、最終的にこれらの画像を合成して出力する。   In FIG. 9, the visible light image acquisition process is the same as the process shown in FIG. 3. Images are acquired and read before and after displacement, and finally these images are synthesized and output.

一方、赤外光画像の取得プロセスでは、図９に示すように、熱型赤外光検出器１の撮像時間は、可視光検出器２の撮像、読み出し、変位、撮像の工程に対応した時間となる。即ち、可視光検出器２の変位前の撮像工程から変位後の撮像工程までの間、熱型赤外光検出器１の撮像は変位と平行して継続する。   On the other hand, in the infrared light image acquisition process, as shown in FIG. 9, the imaging time of the thermal infrared light detector 1 is the time corresponding to the imaging, reading, displacement, and imaging steps of the visible light detector 2. It becomes. That is, during the period from the imaging process before the displacement of the visible light detector 2 to the imaging process after the displacement, the imaging of the thermal infrared photodetector 1 continues in parallel with the displacement.

図１０は、本実施の形態４にかかる画像取得プロセスで得られる赤外光画像データを示すものである（可視光画像については省略する）。赤外光画像データは、（ａ）変位前（赤外光画像データ１ａ）、（ｂ）変位動作時（赤外光画像データ１ｂ）を通じて継続的に取得され、最終的に（ｃ）赤外光画像出力として出力される。この結果、赤外光画像データの画素は、（ｃ）に示す正方形の領域となる。   FIG. 10 shows infrared light image data obtained by the image acquisition process according to the fourth embodiment (the visible light image is omitted). The infrared light image data is continuously acquired through (a) before displacement (infrared light image data 1a), (b) during displacement operation (infrared light image data 1b), and finally (c) infrared light. Output as optical image output. As a result, the pixels of the infrared light image data become a square region shown in (c).

このように、かかる画像取得工程によっても、熱型赤外光検出器１の列方向（Ｘ軸方向、図１０では左右方向）の不感領域を補間し、実際の画素サイズより大きな赤外画素を作成することができる。   In this way, even in such an image acquisition process, the insensitive area in the column direction (X-axis direction, left-right direction in FIG. 10) of the thermal infrared detector 1 is interpolated, and an infrared pixel larger than the actual pixel size is obtained. Can be created.

実施の形態５．
図１１は、本実施の形態５にかかる、２波長イメージセンサの画素配置を示すレイアウト図である。本実施の形態５にかかる画素配置は、図６に示す画素配置に対して、奇数行（あるいは偶数行）の画素を、配置周期分、列方向（Ｘ軸方向、図１１では左右方向）にずらした配置となっている。 Embodiment 5. FIG.
FIG. 11 is a layout diagram showing a pixel arrangement of the two-wavelength image sensor according to the fifth embodiment. The pixel arrangement according to the fifth embodiment is different from the pixel arrangement shown in FIG. 6 in that pixels in odd rows (or even rows) are arranged in the column direction (X-axis direction, left-right direction in FIG. 11) for the arrangement period. The arrangement is shifted.

図１２は、図１１の画素配置を有する２波長イメージセンサに対して、図７に示す赤外光画像の取得プロセスを適用した場合の画像データである。
赤外光画像データは、（ａ）変位前（赤外光画像データ１ａ）、（ｂ）変位後（赤外光画像データ１ｂ）として取得され、最終的にこれらを加算し、（ｃ）赤外光画像出力として出力される。 FIG. 12 shows image data when the infrared light image acquisition process shown in FIG. 7 is applied to the two-wavelength image sensor having the pixel arrangement of FIG.
Infrared light image data is acquired as (a) before displacement (infrared light image data 1a), (b) after displacement (infrared light image data 1b), and finally adding these, (c) red Output as external light image output.

この結果、赤外光画像は、変位前後に、熱型赤外光検出器１により検出された信号電荷の加算出力により、熱型赤外光検出器１の列方向（図１０では左右方向）の不感領域を補間し、実際の画素サイズより大きい赤外光画像を作成できる。この場合、可視光画像と赤外光画像の画素数比は１６：１となる。   As a result, the infrared light image is displayed in the column direction of the thermal infrared photodetector 1 (left and right in FIG. 10) by the addition output of the signal charges detected by the thermal infrared photodetector 1 before and after displacement. Insensitive areas can be interpolated to create an infrared light image larger than the actual pixel size. In this case, the pixel number ratio between the visible light image and the infrared light image is 16: 1.

特に、本実施の形態５では、図１２（ｃ）に示すように、赤外光画像は、奇数行あるいは偶数行のどちらかが列方向（図１２では左右方向）に２分の１画素分ずれた画像配置となる。この結果、本実施の形態５により取得された赤外光画像は、上述の図６の画素配置を用いて取得された赤外光画像に比べて、列方向（図１２では左右方向）の分解能が２倍になる。   In particular, in the fifth embodiment, as shown in FIG. 12C, the infrared light image has one half pixel in the column direction (left-right direction in FIG. 12) in either the odd row or the even row. The image layout is shifted. As a result, the infrared light image acquired by the fifth embodiment has a resolution in the column direction (left-right direction in FIG. 12) compared to the infrared light image acquired using the pixel arrangement of FIG. Doubles.

図１３は、図１１の画素配置を有する２波長イメージセンサに対して、図９に示す赤外光画像の取得プロセスを適用した場合である。これにより、熱型赤外光検出器１の列方向（図１３では左右方向）の不感領域を補間し、実際の画素サイズより大きい赤外光画像を作成できる。更には、赤外光画像は、奇数行あるいは偶数行のどちらかが列方向に２分の１赤外画素分ずれた画像となり、列方向の分解能が２倍になる。   FIG. 13 shows a case where the infrared light image acquisition process shown in FIG. 9 is applied to the two-wavelength image sensor having the pixel arrangement of FIG. Thereby, an insensitive region in the column direction (left and right direction in FIG. 13) of the thermal infrared detector 1 is interpolated, and an infrared light image larger than the actual pixel size can be created. Furthermore, the infrared light image is an image in which either the odd-numbered row or the even-numbered row is shifted by a half infrared pixel in the column direction, and the resolution in the column direction is doubled.

以上の実施の形態１〜５で示した画素配置に対して、同じく実施の形態１〜５で示した画像取得プロセスを適宜適用することができる。   Similarly, the image acquisition processes shown in the first to fifth embodiments can be applied as appropriate to the pixel arrangements shown in the first to fifth embodiments.

また、実施の形態１〜５では、撮像光学系からの入射光の２波長イメージセンサへの結像位置と２波長イメージセンサとの相対位置関係を変位させるために、変位駆動機構９により２波長イメージセンサチップ側を変位させる例について説明したが、光学系側を変位させる場合にも適用可能である。   In the first to fifth embodiments, in order to displace the relative position relationship between the imaging position of the incident light from the imaging optical system on the two-wavelength image sensor and the two-wavelength image sensor, the displacement driving mechanism 9 uses two wavelengths. Although the example of displacing the image sensor chip side has been described, the present invention can also be applied to the case of displacing the optical system side.

本発明の実施の形態１にかかる２波長イメージセンサの斜視図である。1 is a perspective view of a two-wavelength image sensor according to a first exemplary embodiment of the present invention. 本発明の実施の形態１にかかる２波長イメージセンサの断面図である。It is sectional drawing of the 2 wavelength image sensor concerning Embodiment 1 of this invention. 本発明の実施の形態２にかかる２波長イメージセンサの画素配置を示すレイアウト図である。It is a layout figure which shows pixel arrangement | positioning of the 2 wavelength image sensor concerning Embodiment 2 of this invention. 本発明の実施の形態２にかかる画像取得プロセスのダイヤグラムである。It is a diagram of the image acquisition process concerning Embodiment 2 of this invention. 本発明の実施の形態２にかかる画像取得プロセスで取得される画像データである。It is image data acquired by the image acquisition process concerning Embodiment 2 of this invention. 本発明の実施の形態３にかかる２波長イメージセンサの画素配置を示すレイアウト図である。It is a layout figure which shows pixel arrangement | positioning of the 2 wavelength image sensor concerning Embodiment 3 of this invention. 本発明の実施の形態３にかかる画像取得プロセスのダイヤグラムである。It is a diagram of the image acquisition process concerning Embodiment 3 of this invention. 本発明の実施の形態３にかかる画像取得プロセスで取得される画像データである。It is image data acquired by the image acquisition process concerning Embodiment 3 of this invention. 本発明の実施の形態４にかかる画像取得プロセスのダイヤグラムである。It is a diagram of the image acquisition process concerning Embodiment 4 of this invention. 本発明の実施の形態４にかかる画像取得プロセスで取得される画像データである。It is image data acquired by the image acquisition process concerning Embodiment 4 of this invention. 本発明の実施の形態５にかかる２波長イメージセンサの画素配置を示すレイアウト図である。It is a layout figure which shows pixel arrangement | positioning of the 2 wavelength image sensor concerning Embodiment 5 of this invention. 本発明の実施の形態５にかかる画像取得プロセスで取得される画像データである。It is image data acquired by the image acquisition process concerning Embodiment 5 of this invention. 本発明の実施の形態５にかかる画像取得プロセスで取得される画像データである。It is image data acquired by the image acquisition process concerning Embodiment 5 of this invention.

符号の説明Explanation of symbols

１ 熱型赤外光検出器、２ 可視光検出器、３ 赤外駆動走査回路、４ 赤外信号走査回路、５ 赤外出力アンプ、６ 可視駆動走査回路、７ 可視信号走査回路、８ 可視出力アンプ、９ 変位(振動)駆動機構、１０ 信号合成部、５０ 基板、１００ ２波長イメージセンサ。   1 Thermal Infrared Light Detector, 2 Visible Light Detector, 3 Infrared Drive Scan Circuit, 4 Infrared Signal Scan Circuit, 5 Infrared Output Amplifier, 6 Visible Drive Scan Circuit, 7 Visible Signal Scan Circuit, 8 Visible Output Amplifier, 9 Displacement (vibration) drive mechanism, 10 signal synthesis unit, 50 substrate, 100 2-wavelength image sensor.

Claims (7)

可視光イメージと赤外光イメージとを取得できる２波長イメージセンサであって、
基板と、
該基板上に、一定の配置周期で、列方向に交互に設けられた可視光検出領域および赤外光検出領域と、
該可視光検出領域に設けられた可視光検出器と、
該赤外光検出領域に設けられた赤外光検出器と、
該可視光検出器および該赤外光検出器を、被写体に対して列方向に配置周期分だけ変位可能な変位駆動機構とを含み、
配置周期分の変位前後に取得した可視光画像を合成して可視光イメージを作成し、配置周期分の変位前後に取得した赤外光画像を合成して赤外光イメージを作成することを特徴とする２波長イメージセンサ。 A two-wavelength image sensor capable of obtaining a visible light image and an infrared light image,
A substrate,
Visible light detection regions and infrared light detection regions provided alternately in the column direction on the substrate at a constant arrangement period;
A visible light detector provided in the visible light detection region;
An infrared light detector provided in the infrared light detection region;
A displacement drive mechanism capable of displacing the visible light detector and the infrared light detector by an arrangement period in a row direction with respect to a subject,
A visible light image is created by combining the visible light images acquired before and after the displacement for the arrangement period, and an infrared light image is created by combining the infrared light images acquired before and after the displacement for the arrangement period. A two-wavelength image sensor. 少なくとも２列に配置された、上記可視光検出領域および上記赤外光検出領域を含み、隣接した列の間で、上記可視光検出領域の列方向の位置が、上記配置周期だけずれたことを特徴とする請求項１に記載の２波長イメージセンサ。   The visible light detection region and the infrared light detection region, which are arranged in at least two rows, include that the position in the column direction of the visible light detection region is shifted by the arrangement period between adjacent rows. The two-wavelength image sensor according to claim 1, wherein: 上記赤外光検出器の面積が、上記可視光検出器の面積より大きいことを特徴とする請求項１または２に記載の２波長イメージセンサ。   The two-wavelength image sensor according to claim 1 or 2, wherein an area of the infrared light detector is larger than an area of the visible light detector. 上記可視光検出領域に、上記列方向に複数の上記可視光検出器が設けられたことを特徴とする請求項１〜３のいずれかに記載の２波長イメージセンサ。   The two-wavelength image sensor according to any one of claims 1 to 3, wherein a plurality of the visible light detectors are provided in the row direction in the visible light detection region. 可視光検出領域および赤外光検出領域が一定の配置周期で列方向に交互に設けられ、該可視光検出領域に可視光検出器が設けられ、該赤外光検出領域に赤外光検出器が設けられた２波長イメージセンサを用いた撮像方法であって、
第１位置において、該可視光検出器により第１可視光画像を取得するとともに、該赤外光検出器により第１赤外光画像を取得する第１撮像工程と、
該可視光検出器および該赤外光検出器を、列方向に配置周期分だけずれた第２位置に移動させる工程と、
該第２位置において、該可視光検出器により第２可視光画像を取得するとともに、該赤外光検出器により第２赤外光画像を取得する第２撮像工程と、
該第１可視光画像と該第２可視光画像とを合成して可視光イメージを取得するとともに、該第１赤外光画像と該第２赤外光画像とを合成して赤外光イメージを取得する工程とを含むことを特徴とする２波長イメージセンサを用いた撮像方法。 The visible light detection region and the infrared light detection region are alternately provided in the column direction with a fixed arrangement period, the visible light detector is provided in the visible light detection region, and the infrared light detector is provided in the infrared light detection region. An imaging method using a two-wavelength image sensor provided with
A first imaging step of acquiring a first visible light image by the visible light detector and acquiring a first infrared light image by the infrared light detector at a first position;
Moving the visible light detector and the infrared light detector to a second position shifted by an arrangement period in the column direction;
A second imaging step of acquiring a second visible light image by the visible light detector at the second position and acquiring a second infrared light image by the infrared light detector;
The first visible light image and the second visible light image are combined to acquire a visible light image, and the first infrared light image and the second infrared light image are combined to obtain an infrared light image. An imaging method using a two-wavelength image sensor. 隣接する上記第１赤外光画像と上記第２赤外光画像から、１つの赤外光イメージを作成することを特徴とする請求項５に記載の撮像方法。   The imaging method according to claim 5, wherein one infrared light image is created from the adjacent first infrared light image and the second infrared light image. 上記第１撮像工程と上記第２撮像工程の上記赤外光画像の取得工程が、連続した撮像工程として行われることを特徴とする請求項５に記載の撮像方法。   The imaging method according to claim 5, wherein the infrared light image acquisition step of the first imaging step and the second imaging step is performed as a continuous imaging step.
JP2006258242A 2006-09-25 2006-09-25 Two-wavelength image sensor and imaging method using dual-wavelength image sensor Pending JP2008079172A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006258242A JP2008079172A (en) 2006-09-25 2006-09-25 Two-wavelength image sensor and imaging method using dual-wavelength image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006258242A JP2008079172A (en) 2006-09-25 2006-09-25 Two-wavelength image sensor and imaging method using dual-wavelength image sensor

Publications (1)

Publication Number Publication Date
JP2008079172A true JP2008079172A (en) 2008-04-03

Family

ID=39350723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006258242A Pending JP2008079172A (en) 2006-09-25 2006-09-25 Two-wavelength image sensor and imaging method using dual-wavelength image sensor

Country Status (1)

Country Link
JP (1) JP2008079172A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021569A (en) * 2011-07-12 2013-01-31 Univ Of Tokyo Imaging device and imaging apparatus using the same
US9001220B2 (en) 2012-07-03 2015-04-07 Samsung Electronics Co., Ltd. Image sensor chip, method of obtaining image data based on a color sensor pixel and a motion sensor pixel in an image sensor chip, and system including the same
CN104822033A (en) * 2015-05-05 2015-08-05 太原理工大学 Visual sensor based on infrared and visible light image fusion and using method thereof
JP2016533695A (en) * 2013-10-04 2016-10-27 アイシークラリティー，インク． Method of using an array sensor to measure multiple types of data at the full resolution of the sensor
EP3163867A1 (en) * 2015-10-28 2017-05-03 Delphi Technologies, Inc. Automated vehicle imager device with improved infrared sensitivity
JP6297234B1 (en) * 2017-06-26 2018-03-20 三菱電機株式会社 Compound eye imaging apparatus, image processing method, program, and recording medium
JP2018152921A (en) * 2013-05-10 2018-09-27 キヤノン株式会社 Solid-state image device and camera
JP2018164044A (en) * 2017-03-27 2018-10-18 パナソニックＩｐマネジメント株式会社 Solid state image sensor and imaging system using the same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021569A (en) * 2011-07-12 2013-01-31 Univ Of Tokyo Imaging device and imaging apparatus using the same
US9001220B2 (en) 2012-07-03 2015-04-07 Samsung Electronics Co., Ltd. Image sensor chip, method of obtaining image data based on a color sensor pixel and a motion sensor pixel in an image sensor chip, and system including the same
JP2018152921A (en) * 2013-05-10 2018-09-27 キヤノン株式会社 Solid-state image device and camera
JP2016533695A (en) * 2013-10-04 2016-10-27 アイシークラリティー，インク． Method of using an array sensor to measure multiple types of data at the full resolution of the sensor
EP3053096A4 (en) * 2013-10-04 2017-04-12 Icclarity, Inc. A method to use array sensors to measure multiple types of data at full resolution of the sensor
CN104822033A (en) * 2015-05-05 2015-08-05 太原理工大学 Visual sensor based on infrared and visible light image fusion and using method thereof
CN104822033B (en) * 2015-05-05 2017-09-01 太原理工大学 A kind of infrared vision sensor and its application method with visual image fusion
EP3163867A1 (en) * 2015-10-28 2017-05-03 Delphi Technologies, Inc. Automated vehicle imager device with improved infrared sensitivity
JP2018164044A (en) * 2017-03-27 2018-10-18 パナソニックＩｐマネジメント株式会社 Solid state image sensor and imaging system using the same
JP6297234B1 (en) * 2017-06-26 2018-03-20 三菱電機株式会社 Compound eye imaging apparatus, image processing method, program, and recording medium
WO2019003258A1 (en) * 2017-06-26 2019-01-03 三菱電機株式会社 Camera device, compound eye imaging device, image processing method, program, and recording medium

Similar Documents

Publication Publication Date Title
JP7264187B2 (en) Solid-state imaging device, its driving method, and electronic equipment
US9123603B2 (en) Photoelectric conversion device and imaging system
CN107615485B (en) Solid-state imaging device and electronic apparatus
JP6806494B2 (en) Imaging device, imaging system, moving object and driving method of imaging device
JP6848436B2 (en) Solid-state image sensor, image sensor, and electronic equipment
JP2008079172A (en) Two-wavelength image sensor and imaging method using dual-wavelength image sensor
JP5038188B2 (en) Imaging apparatus and imaging system using the same
TWI398948B (en) Fused multi-array color image sensor, image system and method of capturing image
US9231010B2 (en) Photoelectric conversion apparatus and imaging system having impurity concentration profile in a depth direction of the plural semiconductor regions
JP2006343229A (en) Image sensor
WO2016147837A1 (en) Solid-state imaging element, driving method, and electronic device
JP2006073733A (en) Solid state imaging device and solid state imaging system
JPWO2017018258A1 (en) Solid-state imaging device and electronic apparatus
TW201426987A (en) Image pickup element and image pickup unit
KR20170105494A (en) Solid-state image-capturing device and electronic device
KR20160065464A (en) Color filter array, image sensor having the same and infrared data acquisition method using the same
JP6355362B2 (en) Photoelectric conversion device and imaging system
JP2016127043A (en) Solid-state image pickup element and electronic equipment
JP2007279512A (en) Stereoscopic camera and stereoscopic imaging apparatus
CN109076178B (en) Solid-state image pickup element and electronic apparatus
JP2008204978A (en) Imaging device
JP2005109370A (en) Solid state imaging device
JP2006165663A (en) Image pickup apparatus, digital camera and color image data generating method
WO2016208416A1 (en) Solid-state image capturing device and electronic instrument
JP2018137603A (en) Solid state image pickup device and electronic apparatus