JP2002521975A - Infrared correction system - Google Patents
Infrared correction systemInfo
- Publication number
- JP2002521975A JP2002521975A JP2000563064A JP2000563064A JP2002521975A JP 2002521975 A JP2002521975 A JP 2002521975A JP 2000563064 A JP2000563064 A JP 2000563064A JP 2000563064 A JP2000563064 A JP 2000563064A JP 2002521975 A JP2002521975 A JP 2002521975A
- Authority
- JP
- Japan
- Prior art keywords
- color
- infrared
- imaging system
- radiation
- shutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 41
- 230000005855 radiation Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 9
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000000191 radiation effect Effects 0.000 abstract description 2
- 230000000717 retained effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 238000001429 visible spectrum Methods 0.000 description 5
- 238000000411 transmission spectrum Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-M Acrylate Chemical compound [O-]C(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-M 0.000 description 1
- 101100441312 Arabidopsis thaliana CST gene Proteins 0.000 description 1
- 102100037260 Gap junction beta-1 protein Human genes 0.000 description 1
- 101100276172 Homo sapiens GJB1 gene Proteins 0.000 description 1
- 241000737052 Naso hexacanthus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000009501 film coating Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002277 temperature effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Input (AREA)
Abstract
(57)【要約】 【課題】 デジタルカメラ、スキャナなどと共に使用されてよい結像システムを提供する。 【解決手段】 カラーシャッタを使用する本発明による結像システムは、赤外情報を伴う複数のプレーンにおけるカラー情報を表す信号とその赤外放射線情報だけを表す信号とを受信する。赤外放射線信号は、各望ましいカラープレーンについて赤外放射線効果のない信号を取得するためにそのカラープレーンに関連する信号から引き算されてよい。赤外信号は一部の状況において有用な用途がある場合があり、カラー情報のカラーバンドは赤外フィルタの必要なしに得られ、赤外情報は必要に応じて他の用途における使用のために保持される。暗電流補正に使用できる赤外及び暗電流情報が取得される。 (57) [Problem] To provide an imaging system that can be used with a digital camera, a scanner, and the like. An imaging system according to the present invention using a color shutter receives a signal representing color information in a plurality of planes with infrared information and a signal representing only the infrared radiation information. The infrared radiation signal may be subtracted from the signal associated with that color plane to obtain a signal without infrared radiation effects for each desired color plane. Infrared signals may have useful applications in some situations, where color bands of color information are obtained without the need for infrared filters, and the infrared information is optionally used for other applications. Will be retained. Infrared and dark current information that can be used for dark current correction is acquired.
Description
【０００１】[0001]
本発明は一般に、例えばデジタルカメラ、スキャナなどと共に使用されてよい
結像システム（imaging system）に関する。The present invention generally relates to an imaging system that may be used, for example, with digital cameras, scanners, and the like.
【０００２】[0002]
シリコン技術に基づく結像センサ（imaging sensor）は一般にオプティカルチ
ェーン（optical chain）において赤外遮断素子（infrared blocking element）
を使用する。この赤外遮断素子の目的は赤外放射線（ＩＲ（infrared radiation
））または赤外光（一般に７８０ｎｍより長い波長の光と考えられる）が結像ア
レイに入射することを防ぐことにある。An imaging sensor based on silicon technology is generally an infrared blocking element in an optical chain.
Use The purpose of this infrared blocking device is to use infrared radiation (IR).
)) Or infrared light (generally considered light of a wavelength longer than 780 nm) from entering the imaging array.
【０００３】 シリコンベースのデバイスは一般に最大約１２００ｎｍまでの波長に敏感に反
応する。もしＩＲがアレイに入射することが許されるなら、アレイはＩＲに応答
してイメージ信号を生成する。結像システムの１つの目的は、可視光の表現を生
成することにあるので、ＩＲが誤った応答を導入すれば結像システムによって作
り出されるイメージをゆがめてしまう。単色（白黒）の結像システムでは、結果
は明らかにゆがめられた演出であり得る。例えば、木の葉と人間の皮膚のトーン
は異常に明るくなる場合がある。カラーの結像システムでは、ＩＲが導入される
と色合いがゆがめられ、正しくない色を持つイメージが作り出される。[0003] Silicon-based devices are generally sensitive to wavelengths up to about 1200 nm. If the IR is allowed to enter the array, the array generates an image signal in response to the IR. One purpose of the imaging system is to produce a representation of the visible light, so that if the IR introduces an incorrect response, the image produced by the imaging system will be distorted. In a monochromatic (black and white) imaging system, the result can be a clearly distorted presentation. For example, the tones of leaves and human skin may be abnormally bright. In color imaging systems, when IR is introduced, the shade is distorted, creating an image with incorrect colors.
【０００４】 結像システムにおけるＩＲを主因とする異常に対する一般的な方法によれば、
イオン着色ガラスまたはガラス上に薄膜光被覆を使用して、可視光（一般に３８
０ｎｍ〜７８０ｎｍまでの光）を通過させてＩＲを遮断する光学素子が生成され
る。この素子はレンズ系の前に配置され、レンズ系内に位置づけられることが可
能であり、あるいは結像システムのパッケージに組み込まれることが可能である
。このアプローチの主な不利な点は、コストがかかり、システムが複雑になると
いうことである。薄膜被覆はいくらか低コストで実現できるが、しかし角度の関
数としてスペクトルシフトを示すという付加的な不利な点に苦しむ。従って、結
像システムでは、これらの素子はイメージ・フィールドの中心から端まで一様な
透過特性を与えない。両方のフィルタタイプは結像システムに組み立てられなけ
ればならない余分な小片部分を導入することによってシステムに複雑さを加える
。According to a general method for anomalies mainly due to IR in an imaging system,
Using thin film light coatings on ionic tinted glass or glass, the visible light (generally 38
An optical element that transmits IR light (from 0 nm to 780 nm) and blocks IR is generated. This element can be located in front of the lens system, located within the lens system, or can be incorporated into the package of the imaging system. The main disadvantages of this approach are that it is costly and complicates the system. Thin film coatings can be realized at somewhat lower cost, but suffer from the additional disadvantage of exhibiting a spectral shift as a function of angle. Thus, in an imaging system, these elements do not provide uniform transmission characteristics from the center to the edge of the image field. Both filter types add complexity to the imaging system by introducing extra pieces that must be assembled into the imaging system.
【０００５】 デジタル式結像システムは一般に暗電流（dark current）と呼ばれるものを補
正する。暗電流は実際には入力イメージが受信されていなくとも結像システムに
よって検出されるものである。一般に暗電流は分離され、カメラの較正過程の間
あるいは進行基準（ongoing basis）に基づいて取り去られる。機械的シャッタ
はフレーム間で光学系を遮蔽して暗電流ノイズの継続印（continuing indicia）
を与えるために使用されてよい。これは、暗電流は温度に強く依存するので、と
ても役に立つかもしれない。従って、現在の暗電流状態の継続表示を持つことは
望ましいことである。暗電流は、進行中の暗電流状態の表示（indication）を提
供するために光から遮蔽されるある特定のピクセルを提供することによって継続
的に決定されてもよい。[0005] Digital imaging systems correct what is commonly referred to as dark current. Dark current is that which is detected by the imaging system even though the input image is not actually being received. In general, dark current is separated and removed during the camera calibration process or on an ongoing basis. A mechanical shutter shields the optical system between frames and continues dark current noise (continuing indicia)
May be used to provide This may be very useful because dark current is strongly dependent on temperature. Therefore, it is desirable to have a continuous indication of the current dark current state. Dark current may be determined on an ongoing basis by providing certain pixels that are shielded from light to provide an indication of an ongoing dark current condition.
【０００６】[0006]
こうして、複雑さとコストを減少させる結像システムは継続的に必要とされて
いる。特に、赤外フィルタを必要とせずに可視スペクトルの光に敏感に反応して
赤外スペクトルの光に鈍感なシステムが必要とされている。さらに、暗電流と赤
外ノイズの両方の効果を継続的に補正することができるシステムが必要とされて
いる。Thus, there is a continuing need for an imaging system that reduces complexity and cost. In particular, there is a need for a system that is sensitive to light in the visible spectrum and insensitive to light in the infrared spectrum without the need for an infrared filter. Further, there is a need for a system that can continuously correct for the effects of both dark current and infrared noise.
【０００７】[0007]
本発明による結像システムは、第１の段階で可視スペクトルの放射線を通過さ
せる選択的に調整可能なシャッタを備える。第２の段階において、そのシャッタ
は赤外放射線を通過させながら、可視スペクトルの光を十分に遮断する。減算器
は第１及び第２段階において通過した放射線を表す信号を引き算する。The imaging system according to the present invention comprises a selectively adjustable shutter that passes radiation in the visible spectrum in a first stage. In the second stage, the shutter blocks out the visible spectrum of light while passing infrared radiation. The subtractor subtracts a signal representing the radiation passed in the first and second stages.
【０００８】[0008]
本発明の実施態様において、イメージ信号に対するＩＲの効果は、ＩＲと可視
光の両方に敏感に反応するピクセル・センサによって生成された信号からＩＲピ
クセル・センサによって生成された信号を引き算することにより、十分に減少さ
せられる。ＩＲピクセル・センサは、センサを含むアレイに入射するＩＲに敏感
に反応し、カラーチャネル（例えばＲＧＢ）からのイメージに個別にＩＲ成分を
与える。In an embodiment of the present invention, the effect of IR on the image signal is determined by subtracting the signal generated by the IR pixel sensor from the signal generated by the pixel sensor, which is sensitive to both IR and visible light. Can be reduced sufficiently. IR pixel sensors are sensitive to IR incident on the array containing the sensor and provide an individual IR component to the image from a color channel (eg, RGB).
【０００９】 ＩＲセンサは、既存の商用カラーフィルタ・アレイ（ＣＦＡ（Color Filter A
rrey））材料を使って、これらの材料がＩＲ放射線を通過させるという事実を利
用することにより生成可能である。スペクトルの可視部分において実質的に全く
重なり透過率（overlapping transmittance）を有しない２つのＣＦＡカラー（
例えば、Ｒ、Ｂ）の単純なオーバレイによって、十分に可視光を阻止してＩＲだ
けを透過させる複合フィルタ素子を生成することは可能である。もし２つのフィ
ルタが複合フィルタを形成するために使用されるなら、その２つのフィルタはそ
れぞれ他から分離した可視放射線通過スペクトルを有し、その結果、その２つの
フィルタの組合せから形成された結果として生じる複合フィルタを通過する可視
光の透過率は実質的に全く存在しない。もし３つ以上のフィルタが使用されるな
ら、各フィルタは、結果として生じる複合フィルタが可視光に対して不透明であ
るような可視放射線通過スペクトルを有する。この複合フィルタ素子は、複合フ
ィルタを構成するために使用されるそれぞれの成分フィルタはＩＲを透過させる
ので、従ってＩＲ通過フィルタである。An IR sensor is an existing commercial color filter array (CFA).
rrey)) can be produced by using the fact that these materials pass IR radiation. Two CFA colors (substantially no overlapping transmittance in the visible part of the spectrum)
For example, with a simple overlay of R, B), it is possible to create a composite filter element that blocks enough visible light and transmits only IR. If two filters are used to form a composite filter, the two filters each have a visible radiation transmission spectrum that is separate from the others, so that as a result formed from the combination of the two filters There is virtually no visible light transmission through the resulting composite filter. If more than two filters are used, each filter has a visible radiation transmission spectrum such that the resulting composite filter is opaque to visible light. This composite filter element is an IR pass filter because each component filter used to construct the composite filter transmits IR.
【００１０】 一例として、図１は従来の赤、緑、そして青のＣＦＡ（ピグメント・アクリル
酸塩（pigmented acrylate））の透過特性を示している。各フィルタはＩＲを十
分に透過させることに注意する。赤及び青のＣＦＡフィルタをオーバレイするこ
とによって、複合ＩＲ通過フィルタの結果として生じる透過率によって、図２に
示されるように、可視スペクトルは十分に遮断される。As an example, FIG. 1 shows the transmission characteristics of conventional red, green, and blue CFA (pigmented acrylate). Note that each filter transmits the IR well. By overlaying the red and blue CFA filters, the resulting transmission of the combined IR pass filter will sufficiently block the visible spectrum, as shown in FIG.
【００１１】 ＩＲ通過フィルタは、ピクセル回路上にＩＲ通過フィルタを作り上げる構成フ
ィルタを堆積させることによって、ＩＲ感知可能ピクセルまたはＩＲピクセル・
センサを生成するために使用される。この堆積は半導体産業ではよく知られてい
るフォトリソグラフィ技術によって実現できる。ピクセル回路は放射線を吸収す
るどんな回路でもよく、吸収された放射線を表す信号を提供する。例えば、ピク
セル回路は、それにより吸収された光子が電子・正孔ペアを生成するフォト・ダ
イオードを、そのフォト・ダイオードによって吸収される光子数を表す電圧もし
くは電流信のいずれかである電子信号を提供する追加の回路と共に含んでよい。[0011] The IR pass filter is constructed by depositing constituent filters on the pixel circuit that make up the IR pass filter, thereby providing IR sensitive pixels or IR pixel filters.
Used to create sensors. This deposition can be achieved by photolithographic techniques well known in the semiconductor industry. The pixel circuit can be any circuit that absorbs radiation and provides a signal representative of the absorbed radiation. For example, a pixel circuit may provide a photodiode in which the photons absorbed thereby create electron-hole pairs with an electronic signal that is either a voltage or a current signal representing the number of photons absorbed by the photodiode. May be included with additional circuitry provided.
【００１２】 図３は、一実施態様におけるＩＲピクセル・センサ３００の略断面図である。
ＩＲピクセル・センサ３００は、赤ＣＦＡ３２０と青ＣＦＡ３３０をその上に堆
積させたピクセル回路３１０を備える。方向３４０によって図示されたピクセル
回路に入射する可視領域内の光子は実質的に遮断されること、あるいはピクセル
回路３１０によって吸収されることが妨げられる。FIG. 3 is a schematic cross-sectional view of an IR pixel sensor 300 in one embodiment.
The IR pixel sensor 300 includes a pixel circuit 310 having a red CFA 320 and a blue CFA 330 deposited thereon. Photons in the visible region that impinge on the pixel circuit illustrated by direction 340 are substantially blocked or prevented from being absorbed by pixel circuit 310.
【００１３】 一実施態様において、４タイプのピクセル・センサを有する結像アレイが使用
される。４タイプのピクセル・センサとは、３つのカラータイプ（例えばＲＧＢ
）と一つのＩＲタイプで、商業的に入手可能なＣＦＡ材料で作られている。これ
により表１に示された４つのチャネル、あるいは４つのタイプの信号が与えられ
る。表１には、各チャネルまたはピクセルタイプについて測定されたスペクトル
が示されている。In one embodiment, an imaging array having four types of pixel sensors is used. Four types of pixel sensors are defined as three color types (for example, RGB)
) And one IR type, made of commercially available CFA material. This provides four channels or four types of signals as shown in Table 1. Table 1 shows the measured spectra for each channel or pixel type.
【００１４】[0014]
【表１】 [Table 1]
【００１５】 イメージ信号のＩＲ成分は、一旦知られると、ＩＲ補正されたカラー出力を与
えるためにそのイメージから引き算される。この様子は図４に示された高レベル
回路によって示されている。チャネル４のＩＲ信号は、マルチプレクサ（ＭＵＸ
）４１０と微分回路４２０によって、チャネル１−３の信号のそれぞれから引き
算される。明らかに、もし３つの微分回路がそれぞれのカラーチャネルに対して
ＩＲ信号の減算を実行するために利用可能なら、ＭＵＸ４１０は必要ではない。[0015] Once known, the IR component of the image signal is subtracted from the image to provide an IR corrected color output. This is shown by the high level circuit shown in FIG. The IR signal of channel 4 is supplied to a multiplexer (MUX).
) 410 and a differentiating circuit 420 are subtracted from each of the signals of channels 1-3. Obviously, if three differentiating circuits are available to perform IR signal subtraction for each color channel, MUX 410 is not required.
【００１６】 カラーイメージに対する可能なタイル・パタンは図５−７に示されており、単
色イメージのタイル・パタンは図８に示されている。Ｗは可視スペクトル全体に
敏感に反応するピクセル・センサを表す。図５−８に示された各パタンは単位セ
ルと考えられてよい。単位セルは結像アレイの全体にわたって通常の方法で繰り
返される。The possible tile patterns for a color image are shown in FIGS. 5-7, and the tile patterns for a single color image are shown in FIG. W represents a pixel sensor sensitive to the entire visible spectrum. Each pattern shown in FIGS. 5-8 may be considered a unit cell. The unit cell is repeated in the usual manner throughout the imaging array.
【００１７】 図５〜図７において、Ｒ、Ｇ、Ｂでラベルされたピクセル・センサは、それぞ
れ赤、緑、そして青のＣＦＡフィルタを利用するピクセル・センサを表す。図５
〜図８において、ＩＲ（Ｒ＋Ｂ）でラベルされたピクセル・センサは、複合ＩＲ
通過フィルタが赤及び青のＣＦＡフィルタを備えるＩＲピクセル・センサである
。In FIGS. 5-7, pixel sensors labeled R, G, B represent pixel sensors utilizing red, green, and blue CFA filters, respectively. FIG.
In FIG. 8, the pixel sensor labeled IR (R + B) has a composite IR
The pass filter is an IR pixel sensor with red and blue CFA filters.
【００１８】 ピクセル・センサはお互いに物理的に実際に接触する必要はない。一つのピク
セル・センサを作り上げているピクセル回路は一般に電気的に他のピクセル回路
から分離されている。第１のピクセルが、第１及び第２のピクセルの間に介在す
る一切のピクセル・センサがない場合にだけ、第２のピクセル・センサに隣接す
ると言われることは理解されるべきである。例えば、図７において、上部左のピ
クセル・センサＲは下部左のピクセル・センサＧ、上部ピクセル・センサＧ、そ
してピクセル・センサＢに隣接しているが、しかし、下部右のピクセル・センサ
ＧとＩＲピクセル・センサには隣接してない。The pixel sensors need not actually physically touch each other. The pixel circuits making up one pixel sensor are generally electrically isolated from other pixel circuits. It should be understood that a first pixel is said to be adjacent to a second pixel sensor only if there is no intervening pixel sensor between the first and second pixels. For example, in FIG. 7, the upper left pixel sensor R is adjacent to the lower left pixel sensor G, the upper pixel sensor G, and the pixel sensor B, but with the lower right pixel sensor G. Not adjacent to the IR pixel sensor.
【００１９】 結像レンズ系の色収差のために、映し出された場面のＩＲ成分は鮮明な焦点に
ないかもしれない。これは、ここに開示された実施態様に実際には有利である。
なぜなら、高い空間周波数でＩＲ成分をサンプリングする必要がないことを暗示
しているからである。これは、それぞれカラー及び単色イメージに対する図７と
図８に示されたタイル・パタンに反映されている。Due to the chromatic aberration of the imaging lens system, the IR component of the projected scene may not be in sharp focus. This is in fact advantageous for the embodiments disclosed herein.
This is because it implies that it is not necessary to sample the IR component at a high spatial frequency. This is reflected in the tile patterns shown in FIGS. 7 and 8 for color and monochrome images, respectively.
【００２０】 ＩＲピクセル・センサによる結像アレイは、単色あるいはカラーであるか否か
にかかわらず、ＩＲ結像アレイとしてＩＲピクセル・センサからの信号だけがＩ
Ｒイメージを形成するために利用される第２モードで使用されてよい。こうして
、ここに開示された実施態様に従って作られた結像アレイは、ＩＲ補正可視イメ
ージまたはＩＲイメージのいずれかを与える複式モードの結像アレイとして構成
されてよい。An imaging array with an IR pixel sensor, whether monochromatic or color, has only the signals from the IR pixel sensor as an IR imaging array.
It may be used in a second mode used to form an R image. Thus, an imaging array made in accordance with the embodiments disclosed herein may be configured as a dual mode imaging array that provides either an IR corrected visible image or an IR image.
【００２１】 シアンブルー、マゼンタ及びイエロー（ＣＭＹ（cyan,magenta and yellow）
）系とマゼンタ、白及びイエロー（ＭＷＹ（magenta, white, and yellow））系
といった他のカラー系を備えた実施態様が実施されてよい。ＣＭＹカラー系のケ
ースでは、可視光を遮断するためにすべての３色をオーバレイする必要がある。
このアプローチは同様にＭＷＹカラー系にも拡張できるが、しかし第３の色（例
えば青またはシアンブルー）を加えるための追加の処理が必要である。この色は
ＩＲ感知可能ピクセルにおいて可視光を完全に遮断することを可能にするために
必要とされるかもしれない。[0021] Cyan (magenta and yellow), cyan blue, magenta and yellow
Embodiments with other color systems, such as the magenta, white, and yellow (MWY) systems, may be implemented. In the case of CMY color system, it is necessary to overlay all three colors to block visible light.
This approach can be extended to the MWY color system as well, but requires additional processing to add a third color (eg, blue or cyan blue). This color may be needed to allow the visible light to be completely blocked at the IR-sensitive pixel.
【００２２】 図９に示されたデジタルの結像システム９１０は、静止画及び動画を与えるデ
ジタルカメラと共に使用されてよい。さらに、結像システム９１０は、スキャナ
などのデジタル・イメージセンサを使用する他の用途に使用されてよい。The digital imaging system 910 shown in FIG. 9 may be used with a digital camera that provides still and moving images. Further, imaging system 910 may be used in other applications that use digital image sensors, such as scanners.
【００２３】 液晶カラーシャッター９１２はレンズ系９１４とイメージセンサ９１６の前に
配置される。イメージセンサ９１６は、能動ピクセル・センサ（ＡＰＳ（active
pixel sensor））、受動ピクセルセンサ（ＰＰＳ（passive pixel sensor））
システムあるいは他の周知技術を使用する相補形金属酸化物半導体（ＣＭＯＳ）
イメージセンサでよい。代わりに、電荷結合デバイス（ＣＣＤ（charge coupled
device））センサが使用されてよい。The liquid crystal color shutter 912 is arranged in front of the lens system 914 and the image sensor 916. The image sensor 916 includes an active pixel sensor (APS (active
pixel sensor)), passive pixel sensor (PPS (passive pixel sensor))
Complementary metal oxide semiconductor (CMOS) using a system or other well-known technology
An image sensor may be used. Instead, charge coupled devices (CCDs)
device)) A sensor may be used.
【００２４】 カラーシャッター９１２は、赤、緑、そして青（ＲＧＢ）またはシアンブルー
、マゼンタ、イエロー（ＣＭＹ）の原色バンドといった異なったカラーバンドに
ある電子的に可変な透過スペクトルを与える。１つの模範的なカラーシャッター
は米国コロラド州８０３０１のボールダーに所在するカラーリンク社（ColorLin
k）から入手可能なＫＡＬＡフィルタである。シャッター９１２は同期的に切り
替えられ、望ましいバンドのそれぞれにおけるカラー情報を逐次提供する。ＫＡ
ＬＡフィルタは加色混合の３原色（additive primary color）（ＲＧＢ）と減色
混合の３原色（complementary subtractive primary color）（ＣＭＹ）とを切
り替える。入力された白色光は直交偏光した補色に変換される。The color shutter 912 provides electronically variable transmission spectra in different color bands, such as red, green, and blue (RGB) or cyan blue, magenta, yellow (CMY) primary color bands. One exemplary color shutter is ColorLin, located in Boulder, 80301, Colorado, USA
k) is a KALA filter available from k). Shutters 912 are switched synchronously to sequentially provide color information in each of the desired bands. KA
The LA filter switches between additive primary colors (additive primary colors) (RGB) and subtractive color mixtures (complementary subtractive primary colors) (CMY). The input white light is converted into a complementary color that is orthogonally polarized.
【００２５】 カラーシャッターは、赤、緑、そして青（ＲＧＢ）の３原色プレーンといった
複数の加法カラープレーン（additive color planes）のそれぞれの真中に置か
れ、透過スペクトルを電子的に切り替えることが可能である。カラーシャッター
は、イメージの３色表現を生成するよう組み合わされる３色プレーンを提供する
よう連続的に切り替えられてよい。The color shutter is placed in the middle of each of a plurality of additive color planes such as three primary color planes of red, green, and blue (RGB), and is capable of electronically switching a transmission spectrum. is there. The color shutters may be sequentially switched to provide three color planes that are combined to produce a three color representation of the image.
【００２６】 結像システムにおいてカラーシャッターを使用することにより、各ピクセルイ
メージセンサは３つのカラーバンドのそれぞれに連続的に応答する。さもなけれ
ば、別のピクセルイメージセンサが必要なカラーバンドのそれぞれのためにアレ
イに点在させられなくてはならない。その際、各ピクセル・サイトのミッシング
情報は、残る２つのカラープレーンに対して補間技術を使用して推論される。カ
ラーシャッターを使えば、あらゆるピクセルは３つのカラーバンドのそれぞれを
検出することができ、それにより補間なしにカラー鮮明度が増大されるはずであ
る。By using a color shutter in the imaging system, each pixel image sensor responds sequentially to each of the three color bands. Otherwise, separate pixel image sensors must be interspersed in the array for each of the required color bands. In doing so, the missing information for each pixel site is inferred using interpolation techniques for the remaining two color planes. With a color shutter, every pixel can detect each of the three color bands, which should increase color sharpness without interpolation.
【００２７】 イメージセンサ９１６は、イメージセンサ９１６からの情報を処理して、望ま
しい形式の出力を提供するイメージ・プロセッサ９１８に接続される。イメージ
・プロセッサ９１８は赤外減算回路９２０を含む。回路９２０は、カラーシャッ
ター９１２によって同期的に提供されたカラーバンド信号のそれぞれから赤外成
分を除去する減法プロセスを使用する。特に、カラーシャッター９１２は、セン
サ９１６におけるピクセルを活性化させてイメージ・プロセッサ９１８に伝達さ
れる強度信号を作り出すために、望ましいカラープレーンのそれぞれにおいて一
連の光イメージを与えてよい。Image sensor 916 is connected to an image processor 918 that processes information from image sensor 916 and provides a desired type of output. Image processor 918 includes an infrared subtraction circuit 920. Circuit 920 uses a subtractive process that removes the infrared component from each of the color band signals provided synchronously by color shutter 912. In particular, color shutter 912 may provide a series of light images in each of the desired color planes to activate the pixels in sensor 916 to create an intensity signal that is transmitted to image processor 918.
【００２８】 減法プロセスもソフトウェアで実行できる。例えば、減法は別個のコンピュー
タ（図示されていない）で実行できる。コンピュータをカメラにつなげることが
可能である。The subtraction process can also be performed in software. For example, subtraction can be performed on a separate computer (not shown). It is possible to connect a computer to a camera.
【００２９】 図１０を参照すると、センサ９１６からの情報は次いで４つの信号に分離され
る。センサ９１６によって提供された強度信号は、カラーバンド信号のそれぞれ
と一緒に赤外成分を含む。ＲＧＢカラーバンドを使用する一例において、それぞ
れが赤外成分に付随する赤のカラー信号１０２４、緑のカラー信号１０２６、そ
して青のカラー信号１０２８が作り出される。加えて、シャッター９１２は、実
質的にはどんなカラー情報も存在しない、それ故に赤外放射線情報だけを含む黒
の信号１０３０を作り出す。Referring to FIG. 10, the information from the sensor 916 is then separated into four signals. The intensity signal provided by sensor 916 includes an infrared component along with each of the color band signals. In one example using RGB color bands, a red color signal 1024, a green color signal 1026, and a blue color signal 1028 are created, each associated with an infrared component. In addition, the shutter 912 produces a black signal 1030 that is substantially free of any color information, and therefore contains only infrared radiation information.
【００３０】 こうして、黒の信号１０３０（これはシャッタ９１２に存在する赤外放射線に
ついての情報だけを含む）は減算器１０３２において信号１０２４から１０２８
までのそれぞれから減算され、信号１０３４から１０３８が作り出されてよい。
赤外成分はライン１０４０において有効にされてよい。赤外成分は、夜間カメラ
、監視作業と３次元結像用途を含む微光状況において役に立つかもしれない。Thus, the black signal 1030 (which contains only information about infrared radiation present at shutter 912) is subtracted by subtractor 1032 from signals 1024 through 1028
May be subtracted from each other to produce signals 1034 to 1038.
The infrared component may be enabled at line 1040. Infrared components may be useful in low light situations, including night cameras, surveillance operations and three-dimensional imaging applications.
【００３１】 このようにして、望ましいカラープレーンは、赤外フィルタを使用することな
く、赤外放射線ノイズなしに作り出されることができる。さらに、現在の技術で
は、多数の用途において有用とされてよい赤外信号は有効とされる場合がある。
赤外フィルタが使用されると、有用な赤外信号は得られない。In this way, a desired color plane can be created without using infrared filters and without infrared radiation noise. Further, with current technology, infrared signals that may be useful in many applications may be validated.
If an infrared filter is used, no useful infrared signal is obtained.
【００３２】 図１１を参照すると、イメージ・プロセッサ９１８においてカラー情報を獲得
するプロセスはブロック１１４４で開始される。最初に、カラーシャッター９１
２は黒にセットされる。そして、赤外参照信号（infrared reference signal）
を提供するためのフレーム（frame）が獲得される（ブロック１１４６）。次に
、シャッタが赤にセットされ（ブロック１１４８）、そして赤外成分と共に赤の
情報を含むフレームが獲得される（ブロック１１５０）。同様に、緑及び青の情
報が獲得される（ブロック１１５２からブロック１１５８）。Referring to FIG. 11, the process of obtaining color information in image processor 918 begins at block 1144. First, the color shutter 91
2 is set to black. And an infrared reference signal
Is obtained (block 1146). Next, the shutter is set to red (block 1148), and a frame containing the red information along with the infrared component is obtained (block 1150). Similarly, green and blue information is obtained (block 1152 through block 1158).
【００３３】 ブロック１１６０、１１６２と１１６４において、赤及び緑そして青のプレー
ンはブロック１１４６において得られた赤外参照信号をブロック１１５０、１１
５４及び１１５８において得られた赤、緑そして青のフレームから引き算する。
結果として、赤外成分のないＲＧＢカラープレーン情報が出力される（ブロック
１１６６）。In blocks 1160, 1162 and 1164, the red, green and blue planes convert the infrared reference signal obtained in block 1146 to blocks 1150, 11
Subtract from the red, green and blue frames obtained at 54 and 1158.
As a result, RGB color plane information without infrared components is output (block 1166).
【００３４】 以上説明された実施態様は暗電流を補正することにも役立つ。それぞれの実施
態様によって、参照ＩＲ放射線効果と暗電流が両方共に実質的に存在しないカラ
ーバンドが作り出される。ＩＲ参照信号１１４６は（カラー情報のない）暗電流
ノイズを含む。こうして、ＩＲ参照フレームあるいは黒のフレームが差し引かれ
ると、ＩＲ及び暗電流ノイズが排除される。これは、ＩＲノイズが取り除かれる
と同時に、機械的シャッタまたはシールドされたピクセルを必要とすることなく
、実行される。暗電流は継続的に差し引かれるので、暗電流に対する電流温度効
果はいつも考慮される。The embodiments described above also serve to correct dark current. Each embodiment creates a color band in which both the reference IR radiation effect and the dark current are substantially absent. IR reference signal 1146 includes dark current noise (without color information). Thus, when the IR reference frame or the black frame is subtracted, IR and dark current noise are eliminated. This is performed without the need for mechanical shutters or shielded pixels, while removing IR noise. Since the dark current is continuously subtracted, the current temperature effect on the dark current is always taken into account.
【００３５】 本発明は、限られた数の実施態様に関して説明されてきたが、当業者であれば
多数の修正・変更を行うことができるであろう。請求の範囲は、本発明の範囲を
逸脱することなくそうしたすべての修正と変更をカバーするように意図されてい
る。Although the present invention has been described with respect to a limited number of embodiments, many modifications and variations will occur to those skilled in the art. The claims are intended to cover all such modifications and changes without departing from the scope of the invention.
【図１】 従来の赤、緑、そして青のＣＦＡフィルタに関する透過特性を示した図である
。FIG. 1 is a diagram showing transmission characteristics of a conventional red, green, and blue CFA filter.
【図２】 赤及び青のＣＦＡフィルタを含むＩＲ通過フィルタの透過特性を示した図であ
る。FIG. 2 is a diagram illustrating transmission characteristics of an IR pass filter including red and blue CFA filters.
【図３】 赤及び青のＣＦＡフィルタがピクセル回路上に堆積したピクセル回路の略切断
面図である。FIG. 3 is a schematic cross-sectional view of a pixel circuit with red and blue CFA filters deposited on the pixel circuit.
【図４】 イメージ信号におけるＩＲ信号を補正するための微分回路の略高レベル回路図
である。FIG. 4 is a schematic high-level circuit diagram of a differentiating circuit for correcting an IR signal in an image signal.
【図５】 カラーセンサアレイに関するタイルパタンを示した図である。FIG. 5 is a diagram showing a tile pattern relating to a color sensor array.
【図６】 カラーセンサアレイに関するタイルパタンを示した図である。FIG. 6 is a diagram showing a tile pattern relating to a color sensor array.
【図７】 カラーセンサアレイに関するタイルパタンを示した図である。FIG. 7 is a diagram showing a tile pattern relating to a color sensor array.
【図８】 単色センサアレイのタイルパタンを示した図である。FIG. 8 is a diagram showing a tile pattern of a single-color sensor array.
【図９】 カラーシャッタを使用するカメラの略構成図である。FIG. 9 is a schematic configuration diagram of a camera using a color shutter.
【図１０】 図９に示された赤外減算回路を形成するブロック図である。FIG. 10 is a block diagram for forming the infrared subtraction circuit shown in FIG. 9;
【図１１】 例えば図９及び図１０のハードウェアを使用して、赤外及び３色情報を取得す
る過程の手順流れ図である。FIG. 11 is a flowchart illustrating a process of acquiring infrared and three-color information by using, for example, the hardware illustrated in FIGS. 9 and 10;
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/335 Ｈ０４Ｎ 5/335 Ｖ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，Ｚ Ｗ (72)発明者 マック，ウォルター アメリカ合衆国アリゾナ州85226，チャン ドラー，ウェスト・ケスラー・ストリート 5831 (72)発明者 アチャリャ，ティンク アメリカ合衆国アリゾナ州85283，テンペ， サウス・ロバーツ・ロード 7292 (72)発明者 ツァイ，ピン‐シン アメリカ合衆国アリゾナ州85233，ギルバ ート，ウェスト・デザート・アヴェニュー 420 (72)発明者 スター，グレゴリー アメリカ合衆国アリゾナ州85282，テンペ， ウェスト・ハンティントン・ドライヴ 1614 Ｆターム(参考） 5B047 AB04 BB04 BB06 BC05 BC06 BC07 5C024 AX06 BX01 CX32 CX55 CY04 EX32 GY01 GY31 HX29 5C065 BB22 BB48 CC01 DD02 DD15 EE06 GG22 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N5 / 335 H04N5 / 335 V (81) Designated country EP (AT, BE, CH, CY, DE, DK) , ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, PT, SE), OA (BF, BJ, CF, CG, CI, CM, GA, GN, GW, ML, MR) , NE, SN, TD, TG), AP (GH, GM, KE, LS, MW, SD, SL, SZ, UG, ZW), EA (AM, AZ, BY, KG, KZ, MD, RU) , TJ, TM), AE, AL, AM, AT, AU, AZ, BA, BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, EE, ES FI, GB, GD, GE, GH, GM, HR, HU, ID, IL, IN, IS, JP, KE, KG, KP, KR, KZ, LC, LK, LR, LS, LT, LU, LV , MD, MG, MK, MN, MW, MX, NO, NZ, PL, PT, RO, RU, SD, SE, SG, SI, SK, SL, TJ, TM, TR, TT, UA, UG, UZ, VN, YU, ZA, ZW (72) Inventor Mac, Walter 85226, Arizona, United States of America, Chandler, West Kessler Street 5831 (72) Inventor Acharya, Tink 85283, Arizona, United States of America, Tempe, South Roberts・ Road 7292 (72) Tsai, Pin-Singh, West Desert Avenue, Gilbert, 85233, Arizona, USA 420 (72) Inventor Star, Gregory States, Arizona 85282, Tempe, West Huntington DRIVE 1614 F-term (reference) 5B047 AB04 BB04 BB06 BC05 BC06 BC07 5C024 AX06 BX01 CX32 CX55 CY04 EX32 GY01 GY31 HX29 5C065 BB22 BB48 CC01 DD02 DD15 EE06 GG22
Claims (14)
力を生み出す第１のセンサと、 可視スペクトル及び赤外スペクトルの両方の入射放射線を表す第２の出力を生
み出す第２のセンサと、 前記第１及び第２の出力を引き算するように構成された減算器と、 を含むことを特徴とする結像システム。1. A first sensor for producing a first output representing the absence of incident visible radiation and incident infrared radiation, and producing a second output representing both visible and infrared spectral incident radiation. An imaging system, comprising: a second sensor; and a subtractor configured to subtract the first and second outputs.
ることを特徴とする請求項１に記載の結像システム。2. The imaging system according to claim 1, wherein the subtracter continuously subtracts the first and second outputs.
が実質的に重複透過しない一対のフィルタを備えたことを特徴とする請求項１に
記載の結像システム。3. The imaging system according to claim 1, further comprising a pair of filters that do not substantially transmit visible light to form a first output substantially free of visible light. system.
シャッタを備えたことを特徴とする請求項１に記載の結像システム。4. The imaging system according to claim 1, further comprising a liquid crystal color shutter for producing a first output substantially free of visible light information.
号を引き算する減算器を備えたことを特徴とする請求項１に記載の結像システム
。5. The imaging system according to claim 1, further comprising a subtracter for subtracting a signal representing the transmitted radiation in the first and second stages.
る請求項５に記載の結像システム。6. The imaging system according to claim 5, wherein the shutter is a liquid crystal color shutter.
受信するイメージセンサを有するとともに、該イメージセンサから受信した情報
を処理するための、該センサに接続されたイメージ・プロセッサをさらに含むこ
とを特徴とする請求項６に記載の結像システム。7. An image sensor for receiving light information from the shutter in a plurality of color planes, and further comprising an image processor connected to the sensor for processing information received from the image sensor. 7. The imaging system according to claim 6, wherein:
前記カラーシャッタがそれに照射される赤外放射線とを表す信号を提供すること
を特徴とする請求項７に記載の結像システム。8. The imaging system according to claim 7, wherein said image sensor provides signals representing at least three color planes and infrared radiation emitted to said color shutter.
力を生み出すことと、 可視スペクトル及び赤外スペクトルの両方の入射放射線を表す第２の出力を生
み出すことと、 前記第１及び第２の出力を引き算することと、 を含むことを特徴とする結像方法。9. Producing a first output representing the absence of incident visible radiation and incident infrared radiation; producing a second output representing both visible and infrared spectral incident radiation; Subtracting the first and second outputs.
されることを特徴とする請求項９に記載の結像方法。10. The imaging method according to claim 9, wherein the first and second outputs are continuously subtracted.
て前記第１の出力を形成することが実行されることを特徴とする請求項９に記載
の結像方法。11. The method of claim 9, wherein forming the first output is performed using a pair of filters that do not substantially transmit visible light.
ことが実行されることを特徴とする請求項１０に記載の結像方法。12. The imaging method according to claim 10, wherein forming the first output using a liquid crystal color shutter is performed.
されることを特徴とする請求項１１に記載の結像方法。13. The imaging method according to claim 11, wherein filtering each color plane is performed sequentially.
み出すことが実行されることを特徴とする請求項９に記載の結像方法。14. The imaging method according to claim 9, wherein producing an output signal with corrected infrared noise and dark current noise is performed.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/126,203 US6825470B1 (en) | 1998-03-13 | 1998-07-30 | Infrared correction system |
| US09/126,203 | 1998-07-30 | ||
| PCT/US1999/013772 WO2000007365A1 (en) | 1998-07-30 | 1999-06-17 | Color imaging system with infrared correction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002521975A true JP2002521975A (en) | 2002-07-16 |
Family
ID=22423551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000563064A Pending JP2002521975A (en) | 1998-07-30 | 1999-06-17 | Infrared correction system |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1101353A1 (en) |
| JP (1) | JP2002521975A (en) |
| CN (1) | CN1177467C (en) |
| AU (1) | AU4825199A (en) |
| MY (1) | MY123225A (en) |
| TW (1) | TW423252B (en) |
| WO (1) | WO2000007365A1 (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006003807A1 (en) * | 2004-06-30 | 2006-01-12 | Toppan Printing Co., Ltd. | Imaging element |
| JP2006033483A (en) * | 2004-07-16 | 2006-02-02 | Aisin Seiki Co Ltd | Color imaging apparatus |
| JP2006313974A (en) * | 2005-05-06 | 2006-11-16 | Toppan Printing Co Ltd | Light receiving element |
| JP2006333078A (en) * | 2005-05-26 | 2006-12-07 | Canon Inc | Image reader |
| JP2007027667A (en) * | 2005-06-17 | 2007-02-01 | Toppan Printing Co Ltd | Imaging element |
| JP2007036545A (en) * | 2005-07-26 | 2007-02-08 | Toppan Printing Co Ltd | Imaging element |
| JP2007174277A (en) * | 2005-12-22 | 2007-07-05 | Sony Corp | Video signal processor, imaging apparatus, video signal processing method, and computer program |
| JP2007174276A (en) * | 2005-12-22 | 2007-07-05 | Sony Corp | Image signal processor and processing method, image pickup device, and computer program |
| JP2007288549A (en) * | 2006-04-18 | 2007-11-01 | Sony Corp | Physical information acquiring method and device thereof |
| JP2007329749A (en) * | 2006-06-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | Imaging element, imaging apparatus, and image processor |
| JP2008021736A (en) * | 2006-07-11 | 2008-01-31 | Toppan Printing Co Ltd | Optical sensor, and filter and manufacturing method thereof |
| JP2008035090A (en) * | 2006-07-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | Signal processing method and camera |
| JP2008085807A (en) * | 2006-09-28 | 2008-04-10 | Fujifilm Corp | Image processing apparatus, endoscope device, and image processing program |
| JP2008123194A (en) * | 2006-11-10 | 2008-05-29 | Sanyo Electric Co Ltd | Image pickup device and image signal processing apparatus |
| JP2008289000A (en) * | 2007-05-18 | 2008-11-27 | Sony Corp | Image input processing device, and method thereof |
| JPWO2007086155A1 (en) * | 2006-01-24 | 2009-06-18 | パナソニック株式会社 | Solid-state imaging device, signal processing method, and camera |
| WO2011001672A1 (en) * | 2009-06-30 | 2011-01-06 | パナソニック株式会社 | Imaging device and imaging method |
| US8018509B2 (en) | 2007-05-18 | 2011-09-13 | Sony Corporation | Image input processing apparatus and method |
| US8111286B2 (en) | 2006-09-28 | 2012-02-07 | Fujifilm Corporation | Image processing apparatus, endoscope, and computer readable medium |
| JP2013048245A (en) * | 2012-09-04 | 2013-03-07 | Toppan Printing Co Ltd | Image pickup device |
| WO2014073386A1 (en) * | 2012-11-07 | 2014-05-15 | ソニー株式会社 | Signal processing device, signal processing method and signal processing program |
| JP2019103129A (en) * | 2017-11-30 | 2019-06-24 | ブリルニクス インク | Solid state imaging apparatus, method of driving solid state imaging apparatus, and electronic equipment |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10046309C1 (en) | 2000-09-19 | 2001-10-31 | Siemens Ag | Image recognition sensor device has 2 sets of sensor elements using visible and IR light, e.g. for providing video telephone image and user identification image |
| DE10335190A1 (en) * | 2003-07-30 | 2005-03-03 | Daimlerchrysler Ag | Sensor arrangement with a plurality of types of optical sensors |
| JP4286123B2 (en) | 2003-12-22 | 2009-06-24 | 三洋電機株式会社 | Color image sensor and color signal processing circuit |
| JP4586431B2 (en) * | 2004-06-16 | 2010-11-24 | カシオ計算機株式会社 | Imaging apparatus and imaging method |
| JP4678172B2 (en) * | 2004-11-22 | 2011-04-27 | 株式会社豊田中央研究所 | Imaging device |
| JP4534756B2 (en) * | 2004-12-22 | 2010-09-01 | ソニー株式会社 | Image processing apparatus, image processing method, imaging apparatus, program, and recording medium |
| JP4984634B2 (en) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | Physical information acquisition method and physical information acquisition device |
| KR101276757B1 (en) * | 2006-05-26 | 2013-06-20 | 삼성전자주식회사 | Apparatus for photographing image and operating method for the same |
| US7435943B1 (en) * | 2007-03-29 | 2008-10-14 | Avago Technologies Ecbu Ip Pte Ltd | Color sensor with infrared correction having a filter layer blocking a portion of light of visible spectrum |
| DE102008003791B4 (en) * | 2008-01-10 | 2017-03-16 | Robert Bosch Gmbh | Method for processing and evaluating a color image and associated driver assistance system |
| KR101475464B1 (en) * | 2008-05-09 | 2014-12-22 | 삼성전자 주식회사 | Multi-layer image sensor |
| TWI368730B (en) | 2008-05-30 | 2012-07-21 | Au Optronics Corp | Method for using display panel to detect intensity of ultraviolet rays and display device using the same |
| DE102008055067A1 (en) | 2008-12-22 | 2010-07-01 | Robert Bosch Gmbh | Machine tool, in particular hand-held machine tool |
| DE102010063960A1 (en) * | 2010-12-22 | 2012-06-28 | Carl Zeiss Microlmaging Gmbh | Camera with a color image sensor and recording method with such a camera |
| US9570492B2 (en) | 2011-03-25 | 2017-02-14 | Pixart Imaging Inc. | Pixel array of image sensor and method of fabricating the same |
| TWI559023B (en) | 2011-03-25 | 2016-11-21 | 原相科技股份有限公司 | Optical sensor capable of detecting ir light and visible light simultaneously |
| CN102740003A (en) * | 2011-04-01 | 2012-10-17 | 原相科技股份有限公司 | Optical sensing device capable of detecting infrared and visible light simultaneously |
| US9143704B2 (en) | 2012-01-20 | 2015-09-22 | Htc Corporation | Image capturing device and method thereof |
| US9584722B2 (en) | 2013-02-18 | 2017-02-28 | Sony Corporation | Electronic device, method for generating an image and filter arrangement with multi-lens array and color filter array for reconstructing image from perspective of one group of pixel sensors |
| US9674493B2 (en) * | 2014-03-24 | 2017-06-06 | Omnivision Technologies, Inc. | Color image sensor with metal mesh to detect infrared light |
| EP3185549B1 (en) * | 2014-09-16 | 2020-11-11 | Huawei Technologies Co., Ltd. | Image processing method and device |
| DE102016105579A1 (en) * | 2016-03-24 | 2017-09-28 | Connaught Electronics Ltd. | Optical filter for a camera of a motor vehicle, camera for a driver assistance system, driver assistance system and motor vehicle train with a driver assistant system |
| CN111050097B (en) * | 2018-10-15 | 2022-03-15 | 瑞昱半导体股份有限公司 | Infrared crosstalk compensation method and device |
| CN111182242B (en) * | 2019-12-20 | 2021-11-05 | 翱捷智能科技(上海)有限公司 | RGB-IR image correction method and device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06105319A (en) * | 1992-09-22 | 1994-04-15 | Matsushita Electric Ind Co Ltd | Color image pickup device |
| JPH06204444A (en) * | 1993-01-01 | 1994-07-22 | Canon Inc | Image sensor |
| JPH06217079A (en) * | 1993-01-19 | 1994-08-05 | Canon Inc | Image sensor and picture information processor |
| JPH0865690A (en) * | 1994-08-24 | 1996-03-08 | Sony Tektronix Corp | Color still picture photographing device |
| WO1996041481A1 (en) * | 1995-06-07 | 1996-12-19 | Stryker Corporation | Imaging system with independent processing of visible and infrared light energy |
| JPH1065135A (en) * | 1996-05-30 | 1998-03-06 | Toshiba Corp | Solid-state image pick-up device and image reader using the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5453611A (en) * | 1993-01-01 | 1995-09-26 | Canon Kabushiki Kaisha | Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip |
-
1999
- 1999-05-28 TW TW088108851A patent/TW423252B/en not_active IP Right Cessation
- 1999-06-01 MY MYPI99002171A patent/MY123225A/en unknown
- 1999-06-17 JP JP2000563064A patent/JP2002521975A/en active Pending
- 1999-06-17 WO PCT/US1999/013772 patent/WO2000007365A1/en not_active Application Discontinuation
- 1999-06-17 AU AU48251/99A patent/AU4825199A/en not_active Abandoned
- 1999-06-17 CN CNB99808946XA patent/CN1177467C/en not_active Expired - Fee Related
- 1999-06-17 EP EP99931825A patent/EP1101353A1/en not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06105319A (en) * | 1992-09-22 | 1994-04-15 | Matsushita Electric Ind Co Ltd | Color image pickup device |
| JPH06204444A (en) * | 1993-01-01 | 1994-07-22 | Canon Inc | Image sensor |
| JPH06217079A (en) * | 1993-01-19 | 1994-08-05 | Canon Inc | Image sensor and picture information processor |
| JPH0865690A (en) * | 1994-08-24 | 1996-03-08 | Sony Tektronix Corp | Color still picture photographing device |
| WO1996041481A1 (en) * | 1995-06-07 | 1996-12-19 | Stryker Corporation | Imaging system with independent processing of visible and infrared light energy |
| JPH1065135A (en) * | 1996-05-30 | 1998-03-06 | Toshiba Corp | Solid-state image pick-up device and image reader using the same |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006003807A1 (en) * | 2004-06-30 | 2008-04-17 | 凸版印刷株式会社 | Image sensor |
| JP5012019B2 (en) * | 2004-06-30 | 2012-08-29 | 凸版印刷株式会社 | Image sensor |
| WO2006003807A1 (en) * | 2004-06-30 | 2006-01-12 | Toppan Printing Co., Ltd. | Imaging element |
| US7498562B2 (en) | 2004-06-30 | 2009-03-03 | Toppan Printing Co., Ltd. | Noise-reducing image sensor |
| US7394059B2 (en) | 2004-06-30 | 2008-07-01 | Toppan Printing Co., Ltd. | Noise-reducing image sensor having light receiving elements |
| KR100825550B1 (en) * | 2004-06-30 | 2008-04-25 | 도판 인사츠 가부시키가이샤 | Image sensor |
| JP2006033483A (en) * | 2004-07-16 | 2006-02-02 | Aisin Seiki Co Ltd | Color imaging apparatus |
| JP2006313974A (en) * | 2005-05-06 | 2006-11-16 | Toppan Printing Co Ltd | Light receiving element |
| JP2006333078A (en) * | 2005-05-26 | 2006-12-07 | Canon Inc | Image reader |
| JP2007027667A (en) * | 2005-06-17 | 2007-02-01 | Toppan Printing Co Ltd | Imaging element |
| JP2007036545A (en) * | 2005-07-26 | 2007-02-08 | Toppan Printing Co Ltd | Imaging element |
| JP2007174276A (en) * | 2005-12-22 | 2007-07-05 | Sony Corp | Image signal processor and processing method, image pickup device, and computer program |
| JP2007174277A (en) * | 2005-12-22 | 2007-07-05 | Sony Corp | Video signal processor, imaging apparatus, video signal processing method, and computer program |
| JP4501855B2 (en) * | 2005-12-22 | 2010-07-14 | ソニー株式会社 | Image signal processing apparatus, imaging apparatus, image signal processing method, and computer program |
| JP5028279B2 (en) * | 2006-01-24 | 2012-09-19 | パナソニック株式会社 | Solid-state imaging device and camera |
| JPWO2007086155A1 (en) * | 2006-01-24 | 2009-06-18 | パナソニック株式会社 | Solid-state imaging device, signal processing method, and camera |
| JP2007288549A (en) * | 2006-04-18 | 2007-11-01 | Sony Corp | Physical information acquiring method and device thereof |
| JP2007329749A (en) * | 2006-06-08 | 2007-12-20 | Matsushita Electric Ind Co Ltd | Imaging element, imaging apparatus, and image processor |
| JP2008021736A (en) * | 2006-07-11 | 2008-01-31 | Toppan Printing Co Ltd | Optical sensor, and filter and manufacturing method thereof |
| JP2008035090A (en) * | 2006-07-27 | 2008-02-14 | Matsushita Electric Ind Co Ltd | Signal processing method and camera |
| US8111286B2 (en) | 2006-09-28 | 2012-02-07 | Fujifilm Corporation | Image processing apparatus, endoscope, and computer readable medium |
| JP2008085807A (en) * | 2006-09-28 | 2008-04-10 | Fujifilm Corp | Image processing apparatus, endoscope device, and image processing program |
| JP2008123194A (en) * | 2006-11-10 | 2008-05-29 | Sanyo Electric Co Ltd | Image pickup device and image signal processing apparatus |
| US8018509B2 (en) | 2007-05-18 | 2011-09-13 | Sony Corporation | Image input processing apparatus and method |
| JP2008289000A (en) * | 2007-05-18 | 2008-11-27 | Sony Corp | Image input processing device, and method thereof |
| WO2011001672A1 (en) * | 2009-06-30 | 2011-01-06 | パナソニック株式会社 | Imaging device and imaging method |
| JP2013048245A (en) * | 2012-09-04 | 2013-03-07 | Toppan Printing Co Ltd | Image pickup device |
| WO2014073386A1 (en) * | 2012-11-07 | 2014-05-15 | ソニー株式会社 | Signal processing device, signal processing method and signal processing program |
| US9936172B2 (en) | 2012-11-07 | 2018-04-03 | Sony Corporation | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image |
| JP2019103129A (en) * | 2017-11-30 | 2019-06-24 | ブリルニクス インク | Solid state imaging apparatus, method of driving solid state imaging apparatus, and electronic equipment |
| JP7280681B2 (en) | 2017-11-30 | 2023-05-24 | ブリルニクス シンガポール プライベート リミテッド | Solid-state imaging device, driving method for solid-state imaging device, and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000007365A1 (en) | 2000-02-10 |
| CN1177467C (en) | 2004-11-24 |
| AU4825199A (en) | 2000-02-21 |
| CN1310915A (en) | 2001-08-29 |
| MY123225A (en) | 2006-05-31 |
| TW423252B (en) | 2001-02-21 |
| EP1101353A1 (en) | 2001-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002521975A (en) | Infrared correction system | |
| US6825470B1 (en) | Infrared correction system | |
| CN108419061B (en) | Multispectral-based image fusion equipment and method and image sensor | |
| EP2752008B1 (en) | Pixel array, camera using the same and color processing method based on the pixel array | |
| CN102007761B (en) | Concentric exposure sequence for imageing sensor | |
| US6759646B1 (en) | Color interpolation for a four color mosaic pattern | |
| KR102170410B1 (en) | Device for acquiring bimodal images | |
| US8035710B2 (en) | Solid-state imaging device and signal processing method | |
| WO2017193738A1 (en) | Image sensor, imaging method, and imaging device | |
| JP2002142228A (en) | Image pickup device | |
| JPS63155893A (en) | Video signal forming device | |
| JP2003274424A (en) | Four-color image sensing apparatus | |
| KR20100103504A (en) | Method and apparatus for achieving panchromatic response from a color-mosaic imager | |
| JP2008131292A (en) | Imaging apparatus | |
| JP2004228662A (en) | Image pickup apparatus | |
| JP2000059798A (en) | Near-infrared light/visible light shared image-pickup device | |
| US20050219659A1 (en) | Reproduction of alternative forms of light from an object using digital imaging system | |
| JP2006033483A (en) | Color imaging apparatus | |
| JPH03139084A (en) | Solid-state color image pickup device | |
| JPH0483480A (en) | Polarizing key type image synthesizer | |
| JP2012010141A (en) | Image processing apparatus | |
| JP2010252077A (en) | Imaging apparatus | |
| JP2003070009A (en) | Imaging apparatus | |
| RU2736780C1 (en) | Device for colour image forming (embodiments) | |
| JP2801853B2 (en) | Method for extending saturation level of signal output of four-chip solid-state imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050422 |