JP2010161459A - Infrared radiation imaging device - Google Patents
Infrared radiation imaging device Download PDFInfo
- Publication number
- JP2010161459A JP2010161459A JP2009000699A JP2009000699A JP2010161459A JP 2010161459 A JP2010161459 A JP 2010161459A JP 2009000699 A JP2009000699 A JP 2009000699A JP 2009000699 A JP2009000699 A JP 2009000699A JP 2010161459 A JP2010161459 A JP 2010161459A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- imaging
- signal
- visible light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置に関するものである。 The present invention relates to an infrared irradiation type imaging apparatus capable of imaging an object under low illuminance by irradiating infrared rays.
ＣＣＤやＭＯＳ型センサ等の撮像素子（イメージセンサ）の分光感度特性は、人間の目と異なり、可視光成分だけでなく赤外線成分に対しても感度を有しているため、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等の撮像装置では、この撮像素子の前面に赤外線カットフィルタを配置して可視光のみを受光するようにしている。 Unlike human eyes, the spectral sensitivity characteristics of image sensors (image sensors) such as CCD and MOS sensors are sensitive not only to visible light components but also to infrared components, so digital still cameras, movies In an imaging apparatus such as a camera or a medical camera, an infrared cut filter is disposed in front of the imaging element so as to receive only visible light.
このような撮像装置では、赤外線カットフィルタを外して赤外線成分も受光するようにすれば、撮像素子に入射する光量が増大し、低照度下においても被写体を明るく撮像することが可能となる。しかしながら、赤外線の波長は人間の目で感知できない波長領域にあって、赤外線には本来の色情報がないので、赤外線成分を含んだ撮像画像はホワイトバランスが著しく劣化してしまう。そのために、通常の赤外線照射式撮像装置では、赤外線成分を含んだ撮像信号は輝度信号として扱われて、モノクロ画像が生成される。 In such an imaging apparatus, if the infrared cut filter is removed to receive the infrared component, the amount of light incident on the imaging device increases, and the subject can be brightly imaged even under low illuminance. However, since the infrared wavelength is in a wavelength region that cannot be detected by the human eye and the infrared does not have original color information, the white balance of the captured image including the infrared component is significantly deteriorated. Therefore, in a normal infrared irradiation type imaging device, an imaging signal including an infrared component is treated as a luminance signal, and a monochrome image is generated.
近年、このような撮像装置を用いて、モノクロ画像ではなく実際の見た目に近いカラー画像を生成できるようにすることが市場から要求されている。 In recent years, there has been a demand from the market to generate a color image close to an actual appearance, not a monochrome image, using such an imaging device.
特許文献１には、赤外線カットフィルタが外部位置に配置されている場合には（ナイトショット撮影時には）、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われるとの記載がある。
しかしながら、特許文献１に記載の撮像装置および方法に関する技術は、撮像画像の可視光成分と赤外線成分との合成比率を調整することができないという課題がある。何故ならば、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御、及び、後者のグレーワールド制御は、いずれも可視光成分と赤外線成分との混合光に対するホワイトバランス制御であるからである。 However, the technique related to the imaging apparatus and method described in Patent Document 1 has a problem that the synthesis ratio of the visible light component and the infrared component of the captured image cannot be adjusted. This is because the black body curve control based on the black body curve data LB in consideration of the former infrared component and the latter gray world control are both white balance controls for the mixed light of the visible light component and the infrared component. Because.
したがって、本発明は、前述した課題に鑑みてなされたものであって、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、可視光成分と赤外線成分との合成比率を調整、及び／または、選択して撮像することで、ユーザの所望する画質により近い撮像画像が得られる赤外線照射式撮像装置を提供することを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and in the case of imaging by irradiating an infrared ray on a subject under low illuminance, the composite ratio of the visible light component and the infrared component is set. An object of the present invention is to provide an infrared irradiation type imaging apparatus that can obtain a captured image closer to the image quality desired by the user by adjusting and / or selecting and imaging.
赤外線照射式撮像装置において、被写体に対して赤外線を点滅照射する赤外線照射手段と、被写体を結像して光学像を生成する光学手段と、光学手段の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る光学像を生成するための赤外線カットフィルタと、被写体に赤外線を照射させないで光路上に対し赤外線カットフィルタを挿入させる可視光撮像条件と、被写体に赤外線を点滅照射させて光路上に対して赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する赤外線照射制御手段と、光学像を光電変換して色毎に撮像信号を生成する撮像手段と、可視光撮像条件にて生成される撮像信号の色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理手段と、撮像条件別に入力される撮像信号を分析して、分析結果に基づいて赤外線照射撮像条件にて生成される撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する赤外線成分分離手段と、可視光成分撮像信号の色毎の平面位相を同位相にリサンプリングし、マトリクス演算して輝度信号とクロマ信号とを生成し、クロマ信号に対してホワイトバランス撮像信号に基づいて色調整を施して色調クロマ信号を生成し、輝度信号と色調クロマ信号とに増幅処理を含む画像処理を施して可視光輝度信号とクロマ画像信号とを生成する可視光画像処理手段と、赤外線成分撮像信号に画像処理を施して赤外線輝度信号を生成する赤外線画像処理手段と、可視光輝度信号と赤外線輝度信号とを合成して輝度画像信号を生成する輝度画像合成手段と、可視光輝度信号と赤外線輝度信号との合成比率を調整操作する合成比率調整操作手段と、を具備する。 In the infrared irradiation type imaging device, the infrared irradiation means for flashing and irradiating the subject with infrared rays, the optical means for forming an optical image by forming an image of the subject, and the structure capable of moving forward and backward with respect to the optical path of the optical means. And an infrared cut filter for generating an optical image composed of visible light by blocking infrared rays contained in the optical image, and a visible light imaging condition for inserting the infrared cut filter on the optical path without irradiating the subject with infrared rays. And infrared irradiation control means for controlling the infrared irradiation imaging condition for causing the subject to flash infrared rays and causing the infrared cut filter to leave the optical path, and photoelectrically converting the optical image to generate an imaging signal for each color. White balance that generates white balance imaging signals by processing white balance for each color of imaging signals generated under visible light imaging conditions and imaging means to generate The image processing signal and the imaging signal input for each imaging condition are analyzed, and the imaging signal generated under the infrared irradiation imaging condition based on the analysis result is separated into a visible light component imaging signal and an infrared component imaging signal Re-sampling the plane phase of each color of the visible light component imaging signal to the same phase and generating a luminance signal and a chroma signal by performing matrix calculation, and converting the chroma signal into a white balance imaging signal A visible light image processing means for performing color adjustment based on the generated color tone signal and performing image processing including amplification processing on the luminance signal and the color tone chroma signal to generate a visible light luminance signal and a chroma image signal; An infrared image processing means for generating an infrared luminance signal by performing image processing on an infrared component imaging signal, and a luminance for generating a luminance image signal by synthesizing the visible light luminance signal and the infrared luminance signal. Comprising an image combining unit, a synthesis ratio adjusting operating means for adjusting operation of the mixing ratio of the visible light luminance signal and the infrared luminance signal.
本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、可視光成分と赤外線成分との合成比率をユーザが調整、及び／または、選択して撮像することで、ユーザの所望する画質により近い撮像画像が得られる効果がある。 According to the present invention, when a subject under low illuminance is imaged by irradiating an infrared ray, the user adjusts and / or selects a combination ratio of the visible light component and the infrared component to capture the image. Thus, there is an effect that a captured image closer to the image quality desired by the user can be obtained.
以下、図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明による赤外線照射式撮像装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an infrared irradiation type imaging apparatus according to the present invention.
図１に於いて、この赤外線照射式撮像装置は、赤外線発光ダイオード（赤外線照射手段）１と、レンズ（光学手段）２と、赤外線カットフィルタ３と、赤外線照射制御部（赤外線照射制御手段）４と、イメージセンサ（撮像手段）５と、ホワイトバランス処理部（ホワイトバランス処理手段）６と、赤外線成分分離部（赤外線成分分離手段）７と、可視光画像処理部（可視光画像処理手段）８と、赤外線画像処理部（赤外線画像処理手段）９と、輝度画像合成器（輝度画像合成手段）１０と、合成比率調整操作部（合成比率調整操作手段）１１と、より構成されている。 In FIG. 1, this infrared irradiation type imaging apparatus includes an infrared light emitting diode (infrared irradiation means) 1, a lens (optical means) 2, an infrared cut filter 3, and an infrared irradiation control unit (infrared irradiation control means) 4. An image sensor (imaging means) 5, a white balance processing section (white balance processing means) 6, an infrared component separation section (infrared component separation means) 7, and a visible light image processing section (visible light image processing means) 8. And an infrared image processing unit (infrared image processing means) 9, a luminance image synthesizer (luminance image synthesizing means) 10, and a composition ratio adjustment operation unit (composition ratio adjustment operation means) 11.
赤外線発光ダイオード１は、被写体１２に対して赤外線を点滅照射するものである。この点滅の周波数（Ｈｚ）は、イメージセンサ５の露光期間に対して少なくとも４周期以上点滅する周波数であることが好ましい。
The infrared light emitting diode 1 emits infrared rays to the
何故ならば、仮に、この点滅周波数（Ｈｚ）がイメージセンサ５の露光期間に対して４周期未満である低周波であった場合には、可視光成分と赤外線成分とで被写体１２のブレ、及び、キレが１フレームの中で異なって撮像されることが目立ってしまって、画質的に不自然な撮像画像になってしまうからである。尚、この赤外線発光ダイオード１の替わりに、高速点滅が可能で、より赤外線の放射量が大きい赤外線放射素子を用いても良い。
This is because if the blinking frequency (Hz) is a low frequency that is less than four cycles with respect to the exposure period of the
レンズ２は、被写体１２を結像して光学像を生成するものである。赤外線カットフィルタ３は、このレンズ２の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る光学像を生成するものである。
The lens 2 forms an optical image by forming an image of the
赤外線照射制御部４は、被写体１２に赤外線を照射させないで光路上に対して赤外線カットフィルタ３を挿入させる可視光撮像条件と、被写体１２に赤外線を照射させて光路上に対して赤外線カットフィルタ３を退出させる赤外線照射撮像条件と、を夫々制御するものである。
The infrared
イメージセンサ５は、光学像を光電変換してＲＧＢ各色毎に撮像信号ＲＧＢｘｙ、または、撮像信号ＲＧＢＡｘｙを生成するものである。ホワイトバランス処理部６は、可視光撮像条件にて生成される撮像信号ＲＧＢｘｙのＲＧＢ各色毎にホワイトバランスを処理し、ホワイトバランス撮像信号ｗＲＧＢｘｙを生成するものである。
The
赤外線成分分離部７は、前述した撮像信号ＲＧＢｘｙ、及び、撮像信号ＲＧＢＡｘｙを分析して、この分析結果に基づいて赤外線照射撮像条件にて生成される撮像信号ＲＧＢＡｘｙを可視光成分撮像信号［ＲＧＢｘｙ］と、赤外線成分撮像信号［Ａｘｙ］と、に分離するものである。 The infrared component separation unit 7 analyzes the imaging signal RGBxy and the imaging signal RGBAxy described above, and converts the imaging signal RGBAxy generated under the infrared irradiation imaging condition based on the analysis result into the visible light component imaging signal [RGBxy]. And the infrared component imaging signal [Axy].
可視光画像処理部８は、可視光成分撮像信号［ＲＧＢｘｙ］のＲＧＢ各色毎の平面位相ｘｙを同位相ｘｙにリサンプリングし、マトリクス演算して輝度信号Ｂｘｙとクロマ信号Ｔｘｙとを生成し、このクロマ信号Ｔｘｙに対してホワイトバランス撮像信号ｗＲＧＢｘｙに基づいて色調整を施して色調クロマ信号Ｃｘｙを生成するものである。
The visible light
また、可視光画像処理部８は、この輝度信号Ｂｘｙと色調クロマ信号Ｃｘｙとに増幅（ＧＡＩＮ）処理を含む画像処理を施して可視光輝度信号Ｙｘｙとクロマ画像信号（Ｃｂ，Ｃｒ）ｘｙとを生成するものである。
Further, the visible light
尚、このクロマ画像信号（Ｃｂ，Ｃｒ）ｘｙは、ＨＤＴＶ用の色差信号（Ｐｂ，Ｐｒ）ｘｙに置き換えられたとしても良い。 The chroma image signal (Cb, Cr) xy may be replaced with a color difference signal (Pb, Pr) xy for HDTV.
ここで、一般的な輝度信号Ｙと、クロマ信号（Ｃｂ，Ｃｒ）と、のマトリクス演算式について示せば、
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ
Ｃｂ＝０．５６４＊（Ｂ−Ｙ）＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５００＊Ｂ
Ｃｒ＝０．７１３＊（Ｒ−Ｙ）＝０．５００＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ
である。
Here, if a matrix arithmetic expression of a general luminance signal Y and chroma signals (Cb, Cr) is shown,
Y = 0.299 * R + 0.587 * G + 0.114 * B
Cb = 0.564 * (B−Y) = − 0.169 * R−0.331 * G + 0.500 * B
Cr = 0.713 * (R−Y) = 0.500 * R−0.419 * G−0.081 * B
It is.
また、ＨＤＴＶ用の一般的な輝度信号Ｙと、色差信号（Ｐｂ，Ｐｒ）と、のマトリクス演算式について示せば、
Ｙ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ
Ｐｂ＝−０．１１４６＊Ｒ−０．３８５４＊Ｇ＋０．５０００＊Ｂ
Ｐｒ＝０．５０００＊Ｒ−０．４５４２＊Ｇ−０．０４５８＊Ｂ
である。
Moreover, if it shows about the matrix arithmetic expression of the general luminance signal Y for HDTV, and a color difference signal (Pb, Pr),
Y = 0.2126 * R + 0.7152 * G + 0.0722 * B
Pb = −0.1146 * R−0.3854 * G + 0.5000 * B
Pr = 0.5000 * R-0.4542 * G-0.0458 * B
It is.
尚、本実施形態に於けるマトリクス演算式は、リサンプリングと同時に演算されても良く、必ずしも前述した演算式に限られるものではない。 Note that the matrix arithmetic expression in the present embodiment may be calculated simultaneously with resampling, and is not necessarily limited to the above-described arithmetic expression.
赤外線画像処理部９は、赤外線成分撮像信号［Ａｘｙ］に画像処理を施して赤外線輝度信号Ａｘｙを生成するものである。輝度画像合成器１０は、可視光輝度信号Ｙｘｙと赤外線輝度信号Ａｘｙとを合成して輝度画像信号Ｙ’ｘｙを生成するものである。
The infrared
合成比率調整操作部１１は、可視光輝度信号Ｙｘｙと赤外線輝度信号Ａｘｙとの合成比率Ｙ：Ａを調整操作するものであって、この合成比率Ｙ：Ａに基づいて、赤外線照射制御部４に対して赤外線の照射量を設定するものである。この赤外線照射量の設定に基づいて、赤外線照射制御部４によって赤外線発光ダイオード１に対する点滅照射のためのＰＷＭ制御が為されるのである。
The combination ratio
また、この合成比率Ｙ：Ａに基づいて赤外線輝度信号Ａｘｙを演算によってアッテネートさせるように輝度画像合成器１０に対して制御するようにしても良い。または、前述した赤外線照射量の設定と、このアッテネートとを合わせて合成比率Ｙ：Ａを形成するようにしても良い。
Further, the
この合成比率調整操作部１１は、合成比率Ｙ：Ａに基づいて、可視光画像処理部８の増幅処理に対して、最大増幅率ＭＡＸ−ＧＡＩＮ（ｄＢ）の制限を設定するものである。この最大増幅率ＭＡＸ−ＧＡＩＮ（ｄＢ）の制限の設定に基づいて、可視光画像処理部８によって増幅処理が施されるのである。
The composition ratio
更に、合成比率調整操作部１１は、複数のモードを有するものであって、任意のモードを選択することで合成比率Ｙ：Ａが選択されるものである。また、このモード選択が為された後、合成比率の微調整が可能であっても良い。
Furthermore, the composition ratio
図２は、本実施形態による合成比率調整操作部１１の概要を示すグラフである。
FIG. 2 is a graph showing an outline of the composition ratio
図２に於いて、この合成比率調整操作部１１は、明るさ優先モードと、色再現優先モードと、ＳＮ比優先モードと、を有することが示されている。
In FIG. 2, it is shown that the synthesis ratio
図２に於いて、このグラフは、色再現優先モードが選択操作された場合には、合成比率Ｙ：ＡのＡの比率を下げるように赤外線照射量が設定され、この設定に基づいてＰＷＭ制御が為され、赤外線輝度信号Ａの信号レベルが小さくなるように調整されることが示されている。 In FIG. 2, when the color reproduction priority mode is selected and operated, the infrared irradiation amount is set so as to lower the ratio A of the combination ratio Y: A, and PWM control is performed based on this setting. It is shown that the signal level of the infrared luminance signal A is adjusted to be small.
このように、色再現優先モードが選択されると、明るさ優先モード時の輝度画像信号Ｙ’と比較して、色再現優先モード時の輝度画像信号Ｙ１’の方が信号レベルが下がってしまうのであるが、その代わりに色情報を有さない赤外線輝度信号Ａの信号レベルがＡ１に示されるように少なくなるので、その少なくなった分だけ色の再現性が向上するのである。 As described above, when the color reproduction priority mode is selected, the signal level of the luminance image signal Y1 ′ in the color reproduction priority mode is lower than the luminance image signal Y ′ in the brightness priority mode. However, since the signal level of the infrared luminance signal A having no color information instead decreases as indicated by A1, the color reproducibility is improved by the decreased amount.
または、図２に於いて、ＳＮ比優先モードが選択操作された場合には、合成比率Ｙ：ＡのＹの比率を下げるように最大増幅率ＭＡＸ−ＧＡＩＮ（ｄＢ）の制限が設定（下方修正）され、この設定に基づいて増幅処理（ＧＡＩＮ）が為され、可視光輝度信号Ｙの信号レベルがＹ２に示されるように小さくなるように調整されることが示されている。 Alternatively, in FIG. 2, when the S / N ratio priority mode is selected and operated, the maximum amplification factor MAX-GAIN (dB) is set so as to reduce the Y ratio of the synthesis ratio Y: A (downward correction). It is shown that amplification processing (GAIN) is performed based on this setting, and the signal level of the visible light luminance signal Y is adjusted to be small as indicated by Y2.
このように、ＳＮ比優先モードが選択されると、明るさ優先モード時の輝度画像信号Ｙ’と比較して、ＳＮ比優先モード時の輝度画像信号Ｙ２’の方が信号レベルが下がってしまうのであるが、その代わりに可視光輝度信号Ｙの増幅処理で増加するノイズレベルも下がるので、そのノイズレベルが下がった分だけＳＮ比が向上するのである。 Thus, when the S / N ratio priority mode is selected, the signal level of the luminance image signal Y2 ′ in the S / N ratio priority mode is lower than that in the luminance priority signal Y ′ in the brightness priority mode. However, since the noise level that is increased by the amplification process of the visible light luminance signal Y is lowered instead, the SN ratio is improved by the amount that the noise level is lowered.
図３は、低照度下の白色被写体１２を可視光撮像条件にて撮像した、標準ゲインに於ける撮像信号レベルの一例を示すグラフである。
FIG. 3 is a graph showing an example of the imaging signal level at the standard gain when the
図３に於いて、このグラフは、可視光画像処理部８に於いて未だ増幅処理が為されていない標準ゲイン（ＧＡＩＮ＝０ｄＢ）状態についての撮像信号レベルが示されている。そのために、この撮像信号は未だ最低被写体照度の信号レベルに至っていないことが示されている。
In FIG. 3, this graph shows the imaging signal level in a standard gain (GAIN = 0 dB) state that has not been amplified yet in the visible light
図４は、図３で示した可視光撮像条件時の撮像信号レベルに対して増幅処理を施した一例を示すグラフである。 FIG. 4 is a graph showing an example in which amplification processing is performed on the imaging signal level under the visible light imaging condition shown in FIG.
このグラフは、図３で示された可視光撮像条件時の撮像信号に対して可視光画像処理部８にて増幅処理（ＧＡＩＮ＝１２ｄＢ）を施した一例が示されている。ここで、一般的な増幅処理については、ＲＧＢ信号に対してホワイトバランスを施した後、マトリクス演算にてこのＲＧＢ信号からＹＣ信号へと変換してから為されるのが通常であるのだが、図２で示された各優先モードについての具体的な説明をしていくために、図４〜図１０に於いては、増幅処理されたＹＣ信号についてＲＧＢ各色毎に換算したとして示していく。
This graph shows an example in which the visible light
図４に示されるように、この一例に於いては、撮像信号に増幅処理（ＧＡＩＮ＝１２ｄＢ）を施しているにも関わらず、未だ最低被写体照度の信号レベルには至っていない。 As shown in FIG. 4, in this example, the signal level of the lowest subject illuminance has not yet been reached even though the imaging signal has been subjected to amplification processing (GAIN = 12 dB).
図５は、低照度下の白色被写体１２を赤外線照射撮像条件、明るさ優先モードにて撮像した撮像信号レベルの一例を示すグラフである。
FIG. 5 is a graph showing an example of an imaging signal level obtained by imaging the
図５に於いて、このグラフは、低照度下の被写体１２が撮像されているにも関わらず、赤外線照射撮像条件での撮像によって、最低被写体照度の信号レベルを満たしていることが示されている。図５に示されるように、斜線部が可視光成分であり、白枠部が赤外線成分である。 In FIG. 5, this graph shows that the signal level of the lowest subject illuminance is satisfied by imaging under the infrared irradiation imaging condition even though the subject 12 under low illuminance is imaged. Yes. As shown in FIG. 5, the shaded portion is a visible light component, and the white frame portion is an infrared component.
また、図５は、明るさ優先モードによる撮像であるので、図２に於いて既に示されたように、その合成比率はＹ：Ａであって、可視光成分Ｙ（図５に於いては、Ｒ’，Ｇ，Ｂ’に換算して示されている）については増幅処理（ＧＡＩＮ＝１２ｄＢ）が為され、赤外線成分ＡについてはＰＷＭ制御にて最大赤外線照射量が設定されているのである。 Since FIG. 5 is an image pickup in the brightness priority mode, as already shown in FIG. 2, the composition ratio is Y: A and the visible light component Y (in FIG. 5). , R ′, G, and B ′), amplification processing (GAIN = 12 dB) is performed, and for infrared component A, the maximum infrared irradiation amount is set by PWM control. .
図６は、図５で示された撮像信号が可視光成分撮像信号と赤外線成分撮像信号とに分離され、更にホワイトバランス撮像信号に基づいて色調整が施された一例を示すグラフである。 FIG. 6 is a graph showing an example in which the imaging signal shown in FIG. 5 is separated into a visible light component imaging signal and an infrared component imaging signal, and color adjustment is performed based on the white balance imaging signal.
図６に示されるように、この明るさ優先モードは、低照度下の被写体１２を明るく撮像することを優先するモードである。 As shown in FIG. 6, the brightness priority mode is a mode in which priority is given to taking a bright image of the subject 12 under low illuminance.
図７は、低照度下の白色被写体１２を赤外線照射撮像条件、色再現優先モードにて撮像した撮像信号レベルの一例を示すグラフである。
FIG. 7 is a graph showing an example of an imaging signal level obtained by imaging a
図７に於いて、このグラフは、低照度下の被写体１２が撮像されているにも関わらず、赤外線照射撮像条件での撮像によって、最低被写体照度の信号レベルを満たしていることが示されている。図７に示されるように、斜線部が可視光成分であり、白枠部が赤外線成分である。 In FIG. 7, this graph shows that the signal level of the lowest subject illuminance is satisfied by imaging under the infrared irradiation imaging condition even though the subject 12 under low illuminance is imaged. Yes. As shown in FIG. 7, the shaded portion is the visible light component, and the white frame portion is the infrared component.
また、図７は、色再現優先モードによる撮像であるので、図２に於いて既に示されたように、その合成比率はＹ：Ａ１であって、可視光成分Ｙ（図７に於いては、Ｒ’，Ｇ，Ｂ’に換算して示されている）については増幅処理（ＧＡＩＮ＝１２ｄＢ）が為され、赤外線成分Ａ１についてはＰＷＭ制御にて赤外線照射量が少なくなるように設定されているのである。 Since FIG. 7 is an image pickup in the color reproduction priority mode, as already shown in FIG. 2, the composition ratio is Y: A1, and the visible light component Y (in FIG. 7). , R ′, G, and B ′), amplification processing (GAIN = 12 dB) is performed, and infrared component A1 is set so that the infrared irradiation amount is reduced by PWM control. It is.
図８は、図７で示された撮像信号が可視光成分撮像信号と赤外線成分撮像信号とに分離され、更にホワイトバランス撮像信号に基づいて色調整が施された一例を示すグラフである。 FIG. 8 is a graph showing an example in which the imaging signal shown in FIG. 7 is separated into a visible light component imaging signal and an infrared component imaging signal, and color adjustment is performed based on the white balance imaging signal.
図８に示されるように、この色再現優先モードは、本来の色情報を有さない赤外線成分Ａの比率を下げることで、色再現性が重視されて撮像されるモードである。ここで、図６で示されたグラフと、図８のグラフとを比較してみれば、赤外線成分Ａの信号レベルが異なっており、可視光成分Ｙ（図６、及び、図８に於いては、Ｒ’，Ｇ，Ｂ’に換算して示されている）の信号レベルは略一致していることが示されている。 As shown in FIG. 8, this color reproduction priority mode is a mode in which imaging is performed with an emphasis on color reproducibility by lowering the ratio of the infrared component A having no original color information. Here, if the graph shown in FIG. 6 is compared with the graph of FIG. 8, the signal level of the infrared component A is different and the visible light component Y (in FIGS. 6 and 8) is different. Is shown in terms of R ′, G, B ′).
図９は、低照度下の白色被写体１２を赤外線照射撮像条件、ＳＮ比優先モードにて撮像した撮像信号レベルの一例を示すグラフである。
FIG. 9 is a graph showing an example of an imaging signal level obtained by imaging the
図９に於いて、このグラフは、低照度下の被写体１２が撮像されているにも関わらず、赤外線照射撮像条件での撮像によって、最低被写体照度の信号レベルを満たしていることが示されている。図９に示されるように、斜線部が可視光成分であり、白枠部が赤外線成分である。 In FIG. 9, this graph shows that the signal level of the lowest subject illuminance is satisfied by imaging under the infrared irradiation imaging condition even though the subject 12 under low illuminance is imaged. Yes. As shown in FIG. 9, the shaded portion is a visible light component, and the white frame portion is an infrared component.
また、この図９は、ＳＮ比優先モードによる撮像であるので、図２に於いて既に示されたように、その合成比率はＹ２：Ａであって、可視光成分Ｙ２（図９に於いては、Ｒ’，Ｇ，Ｂ’に換算して示されている）については最大増幅率ＭＡＸ−ＧＡＩＮ（ｄＢ）の制限が設定されていることが示されている。 Since FIG. 9 is an image pickup in the S / N ratio priority mode, the composite ratio is Y2: A and the visible light component Y2 (in FIG. 9) as already shown in FIG. Is shown in terms of R ′, G, and B ′), it is shown that the maximum amplification factor MAX-GAIN (dB) is set.
ここで、図９に於いては、一例として、ＭＡＸ−ＧＡＩＮが６（ｄＢ）に制限されていることが示されているのである。また、赤外線成分ＡについてはＰＷＭ制御にて最大赤外線照射量が設定されていることが示されている。 Here, in FIG. 9, it is shown as an example that MAX-GAIN is limited to 6 (dB). For infrared component A, the maximum infrared irradiation amount is set by PWM control.
図１０は、図９で示された撮像信号が可視光成分撮像信号と赤外線成分撮像信号とに分離され、更にホワイトバランス撮像信号に基づいて色調整が施された一例を示すグラフである。 FIG. 10 is a graph showing an example in which the imaging signal shown in FIG. 9 is separated into a visible light component imaging signal and an infrared component imaging signal, and color adjustment is performed based on the white balance imaging signal.
図１０に示されるように、このＳＮ比優先モードは、可視光成分Ｙ（図１０に於いては、Ｒ’，Ｇ，Ｂ’に換算して示されている）の最大増幅率を下げることで、増幅処理にて増幅されるノイズレベルが抑制されるモードである。 As shown in FIG. 10, the S / N ratio priority mode lowers the maximum amplification factor of the visible light component Y (shown in terms of R ′, G, B ′ in FIG. 10). In this mode, the noise level amplified by the amplification process is suppressed.
前述してきたように、本発明の実施形態による赤外線照射式撮像装置は、低照度下の被写体１２に対して赤外線を照射して撮像する場合に於いて、可視光成分Ｙと赤外線成分Ａとの合成比率Ｙ：Ａについて、ユーザが調整、及び／または、選択して撮像することで、ユーザの所望する画質により近い撮像画像が得られる赤外線照射式撮像装置を提供することができる。 As described above, the infrared irradiation type imaging device according to the embodiment of the present invention irradiates the subject 12 under the low illuminance with infrared rays and picks up an image. The user can adjust and / or select the combination ratio Y: A to provide an infrared irradiation imaging apparatus that can obtain a captured image closer to the image quality desired by the user.
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.
１ 赤外線発光ダイオード（赤外線照射手段）
２ レンズ（光学手段）
３ 赤外線カットフィルタ
４ 赤外線照射制御部（赤外線照射制御手段）
５ イメージセンサ（撮像手段）
６ ホワイトバランス処理部（ホワイトバランス処理手段）
７ 赤外線成分分離部（赤外線成分分離手段）
８ 可視光画像処理部（可視光画像処理手段）
９ 赤外線画像処理部（赤外線画像処理手段）
１０ 輝度画像合成器（輝度画像合成手段）
１１ 合成比率調整操作部（合成比率操作手段）
１２ 被写体
1 Infrared light emitting diode (infrared irradiation means)
2 Lens (optical means)
3 Infrared cut
5 Image sensor (imaging means)
6 White balance processing unit (white balance processing means)
7 Infrared component separation unit (Infrared component separation means)
8 Visible light image processing unit (visible light image processing means)
9 Infrared image processing unit (infrared image processing means)
10 Luminance image synthesizer (luminance image synthesizer)
11 Composite ratio adjustment operation unit (Composite ratio operation means)
12 Subject
Claims (7)
前記被写体を結像して光学像を生成する光学手段と、
前記光学手段の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、
前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を前記点滅照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する赤外線照射制御手段と、
前記光学像を光電変換して色毎に撮像信号を生成する撮像手段と、
前記可視光撮像条件にて生成される前記撮像信号の前記色毎にホワイトバランスを処理し、ホワイトバランス撮像信号を生成するホワイトバランス処理手段と、
前記撮像条件別に入力される前記撮像信号を分析して、該分析結果に基づいて前記赤外線照射撮像条件にて生成される前記撮像信号を可視光成分撮像信号と、赤外線成分撮像信号と、に分離する赤外線成分分離手段と、
前記可視光成分撮像信号の前記色毎の平面位相を同位相にリサンプリングし、マトリクス演算して輝度信号とクロマ信号とを生成し、該クロマ信号に対して前記ホワイトバランス撮像信号に基づいて色調整を施して色調クロマ信号を生成し、該輝度信号と該色調クロマ信号とに増幅処理を含む画像処理を施して可視光輝度信号とクロマ画像信号とを生成する可視光画像処理手段と、
前記赤外線成分撮像信号に画像処理を施して赤外線輝度信号を生成する赤外線画像処理手段と、
前記可視光輝度信号と前記赤外線輝度信号とを合成して輝度画像信号を生成する輝度画像合成手段と、
前記可視光輝度信号と前記赤外線輝度信号との合成比率を調整操作する合成比率調整操作手段と、
を具備する
ことを特徴とする赤外線照射式撮像装置。 Infrared irradiation means for flashing and irradiating the subject with infrared rays;
Optical means for forming an optical image by imaging the subject;
An infrared cut filter configured to be movable back and forth with respect to the optical path of the optical means, for blocking infrared rays included in the optical image and generating the optical image composed of visible light;
Visible light imaging conditions in which the infrared cut filter is inserted into the optical path without irradiating the subject with the infrared light; and Infrared irradiation control means for controlling each of the infrared irradiation imaging conditions to be withdrawn, and
Imaging means for photoelectrically converting the optical image to generate an imaging signal for each color;
White balance processing means for processing white balance for each of the colors of the imaging signal generated under the visible light imaging conditions and generating a white balance imaging signal;
The imaging signal input according to the imaging condition is analyzed, and the imaging signal generated under the infrared irradiation imaging condition based on the analysis result is separated into a visible light component imaging signal and an infrared component imaging signal Means for separating infrared components;
The planar phase for each color of the visible light component imaging signal is resampled to the same phase, a matrix operation is performed to generate a luminance signal and a chroma signal, and a color based on the white balance imaging signal is generated for the chroma signal Visible light image processing means for generating a color chroma signal by performing adjustment, and performing image processing including amplification processing on the luminance signal and the color chroma signal to generate a visible light luminance signal and a chroma image signal;
Infrared image processing means for generating an infrared luminance signal by performing image processing on the infrared component imaging signal;
A luminance image synthesis means for synthesizing the visible light luminance signal and the infrared luminance signal to generate a luminance image signal;
A composition ratio adjusting operation means for adjusting a composition ratio of the visible light luminance signal and the infrared luminance signal;
An infrared irradiation type imaging device comprising:
前記赤外線照射制御手段は、前記赤外線照射量の設定に基づいて、前記赤外線照射手段に対して前記点滅照射のＰＷＭ制御をする
ことを特徴とする請求項１に記載の赤外線照射式撮像装置。 The synthesis ratio adjustment operation means sets the infrared irradiation amount for the infrared irradiation control means,
The infrared irradiation type imaging apparatus according to claim 1, wherein the infrared irradiation control unit performs PWM control of the blinking irradiation on the infrared irradiation unit based on the setting of the infrared irradiation amount.
前記可視光画像処理手段は、前記最大増幅率の制限の設定に基づいて前記増幅処理が施される
ことを特徴とする請求項２に記載の赤外線照射式撮像装置。 The synthesis ratio adjustment operation means sets a limit on the maximum amplification factor of the amplification process for the visible light image processing means,
The infrared irradiation imaging apparatus according to claim 2, wherein the visible light image processing means is subjected to the amplification processing based on the setting of the restriction on the maximum amplification factor.
少なくとも、明るさ優先モードと、色再現優先モードと、ＳＮ比優先モードと、から成る複数のモード
を有し、
前記複数のモードから１つのモードを選択可能なものであって、
前記色再現優先モードが選択されて操作された場合には、
少なくとも前記照射量の設定に基づいて前記ＰＷＭ制御が為され、
前記ＳＮ比優先モードが選択されて操作された場合には、
少なくとも前記最大増幅率の制限に基づいて前記増幅処理が為される
ことを特徴とする請求項３に記載の赤外線照射式撮像装置。 The synthesis ratio adjustment operation means includes:
A plurality of modes including at least a brightness priority mode, a color reproduction priority mode, and an SN ratio priority mode;
One mode can be selected from the plurality of modes,
When the color reproduction priority mode is selected and operated,
The PWM control is performed based on at least the setting of the irradiation amount,
When the SN ratio priority mode is selected and operated,
The infrared irradiation imaging apparatus according to claim 3, wherein the amplification process is performed based on at least a restriction on the maximum amplification factor.
ことを特徴とする請求項４に記載の赤外線照射式撮像装置。 5. The infrared ray according to claim 4, wherein after the mode is selected, the composition ratio adjustment operation means can finely adjust the composition ratio by an operation different from the mode selection. Irradiation imaging device.
ことを特徴とする請求項１に記載の赤外線照射式撮像装置。 The infrared irradiation imaging apparatus according to claim 1, wherein the luminance image synthesizing unit attenuates the infrared luminance signal based on the synthesis ratio.
ことを特徴とする請求項１に記載の赤外線照射式撮像装置。 The infrared irradiation imaging apparatus according to claim 1, wherein the blinking frequency of the blinking irradiation is a frequency that blinks at least four periods or more with respect to an exposure time of the imaging unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009000699A JP2010161459A (en) | 2009-01-06 | 2009-01-06 | Infrared radiation imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009000699A JP2010161459A (en) | 2009-01-06 | 2009-01-06 | Infrared radiation imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010161459A true JP2010161459A (en) | 2010-07-22 |
Family
ID=42578323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009000699A Withdrawn JP2010161459A (en) | 2009-01-06 | 2009-01-06 | Infrared radiation imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010161459A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014103223A1 (en) * | 2012-12-27 | 2014-07-03 | 株式会社デンソー | Night-vision device |
| WO2014175044A1 (en) * | 2013-04-24 | 2014-10-30 | 日立マクセル株式会社 | Imaging device and imaging system |
| KR101580585B1 (en) * | 2014-12-02 | 2015-12-28 | 서울시립대학교 산학협력단 | Method for data fusion of panchromatic and thermal-infrared images and Apparatus Thereof |
| EP2991340A2 (en) | 2014-08-29 | 2016-03-02 | Hitachi Industry & Control Solutions, Ltd. | Image-capturing method and image-capturing device |
| EP2928183A4 (en) * | 2012-11-30 | 2016-06-01 | Clarion Co Ltd | Image pickup device |
| US9438811B2 (en) | 2013-04-30 | 2016-09-06 | Sony Corporation | Exposure control apparatus, image capturing apparatus and method of controlling exposure |
| WO2016199573A1 (en) * | 2015-06-08 | 2016-12-15 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, image processing method, program, and image capture device |
| EP3627828A1 (en) * | 2018-09-20 | 2020-03-25 | Canon Kabushiki Kaisha | Image processing device, image processing method, and recording medium |
| JP2020080458A (en) * | 2018-11-12 | 2020-05-28 | キヤノン株式会社 | Imaging apparatus and control method |
| EP3709260A1 (en) * | 2019-03-11 | 2020-09-16 | Canon Kabushiki Kaisha | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium |
-
2009
- 2009-01-06 JP JP2009000699A patent/JP2010161459A/en not_active Withdrawn
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2928183A4 (en) * | 2012-11-30 | 2016-06-01 | Clarion Co Ltd | Image pickup device |
| JP2014127924A (en) * | 2012-12-27 | 2014-07-07 | Denso Corp | Night vision device |
| WO2014103223A1 (en) * | 2012-12-27 | 2014-07-03 | 株式会社デンソー | Night-vision device |
| US9497395B2 (en) | 2012-12-27 | 2016-11-15 | Denso Corporation | Night-vision device |
| JP2014216734A (en) * | 2013-04-24 | 2014-11-17 | 日立マクセル株式会社 | Imaging apparatus and imaging system |
| US20160065865A1 (en) * | 2013-04-24 | 2016-03-03 | Hitachi Maxell, Ltd. | Imaging device and imaging system |
| CN105144688A (en) * | 2013-04-24 | 2015-12-09 | 日立麦克赛尔株式会社 | Imaging device and imaging system |
| WO2014175044A1 (en) * | 2013-04-24 | 2014-10-30 | 日立マクセル株式会社 | Imaging device and imaging system |
| CN105144688B (en) * | 2013-04-24 | 2018-06-26 | 麦克赛尔株式会社 | Photographic device and camera system |
| US9438811B2 (en) | 2013-04-30 | 2016-09-06 | Sony Corporation | Exposure control apparatus, image capturing apparatus and method of controlling exposure |
| EP2991340A2 (en) | 2014-08-29 | 2016-03-02 | Hitachi Industry & Control Solutions, Ltd. | Image-capturing method and image-capturing device |
| CN105391953A (en) * | 2014-08-29 | 2016-03-09 | 日立产业控制解决方案有限公司 | Image-capturing method and image-capturing device |
| CN105391953B (en) * | 2014-08-29 | 2019-11-26 | 日立产业控制解决方案有限公司 | Image pickup method and filming apparatus |
| US10165242B2 (en) | 2014-08-29 | 2018-12-25 | Hitachi Industry & Control Solutions, Ltd. | Image-capturing method and image-capturing device |
| KR101580585B1 (en) * | 2014-12-02 | 2015-12-28 | 서울시립대학교 산학협력단 | Method for data fusion of panchromatic and thermal-infrared images and Apparatus Thereof |
| WO2016199573A1 (en) * | 2015-06-08 | 2016-12-15 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, image processing method, program, and image capture device |
| US10560642B2 (en) | 2015-06-08 | 2020-02-11 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method and imaging device |
| EP3627828A1 (en) * | 2018-09-20 | 2020-03-25 | Canon Kabushiki Kaisha | Image processing device, image processing method, and recording medium |
| JP2020048095A (en) * | 2018-09-20 | 2020-03-26 | キヤノン株式会社 | Imaging apparatus and control method |
| US11138764B2 (en) | 2018-09-20 | 2021-10-05 | Canon Kabushiki Kaisha | Image processing device, image processing method, and recording medium |
| JP7210199B2 (en) | 2018-09-20 | 2023-01-23 | キヤノン株式会社 | IMAGING DEVICE, CONTROL METHOD, COMPUTER PROGRAM, AND STORAGE MEDIUM |
| JP2020080458A (en) * | 2018-11-12 | 2020-05-28 | キヤノン株式会社 | Imaging apparatus and control method |
| JP7250483B2 (en) | 2018-11-12 | 2023-04-03 | キヤノン株式会社 | Imaging device, computer program, and storage medium |
| EP3709260A1 (en) * | 2019-03-11 | 2020-09-16 | Canon Kabushiki Kaisha | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium |
| JP2020150331A (en) * | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, system, and program |
| US11423524B2 (en) | 2019-03-11 | 2022-08-23 | Canon Kabushiki Kaisha | Image processing apparatus, method for controlling image processing apparatus, and non- transitory computer-readable storage medium |
| JP7316809B2 (en) | 2019-03-11 | 2023-07-28 | キヤノン株式会社 | Image processing device, image processing device control method, system, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010161459A (en) | Infrared radiation imaging device | |
| JP5171434B2 (en) | Imaging apparatus, imaging method, program, and integrated circuit | |
| JP5141733B2 (en) | Imaging apparatus, imaging method, and program | |
| JP6568719B2 (en) | Imaging method and imaging apparatus | |
| JP5460173B2 (en) | Image processing method, image processing apparatus, image processing program, and imaging apparatus | |
| KR101102150B1 (en) | Image processing method and apparatus, and computer program | |
| JP5610762B2 (en) | Imaging apparatus and control method | |
| US10861136B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2008118383A (en) | Digital camera | |
| JP2007300541A (en) | Imaging apparatus and its program | |
| CN107888841A (en) | Picture pick-up device and its control method | |
| JP6732726B2 (en) | Imaging device, imaging method, and program | |
| TW201112754A (en) | Image processing apparatus, image processing method, and storage medium thereof | |
| US7486884B2 (en) | Imaging device and imaging method | |
| WO2019047620A1 (en) | Imaging device and imaging method | |
| JP4999871B2 (en) | Imaging apparatus and control method thereof | |
| JP5316070B2 (en) | Imaging device | |
| WO2016117137A1 (en) | Image-capturing device, image-capturing method, and image display device | |
| JP2016163052A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
| KR101795600B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium for performing the method | |
| JP6466809B2 (en) | Imaging apparatus and imaging method | |
| JP7148428B2 (en) | Imaging device and imaging method | |
| JP2009206585A (en) | Image processing apparatus, image processing program and digital camera | |
| JP2014219602A (en) | Imaging device | |
| JP5765599B2 (en) | Imaging apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120306 |