JP4630781B2 - 波長成分の割合検出装置及びそれを用いた撮像装置 - Google Patents
波長成分の割合検出装置及びそれを用いた撮像装置 Download PDFInfo
- Publication number
- JP4630781B2 JP4630781B2 JP2005278634A JP2005278634A JP4630781B2 JP 4630781 B2 JP4630781 B2 JP 4630781B2 JP 2005278634 A JP2005278634 A JP 2005278634A JP 2005278634 A JP2005278634 A JP 2005278634A JP 4630781 B2 JP4630781 B2 JP 4630781B2
- Authority
- JP
- Japan
- Prior art keywords
- image sensor
- wavelength region
- color filter
- infrared wavelength
- wavelength component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 93
- 238000001514 detection method Methods 0.000 title claims description 47
- 230000003287 optical effect Effects 0.000 claims description 30
- 239000006185 dispersion Substances 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 description 56
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 230000000295 complement effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000003780 insertion Methods 0.000 description 10
- 230000037431 insertion Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- ZNNLBTZKUZBEKO-UHFFFAOYSA-N glyburide Chemical compound COC1=CC=C(Cl)C=C1C(=O)NCCC1=CC=C(S(=O)(=O)NC(=O)NC2CCCCC2)C=C1 ZNNLBTZKUZBEKO-UHFFFAOYSA-N 0.000 description 5
- 101000984190 Homo sapiens Leukocyte immunoglobulin-like receptor subfamily B member 1 Proteins 0.000 description 4
- 101000984192 Homo sapiens Leukocyte immunoglobulin-like receptor subfamily B member 3 Proteins 0.000 description 4
- 102100025582 Leukocyte immunoglobulin-like receptor subfamily B member 3 Human genes 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
Description
この従来例は、赤外カットフィルタの挿脱を自動的に行い、撮影モードを切換える赤外/可視共用カメラに関するもので、撮像素子から得られる輝度信号と色情報に基づいて撮影モードを決定している。
撮影モードの決定方法は、現在の撮影モードがカラー撮影モードの場合、輝度信号Yと予め設定された閾値Y2との大小判別によって撮影モードの決定を行っている。
現在の撮影モードが白黒撮影モードの場合、輝度信号Yと予め設定された閾値Y1との大小判別によって撮影モードの決定を行っている。
なお、閾値Y1とY2は、Y1>Y2と設定することで、赤外カットフィルタの除去により輝度信号が増加し、カラー撮影モード→白黒撮影モード→カラー撮影モード・・・を繰返すハンチングを防止している。
現在の撮影モードが白黒撮影モードの場合、輝度信号の他に色信号の分析を行い撮影モードの決定をしている。
色信号の分析は、赤色信号/緑色信号及び青色信号/緑色信号の2つの色比を求め、2つの色比が規定した分布範囲内に入るか否かによって撮像信号が近赤外光によるものか否かを判断している。
ここで撮像素子の色別の感度特性に着目すると、800[nm]付近から長波長に対しては、色の種類にかかわらずほぼ感度が同一になる特徴を有する。
このため、撮像信号が近赤外光によるものの場合は、前記2つの色比が規定した分布範囲内に収まるとしている。
撮像信号が近赤外光によるものと判断した場合、白黒撮影モードのままとする。
また、前記色信号の分析は、撮影画面全体の色信号の平均値を利用しても良い。
しかし、撮像画面を複数のブロックに分割し、各ブロックの色信号の平均値に対し、各々撮像信号が近赤外光によるものか否かの判断を行っても良いとしている。
このため、白熱灯や太陽光等の可視波長成分と赤外波長成分の両方を含む混合光源下において、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度が不安定となる問題がある。
そこで、本発明は、赤外波長成分及び光源に含まれる可視波長成分と赤外波長成分の割合を検出し、白熱灯あるいは太陽光等の可視波長成分と赤外波長成分の両方を含む混合光源下において、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度を安定することができる波長成分の割合検出装置及びそれを用いた撮像装置を提供することを目的とする。
前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
前記撮像信号から撮影画面中の複数の領域について色差信号を平均化して抽出する抽出手段と、
前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号に基づいて各々検出する検出手段と、を有したことを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記抽出された色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記抽出された色差信号の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする。
前記規定座標は、前記撮像素子カラーフィルタの第2の赤外波長領域における前記検出された色差信号の分布が集中する座標の近似座標であることを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記位置関係に基づいて評価することとは、前記抽出された色差信号と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする。
前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
前記撮像信号から撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号と輝度信号との比に基づいて各々検出する検出手段と、を有したことを特徴とする。
前記抽出された色差信号と輝度信号との比を求める算出手段と、
前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記算出された色差信号と輝度信号との比の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする。
前記規定座標は、前記第2の赤外波長領域における前記検出された色差信号と輝度信号との比の分布が集中する座標の近似座標であることを特徴とする。
さらに、本発明に係る波長成分の割合検出装置は、前記位置関係に基づく評価することとは、前記算出された色差信号と輝度信号との比と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする。
前記撮像光学系と前記撮像素子カラーフィルタの間の光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ移動手段と、
前記撮像素子から得られる前記撮影画面全体の前記輝度信号、及び、請求項1から8のいずれかに記載の波長成分の割合検出装置により得られる前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合に基づいて、前記撮影画面中の可視波長成分の輝度を算出する可視波長成分の輝度算出手段と、
前記算出された前記可視波長成分の輝度に基づいて、前記フィルタ移動手段を制御して前記光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ切換え手段と、を有することを特徴とする。
通常の赤外カットフィルタのカット波長帯域は650[nm]付近であり、赤外カットフィルタ挿入時は、650[nm]以降の赤外波長成分の光量は全てカットされる。
光源が蛍光灯の場合、図1に示されるように赤外波長成分の光量をほとんど含まないため、赤外カットフィルタ挿入に伴う光量の変化はほとんどない。
しかし、光源が白熱灯や赤外照明の場合、図1に示されるように赤外波長成分の光量を多く含むため、赤外カットフィルタ挿入に伴う光量の減少が大きい。
赤外カットフィルタの除去時において、光源に含まれる赤外波長成分の光量の割合を検出することができれば、赤外カットフィルタ挿入時の可視波長成分のみの光量を算出することが可能である。
それに基づいて赤外カットフィルタの挿入タイミングを決定すれば、カラー撮影画面の輝度を安定化させることが可能である。
図2に原色カラーフィルタの分光透過特性図、図3に補色カラーフィルタの分光透過特性図が示される。
図2に示されるように原色カラーフィルタの650[nm]〜820[nm]付近の波長帯では、赤色信号Rが最も透過率が高く、緑色信号G及び青色信号Bの透過率は低い。
よってこの波長成分の光が、前面に原色カラーフィルタを配した撮像素子に入射した場合、得られる色情報は赤色成分が支配的となる。
図3に示されるように補色カラーフィルタの650[nm]〜820[nm]付近の波長帯では、イエローYe(R+G)及びマゼンダMg(R+B)の透過特性がほぼ同一であり、透過率が最も高い。このため、シアンCy(G+B)の透過率のみ低い。
よって、この波長成分をもつ光が、前面に補色カラーフィルタを配した撮像素子に入射した場合においても、得られる色情報は赤色成分が支配的となる。
この赤色成分が支配的となる領域を第1の赤外波長領域とする。
また、図2及び図3に示されるように820[nm]付近〜長波長の波長帯では、原色及び補色カラーフィルタのどちらにおいても、3色成分がほぼ同量透過される。
よって、この波長成分の光が、前面に原色または補色カラーフィルタを配した撮像素子に入射した場合に得られる色情報は無彩色となる。
この色情報が無彩色を示す領域を第2の赤外波長領域とする。
第1の赤外波長領域及び第2の赤外波長領域の波長帯域の幅は、撮像素子カラーフィルタの分光透過特性によって若干変わる。
しかし、一般的な撮像素子カラーフィルタにおける赤外波長領域では、赤色成分が多く透過される第1の赤外波長領域と、3色成分がほぼ同量透過される第2の赤外波長領域とに大別することができる。
色差信号のR−Y軸とB−Y軸とから成る直交座標系において、原色カラーフィルタにおける第1の赤外波長領域及び第2の赤外波長領域の各単波長光の色差信号とその近似線が図4に示される。
また、補色カラーフィルタにおける第1の赤外波長領域及び第2の赤外波長領域の各単波長光の色差信号とその近似線が図5に示される。
第1の赤外波長領域に相当する650[nm]〜820[nm]付近までの色差信号は、図4及び図5共に形状は異なる。
しかし、赤色信号Rから無彩色を表す座標中心までの近似線上に分布する特性を有し、これを本発明における定義線とする。即ち、定義線=近似線である。
また、第2の赤外波長領域に相当する820[nm]以降の色差信号は全て無彩色を表す座標中心に分布する特徴を有し、これを本発明における規定座標とする。
本発明における定義線は、使用する原色または補色カラーフィルタの分光透過特性によって形状が変化するため、使用する撮像素子カラーフィルタ毎に分光透過特性より算出、もしくは測定して定義線を求めておく必要がある。
この可視波長成分のみでの撮影をした場合に撮影画面中の複数の領域について平均化して抽出された色差信号の分布が図6(A)に示されたものと仮定する。
この可視波長成分に第1の赤外波長領域の波長成分が加わると、前記抽出された色差信号は前記可視波長成分での色差信号と、第1の赤外波長領域の色差信号、つまり近似線上の座標が表す色差信号との混合色となる。
よって、可視波長成分に第1の赤外波長領域の波長成分が加わった場合、色差信号の分布は図6(B)に示されるように近似線の近傍に集中する特性を有する。
近似線の近傍に集中する度合いは、可視波長成分に対する第1の赤外波長領域の波長成分の比率に依存し、第1の赤外波長領域の波長成分が多いほど近似線の近傍に集中する。
可視波長成分に第2の赤外波長領域の波長成分が加わると、前記抽出された色差信号は前記可視波長成分での色差信号と、第2の赤外波長領域の色差信号、つまり規定座標が表す無彩色の色差信号との混合色となる。
よって、可視波長成分に第2の赤外波長領域の波長成分が加わった場合、色差信号の分布は図6(C)に示されるように規定座標の近傍に集中する特性を有する。
規定座標の近傍に集中する度合いは、可視波長成分に対する第2の赤外波長領域の波長成分の比率に依存し、第2の赤外波長領域の波長成分が多いほど規定座標の近傍に集中する。
ここで、これら第1の赤外波長領域及び第2の赤外波長領域の波長成分が、撮影画面中の複数の領域について抽出された色差信号に及ぼす影響特性を利用する。
色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記抽出された色差信号が、定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価する。
この評価により光源に含まれる第1の赤外波長領域及び第2の赤外波長領域の波長成分の割合を各々検出することが可能である。
前記抽出された色差信号が、定義線の近傍に集中している度合いを定量的に評価する方法として、前記抽出された各々の色差信号と、定義線との最短距離の分散値を算出する。 さらに、それら分散値を総和したものを評価値として用いるようにする。
前記算出された定義線との分散値の総和と第1の赤外波長領域の波長成分の割合は、一般的な被写体において図8(A)に示される関係がある。
よって、前記関係データを予め記憶手段に記憶しておけば、前記算出された定義線との分散値の総和と記憶データに基づいて、第1の赤外波長領域の波長成分の割合を決定することができる。
前記抽出された色差信号が、規定座標の近傍に集中している度合いを定量的に評価する方法として、前記抽出された各々の色差信号と、規定座標との最短距離の分散値を算出する。さらに、それら分散値を総和したものを評価値として用いるようにする。
前記算出された規定座標との分散値の総和と第2の赤外波長領域の波長成分の割合は、一般的な被写体において図8(B)に示される関係がある。
よって、前記関係データを予め記憶手段に記憶しておけば、前記算出された規定座標との分散値の総和と記憶データに基づいて、第2の赤外波長領域の波長成分の割合を決定することができる。
例えば、図7に示される被写体に含まれる色が、第1の赤外波長領域における色(定義線付近)及び第2の赤外波長領域における色(規定座標付近)に近い色が大半を占めていたとする。
第1の赤外波長領域及び第2の赤外波長領域に近い色が分布する範囲は、定義線及び規定座標の周辺となり、最短距離の分散値は小さくなる。
しかし、撮影画面中における複数の領域のうち、1つの領域でも定義線及び規定座標からはなれた分布をもつものがあれば、最短距離の分散値は大きくなる。
このため、全ての分散値の総和は、第1の赤外波長領域及び第2の赤外波長領域の波長成分が混入した光源下で撮影した分散値の総和より大きくなる。
よって、図7に示される色差信号の分布が定義線及び規定座標付近に偏っている場合であっても、赤外波長成分A及びBの割合の決定を大きく誤ることがない。
このため、可視成分の光量、すなわち赤外カットフィルタを挿入した状態における撮影画面の輝度を予測することができる。
よって、予測した撮影画面の輝度に基づいて、赤外カットフィルタの挿入のタイミングを決定すれば、赤外カットフィルタ挿入後の撮影画面の輝度を安定化させることができる。
本発明の撮像装置によれば、撮像装置である赤外カットフィルタ切換え機能付きカメラに、前記波長成分の割合検出装置を備えることで、赤外カットフィルタ挿入時の可視成分の輝度を予測できる。
このため、撮影光源の種類にかかわらず赤外カットフィルタの自動挿脱を適切なタイミングで行うことができる。
さらに、図10を参照して本発明の実施例1の波長成分の割合検出装置が組み込まれた
本発明の実施例の撮像装置である赤外カットフィルタ切換え機能付きカメラを説明する。ここで赤外カットフィルタ切換え機能とは、撮像光学系と撮像素子カラーフィルタの間の光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ移動手段を備えることである。図10に示される撮像光学系1において、撮像した被写体からの反射光は光路長補正フィルタ2を透過し、撮像素子の前面に配置される撮像素子カラーフィルタ4を介して撮像素子5に入射される。
撮像素子5からのアナログ撮像信号は増幅器7によって増幅され、A/D変換器8によってデジタル撮像信号に変換される。
撮像信号出力201は、A/D変換器8からの撮像信号を赤色信号R、青色信号B、緑色信号Gに分解した撮像信号出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
色分離マトリクス(MTX)203は、適正なホワイトバランスに調整された赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する処理部である。
色差信号R−Y、B−Y及び、輝度信号Yは映像信号合成部211により映像信号として合成され外部へ出力される。
赤外カットフィルタ3が除去され、光路長補正フィルタ2が挿入されている場合、その映像信号は赤外光の混入により色バランスが崩れてしまう。
よって、光路長補正フィルタ2が挿入されている状態での撮影では、通常、映像信号合成部211において、色分離マトリクス203から得られる色差信号R−Y、B−Yを破棄し、輝度信号Yのみの白黒映像を出力している。
本発明の実施例1の波長成分の割合検出装置100は、図10に示される映像信号処理回路200において得られる色差信号R−Y、B−Yを用いて波長成分の割合を検出する装置である。さらに、映像信号処理回路200及びマイクロコンピュータ300における演算処理の一部である。
図9に示される波長成分の割合検出装置における撮像信号出力201は、図10に示される赤外カットフィルタ切換え機能付きカメラにおいては、光路長補正フィルタ2が挿入された状態で撮像された撮像信号の出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
しかし、赤外波長領域の波長光が混入した映像信号は色バランスが崩れているため、Rゲイン及びBゲインを固定値として調整しても良い。
色分離マトリクス(MTX)203は、赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する。
変換された撮像信号のうち、色差信号R−Y、B−Yは画面分割部204に入力される。
画面分割部204は撮影画面中の色差信号を複数の領域に分割する処理部であり、分割された複数の領域に各々含まれる色差信号は、平均値演算部205において分割された複数の領域ごとに平均化される。
画面分割部204において、撮影画面の分割数を増やし領域を細分化するほど、色差信号の抽出精度が向上する。
画面分割数の増加に伴う、各領域における抽出色の変化の様子が図11に示される。
分割数が少ないと抽出される色は被写体の色と背景色との混合色となる。
分割数が増えるに従って、被写体の色と背景色との分離が明確になり、分割数が十分な数に達すると被写体の色及び背景色を、純色または純色に近い混合色で抽出できる。
よって、撮影画面中に含まれる被写体の色を正確に抽出できる確率を上げるには、撮影画面の分割数を増やし、可能な限り領域を細分化して色差信号を抽出することが望ましい。
画面分割部204及び平均値演算部205によって平均化抽出された色差信号R−Y、B−Yは波長成分割合演算部301に入力される。
波長成分割合演算部301は、入力された色差信号R−Y、B−Y、WB処理部202におけるホワイトバランスの調整値、及びメモリ302における格納データを参照して波長成分の割合を決定する。
ステップS500において、平均値演算部204から得られる色差信号R−Y、B−Yを画面分割部204で分割した領域の数だけ格納する。
次に、ステップS501において、WB処理部202におけるホワイトバランスの調整値を読み出し、前処理から変更がないか確認する。
色差信号R−Y、B−Yはホワイトバランスの調整値よって値が異なるため、ステップS501において変更が確認された場合、ステップS502の処理が必要となる。
つまり、現在のホワイトバランス調整値に対応したR−Y軸とB−Y軸とから成る直交座標系の定義線及び規定座標を、メモリ302から読み込み直すステップS502の処理が必要である。
色差信号R−Y、B−Yが、同じ撮影画像から取り出したもの、あるいはホワイトバランス調整値が前処理の撮影画面と同様であった場合、ホワイトバランスの調整値に変更がないためステップS502の処理は省略される。
また、WB処理部202において、ホワイトバランス調整値を常に固定とした場合も、同様にステップS502の処理は省略される。
ステップS503において、色差信号R−Y、B−Yと定義線との最短距離を演算する。
ステップS504において、前記最短距離の分散値を演算し、ステップS505で前記分散値を格納する。
ステップS506において、撮影画面を分割した領域全てについてステップS503からステップS505までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS503からステップS505までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS507に進み、ステップS505において格納された分散値を総和する処理を行う。
ステップS508では、ステップS507で演算された分散値の総和と、予めメモリ302に記憶してある分散値総和と赤外波長成分Aの割合との相関データ(図8(A)参照)を照合し、赤外波長成分Aの割合PIRAを決定する。
ステップS509において、色差信号R−Y、B−Yと規定座標との最短距離を演算する。
ステップS510において、前記最短距離の分散値を演算し、ステップS511で前記分散値を格納する。
ステップS512において、撮影画面を分割した領域全てについてステップS509からステップ511までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS509からステップS511までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS513に進み、ステップS511において格納された分散値を総和する処理を行う。
ステップS514では、ステップS513で演算された分散値の総和と、予めメモリ302に記憶してある分散値総和と赤外波長成分Bの割合との相関データ(図8(B)参照)を照合し、赤外波長成分Bの割合PIRBを決定する。
赤外波長成分Aの割合PIRAを決定するステップS503からステップS508までの処理と、赤外波長成分Bの割合PIRBを決定するステップS509からステップS514までの処理は、どちらを先に行っても良い。
可視波長成分輝度演算部311は、以下により光源に含まれる可視波長成分の輝度を演算する(輝度算出手段)。
つまり、第1の赤外波長領域の波長成分及び第2の赤外波長領域の波長成分の割合PIRA、PIRBと、平均値演算部205から得られる撮影画面全体の平均輝度Yを用いて、光源に含まれる可視波長成分の輝度を演算する。
演算された可視波長成分の輝度YVは撮影モード決定部312に入力される。
撮影モード決定部312は、入力された可視波長成分の輝度YVと予め設定してある撮影モード切換え条件閾値YDとを比較し、撮影モードを切換えるか否かを決定する。
可視波長成分輝度演算部311及び撮影モード決定部312はマイクロコンピュータ300における演算処理の一部であり、行われる処理は波長成分割合演算部301の処理(図12参照)の後に続く処理である。
ステップS580において第1の赤外波長領域の波長成分及び第2の赤外波長領域の波長成分の割合値PIRA、PIRBより、1−(PIRA+PIRB)を演算処理する。
これにより光源に含まれる第1の赤外波長領域及び第2の赤外波長領域以外の波長成分、すなわち、可視波長成分の割合を算出する。
次に、ステップS581において、平均値演算部205より撮影画面全体の平均輝度Yを取得する。
ステップS582において、取得した平均輝度YとステップS580において演算した可視波長成分の割合とを乗算することで、光源に含まれる可視波長成分の輝度YVを演算する。
演算された可視波長成分の輝度YVは撮影モード決定部312の処理へ入力される。
ステップS583において、予め設定してある撮影モード切換え閾値YDと可視波長成分の輝度YVの比較を行う。
可視波長成分の輝度YVが撮影モード切換え閾値YDの値を上回っていれば、撮影モードの切換えを決定する。
撮影モードの切換えを決定した場合、ステップS584において、制御回路9にフィルタの切換え信号を出力する。
このステップS584と共に、ステップS585において、映像信号合成部211に色差信号R−Y、B−Yの破棄を中止し、カラー映像信号の合成処理を行うよう信号を出力する。
制御回路9は、撮影モード決定部312からの信号を受け、フィルタ駆動モータ6にフィルタ駆動のための制御信号を送る。
また、映像信号合成部211は撮影モード決定部312からの信号を受け、色差信号R−Y、B−Yの破棄を中止し、色差信号R−Y、B−Y及び輝度信号Yを合成したカラー映像信号を出力する。
上記のように構成すると、光源に含まれる可視波長成分の輝度YVを検出することができ、可視波長成分の輝度YVと予め設定した撮影モード切換え閾値YDに基づいて撮影モードを決定することできる。
よって、光源に含まれる赤外波長成分の量に関わらず、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度を、撮影モード切換え閾値YD付近の値で安定化させることができる。
低輝度下における撮影を考えた場合、撮像素子から得られる色差信号R−Y、B−Yは、輝度信号Yの低下に伴い、同様に低下する。
図14において、同一色を低輝度YA及びYBにおいて撮影した場合に得られる色差信号R−Y、B−Yの分布の違いが示される。
低輝度YA及びYBにはYA<YBの関係があり、低輝度YBにおいて撮影した場合に、ある色の色差信号と、R−Y軸、B−Y軸から成る直交座標系の中心との距離がr1、r2であったと仮定する。
ここで、低輝度YAにおいて撮影した場合、前記色の色差信号と、R−Y軸、B−Y軸から成る直交座標系の中心との距離は凡そr1×YA/YB、r2×YA/YBの関係を有する。
ここで、低輝度YA及びYBにおいて色差信号と輝度信号との比であるR−Y/Y及びB−Y/Yを演算し、R−Y/Y軸、B−Y/Y軸から成る直交座標系の中心との距離を算出する。
この算出と共にr1/YB、r2/YBの値を得ることができる。
よって、低輝度下における撮影の場合には、色差信号と輝度信号との比であるR−Y/Y及びB−Y/Yを評価値として用いることで、輝度信号Yの値によらない色情報の評価が可能となる。
原色及び補色カラーフィルタの第1の赤外波長領域及び第2の赤外波長領域の波長帯において、撮像素子の輝度信号出力が同値になるように単波長光(例えば650[nm]から40[nm]毎)を照射する。
この照射により色差信号を取得した結果が図4及び図5に示される。
よって、色差信号と輝度信号の比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系におきかえても、原色及び補色カラーフィルタにおける定義線及び規定座標の形状は図15に示されるように同様となる。
色差信号であるR−Y軸とB−Y軸とから成る直交座標系における場合と同様に以下のように波長成分の割合を検出することが可能である。
つまり、複数の領域について平均化抽出された各々の色差信号と輝度信号との比の分布が、前記R−Y/Y軸とB−Y/Y軸とから成る直交座標系における定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価する。この評価により波長成分の割合を検出することが可能である。
この図16に示される実施例は、色差信号と輝度信号との比であるR−Y/Y軸、B−Y/Y軸とから成る直交座標系を用いて波長成分の割合を検出する構成である。
図16に示される波長成分の割合検出装置を組み込んだ赤外カットフィルタ切換え機能付きカメラを図17を参照して説明する。
なお、図16及び図17に示される符号の内、図9及び図10に示される実施例と同様の機能を有する部分については、同符号で示される。
図17に示される撮像光学系1において、撮像した被写体からの反射光は光路長補正フィルタ2を透過し、撮像素子カラーフィルタ4を介して撮像素子5に入射される。
撮像素子5からのアナログ撮像信号は増幅器7によって増幅され、A/D変換器8によってデジタル撮像信号に変換される。
撮像信号出力201は、A/D変換器8からの撮像信号を赤色信号R、青色信号B、緑色信号Gに分解した撮像信号出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
色分離マトリクス(MTX)203は、適正なホワイトバランスに調整された赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する処理部である。
色差信号R−Y、B−Y及び、輝度信号Yは映像信号合成部211により映像信号として合成され外部へ出力される。
赤外カットフィルタ3が除去され、光路長補正フィルタ2が挿入されている場合、その映像信号は赤外光の混入により色バランスが崩れてしまう。
よって、光路長補正フィルタ2が挿入されている状態での撮影では、通常、映像信号合成部211において、色分離マトリクス203から得られる色差信号R−Y、B−Yを破棄し、輝度信号Yのみの白黒映像を出力している。
本発明の実施例の波長成分の割合検出装置100は、図17に示される映像信号処理回路200において得られる色差信号R−Y、B−Yを用いて波長成分の割合を検出する装置である。
この波長成分の割合を検出する装置は、映像信号処理回路200及びマイクロコンピュータ300における演算処理の一部である。
図16に示される波長成分の割合検出装置における撮像信号出力201は、図10に示される赤外カットフィルタ切換え機能付きカメラにおいては、光路長補正フィルタ2が挿入された状態で撮像された撮像信号の出力である。
WB処理部202は撮像信号のRゲイン及びBゲインを調整し、適切なホワイトバランスに調整する処理部である。
しかし、赤外波長領域の波長光が混入した映像信号は色バランスが崩れているため、Rゲイン及びBゲインを固定値として調整しても良い。
色分離マトリクス(MTX)203は、赤色信号R、青色信号B、緑色信号Gを、色差信号R−Y、B−Y及び、輝度信号Yに変換する。
変換された撮像信号のうち、色差信号R−Y、B−Y及び輝度信号Yは画面分割部251に入力される。
画面分割部251は撮影画面中の色差信号及び輝度信号を複数の領域に分割する処理部であり、分割された複数の領域に各々含まれる色差信号及び輝度信号は、平均値演算部252において分割された複数の領域ごとに平均化される。
画面分割部251において、撮影画面の分割数を増やし領域を細分化するほど、色差信号と輝度信号の抽出精度が向上する。
分割数が少ないと抽出される情報は、被写体と背景の色及び輝度が混合した情報となる。
分割数が増えるにしたがって、被写体と背景との色及び輝度の分離が明確になっていき、分割数が十分な数に達すると被写体と背景の情報を、実際の色及び輝度と近い値で抽出できるようになる。
よって、撮影画面中に含まれる被写体の色及び輝度を正確に抽出できる確率を上げるには、撮影画面の分割数を増やし、可能な限り領域を細分化して色差信号と輝度信号を抽出することが望ましい。
画面分割部251及び平均値演算部252によって平均化抽出された色差信号R−Y、B−Y及び輝度信号Yは、R−Y/Y、B−Y/Y演算部351において、色差信号と輝度信号の比であるR−Y/Y、B−Y/Yに変換される。
変換された色差信号と輝度信号の比であるR−Y/Y、B−Y/Yは、波長成分割合演算部352に入力される。
波長成分割合演算部352は、入力された色差信号と輝度信号の比R−Y/Y、B−Y/Y、WB処理部202におけるホワイトバランスの調整値、及びメモリ353における格納データを参照して波長成分の割合を決定する。
ステップS550において、平均値演算部252から得られる色差信号R−Y、B−Yを画面分割部251で分割した領域の数だけ格納する。
次にステップS551において、WB処理部202におけるホワイトバランスの調整値を読み出し、前処理から変更がないか確認する。
色差信号と輝度信号の比R−Y/Y、B−Y/Yはホワイトバランスの調整値よって値が異なる。
このため、ステップS551において変更が確認された場合、以下のステップS552の処理が必要である。
つまり、現在のホワイトバランス調整値に対応したR−Y/Y軸とB−Y/Y軸とから成る直交座標系の定義線及び規定座標をメモリ353から読み込み直すステップS552の処理が必要である。
色差信号と輝度信号の比R−Y/Y、B−Y/Yが、同じ撮影画像から取り出したものである場合、あるいは、ホワイトバランス調整値が前処理の撮影画面と同様であった場合、ホワイトバランスの調整値に変更がない。
このため、ステップS552の処理は省略される。
また、WB処理部202において、ホワイトバランス調整値を常に固定とした場合も、同様にステップS552の処理は省略される。
ステップS553において、色差信号と輝度信号の比R−Y/Y、B−Y/Yと定義線との最短距離を演算する。
ステップS554において、前記最短距離の分散値を演算し、ステップS555で前記分散値を格納する。
ステップS556において、撮影画面を分割した領域全てについてステップS553からステップS555までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS553からステップS555までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS557に進み、ステップS555において格納された分散値を総和する処理を行う。
ステップS558では、ステップS557で演算された分散値の総和と、予めメモリ353に記憶してある分散値総和と赤外波長成分Aの割合との相関データを照合し、赤外波長成分Aの割合PIRAを決定する。
ステップS559において、色差信号と輝度信号の比R−Y/Y、B−Y/Yと規定座標との最短距離を演算する。
ステップS560において、前記最短距離の分散値を演算し、ステップS561で前記分散値を格納する。
ステップS562において、撮影画面を分割した領域全てについてステップS559からステップ561までの処理がなされたかを確認する。
領域全てについて処理が終了していない場合、ステップS559からステップS561までの処理を繰返す。
領域全てについて処理が終了した場合は、ステップS563に進み、ステップS561において格納された分散値を総和する処理を行う。
ステップS564では、ステップS563で演算された分散値の総和と、予めメモリ353に記憶してある分散値総和と赤外波長成分Bの割合との相関データを照合し、赤外波長成分Bの割合PIRBを決定する。
赤外波長成分Aの割合PIRAを決定するステップS553からステップS558までの処理と、赤外波長成分Bの割合PIRBを決定するステップS559からステップS564までの処理は、どちらを先に行っても良い。
可視波長成分輝度演算部311は赤外波長成分A及びBの割合PIRA、PIRBと、平均値演算部205から得られる撮影画面全体の平均輝度Yを用いて、光源に含まれる可視波長成分の輝度を演算する。
演算された可視波長成分の輝度YVは撮影モード決定部312に入力される。
撮影モード決定部312は、入力された可視波長成分の輝度YVと予め設定してある撮影モード切換え条件閾値YDとを比較し、撮影モードを切換えるか否かを決定する。
可視波長成分輝度演算部311及び撮影モード決定部312はマイクロコンピュータ300における演算処理の一部であり、行われる処理は波長成分割合演算部352の処理(図18参照)の後に続く処理である。
なお、可視波長成分輝度演算部311及び撮影モード決定部312で行われる処理は、図9及び図10に示される実施例の場合と同様の処理であり、図13に示される。
ステップS580において第1の赤外波長領域及び第2の赤外波長領域の割合値PIRA、PIRBより、1−(PIRA+PIRB)を演算処理する。
これにより光源に含まれる第1の赤外波長領域及び第2の赤外波長領域以外の波長成分、すなわち可視波長成分の割合を算出する。
次に、ステップS581において、平均値演算部205より撮影画面全体の平均輝度Yを取得する。
ステップS582において、取得した平均輝度YとステップS580において演算した可視波長成分の割合とを乗算することで、光源に含まれる可視波長成分の輝度YVを演算する。
演算された可視波長成分の輝度YVは撮影モード決定部312の処理へ入力される。
ステップS583において、予め設定してある撮影モード切換え閾値YDと可視波長成分の輝度YVの比較を行う。
可視波長成分の輝度YVが撮影モード切換え閾値YDの値を上回っていれば、撮影モードの切換えを決定する。
撮影モードの切換えを決定した場合、ステップS584において、制御回路9にフィルタの切換え信号を出力する。
このステップS584と共に、ステップS585において、映像信号合成部211に色差信号R−Y、B−Yの破棄を中止し、カラー映像信号の合成処理を行うよう信号を出力する。
制御回路9は、撮影モード決定部312からの信号を受け、フィルタ駆動モータ6にフィルタ駆動のための制御信号を送る。
また、映像信号合成部211は撮影モード決定部312からの信号を受け、色差信号R−Y、B−Yの破棄を中止し、色差信号R−Y、B−Y及び輝度信号Yを合成したカラー映像信号を出力する。
上記のように構成すると、低輝度下においても光源に含まれる可視波長成分の輝度YVをより正確に検出することができる。
さらに、可視波長成分の輝度YVと予め設定した撮影モード切換え閾値YDに基づいて撮影モードを決定することできる。
よって、光源に含まれる赤外波長成分の量に関わらず、赤外カットフィルタの除去時から挿入を行った後のカラー撮影画面の輝度を、撮影モード切換え閾値YD付近の値で安定化させることができる。
2 光路長補正フィルタ
3 赤外カットフィルタ
4 撮像素子カラーフィルタ
5 撮像素子
7 増幅器
8 A/D変換器
100 波長成分の割合検出装置
200 映像信号処理回路
201 撮像信号出力
202 WB処理部
203 色分離マトリクス(MTX)
211 映像信号合成部
300 マイクロコンピュータ
Claims (9)
- 被写体からの反射光が入射される撮像光学系と、
前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
前記撮像信号から撮影画面中の複数の領域について色差信号を平均化して抽出する抽出手段と、
前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号に基づいて各々検出する検出手段と、を有したことを特徴とする波長成分の割合検出装置。 - 前記抽出された色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記抽出された色差信号の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする請求項1記載の波長成分の割合検出装置。 - 前記定義線は、前記撮像素子カラーフィルタの第1の赤外波長領域と、前記撮像素子カラーフィルタの第2の赤外波長領域に各々単波長光を照射して前記色差信号の分布を検出し、前記色差信号のR−Y軸とB−Y軸とから成る直交座標系において、前記撮像素子カラーフィルタの第1の赤外波長領域における前記検出された色差信号の分布を近似した近似線であり、
前記規定座標は、前記撮像素子カラーフィルタの第2の赤外波長領域における前記検出された色差信号の分布が集中する座標の近似座標であることを特徴とする請求項2記載の波長成分の割合検出装置。 - 前記位置関係に基づいて評価することとは、前記抽出された色差信号と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする請求項2または3記載の波長成分の割合検出装置。 - 被写体からの反射光が入射される撮像光学系と、
前記撮像光学系から前記反射光が入射され透過される撮像素子カラーフィルタと、
前面に配置される前記撮像素子カラーフィルタを介して前記反射光が入射され、前記撮像素子カラーフィルタの可視波長領域から赤外波長領域の波長光を撮像し撮像信号を出力する撮像素子と、
前記撮像信号から撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
前記撮像素子カラーフィルタの赤外波長領域において赤色成分が多く透過される第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの赤外波長領域において3色成分がほぼ同量透過される第2の赤外波長領域の波長成分の光量とが、光源に占める割合を前記抽出された色差信号と輝度信号との比に基づいて各々検出する検出手段と、を有したことを特徴とする波長成分の割合検出装置。 - 前記撮像素子により前記可視波長領域から前記赤外波長領域の波長光を撮像して得られた撮像信号から、撮影画面中の複数の領域について色差信号と輝度信号を平均化して抽出する抽出手段と、
前記抽出された色差信号と輝度信号との比を求める算出手段と、
前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記算出された色差信号と輝度信号との比の分布が、前記撮像素子カラーフィルタの分光透過特性に基づく定義線及び規定座標の近傍に集中している度合いを位置関係に基づいて評価することで、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を、前記検出手段は各々検出することを特徴とする請求項5記載の波長成分の割合検出装置。 - 前記定義線は、前記撮像素子カラーフィルタの第1の赤外波長領域と、前記撮像素子カラーフィルタの第2の赤外波長領域に各々単波長光を照射して前記色差信号と輝度信号との比の分布を検出し、前記色差信号と輝度信号との比であるR−Y/Y軸とB−Y/Y軸とから成る直交座標系において、前記第1の赤外波長領域における前記検出した色差信号と輝度信号との比の分布を近似した近似線であり、
前記規定座標は、前記第2の赤外波長領域における前記検出された色差信号と輝度信号との比の分布が集中する座標の近似座標であることを特徴とする請求項6記載の波長成分の割合検出装置。 - 前記位置関係に基づく評価することとは、前記算出された色差信号と輝度信号との比と、前記定義線及び前記規定座標との最短距離の分散値を求め、前記分散値を各々総和したものを前記撮像素子カラーフィルタの第1の赤外波長領域及び前記撮像素子カラーフィルタの第2の赤外波長領域の評価値とし、
予め記憶してある前記分散値の総和と、前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合との相関データから、
前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合を検出することを特徴とする請求項6または7記載の波長成分の割合検出装置。 - 請求項1から8のいずれかに記載の波長成分の割合検出装置と、
前記撮像光学系と前記撮像素子カラーフィルタの間の光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ移動手段と、
前記撮像素子から得られる前記撮影画面全体の前記輝度信号、及び、請求項1から8のいずれかに記載の波長成分の割合検出装置により得られる前記撮像素子カラーフィルタの第1の赤外波長領域の波長成分の光量と、前記撮像素子カラーフィルタの第2の赤外波長領域の波長成分の光量とが、前記光源に占める割合に基づいて、前記撮影画面中の可視波長成分の輝度を算出する可視波長成分の輝度算出手段と、
前記算出された前記可視波長成分の輝度に基づいて、前記フィルタ移動手段を制御して前記光路中に赤外カットフィルタを介在させ、あるいは、離脱させるフィルタ切換え手段と、を有することを特徴とする撮像装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005278634A JP4630781B2 (ja) | 2005-09-26 | 2005-09-26 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
US11/534,881 US7623167B2 (en) | 2005-09-26 | 2006-09-25 | Wavelength component proportion detection apparatus and image-pickup apparatus |
AT06121197T ATE551832T1 (de) | 2005-09-26 | 2006-09-25 | Vorrichtung zur erfassung der wellenlängenkomponentenproportion und bildaufnahmevorrichtung |
EP06121197A EP1768390B1 (en) | 2005-09-26 | 2006-09-25 | Wavelength component proportion detection apparatus and image-pickup apparatus |
KR1020060093209A KR100866177B1 (ko) | 2005-09-26 | 2006-09-26 | 파장성분의 비율검출장치 및 촬상장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005278634A JP4630781B2 (ja) | 2005-09-26 | 2005-09-26 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007089084A JP2007089084A (ja) | 2007-04-05 |
JP2007089084A5 JP2007089084A5 (ja) | 2008-11-13 |
JP4630781B2 true JP4630781B2 (ja) | 2011-02-09 |
Family
ID=37460916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005278634A Active JP4630781B2 (ja) | 2005-09-26 | 2005-09-26 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7623167B2 (ja) |
EP (1) | EP1768390B1 (ja) |
JP (1) | JP4630781B2 (ja) |
KR (1) | KR100866177B1 (ja) |
AT (1) | ATE551832T1 (ja) |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4310317B2 (ja) * | 2006-02-06 | 2009-08-05 | キヤノン株式会社 | 可視成分割合算出方法、およびそれを用いた光学機器 |
JP2008005253A (ja) * | 2006-06-22 | 2008-01-10 | Sharp Corp | 撮影装置、撮影装置の制御方法、撮影装置の制御プログラム、および撮影装置の制御プログラムを記録した記録媒体 |
US7773136B2 (en) * | 2006-08-28 | 2010-08-10 | Sanyo Electric Co., Ltd. | Image pickup apparatus and image pickup method for equalizing infrared components in each color component signal |
JP4895385B2 (ja) * | 2007-04-10 | 2012-03-14 | キヤノン株式会社 | 撮像装置 |
CN101878653B (zh) * | 2007-12-05 | 2013-06-12 | 电子科学工业有限公司 | 用于实现来自彩色镶嵌成像器的全色响应的方法及设备 |
US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
CA2767023C (en) * | 2011-02-09 | 2014-09-09 | Research In Motion Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
WO2012170954A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Line based image processing and flexible memory system |
US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
CN109618084B (zh) | 2011-06-10 | 2021-03-05 | 菲力尔***公司 | 红外成像***和方法 |
US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
CA2838992C (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
JP6011778B2 (ja) * | 2012-05-22 | 2016-10-19 | 株式会社富士通ゼネラル | 暗視撮像装置および赤外線照射装置および暗視撮像システム |
US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
CN104395716B (zh) * | 2012-09-14 | 2016-12-14 | 夏普株式会社 | 传感器、显示装置 |
US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
CN105814887B (zh) * | 2014-01-08 | 2017-10-27 | 三菱电机株式会社 | 图像生成装置 |
JP6360816B2 (ja) * | 2015-08-25 | 2018-07-18 | 株式会社 日立産業制御ソリューションズ | 撮像装置及び撮像方法 |
JP7057221B2 (ja) * | 2018-05-24 | 2022-04-19 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
WO2020017638A1 (ja) * | 2018-07-20 | 2020-01-23 | 株式会社ナノルクス | 画像生成装置及び撮像装置 |
CN110062168B (zh) * | 2019-05-05 | 2021-04-27 | 北京七鑫易维信息技术有限公司 | 眼动追踪设备的拍摄参数调整方法、装置、设备及介质 |
CN113681564A (zh) * | 2021-09-06 | 2021-11-23 | 广州科语机器人有限公司 | 机器人及机器人的测距控制方法、存储介质和设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224469A (ja) * | 1999-02-03 | 2000-08-11 | Sony Corp | 撮像装置 |
JP2003219254A (ja) * | 2002-01-25 | 2003-07-31 | Matsushita Electric Ind Co Ltd | 撮影モード切換え機能付きカメラ |
JP2006238114A (ja) * | 2005-02-25 | 2006-09-07 | Ikegami Tsushinki Co Ltd | 撮像用照明の判定方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3392886B2 (ja) | 1992-06-18 | 2003-03-31 | ペンタックス株式会社 | スチルビデオカメラ |
US6211521B1 (en) * | 1998-03-13 | 2001-04-03 | Intel Corporation | Infrared pixel sensor and infrared signal correction |
JP3583952B2 (ja) | 1999-08-04 | 2004-11-04 | 三洋電機株式会社 | 白黒/カラー切換カメラ |
JP2002374539A (ja) | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | ホワイトバランス補正可能なカメラ |
JP4310317B2 (ja) * | 2006-02-06 | 2009-08-05 | キヤノン株式会社 | 可視成分割合算出方法、およびそれを用いた光学機器 |
US7960807B2 (en) * | 2007-02-09 | 2011-06-14 | Intersil Americas Inc. | Ambient light detectors using conventional CMOS image sensor process |
CN101878653B (zh) * | 2007-12-05 | 2013-06-12 | 电子科学工业有限公司 | 用于实现来自彩色镶嵌成像器的全色响应的方法及设备 |
-
2005
- 2005-09-26 JP JP2005278634A patent/JP4630781B2/ja active Active
-
2006
- 2006-09-25 EP EP06121197A patent/EP1768390B1/en not_active Not-in-force
- 2006-09-25 US US11/534,881 patent/US7623167B2/en active Active
- 2006-09-25 AT AT06121197T patent/ATE551832T1/de active
- 2006-09-26 KR KR1020060093209A patent/KR100866177B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224469A (ja) * | 1999-02-03 | 2000-08-11 | Sony Corp | 撮像装置 |
JP2003219254A (ja) * | 2002-01-25 | 2003-07-31 | Matsushita Electric Ind Co Ltd | 撮影モード切換え機能付きカメラ |
JP2006238114A (ja) * | 2005-02-25 | 2006-09-07 | Ikegami Tsushinki Co Ltd | 撮像用照明の判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2007089084A (ja) | 2007-04-05 |
EP1768390B1 (en) | 2012-03-28 |
EP1768390A2 (en) | 2007-03-28 |
US20070070224A1 (en) | 2007-03-29 |
US7623167B2 (en) | 2009-11-24 |
KR20070034963A (ko) | 2007-03-29 |
KR100866177B1 (ko) | 2008-10-30 |
ATE551832T1 (de) | 2012-04-15 |
EP1768390A3 (en) | 2010-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4630781B2 (ja) | 波長成分の割合検出装置及びそれを用いた撮像装置 | |
EP1920610B1 (en) | Image processing device with automatic white balance | |
EP3573330B1 (en) | Image pickup apparatus having auto day-night function, control method therefor, and storage medium storing control program therefor | |
US9225855B2 (en) | Imaging apparatus, imaging system, and control method for increasing accuracy when determining an imaging scene based on input image data and information stored in an external information processing apparatus | |
US8115857B2 (en) | Digital camera and image processing computer program product | |
EP2775719A1 (en) | Image processing device, image pickup apparatus, and storage medium storing image processing program | |
US7880805B2 (en) | Method of calculating ratio of visible light component and image pickup apparatus using same | |
US20080088826A1 (en) | Target detection apparatus | |
JP5814799B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008042617A (ja) | デジタルカメラ | |
US7148921B2 (en) | White balance adjustment method, image sensing apparatus, program, and storage medium | |
JP2003259389A (ja) | 撮像装置 | |
JP2003219254A (ja) | 撮影モード切換え機能付きカメラ | |
JP5100615B2 (ja) | 撮像装置 | |
JP3821729B2 (ja) | デジタルカメラ | |
JP4895385B2 (ja) | 撮像装置 | |
US11451719B2 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
KR20100104498A (ko) | 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법 | |
US9736445B2 (en) | Image processing apparatus, information processing method and program | |
JP4435704B2 (ja) | 撮像用照明の判定方法 | |
JP2010145704A (ja) | 撮像装置 | |
JP2006155491A (ja) | シーンチェンジ検出方法 | |
JP2009284010A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2005269303A (ja) | 画像処理装置、画像処理プログラム、及び固体撮像素子 | |
JP2006148464A (ja) | ホワイトバランス補正装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080925 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080925 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090406 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101115 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4630781 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |