JP6767331B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、国際公開第２０１５／０１５５８０号（特許文献１）に開示されている技術がある。
特許文献１の公報の要約（ＪＡ）には、「可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることができる撮像装置を提供することを目的とする。可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備えることを特徴とする撮像装置である。」と撮像装置の技術が開示されている。
特許文献１の公報の発明を実施するための段落［００２６］において、「Ｉ減算部１２１は、（Ｒ＋Ｉ）信号デモザイキング部１０３から出力される（Ｒ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に重みとなる係数（減算係数）をかけた値を減算して、Ｒ信号を生成する。また、Ｉ減算部１２１は、（Ｇ＋Ｉ）信号デモザイキング部１０４から出力される（Ｇ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｇ信号を生成する。また、Ｉ減算部１２１は、（Ｂ＋Ｉ）信号デモザイキング部１０５から出力される（Ｂ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｂ信号を生成する。このように減算によって、近赤外光領域の信号成分が除去された、可視光領域のみの信号成分を得ることができる。」と記載されている。

国際公開第２０１５／０１５５８０号

前記特許文献１では、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を作る際に、赤（特許文献１ではＲと記載）＋近赤外（特許文献１ではＩと記載）、緑（特許文献１ではＧと記載）＋近赤外、青（特許文献１ではＢと記載）＋近赤外から各々近赤外に係数をかけ減算することで、可視の赤、緑、青の各信号を得る方法が記載されている。
この特許文献１に開示された技術において、可視の成分と近赤外の成分とが混ざった画素と近赤外のみの画素で信号が飽和する光量を比べると、当然ながら可視の成分と近赤外混ざった画素の方が近赤外のみの画素より少ない光の量で飽和する。したがって、ある光量以上になると可視の成分と近赤外混ざった画素の信号レベルが飽和レベルで一定になっている状態でも近赤外のみの画素で信号が増加する現象が生じ、両者の画素が共に飽和レベルに達した際には、赤＋近赤外、緑＋近赤外、青＋近赤外から近赤外に係数をかけ減算した結果の信号レベルがほぼゼロになる。このように被写体の明るさによっては、正しい再現性を得ることができなくなることがある点に関して、十分考慮されていない。

本発明は、前記した課題に鑑みて創案されたものであり、撮像素子の信号レベルが飽和する明るさに於いても良好な再現性を有する撮像装置を提供することを課題（目的）とする。

前記の課題を解決して、本発明の目的を達成するために、以下のように構成した。
すなわち、本発明の撮像装置は、可視光成分と近赤外光成分とに分離可能な色分離フィルタを有して撮像する撮像手段と、前記撮像手段の映像を基に明るい第１の露光条件と暗い第２の露光条件とを設定して、前記撮像手段の露光条件を制御する露光制御手段と、前記露光制御手段の信号を基に、明るい映像の露光時間と暗い映像の露光時間との比を検出する信号比検出手段と、前記撮像手段から得た第１の露光条件の第１の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第１の可視／近赤外デモザイキング手段と、前記撮像手段から得た第２の露光条件の第２の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第２の可視／近赤外デモザイキング手段と、記撮像手段から得た第１の露光条件の第１の映像信号を基に近赤外光成分を有する信号を生成する近赤外デモザイキング手段と、前記信号比検出手段の検出信号を基に定められる利得で前記第２の可視／近赤外デモザイキング手段の出力信号を増幅する増幅手段と、前記第１の可視／近赤外デモザイキング手段の出力信号の信号レベルが飽和する領域、あるいは飽和に近い領域である飽和領域近傍信号を検出する飽和領域検出手段と、前記飽和領域検出手段が前記飽和領域近傍信号を検出した場合は前記増幅手段の出力信号を選択し、前記飽和領域検出手段が前記飽和領域近傍信号を検出しない場合は前記第１の可視／近赤外デモザイキング手段の出力信号を選択する選択手段と、前記選択手段の出力信号から前記近赤外デモザイキング手段の出力信号を減算する減算手段と、前記撮像手段から得た映像信号を保持するメモリ手段と、前記撮像手段から得た映像信号のフレーム間の映像のシーンの変化を判定するシーンチェンジ判定手段と、前記撮像手段の映像信号と、前記メモリ手段の映像信号とを選択する相関選択手段と、を備え、前記露光制御手段によって、前記撮像手段の露光制御を前記第１の露光条件と前記第２の露光条件を面順次で行い、得られた映像を前記メモリ手段で一旦保持し、前記シーンチェンジ判定手段の判定結果に基づき、前記相関選択手段は、前記第２の露光条件の映像の前後に取得された第１の露光条件の映像のフレームのいずれかを選択し、選択した信号を前記第２の可視／近赤外デモザイキング手段に供給する、ことを特徴とする。
また、その他の手段は、発明を実施するための形態のなかで説明する。

また、その他の手段は、発明を実施するための形態のなかで説明する。

本発明によれば、撮像素子の信号レベルが飽和する明るさに於いても良好な再現性を有する撮像装置を提供できる。

本発明の第１実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第１実施形態に係る市松状の色分離フィルタの第１の構成例を示す図である。 本発明の他の実施形態に係る市松状の色分離フィルタの第２の構成例を示す図である。 本発明の第１実施形態に係る第１の構成の色分離フィルタの分光特性例を模式的に示す図であり、（ａ）は青（Ｂ）と近赤外（ＩＲ）の分光特性例、（ｂ）は緑（Ｇ）と近赤外（ＩＲ）の分光特性例、（ｃ）は赤（Ｒ）と近赤外（ＩＲ）の分光特性例、（ｄ）は近赤外（ＩＲ）の分光特性例を示している。 本発明の他の実施形態に係る第２の構成の色分離フィルタの分光特性例を模式的に示す図であり、（ａ）は青（Ｂ）と近赤外（ＩＲ）の分光特性例、（ｂ）は緑（Ｇ）と近赤外（ＩＲ）の分光特性例、（ｃ）は赤（Ｒ）と近赤外（ＩＲ）の分光特性例、（ｄ）はＷ（Ｒ＋Ｇ＋Ｂ）と近赤外（ＩＲ）の分光特性を示している。 本発明の第３実施形態、及び、第４実施形態に係る光学フィルタの特性例を示す図である。 比較例の撮像装置における色分離フィルタの分光の信号レベル（Ｒ＋ＩＲ，ＩＲ）の飽和特性例と算出される信号Ｒの特性例を示す図である。 本発明の第１実施形態に係る撮像装置における色分離フィルタの分光の信号レベル（Ｒ＋ＩＲ，ＩＲ）の飽和特性例と算出される信号Ｒの特性例を示す図である。 本発明の第２実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第３実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第３実施形態に係る撮像装置における可視加減算部の構成例を示すブロック図である。 本発明の第３実施形態に係る可視加減算部における補正前のＩＲ０信号と、補正後のＩＲ信号の特性例を示す図であり、（ａ）は補正前のＩＲ０信号の特性例を示し、（ｂ）は補正後のＩＲ信号の特性例を示している。 本発明の第３実施形態に係る撮像装置におけるガンマ補正部の回路構成例を示すブロック図である。 本発明の第３実施形態に係る撮像装置におけるガンマ補正部に用いられるガンマ補正器の回路構成例を示すブロック図である。 本発明の第３実施形態に係る撮像装置における合成部の回路構成例を示すブロック図である。 本発明の第４実施形態に係る撮像装置の回路構成例を示すブロック図である。

以下、本発明を実施するための形態（以下においては「実施形態」と表記する）を、図面を参照して説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、重複する説明は、適宜、省略する。

≪第１実施形態≫
本発明の第１実施形態に係る撮像装置を図１〜図８を参照して説明する。
図１は、本発明の第１実施形態に係る撮像装置の構成例を示すブロック図である。
図１において、撮像装置５００は、レンズ２００、撮像素子１、制御部２、可視／近赤外デモザイキング部３Ａ，３Ｂ、近赤外デモザイキング部４、メモリ部５、増幅部８、置換部９、減算部１０、白バランス部１１、ガンマ補正部１２、輝度／色差生成部１７を備えて構成されている。
なお、制御部２は、信号比検出部１０２と露光制御部１０３とを備えている。また、置換部９は、飽和領域検出部１００と選択部１０１とを備えている。

図１において、レンズ２００を介して入射した光（画像、映像）を撮像素子１によって光電変換を行う。撮像素子１（撮像手段）から出力する電気信号は、可視／近赤外デモザイキング部３Ａ（第１の可視／近赤外デモザイキング手段）、近赤外デモザイキング部４（近赤外デモザイキング手段）、メモリ部５（メモリ手段）、露光制御部１０３（露光制御部手段）に入力される。
露光制御部１０３は、撮像素子１からの出力信号に基づいて生成した信号によって、撮像素子１の露光量制御を行う。また、露光制御部１０３によって、二種類（明るい映像と暗い映像）の露光制御を行い、フレーム毎に明るい映像と暗い映像の二種類の映像を撮影する。撮影した映像（画像）はフレーム順次（面順次）で出力される。なお、例えば、明るい映像は長い時間で露光し、暗い映像は短い時間で露光する。
また、前記のように二種類の映像を撮影するため、撮像素子１のセンサの駆動を、最終的に映像（画像）として出力する信号のフレームレートの２倍の周波数で駆動する。

また、明るい映像は、可視／近赤外デモザイキング部３Ａが処理し、暗い映像は、可視／近赤外デモザイキング部３Ｂ（第２の可視／近赤外デモザイキング手段）が処理する。なお、明るい映像と暗い映像の二種類の映像を撮影するのは、後記するように、映像が明るすぎる際に撮像素子１が飽和してしまう場合にも対処するためである。
また、信号比検出部１０２（信号比検出手段）は、露光制御部１０３の制御情報を基に光（画像）の明暗の信号比、すなわち（明るい映像の露光時間）／（暗い映像の露光時間）の比を検出して、後記する増幅部８（増幅手段）に、増幅部８の利得設定に用いる信号を送る。

明るい映像を処理する可視／近赤外デモザイキング部３Ａは、撮像素子１から出力する電気信号から、後記する図２に示す市松状の色分離フィルタにより、赤色（赤光）に関連する（Ｒ＋ＩＲ）信号、緑色（緑光）に関連する（Ｇ＋ＩＲ）信号、青色（青光）に関連する（Ｂ＋ＩＲ）信号を出力する。なお、ＩＲは近赤外光に関連する成分である。
可視／近赤外デモザイキング部３Ａでは、色分離フィルタで市松状にサンプリングされた信号に対して、デモザイキング処理を施す。この処理によって入力毎に撮像素子１の画素数と同じ画素数の信号を生成する。後記する可視／近赤外デモザイキング部３Ｂについても同様である。
前記の（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号は、置換部９に入力される。
また、近赤外デモザイキング部４は、撮像素子１から出力する電気信号から近赤外光に関連するＩＲ信号を出力する。なお、近赤外デモザイキング部４では撮像素子１の画素数と同じ画素数のＩＲ信号を生成するように動作している。
このＩＲ信号は、減算部１０とガンマ補正部１２に送られる。

また、メモリ部５は、撮像素子１から出力する電気信号を記憶、保持して、その記憶した信号を可視／近赤外デモザイキング部３Ｂに送る。なお、メモリ部５は、リードとライトの制御信号によりタイミングを合わせ、可視／近赤外デモザイキング部３Ｂに記憶、保持した映像信号を基に信号を供給する動作をする。
可視／近赤外デモザイキング部３Ｂは、図２に示す市松状の色分離フィルタにより得られた信号を基に、（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号を出力する。これら（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号は、増幅部８に入力される。
なお、前記したように、可視／近赤外デモザイキング部３Ａは明るい映像（画像）の処理に用いられ、可視／近赤外デモザイキング部３Ｂは暗い映像（画像）の処理に用いられる。

増幅部８は、可視／近赤外デモザイキング部３Ｂからの（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号を、制御部２の信号比検出部１０２の信号によって設定された利得（増幅度）によって増幅し、増幅した３種の信号を置換部９の選択部１０１（選択手段）に入力する。
前記した可視／近赤外デモザイキング部３Ａの（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号は、置換部９の選択部１０１と飽和領域検出部１００（飽和領域検出手段）とに入力される。
飽和領域検出部１００は、可視／近赤外デモザイキング部３Ａの（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号のいずれかが強すぎて素子特性によって信号レベルが飽和する領域、あるいは飽和に近い領域に入っているか否かを検出する。なお、信号レベルが飽和する領域、あるいは飽和に近い領域に入っているときには、飽和領域近傍信号を出力する。

選択部１０１には、可視／近赤外デモザイキング部３Ａの（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号と、可視／近赤外デモザイキング部３Ｂの信号を増幅した増幅部８の（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号とが入力している。
選択部１０１は、飽和領域検出部１００の信号に基づき、可視／近赤外デモザイキング部３Ａが出力する（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号か、増幅部８が出力する（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号か、を画素単位で選択する。そして選択した信号を減算部１０（減算手段）に出力する。

減算部１０では、選択部１０１で選択された（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号から近赤外デモザイキング部４で生成された近赤外（ＩＲ）信号の減算処理を行い、Ｒ信号、Ｇ信号、Ｂ信号を生成する。
この減算部１０で生成したＲ信号、Ｇ信号、Ｂ信号は、白バランス部１１（白バランス手段）に入力される。
白バランス部１１において、Ｒ信号、Ｇ信号、Ｂ信号は、白バランスがとれるように調整される。そして、白バランスが調整されたＲ信号、Ｇ信号、Ｂ信号が、ガンマ補正部１２（ガンマ補正手段）に入力される。
ガンマ補正部１２には、白バランス部１１のＲ信号、Ｇ信号、Ｂ信号と、近赤外デモザイキング部４のＩＲ信号が入力している。この４種類の信号に対して、それぞれガンマ処理が施され、最適な特性となるように画像の階調を補正する。そしてガンマ補正された４種類の信号は、輝度／色差生成部１７（輝度／色差生成手段）に入力する。
輝度／色差生成部１７において、Ｒ信号、Ｇ信号、Ｂ信号を基に、輝度信号と色差信号を生成する。そして、輝度信号と色差信号を出力する。

《市松状の色分離フィルタ》
撮像素子１には、図２または図３に示すような市松状の色分離フィルタが設けられている。この色分離フィルタについて説明する。

図２は、本発明の第１実施形態に係る市松状の色分離フィルタの第１の構成例を示す図である。
図２において、４種の色分離フィルタ（ｒ，ｇ，ｂ，ｉｒ）の組からなるブロックによって、１画素が形成されている。ｒ，ｇ，ｂ，ｉｒは、それぞれ赤光と近赤外光を透過するフィルタ（ｒフィルタ）、緑光と近赤外光を透過するフィルタ（ｇフィルタ）、青光と近赤外光を透過するフィルタ（ｂフィルタ）、近赤外光を透過するフィルタ（ｉｒフィルタ）を表している。
この色分離フィルタ（ｒ，ｇ，ｂ，ｉｒ）の構成において、市松状のサンプリングにより（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号とＩＲ信号を出力するように動作する。

なお、前記したように、可視/近赤外デモザイキング部３Ａ（図１）、及び近赤外デモザイキング部４（図１）では市松状にサンプリングされた信号に対してデモザイキング処理を施すことで、入力毎に撮像素子１の画素数と同じ画素数の信号を生成する。また、可視/近赤外デモザイキング部３Ａでは撮像素子１の画素数と同じ画素数の（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号を生成し、近赤外デモザイキング部４では撮像素子１の画素数と同じ画素数のＩＲ信号を生成するように動作している。

図３は、本発明の他の実施形態に係る市松状の色分離フィルタの第２の構成例を示す図である。
図３において、４種の色分離フィルタ（ｒ，ｇ，ｂ，ｗ）の組からなるブロックによって、１画素が形成されている。ｒ，ｇ，ｂ，ｗは、それぞれ赤と近赤外を透過するフィルタ（ｒフィルタ）、緑と近赤外を透過するフィルタ（ｇフィルタ）、青と近赤外を透過するフィルタ（ｂフィルタ）、赤緑青及び近赤外を透過するフィルタ（ｗフィルタ）を表している。
この色分離フィルタ（ｇ，ｂ，ｒ，ｗ）の構成において、市松上のサンプリングにより（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号とＷ信号を出力するように動作する。
また、Ｗ信号は、成分で記載すると赤光、緑光、青光、近赤外光からなり（Ｒ＋Ｇ＋Ｂ＋ＩＲ）の信号となっている。
なお、以下において、赤光、緑光、青光、近赤外光を、簡単に表記するため、それぞれ赤、緑、青、近赤外とも適宜、表記する。

《色分離フィルタの分光特性》
次に、前記した市松状の色分離フィルタの分光特性について説明する。
図４は、本発明の第１実施形態に係る第１の構成の色分離フィルタの分光特性例を模式的に示す図であり、（ａ）は青（Ｂ）と近赤外（ＩＲ）の分光特性例、（ｂ）は緑（Ｇ）と近赤外（ＩＲ）の分光特性例、（ｃ）は赤（Ｒ）と近赤外（ＩＲ）の分光特性例、（ｄ）は近赤外（ＩＲ）の分光特性例を示している。
なお、図４（ａ）、（ｂ）、（ｃ）、（ｄ）において、横軸は光の波長を示し、縦軸は信号の感度を示している。
また、図４の（ａ）、（ｂ）、（ｃ）、（ｄ）の分光特性は、図２のｒ，ｇ，ｂ，ｉｒのフィルタの特性に対応している。

図４（ａ）、（ｂ）、（ｃ）における青（Ｂ）、緑（Ｇ）、赤（Ｒ）、及び近赤外（ＩＲ）のそれぞれの感度は模式的に示したものであって、同じような感度で記載しているが、実際には青（Ｂ）、緑（Ｇ）、赤（Ｒ）、及び近赤外（ＩＲ）の感度は異なっている。
例えば感度の高さは、概ね、青（Ｂ）＞緑（Ｇ）、赤（Ｒ）＞近赤外（ＩＲ）の順となるのが一般的である。このように近赤外（ＩＲ）の感度は最も低いが、近赤外のＩＲ信号は、例えば、ガンマ補正部１２（図１）や輝度／色差生成部１７（図１）にも用いられる重要な信号であるので、所定の感度を確保することが望ましい。しかしながら、図２におけるｉｒの画素による信号だけでは、十分に確保することが期待できない。
そのため、図２におけるｒ，ｇ，ｂの画素においても近赤外（ＩＲ）の信号成分を取得できるように、色分離フィルタの分光特性を定めている。その結果、図４（ａ），（ｂ）、（ｃ）のそれぞれの青（Ｂ）、緑（Ｇ）、赤（Ｒ）において、近赤外（ＩＲ）の成分が含まれている。
このように、図２におけるｒ，ｇ，ｂの画素においても近赤外（ＩＲ）の成分を透す色分離フィルタの分光特性を設定することによって、十分な強度（感度）のＩＲ信号を確保している。

図５は、本発明の他の実施形態に係る第２の構成の色分離フィルタの分光特性例を模式的に示す図であり、（ａ）は青（Ｂ）と近赤外（ＩＲ）の分光特性例、（ｂ）は緑（Ｇ）と近赤外（ＩＲ）の分光特性例、（ｃ）は赤（Ｒ）と近赤外（ＩＲ）の分光特性例、（ｄ）はＷ（Ｒ＋Ｇ＋Ｂ）と近赤外（ＩＲ）の分光特性を示している。
なお、図５（ａ），（ｂ）、（ｃ）、（ｄ）において、横軸は光の波長を示し、縦軸は信号の感度を示している。
また、図５の（ａ）、（ｂ）、（ｃ）、（ｄ）の分光特性は、図３のｒ，ｇ，ｂ，ｗのフィルタの特性に対応している。
また、図５において、Ｗは（Ｒ＋Ｇ＋Ｂ）を意味しており、近赤外（ＩＲ）はＷの中には含まれていない。ただし、Ｗ信号として取り出すときは、図３の説明で前記したように、（Ｒ＋Ｇ＋Ｂ＋ＩＲ）の信号として取り出す。

また、Ｗ信号（Ｗ＋ＩＲ）を確保しておけば、Ｗ＝Ｒ＋Ｇ＋Ｂであるので、Ｗ信号（Ｒ＋Ｇ＋Ｂ＋ＩＲ）と、（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号の合計のとの差から原理的に近赤外のＩＲ信号を生成できる。
すなわち、Ｗ信号（Ｗ＋ＩＲ）からＩＲ信号を得ることが可能である。

《光学フィルタ特性》
図６は、本発明の後記する第３実施形態、及び第４実施形態に係る光学フィルタ２０１の特性例を示す図である。詳細は、本発明の第３実施形態、及び第４実施形態で説明する。

《飽和特性》
次に図７と図８を参照して、比較例と本発明の第１実施形態における撮像装置の飽和特性について説明する。

＜比較例の信号レベルの飽和特性＞
図７は、参考としての飽和領域検出機能が無い比較例の撮像装置における色分離フィルタの分光の信号レベル（Ｒ＋ＩＲ，ＩＲ）の飽和特性例と算出される信号Ｒの特性例を示す図である。
図７において、特性線３００に示すのは、例えば図４に示した色分離フィルタを用いた際の赤と近赤外の（Ｒ＋ＩＲ）信号の分光特性である。また、特性線３０１に示すのは、図４に示した色分離フィルタを用いた際の近赤外のＩＲ信号の分光特性である。また、特性線３０２に示すのは、前記の（Ｒ＋ＩＲ）信号とＩＲ信号から演算された赤のＲ信号である。なお、図７において、横軸は、光強度、すなわち撮像素子１（図１）に入社する光の強度であり、縦軸には、検出された信号レベルが示されている。なお、図４に示した色分離フィルタで検出される際の飽和レベルも示している。

図７において、赤と近赤外の（Ｒ＋ＩＲ）信号、および、近赤外のＩＲ信号は、光の強度が増加していくと、可視／近赤外デモザイキング部（３Ａ）や近赤外デモザイキング部（４）の分光特性の限界により、検出される信号が飽和レベルに達してしまう。
すなわち、図７における特性線３００や特性線３０１のように飽和レベルにおいて、所定のレベルで飽和してしまい、入力した光の強度に対応しなくなる。
そのため、赤と近赤外の（Ｒ＋ＩＲ）信号（特性線３００）、および、近赤外のＩＲ信号（特性線３０１）から、［Ｒ＝（Ｒ＋ＩＲ）−ＩＲ］の演算によって算出される赤のＲ信号（特性線３０２）は、実際に入力した光の赤の強度を反映しなくなる。
また、図示はしていないが、同様に、緑信号（Ｇ）や青信号（Ｂ）についても、実際に入力した光の緑（Ｇ）や青（Ｂ）の強度を反映しなくなる。すなわち、適正な画像や映像が撮像できなくなる。

＜本発明の信号レベルの飽和特性＞
図８は、本発明の第１実施形態に係る撮像装置における色分離フィルタの分光の信号レベル（Ｒ＋ＩＲ，ＩＲ）の飽和特性例と算出される信号Ｒの特性例を示す図である。
図８において、特性線３０３に示すのは、例えば図４に示した色分離フィルタを用い、かつ図１に示した撮像装置の回路で演算した際の赤と近赤外の（Ｒ＋ＩＲ）信号の分光特性である。また、特性線３０４に示すのは、図４に示した色分離フィルタを用い、かつ図１に示した撮像装置の回路で演算した際の近赤外のＩＲ信号の分光特性である。また、特性線３０５に示すのは、前記の（Ｒ＋ＩＲ）信号とＩＲ信号から演算された赤のＲ信号である。
なお、図８において、横軸は、光強度、すなわち撮像素子１（図１）に入社する光の強度であり、縦軸には、検出された信号レベルが示されている。なお、図４に示した色分離フィルタで検出される際の飽和レベルも示している。

本発明の第１実施形態に係る撮像装置に用いられる回路を示す図１においては、前記したように、露光制御部１０３によって、二種類の露光制御を行い、フレーム毎に明るい映像と暗い映像の二種類の映像を撮影する。そして、可視／近赤外デモザイキング部３Ａは、主として明るい映像（画像）の処理に用いられ、可視／近赤外デモザイキング部３Ｂは、主として暗い映像（画像）の処理に用いられている。
また、飽和領域検出部１００は、明るい映像（画像）の処理に用いられる可視／近赤外デモザイキング部３Ａの可視／近赤外デモザイキング部３Ａの（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号のいずれかが強すぎて、素子特性の飽和領域に入っているか否かを検出している。

そして、選択部１０１は、飽和領域検出部１００によって、光の強度（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲのいずれか）が飽和領域に達していないと判定した場合には、明るい映像（画像）を処理する可視／近赤外デモザイキング部３Ａの信号を選択する。また、選択部１０１は、飽和領域検出部１００が光の強度（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲのいずれか）が飽和領域に達していると判定した場合には暗い映像（画像）を処理する可視／近赤外デモザイキング部３Ｂの信号を増幅した信号を選択する。
可視／近赤外デモザイキング部３Ｂの信号は、色分離フィルタにおいては、十分に光強度が弱いため、飽和レベル（領域領域）には達していないので、適正な映像（画像）を反映している。

以上のように、本発明の第１実施形態に係る撮像装置に用いられる回路においては、選択部１０１によって、光の信号の飽和レベルに達しているか否かを判定し、明るい映像（画像）の処理に用いられる可視／近赤外デモザイキング部３Ａの信号と暗い映像（画像）を処理する可視／近赤外デモザイキング部３Ｂの信号を増幅した信号を使い分けている。
そのため、図８においては、赤と近赤外の（Ｒ＋ＩＲ）信号の分光特性である特性線３０３は、飽和しない。そのため、［Ｒ＝（Ｒ＋ＩＲ）−ＩＲ］の演算によって算出される赤のＲ信号（特性線３０５）は、飽和レベルを超えても、光の強度に比例した信号となり、適正な映像（画像）を反映する領域（ダイナミックレンジ）が広がる。
また、図示はしていないが、同様に、緑信号（Ｇ）や青信号（Ｂ）についても、同様に効果があり、適正な映像（画像）を反映する領域が広がる。

＜第１実施形態の撮像装置の動作の概要＞
第１実施形態の撮像装置の動作の概要について、あらためて記載する。
図１における撮像素子１は、映像が明るすぎて飽和してしまうことを避けるために、露光を制御して、フレーム毎に明るい映像と暗い映像の二種類を交互に撮影する。撮像素子１は、映像の電気信号を明るい映像を処理する可視／近赤外デモザイキング部３Ａと暗い映像を処理する可視／近赤外デモザイキング部３Ｂと近赤外を処理する近赤外デモザイキング部４に送る。可視／近赤外デモザイキング部３Ａと可視／近赤外デモザイキング部３Ｂは、赤信号（Ｒ＋ＩＲ）、緑信号（Ｇ＋ＩＲ）、青信号（Ｂ＋ＩＲ）を生成して出力する。近赤外デモザイキング部４は、近赤外信号ＩＲを生成して出力する。

置換部９の飽和領域検出部１００において、明るい映像を処理する可視／近赤外デモザイキング部３Ａの出力信号が飽和領域に達しているか否かを検出する。
可視／近赤外デモザイキング部３Ａの前記の信号が飽和領域に達していない場合には、置換部９の選択部１０１において、明るい映像を処理する可視／近赤外デモザイキング部３Ａの信号が選択される。また、前記の信号が飽和領域に達している場合には、可視／近赤外デモザイキング部３Ｂの信号を増幅した信号が置換部９の選択部１０１において、画素単位で選択される。
このように、選択部１０１において、選択された信号から、近赤外信号ＩＲを減算して、Ｒ，Ｇ，Ｂの信号を選択し、白バランス、ガンマ補正を行い、輝度／色差生成部で輝度と色差の信号を生成する。
以上によって、明暗のダイナミックレンジの広い映像が生成できる。

＜第１実施形態の補足説明＞
前記のように、第１実施形態においては、明るい映像と暗い映像の二種の映像を用い、明るい映像の画素の信号が飽和した場合に暗い映像の画素に由来する信号を用いることで、広いダイナミックレンジを確保しているが、これに関連事項を以下に補足説明する。

〈1〉置換部９の選択部１０１における明るい映像と暗い映像は、画素単位で行われる。前記したように、この信号置換により、明るい映像で信号が飽和する近傍以上の画素は、暗い側の映像から作られた信号に置換され、ダイナミックレンジが広い信号になる。少なくとも、暗い側の信号を明るい側に対して半分以下になるように露光を設定すれば、信号の飽和レベルを２倍以上にすることができる。
〈2〉また、本（第１）実施形態では、明るい側の映像に於いて画素が飽和したとしても暗い側の映像で飽和部分の信号を置換し飽和レベルを上げているため、飽和部分で近赤外の減算をしても誤った信号を最終の輝度または色差信号に出力することがない。
〈3〉また、信号飽和、あるいは飽和近傍の画素部分の信号置換を行う際に、同一被写***置の（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号の内どれかひとつでも飽和または飽和近傍の条件に一致した際に、同一被写***置の（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号全てを暗い側の映像から生成した信号に置換するので、過渡応答等により誤った色付き等を発生することはない。

〈4〉更に、置換される画素部分は、飽和近傍以上の明るさ部分であり、最終出力で最大信号レベル以上の部分になるため、暗い映像を増幅したＳ／Ｎ比の悪い映像に置換しても画質劣化を原理的に生じることがない。
〈5〉また、本（第１）実施形態では、可視光と近赤外光を同時に光電変換し、可視光と近赤外光が混合された信号から近赤外成分の除去を行っているが、誤って偽の信号を作り出す事が無く、被写体の明るさに依存せずに常に正しい色や輝度再現性を得ることができる。
〈6〉また、本（第１）実施形態は、図７、図８に示すように、明るい側の映像に於いて（Ｒ＋ＩＲ）信号３００が飽和したとしても、暗い側の映像で飽和部分の信号を置換して（Ｒ＋ＩＲ）信号３０３を生成している。
図７の比較例では、（Ｒ＋ＩＲ）信号３００が飽和状態の場合にＩＲ信号３０１を減算してＲ信号３０２を算出していたため、誤った信号を最終の輝度または色差信号に出力している。
これに対して、図８に示すように、（Ｒ＋ＩＲ）信号３０３を生成することでＩＲ信号３０４を減算して算出されたＲ信号３０５は、最終の輝度または色差信号に誤った信号を出力することがない。

＜第１実施形態の効果＞
以上の構成と機能と動作により、被写体の明るさに依存せずに常に正しい色や輝度再現性を有した、明暗のダイナミックレンジの広い映像が生成できる効果がある。
すなわち、本発明によれば、撮像素子の信号レベルが飽和する明るさにおいても良好な再現性を得る撮像装置を提供できる。

≪第２実施形態≫
本発明の第２実施形態に係る撮像装置を図９を参照して説明する。
図９は、本発明の第２実施形態に係る撮像装置の構成例を示すブロック図である。
図９において、撮像装置５００Ａは、レンズ２００、撮像素子１、制御部２、可視／近赤外デモザイキング部３Ａ，３Ｂ、近赤外デモザイキング部４、メモリ部５Ａ，５Ｂ、相関選択部６、シーンチェンジ判定部７、増幅部８、置換部９、減算部１０、白バランス部１１、ガンマ補正部１２、輝度／色差生成部１７を備えて構成されている。
なお、制御部２は、信号比検出部１０２と露光制御部１０３とを備えている。また、置換部９は、飽和領域検出部１００と選択部１０１とを備えている。
以上の図９に示す第２実施形態の撮像装置が図１に示す第１実施形態の撮像装置と構成において異なるのは、相関選択部６（相関選択手段）、シーンチェンジ判定部７（シーンチェンジ判定手段）が更に備えられたことである。また、図１におけるメモリ部５の代わりにメモリ部５Ａ、メモリ部５Ｂ（メモリ手段）が備えられたことである。

撮像素子１の出力の電気信号は、メモリ部５Ａと相関選択部６の第２の入力端子と、シーンチェンジ判定部７とに入力されている。
メモリ部５Ａに入力した信号は、メモリ部５Ａで記憶され、メモリ部５Ｂと可視／近赤外デモザイキング部３Ａと近赤外デモザイキング部４とに入力されている。
メモリ部５Ｂに入力した信号は、メモリ部５Ｂで記憶され、相関選択部６の第１の入力端子に入力されている。
シーンチェンジ判定部７の出力信号は、相関選択部６の第３の入力端子に入力している。
相関選択部６の出力信号は、可視／近赤外デモザイキング部３Ｂに入力している。
図９に示す回路において、以上の構成以外は、図１に示す回路と同一であるので、重複する説明は省略する。

次に、前記の追加、変更された回路の機能、動作について説明する。
図９において、メモリ部５Ａには、可視／近赤外デモザイキング部３Ａに供給される明るい映像が記憶される。また、メモリ部５Ｂには、前記の明るい映像に対する前後のフレームの暗い映像を、一旦、記憶、保持するようにタイミングを採りながら動作する。
また、撮像素子１の出力（電気信号）をシーンチェンジ判定部７で、明るい映像と前後フレームの暗い映像とを比較、判定する。
前記のシーンチェンジ判定部７での比較、判定結果により、相関選択部６でメモリ部５Ａからの明るい映像と相関性が高い暗い映像を、前フレーム（メモリ部５Ｂの出力）と後フレーム（撮像素子１の出力）のいずれかから選択を行い可視/近赤外デモザイキング部３Ｂに供給するように動作する。

以上のように、第２実施形態の撮像装置５００Ａは、面順次で撮影した明るい画像の前後のフレームの暗い画像と、明るい画像との相関を比較し、相関性が高い側のフレームを暗い映像として使うことにより、被写体が急に変化した場合においても誤動作することが無いように構成したものである。

＜第２実施形態の効果＞
第２実施形態の撮像装置５００Ａは、第１実施形態の撮像装置５００と本質的に等しく同等の効果を得られる。
さらに、第２実施形態の撮像装置５００Ａは、被写体の急な移動や光源の変化に対しても誤った信号置換を抑圧できて、良好な再現性を得るという効果がある。

≪第３実施形態≫
本発明の第３実施形態に係る撮像装置を図１０〜図１５を参照して説明する。
図１０は、本発明の第３実施形態に係る撮像装置の構成例を示すブロック図である。
図１０において、撮像装置５００Ｂは、光学フィルタ２０１、レンズ２００、撮像素子１、乗算部１３、制御部２、可視／近赤外デモザイキング部３Ａ，３Ｂ、近赤外デモザイキング部４Ａ，４Ｂ、メモリ部５、増幅部８、置換部９、減算部１０Ａ，１０Ｂ、白バランス部１１Ａ，１１Ｂ、ガンマ補正部１２Ａ，１２Ｂ、合成部１６、輝度／色差生成部１７、可視加減算部１８Ａ，１８Ｂ、可視近赤外信号量検出部２０を備えて構成されている。
なお、制御部２は、信号比検出部１０２と露光制御部１０３とを備えている。また、置換部９は、飽和領域検出部１００と選択部１０１とを備えている。

以上の図１０に示す第３実施形態の撮像装置５００Ｂが図１に示す第１実施形態の撮像装置５００と構成において異なるのは、光学フィルタ２０１、乗算部１３（乗算手段）、近赤外デモザイキング部４Ｂ（第２の近赤外デモザイキング手段）、合成部１６（合成手段）、可視加減算部１８Ａ，１８Ｂ（可視加減算手段）、可視近赤外信号量検出部２０（可視近赤外信号量検出手段）が更に備えられたことである。
また、図１における近赤外デモザイキング部４の代わりに近赤外デモザイキング部４Ａ，４Ｂが備えられたことである。また、減算部１０の代わりに減算部１０Ａと減算部１０Ｂ（第２の減算手段）が備えられたことである。また、白バランス部１１の代わりに白バランス部１１Ａと白バランス部１１Ｂ（第２の白バランス手段）が備えられたことである。また、ガンマ補正部１２の代わりにガンマ補正部１２Ａとガンマ補正部１２Ｂ（第２のガンマ補正手段）が備えられたことである。

光学フィルタ２０１は、レンズ２００の前部（映像側）に備えられている。なお、光学フィルタ２０１の特性を図６に示している。
図６は、本発明の第３実施形態（及び第４実施形態）に係る光学フィルタ２０１の特性例を示す図であり、（ａ）は赤光（Ｒ）と近赤外光（ＩＲ）の分光特性であり、（ｂ）は光学フィルタ２０１の光学フィルタ特性を示している。
図６（ａ），（ｂ）において、横軸は光の波長を示し、縦軸は感度を示している。
図６（ｂ）において、光学フィルタ特性は、図６（ａ）の赤光（Ｒ）と近赤外光（ＩＲ）との境界の谷間に対応する領域において、感度を０もしくは低減するよう特性を持たせている。なお、光学フィルタ２０１は、赤外照明の照明光の波長と可視光の波長を透過する。
すなわち、図１０において、レンズ２００の前に図６に示す特性の光学フィルタ２０１（図１０）を追加することで、赤（Ｒ）の長波長側から近赤外（ＩＲ）として検出する短波長側の間の光成分を減衰させている。

この光学フィルタ２０１により、図２及び図３で示したｒ、ｇ、ｂ各フィルタにおいて近赤外の赤側で生じる各フィルタの感度ばらつきを抑圧したものである。
この光学フィルタ２０１によって、ｒ、ｇ、ｂ各フィルタにおいて感度ばらつきがある６７０ｎｍ近傍から８００ｎｍ近傍の信号が抑圧され、ｒ、ｇ、ｂの各フィルタで近赤外感度が等しくなり近赤外の減算を正確に行うことができて、色や輝度で正しい信号再現性を得る効果がある。

乗算部１３は、撮像素子１の出力信号を入力し、後記する可視近赤外信号量検出部２０の出力信号によって定まる係数をかけて、その結果を可視／近赤外デモザイキング部３Ａ、近赤外デモザイキング部４Ａ、メモリ部５、露光制御部１０３に出力している。
近赤外デモザイキング部４Ａは、その出力信号ＩＲ０を可視加減算部１８Ａに入力している。可視加減算部１８Ａは、出力信号ＩＲ０とともに、可視／近赤外デモザイキング部３Ａの出力信号（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲ）を入力して演算し、その演算結果を出力信号として、減算部１０Ａ、可視近赤外信号量検出部２０、ガンマ補正部１２Ａに供給している。

減算部１０Ａは、選択部１０１の出力信号と可視加減算部１８Ａの出力信号ＩＲとによって演算し、出力信号（Ｒ，Ｇ，Ｂ）を白バランス部１１Ａに供給する。
白バランス部１１Ａは、信号（Ｒ，Ｇ，Ｂ）の白バランスを適正化して、信号（Ｒ０，Ｇ０，Ｂ０）を出力して、その出力信号をガンマ補正部１２Ａと可視近赤外信号量検出部２０に供給する。
可視近赤外信号量検出部２０は、白バランス部１１Ａの出力信号と、可視加減算部１８Ａの出力信号の信号ＩＲとによって、可視近赤外信号量を検出する。
可視近赤外信号量検出部２０の出力信号は、前記したように乗算部１３に入力している。
ガンマ補正部１２Ａは、入力信号（Ｒ０，Ｇ０，Ｂ０）と可視加減算部１８Ａからの信号ＩＲをガンマ補正して、その補正した信号（Ｒ１，Ｇ１，Ｂ１）と信号（ＩＲ１）を合成部１６に供給する。

メモリ部５は、乗算部１３の出力信号を記憶、保持して可視／近赤外デモザイキング部３Ｂと近赤外デモザイキング部４Ｂに入力している。可視／近赤外デモザイキング部３Ｂの出力信号（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲ）は、減算部１０Ｂと増幅部８と可視加減算部１８Ｂに供給されている。
近赤外デモザイキング部４Ｂの出力信号ＩＲ０は、可視加減算部１８Ｂに供給されている。
可視加減算部１８Ｂは、近赤外デモザイキング部４Ｂの出力信号ＩＲ０と可視／近赤外デモザイキング部３Ｂの出力信号（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲ）とによって、演算して、出力信号ＩＲを減算部１０Ｂとガンマ補正部１２Ｂに出力する。
減算部１０Ｂは、可視／近赤外デモザイキング部３Ｂの出力信号（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲ）と可視加減算部１８Ｂの出力信号ＩＲとによって演算し、出力信号（Ｒ，Ｇ，Ｂ）を白バランス部１１Ｂに供給する。

白バランス部１１Ｂは、信号（Ｒ，Ｇ，Ｂ）の白バランスを適正化して、信号（Ｒ２，Ｇ２，Ｂ２）を出力してガンマ補正部１２Ｂに供給する。
ガンマ補正部１２Ｂは、入力信号（Ｒ２，Ｇ２，Ｂ２）と可視加減算部１８Ｂからの信号ＩＲをガンマ補正して、その補正した信号（Ｒ３，Ｇ３，Ｂ３）と信号（ＩＲ３）を合成部１６に供給する。
合成部１６は、ガンマ補正部１２Ａの出力信号（Ｒ１，Ｇ１，Ｂ１，ＩＲ１）と、ガンマ補正部１２Ｂの出力信号（Ｒ３，Ｇ３，Ｂ３，ＩＲ３）とを合成して、その合成した信号を輝度／色差生成部１７に供給する。
輝度／色差生成部１７は、合成部１６から供給された信号によって、輝度信号、および色差信号を生成して、出力する。

図１０に示す回路において、以上の構成以外は、図１に示す回路と同一であるので、重複する説明は省略する。
なお、図１０における可視加減算部１８Ａ，１８Ｂ、ガンマ補正部１２Ａ、合成部１６の詳細な構成については、後記する。

《可視加減算部１８Ａ，１８Ｂ》
次に、第３実施形態の撮像装置５００Ｂに備える可視加減算部１８Ａ，１８Ｂの回路構成の詳細について説明する。
図１１は、本発明の第３実施形態に係る撮像装置５００Ｂにおける可視加減算部１８Ａ，１８Ｂの構成例を示すブロック図である。
図１１において、可視加減算部１８Ａは、３個の加算器１８１Ｒ，１８１Ｇ，１８１Ｂと３個の乗算器１８０Ｒ，１８０Ｇ，１８０Ｂを備えて構成されている。そして、可視／近赤外デモザイキング部３Ａの出力信号（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲ）と、近赤外デモザイキング部４Ａの出力信号ＩＲ０が入力している。

乗算器１８０Ｒには、（Ｒ＋ＩＲ）信号が入力して、係数Ｒが乗算され、その出力信号が加算器１８１Ｒに入力している。
また、乗算器１８０Ｇには、（Ｇ＋ＩＲ）信号が入力して、係数Ｇが乗算され、その出力信号が加算器１８１Ｇに入力している。
また、乗算器１８０Ｂには、（Ｂ＋ＩＲ）信号が入力して、係数Ｂが乗算され、その出力信号が加算器１８１Ｂに入力している。
加算器１８１Ｒには、ＩＲ０信号が入力して、前記した乗算器１８０Ｒの出力信号と加算され、その出力信号が加算器１８１Ｇに入力している。
加算器１８１Ｇには、前記した加算器１８１Ｒの出力信号が入力して、乗算器１８０Ｇの出力信号と加算され、その出力信号が加算器１８１Ｂに入力している。
加算器１８１Ｂには、前記した加算器１８１Ｇの出力信号が入力して、乗算器１８０Ｂの出力信号と加算され、その出力信号が加算器１８１Ｂから、可視加減算部１８Ａの出力信号として、信号ＩＲが出力している。

前記の三種類の係数Ｒ，係数Ｇ，係数Ｂは、後記する図１２（ａ）に示す補正前の特性を、図１２（ｂ）に示す補正後の特性になるように決められる。すなわち、可視加減算部１８Ａによって、可視成分を少し含むＩＲ０信号を補正して、可視成分を含まない近赤外成分のみのＩＲ信号を生成するように動作する。
また、可視加減算部１８Ｂについても、可視加減算部１８Ａと同一の構成と機能である。重複する説明は省略する。

《可視加減算部におけるＩＲ信号の特性例》
図１２は、本発明の第３実施形態に係る可視加減算部１８Ａ，１８Ｂにおける補正前のＩＲ０信号と、補正後のＩＲ信号の特性例を示す図であり、（ａ）は補正前のＩＲ０信号の特性例を示し、（ｂ）は補正後のＩＲ信号の特性例を示している。
図１２（ａ），（ｂ）において、横軸は光の波長を示し、縦軸は信号の感度を示している。
図１２（ａ）においては、近赤外光のＩＲ成分の他に、波長の低い領域に信号成分が含まれている。図１２（ｂ）においては、可視加減算部１８Ａ，１８Ｂで処理したことにより、波長の低い領域の信号成分が除去され、近赤外光のＩＲ成分のみとなっている。

《ガンマ補正部１２Ａ，１２Ｂ》
次に、第３実施形態の撮像装置５００Ｂに備えるガンマ補正部１２Ａ，１２Ｂの回路構成の詳細について説明する。
図１３は、本発明の第３実施形態に係る撮像装置５００Ｂにおけるガンマ補正部１２Ａの回路構成例を示すブロック図である。
図１３において、ガンマ補正部１２Ａは、４個のガンマ補正器１２０Ｒ，１２０Ｇ，１２０Ｂ，１２０ＩＲを備えて構成されている。また、ガンマ補正部１２Ａには、信号Ｒ０、信号Ｇ０、信号Ｂ０、信号ＩＲが入力している。また、制御信号ＤＴも入力している。
ガンマ補正器１２０Ｒ、ガンマ補正器１２０Ｇ、ガンマ補正器１２０Ｂ、ガンマ補正器１２０ＩＲには、それぞれ白バランス後の赤、青、緑と可視成分が除去された近赤外の４種類の信号Ｒ０、信号Ｇ０、信号Ｂ０、信号ＩＲが入力している。そして、ガンマ補正器１２０Ｒ，１２０Ｇ，１２０Ｂ，１２０ＩＲで、それぞれの信号についてガンマ補正処理を施す構成になっている。

ガンマ補正部１２Ｂについても、ガンマ補正部１２Ａと同様の構成である。ただし、ガンマ補正部１２Ａに入力するのは、信号Ｒ２、信号Ｇ２、信号Ｂ２、信号ＩＲであり、出力が信号Ｒ３、信号Ｇ３、信号Ｂ３、信号ＩＲ３となっている。
ガンマ補正部１２Ａの説明と重複する説明は省略する。

《ガンマ補正器１２０Ｒ》
次に、第３実施形態の撮像装置５００Ｂに備えるガンマ補正部１２Ａ，１２Ｂに用いられるガンマ補正器１２０Ｒの回路構成の詳細について説明する。
図１４は、本発明の第３実施形態に係る撮像装置５００Ｂにおけるガンマ補正部１２Ａに用いられるガンマ補正器１２０Ｒの回路構成例を示すブロック図である。
ガンマ補正器１２０Ｒは、２個のＲＡＭ（Random Access Memory）であるＲＡＭ１２１Ａ、ＲＡＭ１２１Ｂと、マイコン１２２と、選択器１２３を備えて構成されている。
ＲＡＭ１２１Ａ、ＲＡＭ１２１Ｂには、それぞれ異なるガンマ補正の特性値がマイコン１２２から書き込まれる。
図１４においては、赤に関する信号Ｒ０がＲＡＭ１２１Ａ、ＲＡＭ１２１Ｂにそれぞれ取り込まれる。ＲＡＭ１２１Ａ、ＲＡＭ１２１Ｂにおいて、それぞれガンマ補正をされた信号が共に選択器１２３に入力する。選択器１２３において、マイコン１２２の指令の基に適正にガンマ補正された信号が、Ｒ１信号として出力する。

また、２個のＲＡＭ１２１Ａ、ＲＡＭ１２１Ｂがあるので、一方のＲＡＭがガンマ補正の処理動作をしている期間において、他方のＲＡＭにおいてガンマ補正の特性値を変更できるように構成されている。
なお、ガンマ補正の特性値を変更する必要がない場合には、ＲＡＭ１２１Ａ、ＲＡＭ１２１Ｂの一方を使用する方法もある。

また、ガンマ補正器１２０Ｇ、ガンマ補正器１２０Ｂ、ガンマ補正器１２０ＩＲもガンマ補正器１２０Ｒと同様の構成である。ただし、入力する信号が信号Ｒ０の代わりに、それぞれ信号Ｇ０、信号Ｂ０、信号ＩＲである。また出力する信号が信号Ｒ１の代わりに、それぞれ信号Ｇ１、信号Ｂ１、信号ＩＲ１である。
ガンマ補正器１２０Ｒの説明と重複する説明は省略する。

《合成部１６》
次に、第３実施形態の撮像装置５００Ｂに備える合成部１６の回路構成の詳細について説明する。
図１５は、本発明の第３実施形態に係る撮像装置５００Ｂにおける合成部１６の回路構成例を示すブロック図である。
図１５において、合成部１６は、４個の混合器１６０Ｒ，１６０Ｇ，１６０Ｂ，１６０ＩＲと、混合比生成器１６１と、照明光成分生成器１６２とを備えて構成されている。また、合成部１６には、信号Ｒ１、信号Ｒ３、信号Ｇ１、信号Ｇ３、信号Ｂ１、信号Ｂ３、信号ＩＲ１、信号ＩＲ３が入力されている。
なお、信号Ｒ１、信号Ｇ１、信号Ｂ１、信号ＩＲ１は、明るい映像から生成したガンマ処理後のそれぞれ、赤、青、緑、近赤外の信号である。
また、信号Ｒ３、信号Ｇ３、信号Ｂ３、信号ＩＲ３は、暗い映像から生成したガンマ処理後のそれぞれ、赤、青、緑、近赤外の信号である。

照明光成分生成器１６２は、前記の信号Ｒ１、信号Ｇ１、信号Ｂ１、信号ＩＲ１、信号Ｒ３、信号Ｇ３、信号Ｂ３、信号ＩＲ３が入力されている。そして、これらの８種類の信号から照明光成分を抽出する。そして、この抽出結果を混合比生成器１６１に送る。
混合比生成器１６１は、前記の混合器１６０Ｒ，１６０Ｇ，１６０Ｂ，１６０ＩＲの混合比を決め、この混合比の信号ＭＲを混合器１６０Ｒ，１６０Ｇ，１６０Ｂ，１６０ＩＲにそれぞれ入力している。
混合器１６０Ｒは、信号Ｒ１と信号Ｒ３、及び信号ＭＲから赤の混合信号を出力する。
混合器１６０Ｇは、信号Ｇ１と信号Ｇ３、及び信号ＭＲから緑の混合信号を出力する。
混合器１６０Ｂは、信号Ｂ１と信号Ｂ３、及び信号ＭＲから青の混合信号を出力する。
混合器１６０ＩＲは、信号ＩＲ１と信号ＩＲ３、及び信号ＭＲから近赤外の混合信号を出力する。

以上のように、合成部１６は、明るい側（Ｒ１，Ｇ１，Ｂ１，ＩＲ１）と暗い側（Ｒ３，Ｇ３，Ｂ３，ＩＲ３）で生成した同一種類の信号同士を、混合器１６０Ｒ，１６０Ｇ，１６０Ｂ，１６０ＩＲで、それぞれ照明光成分の量に応じて混合する。そして、暗い被写体の部分は明るい映像側を主成分に、明るい被写体部分は暗い側の映像を主成分として画像を混合することでダイナミックレンジの広い映像を生成するように動作する。

＜第３実施形態の撮像装置の動作の概要＞
第３実施形態の撮像装置５００Ｂの動作の概要について、あらためて記載する。
第３実施形態においては、明るい映像を処理する可視/近赤外デモザイキング部３Ａで生成した３種類の出力（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号に対して、第１実施形態と同様に減算部１０Ａ、白バランス部１１Ａ、ガンマ補正部１２Ａで処理している。
第３実施形態においては、それのみならず、暗い映像を処理する可視/近赤外デモザイキング部３Ｂで生成した３種類の出力（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号に対して、減算部１０Ｂ、白バランス部１１Ｂ、ガンマ補正部１２Ｂで処理している。

したがって、明るい映像のみならず暗い映像に対しても、近赤外の減算により生じる誤った信号の発生を抑圧し、かつ、近赤外成分を色信号から取り除くことで輝度や色信号の再現性の劣化を抑圧する。
そして、明るい映像側と暗い映像側とで生成したガンマ補正後の信号を照明光成分に応じて混合することでダイナミックレンジの広い映像を得るように動作する。
また、二つの可視加減算部１８Ａ，１８Ｂで減算する近赤外信号から可視成分の除去を行うように動作する。そのため、近赤外の減算により赤青緑の比率変化のよる色や輝度の信号再現性劣化を抑圧する。
更に、可視近赤外信号量検出部２０により撮影環境における可視光量と近赤外量を検出し、可視光の量に応じて撮像素子１の出力から二つのガンマ補正部１２までの利得を変えるように動作している。これにより、照明の可視光の量に応じた最適なガンマ特性にすることができ、光源の条件による色や輝度の信号再現性劣化を抑圧できる。

＜第３実施形態の効果＞
第３実施形態においては、前記したように、以下の効果がある。
明るい映像のみならず暗い映像に対しても、近赤外の減算により生じる誤った信号の発生を抑圧し、かつ、近赤外成分を色信号から取り除くことで輝度や色信号の再現性の劣化を抑圧できる効果がある。
また、明るい映像のみならず暗い映像に対しても、白バランスとガンマ処理を施し、それぞれの信号を照明光成分に応じて混合することでダイナミックレンジの広い映像を得る効果がある。

また、減算する近赤外信号から可視成分の除去を行うように二つの可視加減算部１８Ａ，１８Ｂが動作する為、近赤外の減算により赤青緑の比率変化のよる色や輝度の信号再現性劣化を抑圧する効果がある。
また、可視近赤外信号量検出部２０により撮影環境における可視光量と近赤外量を検出し、可視光の量に応じて撮像素子１の出力から二つのガンマ補正部１２までの利得を変えるように動作しているので、照明の可視光の量に応じた最適なガンマ特性にすることができる。すなわち、光源の条件による色や輝度の信号再現性劣化を抑圧できる効果がある。
以上により、本（第３）実施形態は、近赤外により再現性の劣化を抑圧しつつ、ダイナミックレンジの広い映像撮影できる効果がある。

≪第４実施形態≫
本発明の第４実施形態に係る撮像装置を図１６を参照して説明する。
図１６は、本発明の第４実施形態に係る撮像装置の回路構成例を示すブロック図である。
図１６において、撮像装置５００Ｃは、レンズ２００、光学フィルタ２０１、撮像素子１、制御部２、可視／近赤外デモザイキング部３Ａ，３Ｂ、近赤外デモザイキング部４Ａ，４Ｂ、メモリ部５、増幅部８、置換部９、減算部１０Ａ，１０Ｂ、白バランス部１１Ａ，１１Ｂ、ガンマ補正部１２Ａ，１２Ｂ、合成部１６、輝度／色差生成部１７、可視加減算部１８Ａ，１８Ｂ、可視近赤外信号量検出部２０を備えて構成されている。
なお、制御部２は、信号比検出部１０２と露光制御部１０３とを備えている。また、置換部９は、飽和領域検出部１００と選択部１０１とを備えている。

以上の図１６に示す第４実施形態の撮像装置５００Ｃが図１０に示す第３実施形態の撮像装置５００Ｂと構成において異なるのは、レンズ２００と光学フィルタ２０１との配置が入れ替わったこと、図１０における乗算部１３がなくなったこと、可視近赤外信号量検出部２０に前記の乗算部１３からの信号がなくなったこと、ガンマ補正部１２Ａ，１２Ｂに可視近赤外信号量検出部２０からの信号が供給されたことである。
図１６に示す回路において、以上の構成以外は、図１０に示す回路と同一であるので、重複する説明は省略する。

光学フィルタ２０１をレンズ２００の前から後、すなわち撮像素子１の直前に移動させているが、この配置によって、光学的な特性を殆ど変えずに、コンパクトな構成となる。
また、前記したように、可視近赤外信号量検出部２０の検出結果の信号を図１０に示した乗算部１３に用いるのではなく、図１６においてはガンマ補正部１２Ａ，１２Ｂに用いている。
すなわち、可視近赤外信号量検出部２０の結果で、撮像素子１からガンマ補正部１２Ａ，１２Ｂまでの入力の利得を変えるのではなく、図１６、図１３、図１４に示すようにガンマ補正器（１２０Ｒ，１２０Ｇ，１２０Ｂ，１２０ＩＲ）を用いることで、可視近赤外信号量検出部２０の結果に応じて、ガンマ補正特性そのものを変える方式を採用している。具体的には、図１３のガンマ補正部１２Ａ、あるいは図１４のガンマ補正器１２０Ｒにおける制御信号ＤＴに、図１６の可視近赤外信号量検出部２０の出力信号を用いる。
この方式においても、第３実施形態で説明した効果と同等の効果が得られる。

＜第４実施形態の効果＞
以上、第４実施形態は、第３実施形態と同様に、近赤外により再現性の劣化を抑圧しつつ、ダイナミックレンジの広い映像撮影できる効果がある。
また、第４実施形態は、第３実施形態に比較して、レンズ２００と光学フィルタ２０１と撮像素子との関係における配置がよりコンパクトな構成となる効果がある。
また、第４実施形態は、第３実施形態に比較して、図１０における乗算部１３を削減できる。

≪その他の実施形態≫
以上、本発明は、前記した実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々、変更可能である。
以下に、その他の実施形態や変形例について、さらに説明する。

《第２の構成例の色分離フィルタによる撮像素子》
第１実施形態においては、図１で示した撮像装置の撮像素子１の色分離フィルタを図２の構成と図４の分光特性で説明したが、前記したように、色分離フィルタを図３の構成と図５の分光特性を有するものを用いてもよい。
前記したように、図５（ｄ）に示す（Ｗ＋ＩＲ）信号を取り出す方法においても、この（Ｗ＋ＩＲ）信号と（Ｒ＋ＩＲ）信号，（Ｇ＋ＩＲ）信号，（Ｂ＋ＩＲ）信号とを用いて、近赤外デモザイキング部４からＩＲ信号を生成できる。
したがって、図１で示した撮像装置の撮像素子１において、図２の構成と図４の分光特性を有する第２の構成例の色分離フィルタを用いる方法もある。

また、図３に示す第２の構成例の色分離フィルタを、図９に示す第２実施形態の撮像素子１や図１０に示す第３実施形態の撮像素子１や図１６に示す第４実施形態の撮像素子１に用いてもよい。
また、第１実施形態を示す図１における飽和領域検出部１００は、（Ｒ＋ＩＲ）、（Ｇ+ＩＲ）、（Ｂ＋ＩＲ）信号によって、飽和しているか否かを検出していた。しかし、図５（ｄ）に示した前記の（Ｗ＋ＩＲ）信号を用いる場合には、（Ｗ＋ＩＲ）信号ももしくはＷ信号を飽和しているか否かの検出に用いてもよい。

《ライン順次》
第１実施形態において、図１は、フレーム順次（面順次）の図面として説明したが、ライン順次の方式でも可能である。
ライン順次の方式において、明るい画像と暗い画像を得た際に、奇数ラインで作成した映像と偶数ラインで作成した映像を用いることで、フレーム順次の方式で説明した同等の効果を得ることができる。
すなわち、偶数ラインのみの映像と奇数ラインの映像に分け、明るい映像を可視/近赤外デモザイキング部３Ａ、近赤外デモザイキング部４、及び露光制御部１０３に供給し、暗い映像を可視/近赤外デモザイキング部３Ｂに信号を供給するように動作する。
つまり、ライン順次の方式で実施する場合には、図１におけるメモリ部５における信号の記録の配列を変更すればよい。

《飽和領域検出方法》
第１実施形態〜第４実施形態の撮像装置においては、露光条件を変えて明るい映像と暗い映像の二種を撮影し、明るい映像が飽和領域に達しているか否かによって使い分けることによって、ダイナミックレンジの広い映像を実現している。
この方法を第１実施形態〜第４実施形態においては、撮像素子１の色分離フィルタ（図２、図４）で近赤外光成分を含むものに適用する場合について説明した。そして、飽和領域検出部１００が可視／近赤外デモザイキング部３Ａの出力する（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号、（Ｂ＋ＩＲ）信号によって飽和領域に達しているか否かを検出していた。
しかし、飽和領域に達しているか否かの検出方法は、この方法に限定されない。
例えば、図３と図５に示す色分離フィルタから抽出した（Ｗ＋ＩＲ）信号を飽和領域検出部１００に入力し、（Ｗ＋ＩＲ）信号によって飽和領域に達しているか否かを検出する方法もある。

《メモリ部》
図１に示す第１実施形態におけるメモリ部５、あるいは図９に示す第２実施形態におけるメモリ部５Ａ、メモリ部５Ｂは、撮像素子１において交互に撮影される明るい映像と暗い映像を一時的に記憶、保持するためのものである。したがって、図１のメモリ部５の構成や図９のメモリ部５Ａ，５Ｂの構成に限定されない。映像を記憶、保持する同様の機能を果たす様々なメモリ部を構成できる。

《可視加減算部の削減》
図１０、図１６においては、可視加減算部１８Ａ，１８Ｂを設けて、その出力信号をＩＲ信号として、減算部１０Ａ，１０Ｂと、ガンマ補正部１２Ａ，１２Ｂに入力しているが、図１０、図１６においても、図１と同じように、近赤外デモザイキング部４Ａ，４Ｂの出力信号であるＩＲ信号（ＩＲ０信号）を減算部１０Ａ，１０Ｂとガンマ補正部１２Ａ，１２Ｂに供給する方法もある。
この可視加減算部１８Ａ，１８Ｂを用いない方法は、精度は低下するが、回路構成の規模が軽減し、コンパクト、かつ低コストになる。

《ガンマ補正の軽減》
図１０、図１６においては、ガンマ補正部１２Ａ，１２Ｂにおいて、可視光成分である（Ｒ０，Ｇ０，Ｂ０）、（Ｒ２，Ｇ２，Ｂ２）のみならず、近赤外光成分であるＩＲ信号をガンマ補正（ＩＲ１，ＩＲ３）している例を示した。
しかし、近赤外光成分については、ガンマ補正をしない方法もある。この場合には、精度は低下するが、回路構成の規模が軽減し、コンパクト、かつ低コストになる。

１ 撮像素子（撮像手段）
２ 制御部
３Ａ 可視/近赤外デモザイキング部（第１の可視/近赤外デモザイキング手段）
３Ｂ 可視/近赤外デモザイキング部（第２の可視/近赤外デモザイキング手段）
４，４Ａ 近赤外デモザイキング部（近赤外デモザイキング手段）
４Ｂ 近赤外デモザイキング部（第２の近赤外デモザイキング手段）
５，５Ａ，５Ｂ メモリ部（メモリ手段）
６ 相関選択部（相関選択手段）
７ シーンチェンジ判定部（シーンチェンジ判定手段）
８ 増幅部（増幅手段）
９ 置換部
１０，１０Ａ 減算部（減算手段）
１０Ｂ 減算部（第２の減算手段）
１１ 白バランス部（白バランス手段）
１１Ａ 白バランス部（第１の白バランス手段、白バランス手段）
１１Ｂ 白バランス部（第２の白バランス手段、白バランス手段）
１２ ガンマ補正部（ガンマ補正手段）
１２Ａ ガンマ補正部（第１のガンマ補正手段）
１２Ｂ ガンマ補正部（第２のガンマ補正手段）
１３ 乗算部（乗算手段）
１６ 合成部（合成手段）
１７ 輝度/色差生成部（輝度/色差生成手段）
１８Ａ，１８Ｂ 可視加減算部（可視加減算手段）
２０ 可視近赤外信号量検出部（可視近赤外信号量検出手段）
１００ 飽和領域検出部（飽和領域検出手段）
１０１ 選択部（選択手段）
１０２ 信号比検出部（信号比検出手段）
１０３ 露光制御部（露光制御手段）
１２０Ｂ，１２０Ｇ，１２０Ｒ，１２０ＩＲ ガンマ補正器
１２１Ａ，１２１Ｂ ＲＡＭ
１２２ マイコン
１２３ 選択器
１６０Ｂ，１６０Ｇ，１２０Ｒ，１２０ＩＲ 混合器
１６１ 混合比生成器
１６２ 照明光成分生成器
１８０Ｂ，１８０Ｇ，１８０Ｒ 乗算器
１８１Ｂ，１８１Ｇ，１８１Ｒ 加算器
２００ レンズ
２０１ 光学フィルタ
３００，３０３ Ｒ＋ＩＲ信号
３０１，３０４ ＩＲ信号
３０２，３０５ Ｒ信号
５００，５００Ａ，５００Ｂ，５００Ｃ 撮像装置

Claims (8)

1. 可視光成分と近赤外光成分とに分離可能な色分離フィルタを有して撮像する撮像手段と、
   前記撮像手段の映像を基に明るい第１の露光条件と暗い第２の露光条件とを設定して、前記撮像手段の露光条件を制御する露光制御手段と、
   前記露光制御手段の信号を基に、明るい映像の露光時間と暗い映像の露光時間との比を検出する信号比検出手段と、
   前記撮像手段から得た第１の露光条件の第１の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第１の可視／近赤外デモザイキング手段と、
   前記撮像手段から得た第２の露光条件の第２の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第２の可視／近赤外デモザイキング手段と、
   前記撮像手段から得た第１の露光条件の第１の映像信号を基に近赤外光成分を有する信号を生成する近赤外デモザイキング手段と、
   前記信号比検出手段の検出信号を基に定められる利得で前記第２の可視／近赤外デモザイキング手段の出力信号を増幅する増幅手段と、
   前記第１の可視／近赤外デモザイキング手段の出力信号の信号レベルが飽和する領域、あるいは飽和に近い領域である飽和領域近傍信号を検出する飽和領域検出手段と、
   前記飽和領域検出手段が前記飽和領域近傍信号を検出した場合は前記増幅手段の出力信号を選択し、前記飽和領域検出手段が前記飽和領域近傍信号を検出しない場合は前記第１の可視／近赤外デモザイキング手段の出力信号を選択する選択手段と、
   前記選択手段の出力信号から前記近赤外デモザイキング手段の出力信号を減算する減算手段と、
   前記撮像手段から得た映像信号を保持するメモリ手段と、
   前記撮像手段から得た映像信号のフレーム間の映像のシーンの変化を判定するシーンチェンジ判定手段と、
   前記撮像手段の映像信号と、前記メモリ手段の映像信号とを選択する相関選択手段と、
   を備え、
   前記露光制御手段によって、前記撮像手段の露光制御を前記第１の露光条件と前記第２の露光条件を面順次で行い、得られた映像を前記メモリ手段で一旦保持し、
   前記シーンチェンジ判定手段の判定結果に基づき、前記相関選択手段は、前記第１の露光条件で取得された映像の前後の前記第２の露光条件の映像のフレームのいずれかを選択し、選択した信号を前記第２の可視／近赤外デモザイキング手段に供給する、
   ことを特徴とする撮像装置。
2. 請求項１において、
   前記撮像手段のレンズの前、または後に、赤外照明の照明光の波長と可視光の波長を透過する光学フィルタを備える、
   ことを特徴とする撮像装置。
3. 可視光成分と近赤外光成分とに分離可能な色分離フィルタを有して撮像する撮像手段と、
   前記撮像手段の映像を基に明るい第１の露光条件と暗い第２の露光条件とを設定して、前記撮像手段の露光条件を制御する露光制御手段と、
   前記露光制御手段の信号を基に、明るい映像の露光時間と暗い映像の露光時間との比を検出する信号比検出手段と、
   前記撮像手段から得た第１の露光条件の第１の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第１の可視／近赤外デモザイキング手段と、
   前記撮像手段から得た第２の露光条件の第２の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第２の可視／近赤外デモザイキング手段と、
   前記撮像手段から得た第１の露光条件の第１の映像信号を基に近赤外光成分を有する信号を生成する近赤外デモザイキング手段と、
   前記信号比検出手段の検出信号を基に定められる利得で前記第２の可視／近赤外デモザイキング手段の出力信号を増幅する増幅手段と、
   前記第１の可視／近赤外デモザイキング手段の出力信号の信号レベルが飽和する領域、あるいは飽和に近い領域である飽和領域近傍信号を検出する飽和領域検出手段と、
   前記飽和領域検出手段が前記飽和領域近傍信号を検出した場合は前記増幅手段の出力信号を選択し、前記飽和領域検出手段が前記飽和領域近傍信号を検出しない場合は前記第１の可視／近赤外デモザイキング手段の出力信号を選択する選択手段と、
   前記選択手段の出力信号から前記近赤外デモザイキング手段の出力信号を減算する減算手段と、
   前記近赤外デモザイキング手段の出力信号に対して、前記第１の可視／近赤外デモザイキング手段の出力信号を加算もしくは減算する可視加減算手段を備え、
   前記減算手段において、前記近赤外デモザイキング手段の出力信号の代わりに前記可視加減算手段の出力信号を減算する、
   ことを特徴とする撮像装置。
4. 請求項３において、
   前記減算手段の出力信号の白バランスをとる白バランス手段と、
   前記白バランス手段の出力信号と、前記可視加減算手段の出力信号とによって、可視近赤外信号の信号量を検出する可視近赤外信号量検出手段と、
   前記撮像手段の出力信号に前記可視近赤外信号量検出手段の検出した信号によって定まる計数を乗算して、その乗算した信号を前記第１の可視／近赤外デモザイキング手段と前記近赤外デモザイキング手段とに供給する乗算手段と、
   を備える、
   ことを特徴とする撮像装置。
5. 請求項３において、
   前記減算手段の出力信号の白バランスをとる白バランス手段と、
   前記白バランス手段の出力信号を入力してガンマ補正を行うガンマ補正手段と、
   前記白バランス手段の出力信号と、前記可視加減算手段の出力信号とによって、可視近赤外信号の信号量を検出する可視近赤外信号量検出手段と、
   を備え、
   前記可視近赤外信号量検出手段の検出した信号によって、前記ガンマ補正手段のガンマ補正を施す入出力特性を変える、
   ことを特徴とする撮像装置。
6. 可視光成分と近赤外光成分とに分離可能な色分離フィルタを有して撮像する撮像手段と、
   前記撮像手段の映像を基に明るい第１の露光条件と暗い第２の露光条件とを設定して、前記撮像手段の露光条件を制御する露光制御手段と、
   前記露光制御手段の信号を基に、明るい映像の露光時間と暗い映像の露光時間との比を検出する信号比検出手段と、
   前記撮像手段から得た第１の露光条件の第１の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第１の可視／近赤外デモザイキング手段と、
   前記撮像手段から得た第２の露光条件の第２の映像信号を基に可視光成分と近赤外光成分とを有する信号を生成する第２の可視／近赤外デモザイキング手段と、
   前記撮像手段から得た第１の露光条件の第１の映像信号を基に近赤外光成分を有する信号を生成する近赤外デモザイキング手段と、
   前記信号比検出手段の検出信号を基に定められる利得で前記第２の可視／近赤外デモザイキング手段の出力信号を増幅する増幅手段と、
   前記第１の可視／近赤外デモザイキング手段の出力信号の信号レベルが飽和する領域、あるいは飽和に近い領域である飽和領域近傍信号を検出する飽和領域検出手段と、
   前記飽和領域検出手段が前記飽和領域近傍信号を検出した場合は前記増幅手段の出力信号を選択し、前記飽和領域検出手段が前記飽和領域近傍信号を検出しない場合は前記第１の可視／近赤外デモザイキング手段の出力信号を選択する選択手段と、
   前記選択手段の出力信号から前記近赤外デモザイキング手段の出力信号を減算する減算手段と、
   前記撮像手段から得た第２の露光条件の第２の映像信号を基に、近赤外光成分を有する信号を生成する第２の近赤外デモザイキング手段と、
   前記第２の可視／近赤外デモザイキング手段の出力信号から前記第２の近赤外デモザイキング手段の出力信号を減算する第２の減算手段と、
   を備え、
   前記減算手段の出力信号を白バランスとガンマ補正をした第１の信号と、前記第２の減算手段の出力信号を白バランスとガンマ補正をした第２の信号を混合させて、ダイナミックレンジの広い映像を得る、
   ことを特徴とする撮像装置。
7. 請求項６において、
   前記近赤外デモザイキング手段の出力信号をガンマ補正したガンマ補正した第３の信号と、前記第２の近赤外デモザイキング手段の出力信号をガンマ補正したガンマ補正した第４の信号を混合させて、ダイナミックレンジの広い映像を得る、
   ことを特徴とする撮像装置。
8. 請求項６において、
   前記減算手段の出力信号の白バランスをとる第１の白バランス手段と、
   前記第２の減算手段の出力信号の白バランスをとる第２の白バランス手段と、
   前記第１の白バランス手段の出力信号のガンマ補正をする第１のガンマ補正手段と、
   前記第２の白バランス手段の出力信号のガンマ補正をする第２のガンマ補正手段と、
   前記第１のガンマ補正手段の出力信号と前記第２のガンマ補正手段の出力信号を合成する合成手段と、
   備える、
   ことを特徴とする撮像装置。

Images