JP2005045559A

JP2005045559A - 撮像装置

Info

Publication number: JP2005045559A
Application number: JP2003277839A
Authority: JP
Inventors: Kiyotaka Nakabayashi; 清隆中林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-07-22
Filing date: 2003-07-22
Publication date: 2005-02-17
Anticipated expiration: 2023-07-22
Also published as: JP4239738B2

Abstract

【課題】被写体に赤外線及び紫外線を同時に照射し、その照射された被写体からの反射光を受光して、黒バランス補正、白バランス補正、色再現マトリクスの最適化を行うことで、暗視状態であっても精度のよいカラー映像を得ることができる撮像装置を提供する。
【解決手段】撮像装置は、被写体に赤外線及び紫外線を照射する照射手段と、前記赤外線及び紫外線を同時に照射された被写体から反射する光を集光するレンズ系と、赤外線をカットする赤外線カットフィルタと、紫外線をカットする紫外線カットフィルタと、前記レンズ系で集光した赤外線領域及び紫外線領域に感度を有する撮像素子と、前記撮像素子で出力される撮像信号から色を判定してカラー画像信号を出力する色判定手段と、を備え、前記照射手段は、暗視カラーモードのときに被写体に対して赤外線及び紫外線を同時に照射すると共に、前記赤外線カットフィルタ及び紫外線カットフィルタを光路から外れた位置に移動させるように制御することである。
【選択図】図１

Description

本発明は撮像装置に関し、詳しくは、赤外線領域及び紫外線領域に感度を有する撮像素子を用いて、光路内の赤外線カットフィルタ、及び紫外線カットフィルタを配置しないで被写体に赤外線照射及び紫外線照射を与えることによって暗闇でもカラー画像を出力するようにした撮像装置に関する。

従来技術における撮像装置は、暗視状態で撮影する場合に、赤外線カットフィルタを外して赤外線を照射して被写体を撮影するものが存在する。例えば、特開平１１―１０３４６４号公報に開示されており、これは、レンズの前方に赤外線カットフィルタを配置しない状態で撮影する際に、赤外線の発光系を付加すれば、暗いときでも、鮮明な画像を記録することができるという点に着目し、被写体に対して赤外線を照射するというものである。
この構成は、図１０に示すように、被写体からの映像光を収束するレンズ系１１と、マイクロコンピュータ２３により制御され光路から外れた位置に移動する赤外線カットフィルタ１２と、レンズ系１１で収束した映像を電気信号に変換するＣＣＤ１４と、ＣＣＤ１４で変換された電気信号をサンプリング及びゲインコントロールすると共にＡ／Ｄ変換するＳ／Ｈ＆ＡＧＣ及びＡ／Ｄ変換器１５と、このデジタル信号の黒バランス補正をするクランプ回路１６と、ホワイトバランス補正をする白バランス補正回路１７と、色差信号を形成するガンマ補正回路１８、信号処理回路１９と、マトリクス係数に基づいて最適化をする色再現マトリクス２０と、Ａ／Ｄ変換された撮像信号から最暗点を検波して黒バランス補正する特定色抽出制御機能及び赤外線の照射の制御、赤外線カットフィルタ１２を光路から外れた位置に移動制御、ホワイトバランスの制御等を司るマイクロコンピュータ２３とから大略構成されている。

このような構成からなる撮像装置の動作について、図１１に示すフローチャートを参照して以下説明する。

先ず、暗視モードでないときには、通常の撮影するモードを処理し、制御値を設定する（ステップＳＴ２１、ＳＴ２２、ＳＴ２３）。
ステップＳＴ２１において、暗視モードであるときには、赤外線カットフィルタ１２を解除して、赤外線を被写体に照射する（ステップＳＴ２４、ＳＴ２５）。
そして、赤外線が照射されている被写体を撮像してホワイトバランス制御を固定値にして、制御値を設定する（ステップＳＴ２６、ＳＴ２３）。

このような装置においては、暗視状態で、赤外光を照射して被写体を撮影した場合に、ホワイトバランス制御値が固定され、例えば画面全体が緑味になるような制御を行っていた。

また、特開２００１−３６９１６号公報には、暗視状態で被写体を撮影した場合に、カラー画像を出力する手法が開示されている。これは、赤外線照射と、紫外線照射を行って、ルックアップテーブルからカラーを再現するものである。
特開平１１−１０３４６４号公報（第３頁第１図）特開２００１−３６９１６号公報（第３頁第１図）

しかしながら、従来技術で説明したものは、赤外線照射と紫外線照射を切り替えて、二つの画像においてルックアップテーブルから色を再現しているため処理が重く複雑であり、またホワイトバランス制御及び色再現マトリクス制御及び黒バランス制御について触れられていないため、色再現性が低いという問題がある。
従って、本特許はこれらの課題を解決し、暗視状態で撮影しても、カラー画像で色再現性良く出力することができる撮像装置を提供することを目的としている。

上記課題を解決するために、本願発明の撮像装置は、次に示す構成にすることである。

（１）撮像装置は、赤外線領域と紫外線領域に感度を有する撮像素子を備え、光路内の赤外線カットフィルタ及び紫外線カットフィルタを光路内に配置しないで被写体に赤外線照射及び紫外線照射を同時に与えることによって、被写体を撮影して得た撮像信号から色を判定することにより暗闇でのカラー画像を出力するようにしたことである。

（２）撮像装置は、被写体に赤外線及び紫外線を同時に照射する照射手段と、前記赤外線及び紫外線を照射された被写体から反射する光を集光するレンズ系と、赤外線をカットする赤外線カットフィルタと、紫外線をカットする紫外線カットフィルタと、前記レンズ系で集光した赤外線領域及び紫外線領域に感度を有する撮像素子と、前記撮像素子で出力される撮像信号から色を判定してカラー画像信号を出力する色判定手段と、を備え、前記照射手段は、暗視カラーモードのときに被写体に対して赤外線及び紫外線を同時に照射すると共に、前記赤外線カットフィルタ及び紫外線カットフィルタを光路から外れた位置に移動させるように制御することである。
（３）前記色判定手段には、前記撮像素子で得られた撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正手段を備えたことを特徴とする（２）に記載の撮像装置。
（４）前記色判定手段には、前記撮像素子で得られた撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正手段を備え、該黒バランス補正手段で黒バランス補正された撮像信号をホワイトバランス補正する白バランス補正手段を備えたことを特徴とする（２）に記載の撮像装置。
（５）前記色判定手段には、前記撮像素子で得られた撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正手段を備え、該黒バランス補正手段で黒バランス補正された撮像信号をホワイトバランス補正する白バランス補正手段を備え、該白バランス補正手段により補正された映像信号を色再現マトリクスで最適化する色再現マトリクス補正手段を備えたことを特徴とする（２）に記載の撮像装置。
（６）前記色再現マトリクス補正手段は、紫外線カットフィルタ及び赤外線カットフィルタの配置情報や、赤外線及び紫外線の照射情報から、その状態に適した最適なマトリクス係数が与えられ、該マトリクス係数に基づいて色再現の最適化をすることを特徴とする（５）に記載の撮像装置。

赤外線領域及び紫外線領域に感度を有する撮像素子を有し、光路内の赤外線カットフィルタ及び紫外線カットフィルタを配置しない状態での撮影を可能とし、被写体に赤外線照射と紫外線照射を与えることによって暗闇でもカラー画像を出力するようにできる。また、黒バランス制御、白バランス制御、色再現マトリクス制御を行うことによってより色再現性を更に向上させることができる。

以下、本発明に係る撮像装置の実施形態について、図面を参照して説明する。

本発明の撮像装置は、図１に示すように、被写体からの映像光を収束するレンズ系１１と、マイクロコンピュータ２３からの制御で光路から外れた位置に移動可能な赤外線カットフィルタ１２と、マイクロコンピュータ２３からの制御で光路から外れた位置に移動可能な紫外線カットフィルタ１３と、レンズ系１１を通した映像光を光電変換によって電気信号に変換する半導体撮像素子としてのＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ；電荷転送素子）１４と、この変換された電気信号がサンプルホールド及びゲインコントロールするＳ／Ｈ＆ＡＧＣ及びＡ／Ｄ変換器１５と、黒バランス補正をするクランプ回路１６と、ホワイトバランス補正をする白バランス補正回路１７と、色差信号を生成するガンマ補正回路１８と、信号処理回路１９と、マトリクス係数に基づいて最適化処理をする色再現マトリクス２０と、マイクロコンピュータ２３の制御で被写体に対して赤外線を照射する赤外線照射部２１と、マイクロコンピュータ２３の制御で被写体に対して紫外線を照射する紫外線照射部２２と、赤外線照射の制御、紫外線照射の制御、Ａ／Ｄ変換された撮像信号から最暗点を検波して黒バランス補正する特定色抽出制御機能及び赤外線の照射の制御、紫外線の照射の制御、白バランスの制御、色再現マトリクスの制御等を司るマイクロコンピュータ２３とから大略構成されている。この中で、クランプ回路１６、白バランス補正回路１７、ガンマ補正回路１８、信号処理回路１９、色再現マトリクス２０で色判定手段を形成する。

このような構成からなる撮像装置の制御について、図２に示すフローチャートを参照して、以下説明する。

ステップＳＴ１１で、暗視カラーモードであるときには、暗視状態において、この暗視状態を感知したときに、マイクロコンピュータ２３の制御に基づいて自動的に被写体に赤外線及び紫外線が同時に照射され、また赤外線カットフィルタ１２及び紫外線カットフィルタ１３が光路内から外される（ステップＳＴ１４）。
この被写体からの映像光を収束するレンズ系１１を通して、ＣＣＤ１４に入射される。このＣＣＤ１４に入射された映像光は光電変換によって電気信号に変換される。この変換された電気信号がＳ／Ｈ＆ＡＧＣ及びＡ／Ｄ変換器１５に入力され、このＳ／Ｈ＆ＡＧＣ及びＡ／Ｄ変換器１５でサンプリングおよびゲインコントロールされた信号がＡ／Ｄ変換されてデジタル信号に変換される。
そして、このデジタル信号に変換されて、黒バランス補正がされる（ステップＳＴ１６）。
この黒バランス補正とは被写体の最暗点が浮き、無彩軸からずれてしまうのを補正して、人間の視覚の黒への順応を考慮してクランプ回路１６を制御することである。
特に、ここではＲ、Ｇ、Ｂの感度を上げるためにゲインが上げられ、赤外線カットフィルタ１２及び紫外線カットフィルタ１３が外されて撮像されるために、最暗点が無彩軸からはずれている可能性が高く、これを補正するのに有効である。
この制御を行うため、被写体の最暗点を検波する必要があり、これは、Ａ／Ｄ変換後の信号がマイクロコンピュータ２３に入力され被写体の最暗点が検波され、その最暗点を原点（（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）＝（０、０、０））方向、即ち、無彩軸方向に補正するようにクランプ回路１６を制御する。
例えば、図３に示すような被写体において、黒髪（Ａ点）や服装の黒い部分（Ｂ点）や、光源が当たらない暗い部分（Ｃ点）等の最暗点を検波する。そして、図４に示すように、その検波した最暗点を原点（Ｙ、Ｂ−Ｙ、Ｒ−Ｙ）＝（０、０、０）方向、すなわち無彩軸方向に、人間の目の黒への順応率である黒順応率を考慮して補正することである。

この、具体的な黒バランス補正する処理について、以下詳細に説明する。
先ず、Ａ／Ｄ変換器１４後のＲＧＢの信号を人間の視覚特性が考慮された値であるＸＹＺ値に変換する。
例えば、ＩＥＣ（ＩｎｔｅｒｎａｔｉｏｎａｌＥｌｅｃｔｒｏｔｅｃｈｎｉｃａｌＣｏｍｍｉｓｓｉｏｎ；国際電気標準会議）が定める色空間の国際規格であるｓＲＧＢ変換を用いて次の（１）式のように８ビットのＲＧＢ値をべき乗の補正をかけたＲＧＢ値に変換する。他のＧ、Ｂについても同様の式で変換する。

次に、（２）式に示すように、非線形変換されたＲＧＢ値をＸＹＺ値に変換する。

ここで、このマトリクスとして、例えば（３）式のような値がｓＲＧＢ変換で使用されている。

尚、これらのＲＧＢ値からＸＹＺ値への変換はルックアップテーブルを用いても良い。

次に、黒順応率をＫａｄｐとして、（４）式のようにして黒順応を考慮した黒を定義する。ここで、ＸＳ,ＩＮ,ＭＫＹＳ,ＩＮ,ＭＫＺＳ,ＩＮ,ＭＫは、検波された最暗点のＸＹＺ値である。又、黒順応率を加味した最暗点のＸＹＺ値を、ＸＳ,ＩＮ,ＫＹＳ,ＩＮ,ＫＺＳ,ＩＮ,Ｋとする。
ここで、Ｋａｄｐ＝１．０としたときには、黒順応率１００％を表わしており、検波した被写体の最暗点に完全に黒順応していると考えて黒バランス補正がされる。
又、Ｋａｄｐ＝０．０としたときには黒順応率０％を表わしており、このときは黒順応がないとして、黒バランス補正が行われなくなる。
この黒順応率は、人間の目の黒への順応率を表わしており、これは、「Ｋ.Ｎａｋａｂａｙａｓｈｉ、Ｍ．Ｄ．Ｆａｉｒｃｈｉｌｄ“Ａｐｐｅａｒａｎｃｅｍａｔｃｈｂｅｔｗｅｅｎｈａｒｄｃｏｐｙａｎｄｓｏｆｔｃｏｐｙｕｓｉｎｇｌｉｇｈｔｎｅｓｓｒｅｓｃａｌｉｎｇｗｉｔｈｂｌａｃｋｐｏｉｎｔａｄａｐｔａｔｉｏｎ、”ＳＰＩＥ／ＩＳ＆ＴＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ２００２：Ｐｒｏｃ．ＳＰＩＥＶｏｌ．４６６３、ｐ．２１７−２２８」の視覚実験の結果から、最適な値は被写体にもよるが、ほぼ中央値である０．４〜０．６を与えることとする。

尚、ここでＫａｄｐは、図５に示すように、ＧＵＩでユーザーが黒順応率を自由に入力できるようにしても良い。
なお、、１/３乗を用いているのは、人間の色知覚空間を近似する空間で計算するためのものであって、これに限るわけではない。

次に、（４）式で定義された、黒順応を考慮した最暗点を元にして（５）式に示すような黒バランス補正変換を行う。
ここで、ＸＳ,ＩＮＹＳ,ＩＮＺＳ,ＩＮは、補正前の画像データのＸＹＺ値を表わし、又、ＸＳ,ＯＵＴＹＳ,ＯＵＴＺＳ,ＯＵＴは、黒バランス補正後の画像データのＸＹＺ値である。

尚、γｘ、γｙ、γｚについては（６）式のような式で定義し、例えば、図６に示すような単調増加の関数で定義するものとする。

このようにして得られた、黒順応後のＸＳ,ＯＵＴＹＳ,ＯＵＴＺＳ,ＯＵＴを（１）式、（２）式、（３）式の逆変換を行って、ＲＧＢ値に戻すこととする。

図２に戻って、次に、黒バランス補正後の信号は白バランス補正回路１７に入力される（ステップＳＴ１７）。
被写体の白はＡ／Ｄ変換後の信号がマイクロコンピュータ２３に入力されて白が検出される。ここで、白の検出方法としては、例えば、図７に示すように、被写体の画像から中輝度積分、高輝度積分、全積分の情報を出して、例えば最大となる面積の積分値を選択するなどして、白を検出するようにする。検出した白の信号を用いて、白バランスの制御値を計算して、白バランス補正回路１７にゲイン値を設定する。

次に、ガンマ補正が行われて、信号処理回路１９で色差信号に変換される。その後、色再現マトリクス処理等が行われる（ステップＳＴ１８）。
この色再現マトリクス処理については、マイクロコンピュータ２３から赤外線カットフィルタ１２、紫外線カットフィルタ１３の配置情報や、赤外線、紫外線の照射情報が与えられ、その状態に適した最適なマトリクス係数が与えられる。
このマトリクス係数については、図８に示すように、予めマクベスチャートやカラーバーなどのカラーチャートで色再現が最適になるようなマトリクス係数を調整処理によって持っており、これによって色再現の補正がされる。具体的に示すと、図８において、マトリクス係数（黒抜きの四角形状の印）はＲ−ＹをＸ軸に、Ｂ−ＹをＹ軸にした場合に、レッドのＲ係数、イエローのＹ係数は左上面に位置し、グリーンのＧ係数は左下面に位置し、マゼンダのＭｇ係数は左上面に位置し、ブルーのＢ係数及びシアンのＣｙ係数は右下面に位置する。そして、今回得られた色情報（白抜き四角形状の印）を、図９に示すように、それぞれの色情報（黒抜き四角形状の印）の近傍位置に移動させて最適化を図る。
なお、周囲光が加わったときにでも最適なマトリクスを補間で計算するような仕組みが備わっており、その補正処理を行う。
上記の処理後、信号は映像信号を形成する例えば輝度信号と色差信号に変換されＪＰＥＧ等の画像に変換される（ステップＳＴ１３）。

赤外線領域と紫外線領域に感度を有する撮像素子を有し、光路内の赤外線カットフィルタ、及び紫外線カットフィルタを配置しない状態での撮影を可能とし、被写体に赤外線照射と紫外線照射を与えることによって暗闇でもカラー画像を出力するようにでき、更に、黒バランス制御、白バランス制御、色再現マトリクス制御を行うことによって色再現性を更に向上させることができる。

本発明の撮像装置を構成するブロック図である。同、動作を示すフローチャートである。同、最暗点を検出した様子を示す説明図である。同、黒バランス補正の概略図である。同、黒順応率の入力画面である。同、関数γｒの具体例である。同、白バランスの積分範囲を示す説明図である。同、色再現マトリクスの最適化を示す説明図である。同、色再現マトリクスの最適化を示す説明図である。従来技術における撮像装置のブック図である。従来技術における動作を示すフローチャートである。

符号の説明

１１；レンズ系、１２；赤外線カットフィルタ、１３；紫外線カットフィルタ、１４；ＣＣＤ、１５；Ｓ／Ｈ＆ＡＧＣ・Ａ／Ｄ変換器、１６；クランプ回路、１７；白バランス補正回路、１８；ガンマ補正回路、１９；信号処理回路、２０；色再現マトリクス、２１；赤外線照射部、２２；紫外線照射部、２３；マイクロコンピュータ。

Claims

赤外線領域と紫外線領域に感度を有する撮像素子を備え、
光路内の赤外線カットフィルタ及び紫外線カットフィルタを光路内に配置しないで被写体に赤外線照射及び紫外線照射を同時に与えることによって、被写体を撮影して得た撮像信号から色を判定することにより暗闇でのカラー画像を出力するようにしたことを特徴とする撮像装置。
被写体に赤外線及び紫外線を同時に照射する照射手段と、
前記赤外線及び紫外線を照射された被写体から反射する光を集光するレンズ系と、
赤外線をカットする赤外線カットフィルタと、
紫外線をカットする紫外線カットフィルタと、
前記レンズ系で集光した赤外線領域及び紫外線領域に感度を有する撮像素子と、
前記撮像素子で出力される撮像信号から色を判定してカラー画像信号を出力する色判定手段と、を備え、
前記照射手段は、暗視カラーモードのときに被写体に対して赤外線及び紫外線を同時に照射すると共に、前記赤外線カットフィルタ及び紫外線カットフィルタを光路から外れた位置に移動させるように制御することを特徴とする撮像装置。
前記色判定手段には、前記撮像素子で得られた撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正手段を備えたことを特徴とする請求項２に記載の撮像装置。
前記色判定手段には、前記撮像素子で得られた撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正手段を備え、該黒バランス補正手段で黒バランス補正された撮像信号をホワイトバランス補正する白バランス補正手段を備えたことを特徴とする請求項２に記載の撮像装置。
前記色判定手段には、前記撮像素子で得られた撮像信号の最暗点を検波し、該検波した最暗点を黒順応率を考慮して無彩軸方向に補正する黒バランス補正手段を備え、該黒バランス補正手段で黒バランス補正された撮像信号をホワイトバランス補正する白バランス補正手段を備え、該白バランス補正手段により補正された映像信号を色再現マトリクスで最適化する色再現マトリクス補正手段を備えたことを特徴とする請求項２に記載の撮像装置。
前記色再現マトリクス補正手段は、紫外線カットフィルタ及び赤外線カットフィルタの配置情報や、赤外線及び紫外線の照射情報から、その状態に適した最適なマトリクス係数が与えられ、該マトリクス係数に基づいて色再現の最適化をすることを特徴とする請求項５に記載の撮像装置。