JP2007202107A - 撮像装置 - Google Patents

Abstract

【課題】色再現性のよいカラー画像を得ることが可能な撮像装置を提供する。
【解決手段】撮像装置１００は、撮像素子１０において可視光と赤外線の両方を受光する第１の画素と、赤外線を受光する第２の画素とを備えており、前記第１の画素が受光した光の分光特性と前記第２の画素が受光した光の分光特性とに基づいて、前記第２の画素より出力された信号から前記第１の画素より出力された信号に含まれる赤外線成分の大きさを予測する赤外線成分予測部１６と、前記第１の画素より出力された信号から前記予測された赤外線成分を減算する減算部１４と、を具備する。
【選択図】図１

Description

本発明は、可視光及び赤外線領域に感度を有する撮像素子を備えた撮像装置に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）センサといった撮像素子は、一般的に可視光だけでなく赤外線にも感度を持つ。
このような撮像素子を用いて暗い環境下で撮像した場合、この赤外線成分を利用して輝度成分を得ることにより、高感度なモノクロ画像を実現することができる。一方、良好な色再現性を実現したカラー画像を得るためには、赤外線成分を除去する必要がある。

特許文献１には、撮像素子と赤外線受光素子とを備え、撮像素子の出力信号（可視光成分と赤外線成分の和）から赤外線受光素子の出力信号（赤外線成分）を減算する方法が開示されている。
特開平６−１０５３１９号公報

しかしながら、特許文献１に開示された方法によれば、撮像素子に設けられた可視光フィルタと赤外線受光素子に設けられた赤外線フィルタの赤外線領域における分光特性が一致していない場合、撮像素子の出力信号から十分に赤外線成分を除去することができず、良好な色再現性を得られない、といった問題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、色再現性のよいカラー画像を得ることが可能な撮像装置を提供することである。

本発明のある態様は、撮像装置に関する。この装置は、可視光と赤外線の両方を受光する第１の画素と、赤外線を受光する第２の画素と、前記第１の画素が受光した光の分光特性と前記第２の画素が受光した光の分光特性とに基づいて、前記第２の画素より出力された信号から前記第１の画素より出力された信号に含まれる赤外線成分の大きさを予測する予測部と、前記第１の画素より出力された信号から前記予測された赤外線成分を減算する減算部と、を具備する。

この態様によれば、可視光と赤外線の両方を受光する第１の画素で受光した光の分光特性と、赤外線を受光する第２の撮像素子が受光した光の分光特性とが異なっている場合でも、それぞれの分光特性に基づいて、第２の画素より出力された信号から第１の画素より出力された信号に含まれる赤外線成分をほぼ正確に予測することができるので、第１の撮像素子より出力された信号から赤外線成分を十分に除去することができる。これにより、この撮像装置によって、色再現性のよいカラー画像を得ることが可能となる。

なお、第１及び第２の画素で受光した光の分光特性は、例えば、それぞれの画素に備えられた色フィルタの分光特性や、それぞれの画素に備えられた光電変換素子の分光特性によって決定されてもよい。これにより、色フィルタの分光特性や光電変換素子の分光特性が第１の画素と第２の画素で異なる場合であっても、第１の画素より出力された信号に含まれる赤外線成分をほぼ正確に予測することができる。

また、第１及び第２の画素で受光した光の分光特性は、それぞれの画素に入射された光
の分光特性によって決定されてもよい。これにより、光源や被写体が変化した場合であっても、第１の画素より出力された信号に含まれる赤外線成分をほぼ正確に予測することができる。

この態様において、前記第１の画素と前記第２の画素は、同一の撮像素子に形成されていてもよい。これにより、撮像素子を１つ備えればよく、また赤外線成分を取り出すための光学素子も不要になることから、撮像装置の小型化をはかることができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、色再現性のよいカラー画像を得ることが可能な撮像装置を得ることができる。

以下、本発明を実施するための最良の形態について説明する。

図１は、本発明の実施の形態に係る撮像装置１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像装置１００は、撮像素子１０、アナログ／デジタル変換部１２、減算部１４、赤外線成分予測部１６、信号処理部１８を備えている。被写体からの光は撮像素子１０に入射される。

撮像素子１０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。

また、撮像素子１０は画素毎に異なる色のフィルタを備えており、この色フィルタによって色分解を行う。撮像素子１０に備えられた色フィルタは可視光及び赤外線を透過する可視光フィルタと、主として赤外線を透過する赤外線フィルタとを含む。さらに、可視光フィルタは、透過する色に対応して、赤色フィルタ、緑色フィルタ、及び青色フィルタに分類される。

図２は、撮像素子１０が備えた色フィルタの配列を示した図である。撮像素子１０の画素２０には緑色光を透過する緑色フィルタが、画素２２には赤色光を透過する赤色フィルタが、画素２４には青色光を透過する青色フィルタが配置されている。これら緑色フィルタ、赤色フィルタ、青色フィルタは、赤外線も透過する特性を持っている。また、画素２６には主として赤外線を透過する赤外線フィルタが配置されている。そして、これら緑色フィルタ、赤色フィルタ、青色フィルタ、及び赤外線フィルタは、縦２画素、横２画素単位で繰り返し配列されている。

撮像素子１０は、画素毎に対応した色フィルタを透過した光をその強度に応じた電気信号に変換し、これを画像信号として１画素ずつ順番に出力する。すなわち、画素２０から出力される画像信号は緑色光及び赤外線の成分を合わせた大きさとなり、画素２２から出力された画像信号は赤色光及び赤外線の成分を合わせた大きさとなる。また、画素２４から出力された画像信号は青色光及び赤外線の成分を合わせた大きさとなる。一方、画素２６から出力された画像信号は、赤外線の成分に応じた大きさとなる。

アナログ／デジタル変換部１２は、撮像素子１０から出力された画像信号を、例えば１０ビットのデジタル信号に変換する。変換後のデジタル信号は、減算部１４及び赤外線成分予測部１６に入力される。

減算部１４は、撮像素子１０の画素２０、２２、及び２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、画素２６より出力され画像信号である赤外線成分ＩＲを除去する。このとき、画素２６より出力された赤外線成分ＩＲをそのまま減算するのではなく、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤外線成分予測部１６で赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ_＋ＩＲ）毎に、それぞれ別個に赤外線成分ＩＲを補正したうえで減算を行う。

赤外線成分予測部１６は、撮像素子１０の各画素で受光した光の分光特性に基づき画素２６より出力された赤外線成分ＩＲを補正することによって、各色成分Ｇ_＋ＩＲ、Ｒ_＋ＩＲ、Ｂ_＋ＩＲに重畳されている赤外線成分を予測する。例えば、画素２０で受光した光の赤外線領域と画素２６で受光した光の分光特性の比を求め、この比を画素２６の出力画像信号である赤外線成分ＩＲに乗ずることにより、色成分Ｇ_＋ＩＲに重畳されている赤外線成分を予測する。

同様に、赤外線成分予測部１６は、画素２２で受光した光の赤外線領域と画素２６で受光した光、及び、画素２４で受光した光の赤外線領域と画素２６で受光した光の分光特性の比を求め、この比を赤外線成分ＩＲに乗ずることにより、色成分Ｒ_＋ＩＲ及びＢ_＋ＩＲに重畳されている赤外線成分を予測する。

それぞれの画素で受光した光の分光特性は、それぞれの画素に備えられた色フィルタの分光特性や、フォトダイオードの分光特性、及びそれぞれの画素に入射された光の分光特性などによって決定する。色フィルタの分光特性やフォトダイオードの分光特性は撮像素子１０の各画素の形状やプロセスによって定まり、赤外線成分予測部１６は、それぞれの画素の色フィルタ及びフォトダイオードの分光特性を記憶している。一方、それぞれの画素の入射された光の分光特性は、赤外線成分予測部１６で、撮像素子１０から出力された画像信号を積分することによって求める。なお、受光した光の分光特性を、図示しない制御装置によって決定するようにしてもよい。

赤外線成分予測部１６は、予測された赤外線成分の大きさを減算部１４に伝達する。減算部１４は、赤外線成分予測部１６から伝達された色成分毎に補正された赤外線成分を用いて、各色成分Ｇ_＋ＩＲ、Ｒ_＋ＩＲ、Ｂ_＋ＩＲから赤外線成分を除去する。

減算部１４から出力された信号は、信号処理部１８で輝度信号及び色信号の抽出や、様々な画像処理が施され、信号処理部１８で得られた信号は、図示しない表示装置や画像圧縮装置などに送られる。

斯かる構成に基づき、図１に示した撮像装置１００の動作を以下に説明する。
撮像素子１０に入力された光は、図２に示した色フィルタによって画素毎に緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）、及び赤外線成分ＩＲに色分解され、電気信号に変換される。この電気信号は、撮像素子１０から１画素ずつ画像信号として出力され、アナログ／デジタル変換部１２によってデジタル信号に変換される。

アナログ／デジタル変換部１２でデジタル信号に変換された画像信号は、減算部１４と赤外線成分予測部１６に入力される。赤外線成分予測部１６は、緑色フィルタ、赤色フィルタ及び青色フィルタを備えた画素がそれぞれ受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性の比を、赤外線フィルタを備えた画素から出力された赤外線成分ＩＲに乗ずることにより、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ_＋ＩＲ）に含まれる赤外線成分の大きさをそれぞれ別個に予測する。

赤外線成分予測部１６で予測された各色成分に重畳された赤外線成分の大きさは、減算部１４に伝達される。そして、減算部１４によって、緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、及び青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、それぞれ別個に予測された赤外線成分を減算される。

以下、これらの処理をより具体的に説明する。
赤外線成分予測部１６は、色フィルタを備える画素と赤外線フィルタを備える画素間の分光特性の違いを調整するための係数（Ｌ_Ｒ, Ｌ_Ｇ, Ｌ_Ｂ）の値を決定し、減算部１４に伝達する。減算部１４は、撮像素子１０の画素２０、２２、及び２４より出力された画像信号、すなわち緑色光成分＋赤外線成分（Ｇ_＋ＩＲ）、赤色光成分＋赤外線成分（Ｒ_＋ＩＲ）、青色光成分＋赤外線成分（Ｂ_＋ＩＲ）から、画素２６より出力され画像信号である赤外線成分ＩＲを除去する。このとき、画素２６より出力された赤外線成分ＩＲをそのまま減算するのではなく、係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）を乗じた値を減算する。すなわち、減算部１４は、赤色光成分Ｒ、緑色光成分Ｇ、及び青色光成分Ｂを以下の式（１）〜（３）によって算出する。
Ｒ ＝ Ｒ_＋ＩＲ−Ｌ_Ｒ・ＩＲ ・・・（１）
Ｇ ＝ Ｇ_＋ＩＲ−Ｌ_Ｇ・ＩＲ ・・・（２）
Ｂ ＝ Ｂ_＋ＩＲ−Ｌ_Ｂ・ＩＲ ・・・（３）

図３は、赤色フィルタ、緑色フィルタ、青色フィルタ及び赤外線フィルタを備える各画素の分光特性の一例を示す図である。図３は、横軸に波長、縦軸に感度をとる。境界線ａより高い波長の領域は、赤外線領域を示し、境界線ａより低い波長の領域は、可視光領域を示す。

赤色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度よりかなり大きくなる。図３の特性例では、赤外線フィルタを備える画素は、赤外線波長領域にて、赤色フィルタを備える画素の１．５倍程度の感度を持つ。よって、赤色フィルタを備える画素の係数Ｌ_Ｒの値を１．５に設定する。赤外線フィルタを備える画素から出力された赤外線成分ＩＲをそのまま減算しただけでは、赤色フィルタを備える画素の出力信号から赤外線成分を除去しきれない。この点、赤外線フィルタを備える画素から出力された赤外線成分ＩＲに係数Ｌ_Ｒを乗じて補正することにより、赤色フィルタを備える画素の出力信号に含まれる赤外線成分を完全に除去することができる。

青色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度と同程度となる。緑色フィルタを備える画素の赤外線波長領域における感度は、赤外線フィルタを備える画素の感度より１割程度、小さくなる。そこで、青色フィルタを備える画素の係数Ｌ_Ｒの値を１に設定し、緑色フィルタを備える画素の係数Ｌ_Ｒの値を０．９に設定する。よって、図３の特性例を持つ撮像素子１０における係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値は、（１．５，０．９，１．０）程度となる。

上述した分光特性は、フィルタの分光特性やフォトダイオードの分光特性だけでなく、光源の分光特性や被写体の分光特性にも影響を受ける。これらの特性は、光源や撮影対象によって様々であり、感度が一致しない波長の光の強度が強いこともあれば弱いこともある。よって、係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値も、光源や被写体ごとに切り替えることが望ましい。

赤外線成分予測部１６は、光源の種類ごとに予め算出された係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値を保持していてもよい。例えば、太陽光向け、蛍光灯向け、白熱灯向けごとに異なる係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値を保持する。これらの値は、設計者により実験やシミュレーションにより求められる。赤外線成分予測部１６は、ユーザにより光源のモードが選択されると、選択されたモードに対応する係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）を使用する。

また、赤外線成分予測部１６は、被写体の種類ごとに予め算出された係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値を保持していてもよい。例えば、人間向け、植物向け、建造物向けごとに異なる係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値を保持する。ユーザにより撮影対象のモードが選択されると、赤外線成分予測部１６は、選択されたモードに対応する係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）を使用する。また、光源と被写体の組合せごとに異なる係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）の値を保持していてもよい。

また、光源や被写体の分光特性に対応した係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）を赤外線成分予測部１６に予め登録しておくのではなく、撮影ごとに係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）を適宜、算出してもよい。例えば、赤外線成分予測部１６は、各画素に入射された光の分光特性を、撮像素子１０から出力された画像信号を積分することによって、撮影時に求めてもよい。また、撮像装置３００に分光特性センサを設け、撮影時の分光特性を測定し、係数（Ｌ_Ｒ， Ｌ_Ｇ， Ｌ_Ｂ）を決定してもよい。

信号処理部１８は、減算部１４の出力信号に基づき、各種画像処理を施して、外部に出力する。

以上、本実施の形態に係る撮像装置によれば、可視光フィルタを備えた画素より出力された赤外線成分を含む色成分から赤外線成分を減算するときに、可視光フィルタを備えた画素で受光した光の赤外線領域の分光特性と赤外線フィルタを備えた画素で受光した光の分光特性の比を、赤外線フィルタを備えた画素より出力された赤外線成分に乗ずることによって、可視光フィルタを備えた画素より出力された色成分に含まれる赤外線成分を予測する。これにより、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性とが異なっている場合でも、可視光フィルタを備えた画素より出力された色成分に含まれる赤外線成分をほぼ正確に予測することができ、この色成分から赤外線成分を十分に除去することができる。したがって、この撮像装置によって、色再現性のよいカラー画像を得ることが可能となる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、上記実施の形態において、赤外線成分予測部１６は、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性との比を、赤外線フィルタを備えた画素から出力された赤外線成分ＩＲに乗ずることにより、赤外線成分を補正する例を示したが、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性の差をオフセット量とみなし、赤外線フィルタを備えた画素から出力された赤外線成分ＩＲにこのオフセット量を加算することにより、赤外線成分を予測してもよい。この方法は、フィルタの特性が重畳される赤外線成分がオフセット量としてあらわれる場合に有効である。

また、上記の実施の形態において、赤外線成分予測部１６は、可視光フィルタを備えた画素が受光した光の赤外線領域の分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性とに基づいて、可視光フィルタを備えた画素から出力された信号に含まれる赤外線成分を予測したが、可視光フィルタを備えた画素が受光した光の赤外線領域だけでなく、他の波長の光の一部も含めた分光特性と、赤外線フィルタを備えた画素が受光した光の分光特性とに基づいて、可視光フィルタを備えた画素から出力された信号に含まれる赤外線成分を予測してもよい。この方法は、赤外線フィルタが可視光の一部を透過するような特性を持っている場合に有効である。

また、上記実施の形態において、撮像素子１０が可視光と赤外線の両方を透過する可視光フィルタを備えた画素と、主として赤外線を透過する赤外線フィルタを備えた画素を具備している例を示したが、これに限るものではなく、可視光フィルタを備えた撮像素子と、赤外線フィルタを備えた撮像素子の２つを具備して、それぞれから出力された画像信号を用いても、本発明の撮像装置に含まれる。

また、上記実施の形態において、３原色フィルタと赤外線フィルタを用いた撮像素子１０について説明した。この点、本実施の形態は、補色フィルタと赤外線フィルタを用いた撮像素子１０に適用可能である。補色フィルタは、イエローＹｅ、シアンＣｙおよびマゼンダＭｇに色分解する。または、イエローＹｅ、シアンＣｙおよびグリーンＧｒに、もしくはイエローＹｅ、シアンＣｙ、マゼンダＭｇおよびグリーンＧｒに色分解する。それぞれの色成分を透過するフィルタは、上述した３原色フィルタと同様に、赤外線成分も透過する。

本発明の実施の形態に係る撮像装置の構成図である。 図１の撮像素子の色フィルタの配列を示した図である。 本発明の実施の形態に係る赤色フィルタ、緑色フィルタ、青色フィルタ及び赤外線フィルタを備える各画素の分光特性の一例を示す図である。

符号の説明

１０ 撮像素子
１４ 減算部
１６ 赤外線成分予測部
１００ 撮像装置

Claims (2)

1. 可視光と赤外線の両方を受光する第１の画素と、
   赤外線を受光する第２の画素と、
   前記第１の画素が受光した光の分光特性と前記第２の画素が受光した光の分光特性とに基づいて、前記第２の画素より出力された信号から前記第１の画素より出力された信号に含まれる赤外線成分の大きさを予測する予測部と、
   前記第１の画素より出力された信号から前記予測された赤外線成分を減算する減算部と、
   を具備することを特徴とする撮像装置。
2. 前記第１の画素と前記第２の画素は、同一の撮像素子に形成されていることを特徴とする請求項１に記載の撮像装置。

Images