JP5186517B2

JP5186517B2 - 撮像装置

Info

Publication number: JP5186517B2
Application number: JP2010040328A
Authority: JP
Inventors: 謙一岩内
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-02-25
Filing date: 2010-02-25
Publication date: 2013-04-17
Anticipated expiration: 2030-02-25
Also published as: JP2011176710A

Description

本発明は、カラー画像を撮像する撮像素子を複数用いた撮像装置に関する。

現在一般的に用いられている撮像装置は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを有した撮像素子が使われている。このカラーフィルタにより、入射した光を赤、緑、青の成分に分離することでカラー化している。図９に示すように撮像素子の各画素毎に色の異なるカラーフィルタが並べられており、２つの緑（Ｇ）フィルタと、１つの赤（Ｒ）フィルタと、１つの青（Ｂ）フィルタを一組（太線で囲った領域）として、撮像素子の受光面全面を覆っている。このような構成のいわゆるベイヤー配列方式の撮像素子は、入射した光が吸収型のカラーフィルタにより吸収されて大きく光量が低下してしまうのに加え、最近の高精細化に伴い画素サイズが小さくなり得られる光量が低下しているため、光の取り込み量が少なくなり、感度が低下してしまうという問題がある。

一方、カラーフィルタに、より透過率の高い補色カラーフィルタであるシアン、マゼンタ、イエローを用いた撮像素子も使われている。この補色カラーフィルタは、画素間の差信号により色信号が生成されるため、本来想定している光の三原色と異なる色となってしまうという問題がある。例えば青の色情報を得るには、緑と青情報を持つシアンと赤と青の情報を持つマゼンタの信号を加え、赤と緑の情報を持つイエローの信号を差し引くことで求めることができる。原理上ではこのように青の情報を求めることができるが、実際には他の波長域の情報も載ってしまい、それが誤った情報となり、結果的にノイズとなってしまう。

補色フィルタによる高感度化におけるこのような問題を解決するために、透明フィルタを有した撮像素子が提案されている（例えば、特許文献１参照）。これは、図１０に示すように、赤（Ｒ）フィルタと青（Ｂ）フィルタを水平方向、垂直方向それぞれに３画素おきにオフセット構造に配置し、その間に透明フィルタ（Ｙ）を配置することにより、感度の向上を図ることができる。

また、被写体を撮影するだけでなく撮像装置を応用する例として、被写体などの対象物体までの距離（奥行）を求めるものがある。これは左右２台のカメラ（撮像装置）を用い、その左右の画像の位置ずれ量を求め、三角測量の原理により三次元位置を算出する技術が多く提案されている（例えば、特許文献２参照）。

特開平８−２３５４２号公報特開平５−１１４０９９号公報

しかしながら、特許文献１の方法では、透明画素を用いるため感度が向上するものの、透明画素と比較して色を取得する画素が非常に少なく、色の解像度としては大きく低下してしまっており、実質の解像度は低下してしまうという問題がある。また、透明フィルタと赤フィルタと青フィルタを用いており、緑信号を得るには透明フィルタと赤フィルタと青フィルタから算出するしかなく、結果的に緑信号は補色から得ており、ノイズが多くなるという問題は残ったままである。また、透明フィルタの代わりに緑フィルタを用いた例も提示されているが、この場合緑画素が非常に多く配置されており、人の目の感度（視感度）に対応した明るさは向上するものの、実際の光に対する感度としてはあくまでも可視光域の約１／３である緑波長域しか使えていないため、カラー画像として感度が向上しているとは言い難い。

一方、特許文献２の方法では、左右２台の撮像装置でそれぞれの画像の位置ずれ量を算出するため、左右の画像の同じ画素値（映像の信号値）を比較するには２台の撮像装置はほぼ同じ特性を示す撮像装置である必要がある。すなわち、２台の撮像装置のそれぞれの撮像素子同士は同じフィルタの組み合わせである必要があり、１台が赤画素、緑画素、青画素を有する撮像素子であれば、もう一方も同じ組み合わせである必要がある。この構成で感度を向上させる場合には、例えば特許文献１の撮像素子を左右それぞれの撮像装置に適用すればよいが、それと引き換えに特許文献１の課題である解像度の低下を招いてしまう。感度向上とは別に、正確な色情報を得るためには、赤画素、緑画素、青画素に加え他の色画素を用いる必要があるが、これも同じく解像度の低下を招いてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、複数台の撮像装置を使用して、カラーの合成画像と距離情報を得ることができる撮像装置において、解像度の低下を招くことなく感度を向上し、さらには多くの色情報の取得が可能な撮像装置を提供することを目的とする。

本発明は、カラー画像を取得するとともに、被写体までの距離情報を取得するために、入射した光を光電変換して画像信号を出力する２系統の撮像素子と、前記２系統の画像信号に基づき被写体までの距離情報を求める距離情報取得部と、前記２系統の画像信号を合成して前記カラー画像を得る合成部とを備える撮像装置であって、前記撮像素子のうち第１の撮像素子は透明画素と光の３原色のうち第１の原色画素と第２の原色画素とを一組とした画素構成を有し、第２の撮像素子は透明画素と光の３原色のうち、第３の原色画素と、前記第１または第２のいずれかの原色画素とを一組とした画素構成を有していることを特徴とする。

本発明は、前記第１及び第２の撮像素子の一組の画素構成は、透明画素が２つずつであることを特徴とする。

本発明は、前記距離情報取得部は、前記２系統の画像信号のうち、少なくとも透明画素の信号同士のマッチングをとって、前記２系統の間の視差量を算出し、該視差量に基づき、被写体までの距離情報を求めることを特徴とする。

本発明は、前記合成部は、低照度の画素については、前記２系統の画像信号のうち、いずれか１系統の透明画素の信号に置き換えることを特徴とする。

本発明は、前記第１または第２の撮像素子の透明画素の信号と、該撮像素子の２つの原色画素の信号とに基づき、３原色のうちの、残りの１つの原色画素の信号を生成する原色信号生成部を備えることを特徴とする。

本発明によれば、複数台の撮像装置を使用して、カラーの合成画像と距離情報を得ることができる撮像装置において、解像度の低下を招くことなく感度を向上し、さらには多くの色情報の取得が可能になるという効果が得られる。

本発明の一実施形態による撮像装置の構成を示すブロック図である。本発明の撮像素子のカラーフィルタの配置を示す説明図である。本発明のカラーフィルタの透過分光特性を示す図である。本発明の撮像素子の算出されたカラーフィルタ透過分光特性である。本発明の撮像素子の赤カラーフィルタ透過分光特性の比較である。左右の視差による視差量の違いを示す模式図である。本発明の撮像素子の別形態の概念図である。本発明の撮像素子の緑カラーフィルタ透過分光特性の比較である。従来技術のベイヤー配列方式を説明する概念図である。従来技術のベイヤー配列方式に透明フィルタ（Ｙ）を用いた概念図である。

以下、図面を参照して、本発明の一実施形態による撮像装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１、１２は、撮像素子であり、入射した光を電気信号に変換して出力する。符号２１、２２は、撮像素子１１、１２の光入射面に設けられたカラーフィルタである。符号３１、３２は、撮像素子１１、１２の光入射面に像を結像させるレンズであり、それぞれ複数枚のレンズから構成されていてもよい。符号４は、２つの撮像素子１１、１２から出力する信号を入力して、画素毎の相関を求めて、視差を検出して、その視差を示す視差信号Ｐと、その視差に応じた距離情報Ｄとを出力する相関検出部（距離情報取得部）である。符号５は、相関検出部４から入力された視差信号Ｐに基づいて、視差の補正を行う視差補正部である。本実施形態では、視差補正部５は、撮像素子１１に基づく赤画素の信号と青画素の信号とについて、視差を補正し、撮像素子１２の視点からの信号Ｂ’ｒｒ、Ｒｒｒに変換する。符号６は、視差補正部５から出力する信号と、撮像素子１２から出力する信号に基づいて、画像合成を行って赤画素の電気信号Ｒｃと、緑画素の電気信号Ｇｃと、青画素の電気信号Ｂｃとからなる合成画像の信号を出力する合成部である。

被写体からの光は、レンズ３１、３２によって撮像素子１１、１２の入射面に結像する。撮像素子１１、１２は、結像した光を光電変換し、電気信号を出力する。カラーフィルタ２１は、透明（Ｗ）と赤色（Ｒ）と緑色（Ｇ）のフィルタを備え、撮像素子１１は、透明画素の電気信号Ｗｒと赤画素の電気信号Ｒｒと緑画素の電気信号Ｇｒとを出力する。カラーフィルタ２２は、透明（Ｗ）と青色（Ｂ）と緑色（Ｇ）のフィルタを備え、撮像素子１２は、透明画素の電気信号Ｗｌと青画素の電気信号Ｂｌと緑画素の電気信号Ｇｌとを出力する。符号７は、撮像素子１１が出力した電気信号に基づき、青画素の電気信号Ｂ’ｒを生成する。符号８は、撮像素子１２が出力した電気信号に基づき、赤画素の電気信号Ｒ’ｌを生成する。符号９は、合成部６が出力する合成画像の信号と、青色信号生成部７が出力する青色画素の信号と、青色信号生成部８が出力する青色画素の信号とを、ＣＩＥ（国際照明委員会）標準表色系であるＸＹＺ表色系に変換する色空間変換部である。

次に、図２を参照して、図１に示す撮像素子１１、１２に設けられているカラーフィルタ２１、２２のフィルタの配置位置について説明する。図２は、レンズ３１、３２側から見た撮像素子１１、１２それぞれの一部分を示す図である。撮像素子１１は、例えば左右２台ある撮像装置の右側撮像装置に用いる撮像素子であり、２つの透明フィルタの画素（Ｗ）（以下、透明画素（Ｗ）と称する）と、１つの赤フィルタの画素（Ｒ）（以下、赤画素（Ｒ）と称する）と、１つの緑フィルタ画素（Ｇ）（以下、緑画素（Ｇ）と称する）とを一組（太い線の領域）として構成されている。一方、撮像素子１２は、例えば左側撮像装置に用いる撮像素子であり、２つの透明画素（Ｗ）と、１つの緑画素（Ｇ）と、１つの青フィルタの画素（Ｂ）（以下、青画素（Ｂ）と称する）とを一組（太い線の領域）として構成されている。

ここで、右用の撮像素子１１の右用のカラーフィルタ２１の透過特性について説明する。図３は、図１に示すカラーフィルタ２１の光透過特性を示す図である。図３において、横軸は、光の波長を示し、縦軸は、フィルタの透過率を示している。右用のカラーフィルタ２１は透明画素（Ｗ）と赤画素（Ｒ）と緑画素（Ｇ）とにより構成されているため、それぞれの透過率は図３に示したようになる。ここでは、簡単な例として透明画素の透過率を１００％とし、赤画素と緑画素のいずれも最大の透過率で１００％を示すようにしている。透明画素（Ｗ）の透過率はどの波長域においても吸収されることなく全波長域に渡り１００％の透過を示すため透明であり、赤画素（Ｒ）は４００ｎｍから６００ｎｍ程の波長域で吸収されるため赤の波長域での透過しかないため赤となる。緑画素（Ｇ）も短波長の青波長域と長波長の赤波長域の吸収のため緑となる。

図４は、図１に示すカラーフィルタ２２の光透過特性を示す図である。同様に、図４において、横軸は、光の波長を示し、縦軸は、フィルタの透過率を示している。左用のカラーフィルタ２２は透明画素（Ｗ）と緑画素（Ｇ）青画素（Ｂ）とにより構成されているため、それぞれの透過率は図４に示したようになる。これも同様に青画素の最大の透過率で１００％を示すようにしている。

ここで、右用のカラーフィルタ２１は全波長域にわたる情報を取得する透明画素（Ｗ）と光の三原色のうちの赤画素（Ｒ）と緑画素（Ｇ）とがあるため、これらの信号を用いて、右用撮像素子１１では存在しない青画素（Ｂ）を擬似的ではあるが取得することが可能である。例えば、青色信号生成部７は、撮像素子１１が出力する透明画素の信号Ｗｒから、それぞれに予め設定された係数を乗じた赤画素の信号Ｒｒと緑画素の信号Ｇｒとを差し引くことで擬似的な青画素の信号Ｂ’ｒを得る。このとき、赤画素の信号Ｒｒおよび緑画素の信号Ｇｒに乗じる係数として、例えば、図３で示した透明画素の透過率の全波長域の積分値に対する赤画素および緑画素の透過率の全波長域の積分値を用いる。同様に、左用カラーフィルタ２２は全波長域にわたる情報を取得する透明画素（Ｗ）と光の三原色のうちの緑画素（Ｇ）と青画素（Ｂ）とがあるため、赤色信号生成部８は、左用撮像素子１２では存在しない赤画素（Ｒ）を擬似的ではあるが取得可能である。青色信号生成部７と同様に、赤色信号生成部８は、撮像素子１２が出力する透明画素の信号Ｗｌから、それぞれに予め設定された係数を乗じた緑画素の信号Ｇｌと青画素の信号Ｂｌとを差し引くことで擬似的な赤画素の信号Ｒ’ｌを得る。

例えば、このようにして左用カラーフィルタ２２から算出した擬似的な赤画素（Ｒ’）と右用カラーフィルタ２１の赤画素（Ｒ）の特性を比較した結果を図５に示す。長波長を透過し三原色のうち赤を示す透過特性を示すものの多少透過特性が異なり、Ｒと比較しＲ’ではより幅広い波長域を透過していることが分かる。一般的に、このように他の色情報から擬似的に算出した色は、波長域が広がる傾向にあり、これが前述したノイズの一因となる。詳細は後述するとして、この擬似的に求めた色（ここでは例えば赤）と本来の色とが関係付けられれば、擬似的に求めた色を本来の色に置き換えることも可能であるし、また擬似的な色と本来の色との差分を取ることで、新たな透過特性のカラーフィルタを有する画素情報としても利用でき、この場合正確な色情報の取得に大きく貢献する。

次に、右用撮像素子１１と左用撮像素子１２を用いて、相関検出部４がステレオマッチング法により対象物体までの距離（奥行）を算出する方法を説明する。右用撮像素子１１と左用撮像素子１２は、同一の被写体を撮影しているが、左右にある程度の距離（基線長）をもって配置されているため、視差が生じ左右では少しずつ異なる画像が取得できる。例えば、図６に示すように最も奥にある木６０１と、その手前にある家６０２と、最も手前にある木６０３とを、左右の撮像装置で取得した場合、右用撮像装置で撮像して得られた画像において、木６０１と家６０２との横方向のずれ量がｉ、木６０３と家６０２との横方向のずれ量がｊとなる。一方、左用撮像装置で撮像して得られる画像においては、木６０１’と家６０２’との横方向のずれ量がｉ’、木６０３’と家６０２’との横方向のずれ量がｊ’となる。このとき、ｉ’はｉより大きくなっており、ｊ’はｊより大きくなっている。また、その変化量はｉ’／ｉより、ｊ’／ｊのほうが大きくなっている。これは、手前に位置するものと、奥に位置するものとでは、視差による見かけの移動量が異なり、手間にあるものほど大きく動いて見えることによる。すなわち、左用撮像装置の画像（左画像という）と右用撮像装置の画像（右画像という）とにおいてこの変化量（視差量という）を見ることで、対象物体までの距離（奥行）を推定することが可能となる。奥行の絶対値としては、この視差量から公知の三角測量法の原理を用い距離情報を計算すればよい。

なお、ここでは、ずれ量を算出する基準として、家６０２、６０２’を用いているが、家６０２、６０２’などのような画像中の被写体ではなく、各々の画像の中心、左端、右端など、画像中の所定の点または垂線を基準にしてもよい。
また、視差量として、上述の基準からの距離の左画像と右画像との差を用いてもよい。
相関検出部４は、このようにして算出した視差量を示す視差信号Ｐと、距離情報Ｄとを出力する。なお、本実施形態では、視差量として、撮像素子１２の視点から見た画像中の画素各々について、その画素に対応する撮像素子１１の視点から見た画像中の画素までのずれを用いる。例えば、左画像中で、ある画素についての視差量は、左に１０画素である。例えば、左を負、右を正とするなど、この左右を正負を用いて表し、上述の視差量の例を−１０画素としてもよい。これは、この視差量を、後述する視差補正部５において、撮像素子１１が出力した信号に基づく画像を、撮像素子１２の視点から見た画像に補正するのに用いるためである。

視差量を求めることで奥行情報が求められることは前述した通りであるが、この視差量を求めるには、左右の撮像装置で得られた画像を比較して同じ画像の位置（画素位置）を特定する必要がある。例えば、左画像のある画素が捉えた被写体は、右画像のどの画素で同じ被写体を捉えているかを特定する必要がある。このように２つの画像の対応付けをすることを一般的にステレオマッチングという。ステレオマッチングには、様々な手法が提案されている。本実施形態では、相関検出部４は、縦と横が３画素ずつの計９画素のブロックを用い、左画像のブロックが、右画像のどの位置に相当するかを比較しながらマッチングを行う。すなわち、相互検出部４は、左画像の画素Ａが捉えた被写体は、右画像のどの画素で同じ被写体を捉えているかを特定するときには、左画像の画素Ａを中心とするブロックと、右画像の画素各々を中心とするブロック各々との正規相互相関を算出し、正規相互相関が最も大きな値となるブロックの中心の画素が、画素Ａと同じ被写体を捕らえていると判定する。なお、正規相互相関を算出する対象のブロックを画素Ａの位置に応じた範囲の画素を中心とするブロックに限定してもよい。、画素でのマッチングでは同じ画素値を持った画素が多く存在するため、このようにいくつかの画素をセットにしてマッチングを行い、すべての画素が良い一致を示した画素位置を用いる。

また、セットを構成する画素ごとにセット中での位置に応じた重み付けをして、セットの中でも特定の画素のマッチングを重視することを行うようにしてもよい。また、画素値そのものではなく、これら画素値から輝度値を算出し、その値でマッチングしても良い。このマッチングの手法は従来提案されている種々の方法を用いることができる。以上のような左右画像でのマッチングでは、左右で同じ画素値（画像の信号値）を探索するので、被写体の同じ位置を捉えた左右の画像は同じ画素値を持つことが望ましい。そのためには、マッチングする画素のカラーフィルタ特性も同一であることが望ましい。そこで、本実施形態における相関検出部４は、右用撮像素子１１と左用撮像素子１２のそれぞれの緑画素（Ｇ）同士、及び透明画素（Ｗ）同士をマッチングする。これにより、左右の撮像素子で異なる赤画素（Ｒ）と青画素（Ｂ）とのマッチングを行わなくとも４画素のうち３画素を用いたステレオマッチングが可能なため、左右画像から視差量の推定が可能となり、異なるカラーフィルタ特性を有する右用撮像素子１１と左用撮像素子１２とで視差マップの算出が可能となる。透明画素（Ｗ）で得た画像はすべての波長域の光を利用した画像であり、また緑画素（Ｇ）などのカラーフィルタを通した画素と比較して２倍の透明画素（Ｗ）で得た画像であるため、カラーフィルタを通した画素で得た画像と比較し、暗い低照度の被写体までをも捉えることができる。そのため、このように、マッチングに透明画素（Ｗ）を用いることで、低輝度部のマッチングを精度良く行うことが可能となる。

さらに、相関検出部４は、例えば、左画像において、その画素を中心とするブロックの緑画素（Ｇ）の平均値が、予め設定された閾値よりも小さいなど、低照度の画素については、透明画素（Ｗ）同士のみのマッチングとしてもよい。カラーフィルタを通した画素で得た画像では、低照度の画素において、画素値に対して、ノイズの影響が大きくなる。そのため、このように、低照度の画素において、透明画素（Ｗ）同士のみをマッチングすることで、低輝度部のマッチングを精度良く行うことが可能となる。なお、低照度であるか否かの判定は、上述の判定方法に限らず、その他の判定方法であってもよい。例えば、その画素の緑画素（Ｇ）の画素値が閾値よりも小さいか否かで判定してもよいし、その画素の透明画素（Ｗ）の画素値が閾値より小さいか否かで判定してもよい。
また、低照度の画素であれば、透明画素（Ｗ）同士のみのマッチングとし、低照度の画素でなければ、緑画素（Ｇ）同士のみのマッチングとするようにしてもよい。

この時、右用撮像素子１１の赤画素（Ｒ）と左用撮像素子１２の青画素（Ｂ）とは、他の画素のマッチング結果によりほぼ正確な視差量が推定できる。例えば、周囲の透明画素（Ｗ）や緑画素（Ｇ）の視差量が横に５画素分であったならば、赤画素（Ｒ）と青画素（Ｂ）との視差量も横に５画素分であると予測できる。すなわち、図５で示したように、右用撮像素子１１の右用カラーフィルタ２１の赤画素（Ｒ）と左用撮像素子１２の左用カラーフィルタ２２から算出した擬似的な赤画素（Ｒ’）との視差量が、推定できることとなり、同じ被写体を異なるカラーフィルタである赤画素（Ｒ）と擬似的な赤画素（Ｒ’）とで見ていることになる。同様に、右用撮像素子１１の右用カラーフィルタ２１の擬似的な青画素（Ｂ’）と左用撮像素子１２の左用カラーフィルタ２２から算出した青画素（Ｂ）との視差量についても推定することができる。これらから、カラーフィルタ特性の同じ緑画素（Ｇ）に加え、青画素（Ｂ）、擬似的な青画素（Ｂ’）、赤画素（Ｒ）、擬似的な赤画素（Ｒ’）という５つのフィルタ特性をもつ画像の取得が可能となる。これにより、例えば擬似的に算出した色の代わりに本来の色を用いノイズの低減したＲ、Ｇ、Ｂを用いることも可能であるし、Ｒ’とＲの差分によって得られるＲ’’、またＢ’とＢの差分によって得られるＢ’’、という新たな波長域の情報により、３原色より多い色であるマルチバンドにより、多くの色情報を得ることとなり、より正確な色情報の取得が可能となる。これにより、感度を上げるために採用した透明画素による色情報の欠落を十分にカバーすることが可能となる。

本実施形態では、視差補正部５は、撮像素子１１からの赤画素（Ｒ）の信号Ｒｒと、青色信号生成部７からの擬似青画素（Ｂ’）の信号Ｂ’ｒとを、相関検出部４からの視差信号Ｐに従い、撮像素子１２の視点からの画像の赤画素（Ｒ）の信号Ｒｒｒ、擬似青画素（Ｂ’）の信号Ｂ’ｒｒに変換し、出力する。

合成部６は、撮像素子１２からの緑画素（Ｇ）の信号Ｇｌ、青画素（Ｂ）の信号Ｂｌと、視差補正部５からの赤画素（Ｒ）の信号Ｒｒｒとを、赤、緑、青の３原色からなるカラー画像の信号Ｒｃ、Ｇｃ、Ｂｃとして出力する。ただし、合成部６は、低照度の画素については、上述の信号Ｇｌ、Ｂｌ、Ｒｒｒを、撮像素子１２からの透明画素（Ｗ）の信号Ｗｌに置き換えて、信号Ｒｃ、Ｇｃ、Ｂｃとして出力する。透明画素（Ｗ）で得た画像はすべての波長域の光を利用した画像であり、また緑画素（Ｇ）などのカラーフィルタを通した画素と比較して２倍の透明画素（Ｗ）で得た画像であるため、このように低照度の領域を透明画素（Ｗ）で得た画像に置き換えることで、赤や緑や青の画素ではノイズに紛れて捉えられなかった、すなわち画素値で比較的０に近い値の被写体も捉えることができる。また、人間の目は、照度が低いと、色を認識することができないため、このように、低照度の領域を透明画素（Ｗ）で得た画像としても、その画像を見ることで、人間が得ることができる情報量は減らない。なお、低照度の画素であるか否かの判定方法は、相関検出部４で説明した方法を用いることができるが、相関検出部４と同じ方法でなくてよい。

色空間変換部９は、合成部６からのカラー画像の信号Ｒｃ、Ｇｃ、Ｂｃと、視差補正部５からの擬似青画素（Ｂ’）の信号Ｂ’ｒｒと、赤色信号生成部８からの擬似赤画素（Ｒ’）の信号Ｒ’ｌとを、ＸＹＺ表色系に変換する。この変換は、（１）式に示すように、これらの信号Ｒｃ、Ｇｃ、Ｂｃ、Ｒ’ｌ、Ｂ’ｒｒからなるベクトルを、予め設定された行列に乗算することで行う。これにより、前述のように、赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）の情報に加えて、擬似赤画素（Ｒ’）、擬似青画素（Ｂ’）の情報を用いるので、３原色より多くの色情報を用いており、より正確な色情報を取得できる。また、ウィナー推定に代表される低次元から高次元の情報を推定する手法を用いてもよい。

なお、緑画素は右用カラーフィルタ２１と左用カラーフィルタ２２で同一のものを用いており、右用撮像素子１１と左用撮像素子１２とでは、透明画素の２つ同士と緑画素の１つ同士とが同一の透過特性を有しており、４画素を単位とする残りの１つの画素が異なる透過特性を示しているが、この構成に限るものではない。例えば、図７に示すように、右用撮像素子７１と左用撮像素子７２とでは、透明画素（Ｗ）の２つ同士が同一の透過特性を有しており、右用撮像素子７１の赤画素（Ｒ）と左用撮像素子７２の青画素（Ｂ）とは異なる色の為当然ながら全く異なる透過特性を有しており、右用撮像素子７１の緑画素（Ｇ１）と左用撮像素子７２の緑画素（Ｇ２）とは同じ緑色ではあるものの異なる透過特性を有している。

この緑画素の透過特性を図８に示す。ほぼ同じ波長域の緑であるが、緑画素（Ｇ１）と緑画素（Ｇ２）とでは若干透過特性が異なる。この場合、右用撮像素子７１と左用撮像素子７２とで透過特性の同じ画素同士でステレオマッチングを行い、左右の撮像装置の対応を取る。これにより、緑画素（Ｇ１）と緑画素（Ｇ２）との対応が取れ、また赤画素（Ｒ）と青画素（Ｂ）とは前述したのと同様に対応が取れる。赤画素（Ｒ）と青画素（Ｂ）とは前述の通り、擬似的に算出した擬似赤画素（Ｒ’）と赤画素（Ｒ）と、あるいは、擬似青画素（Ｂ’）と青画素（Ｂ）とでその差分を取るなどして色情報を多くすることが可能であったが、同様に緑画素（Ｇ１）と緑画素（Ｇ２）とで色情報を多くすることが可能である。

また、上記の例では透明画素を２つ用いているが、透明画素を１つ用い、右用撮像素子と左用撮像素子とで同じ透過特性を有する緑画素、異なる透過特性を有する赤画素、異なる透過特性を有する青画素を用いる構成などでも良い。すなわち、右用撮像素子と左用撮像素子とで同じ透過特性を有する画素が少なくとも２つあれば精度よくステレオマッチングでき、残りの２画素はそのマッチング情報をもとにマッチングを取ることで色情報を取得することが可能である。右用撮像素子と左用撮像素子とで同じ透過特性を有する画素が３つあれば、更にステレオマッチングの精度は向上する。

また、前述した説明においては、透明画素（Ｗ）をすべての可視波長域で透過する透明画素としている。光利用効率の向上においては透過率が１００％であることが望ましいが、例えば赤外波長域を吸収するために赤外吸収フィルタを設けた場合はその影響で可視波長域も吸収されることがある。しかし、右用撮像素子１１と左用撮像素子１２とで同じ透過特性であればステレオマッチングが可能であり、赤画素や緑画素や青画素よりはるかに透過率が高いため、光の利用効率が高い高感度な撮像装置を実現することができる。

また、図１や図７に示した画素の配置はこれに限るものではないが、撮像素子内で同じ透過特性を有する透明画素は、図１や図７に示すように互いに対角に配置されているのが望ましい。これは、上下もしくは左右に配置させるより対角にする方が、画像処理によって被写体の位置情報を処理する際、より精度良く位置情報を算出することが可能なためである。また、前述の説明においては、撮像装置を左右に配置した例で説明したが、撮像装置の視差により視差量を算出可能であれば良く、すなわち撮像装置の配置は左右だけでなく、上下はもちろん、同一の被写体を撮影できる状況であればどのような配置でも構わない。

また、前述の説明においては、撮像装置の撮像素子は４つの画素を一組とし、透明画素が２つ、緑画素が１つ、赤画素または青画素が１つという構成の例で説明をしたが、３つの画素を一組とした撮像装置でも構わない。このときは、透明画素が１つと、緑画素が１つ、赤画素または青画素が１つという構成がある。この場合、透明画素と緑画素が、２つの撮像装置で同じ透過特性を示す画素となりステレオマッチングが可能となる。そして赤画素と青画素で、擬似的な赤と擬似的な青を算出し、前述したように赤画素と擬似的な赤画素とで、また青画素と擬似的な青画素とで、比較することで色情報を多く取得することができ、感度が高いながらも色の正確な画像の取得が可能となる。

また、透明画素が１つと、赤画素が１つ、緑画素または青画素が１つ、という構成でも同様の効果があり、透明画素が１つと、青画素が１つ、赤画素または緑画素が１つ、という構成でも構わない。この３つの画素を一組として、２つの撮像装置でステレオマッチングは、従来の４つの画素を一組としたマッチングと比較し、少ない画素で同様の効果が得られるため、同じ撮像素子のサイズで同じ画素の大きさであれば、画素数が多くなるためより高解像度の画像が得られることになり、同じ撮像素子で同じ解像度の画像であれば、大きな画素を配置することが可能になるため、より高感度の撮像装置が得られることになり、同じ画素の大きさで同じ解像度の画像であれば、画素数が少なくなるためより小さな撮像素子で実現できるためコストメリットが生じる。

また、本実施形態では、撮像素子１２の視点からの画像（左画像）を生成するようにしたが、撮像素子１１の視点からの画像（右画像）を生成するようにしてもよい。その場合、相関検出部４は、右画像に対する左画像のずれ量を視差量として検出する。また、視差補正部５は、撮像素子１２からの青画素（Ｂ）の信号Ｂｌと、赤色信号生成部８からの擬似赤画素（Ｒ’）の信号Ｒ’ｌとについて、視差を補正する。また、合成部６は、撮像素子１１からの赤画素（Ｒ）の信号Ｒｒ、緑画素（Ｇ）の信号Ｇｒ、透明画素（Ｗ）の信号Ｗｒと、視差補正部５が視差を補正した青画素（Ｂ）の信号とからカラー画像を生成する。

以上説明したように、透明画素を使用することにより、暗い被写体までも撮影できるようになるため、暗い部分でも左右の撮像装置のステレオマッチングが可能になる。また、暗い部分は透明画素により取得し、明るい部分は通常のＲＧＢで取得するため、通常のＲＧＢのフィルタではノイズに紛れて取得しづらい低輝度部分まで撮影できるようになる。実際暗いところでは色の認識ができなくなってくるため、暗い部分は色情報が欠落しても問題は少ない。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像取得処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

複数の撮像装置によって被写体までの距離情報を取得するともに、複数の撮像装置により得られた画像を合成することが不可欠な用途にも適用できる。

１１…右用撮像素子、１２…左用撮像素子、２１…右用カラーフィルタ、２２…左用カラーフィルタ、３１、３２…レンズ、４…相関検出部、５…視差補正部、６…合成部

Claims

カラー画像を取得するとともに、被写体までの距離情報を取得するために、入射した光を光電変換して画像信号を出力する２系統の撮像素子と、前記２系統の画像信号に基づき被写体までの距離情報を求める距離情報取得部と、前記２系統の画像信号を合成して前記カラー画像を得る合成部とを備える撮像装置であって、
前記撮像素子のうち第１の撮像素子は透明画素と光の３原色のうち第１の原色画素と第２の原色画素とを一組とした画素構成を有し、第２の撮像素子は透明画素と光の３原色のうち、第３の原色画素と、前記第１または第２のいずれかの原色画素とを一組とした画素構成を有していることを特徴とする撮像装置。
前記第１及び第２の撮像素子の一組の画素構成は、透明画素が２つずつであることを特徴とする請求項１に記載の撮像装置。
前記距離情報取得部は、前記２系統の画像信号のうち、少なくとも透明画素の信号同士のマッチングをとって、前記２系統の間の視差量を算出し、該視差量に基づき、被写体までの距離情報を求めること
を特徴とする請求項１に記載の撮像装置。
前記合成部は、低照度の画素については、前記２系統の画像信号のうち、いずれか１系統の透明画素の信号に置き換えることを特徴とする請求項１に記載の撮像装置。
前記第１または第２の撮像素子の透明画素の信号と、該撮像素子の２つの原色画素の信号とに基づき、３原色のうちの、残りの１つの原色画素の信号を生成する原色信号生成部を備えること
を特徴とする請求項１に記載の撮像装置。