JP2010276469A - 画像処理装置及び測距装置の画像処理方法 - Google Patents

Abstract

【課題】フォトンの量が少ない夜間や日陰においても、測距に必要な撮像画像を得ることができる画像処理装置及び測距装置の画像処理方法を提供する。
【解決手段】飽和順位のうち、原色フィルタ（Ｒ、Ｇ、Ｂ）より上位であるフィルタ（例えばＷ、Ｍｇ、Ｃｙ、Ｙｅ，Ｒｉフィルタ）を通して得られた（例えばＷ、Ｍｇ、Ｃｙ、Ｙｅ，Ｒｉ画素からなる）画像信号同士を比較することで、少なくともＲ画素、Ｇ画素、Ｂ画素からなる画像信号よりもＳ／Ｎ比が大きな信号に基づいて、最適な対応点探索を行える。
【選択図】図１１

Description

本発明は、一対の撮像素子により対象物までの距離を測定できる画像処理装置及び測距装置の画像処理方法に関するものである。

例えば図１に示すように、自律して移動するロボットＲＢＴ等において、前方の障害物ＯＢを検出して危険を警告したり、これを自動的に回避するために、対象物までの距離を測ることが行われる。ここで、対象物までの距離を計測する測距装置としては、超音波やレーザ光など電磁波の反射を利用するものがある。しかるに、超音波やレーザ光などを用いた測距装置では、対象物までの距離を比較的正確に測定できるものの、測距範囲が比較的狭く、また対象物を誤って捉えた場合の判断が困難であるという問題がある。これに対し、特許文献１に示すように、ステレオカメラ（立体視法）により一対の撮像素子を用いて撮像画像を取得し、その撮像画像を画像処理することで測距を行う装置が提案されている。

特開２００９−１４４４５号公報

ところで、一般的なデジカメ等に使用される固体撮像素子（ＣＣＤ／ＣＭＯＳ）は，可視青色光（Ｂ）・可視緑色光（Ｇ）・可視赤色光（Ｒ）を透過する原色フィルタを、各画素に応じて図２（ａ）に示すように物理的に配列（いわゆるＢａｙｅｒ配列構造）している。このような撮像素子は、図３（ａ）に示すような日中の撮像では問題がないが、図３（ｂ）に示すような夜間もしくは日陰ではフォトンの量が少なくなるため、Ｓ／Ｎ比が小さい画像信号が出力され、測距に必要な画像の比較を有効に行えないという問題がある。一方、赤外光を透過する一様な赤外フィルタを、画素の前に図２（ｂ）に示すように物理的に配列している赤外線カメラにおいては、夜間等の撮影においても、十分なフォトンを得ることができるが、出力された画像信号には色データがないため，いわゆる白黒のグレースケール画像しか撮影できないという問題がある。同様の問題は、監視カメラＭＣ（図１）にステレオカメラを搭載した場合にも生じる。

本発明の目的は、フォトンの量が少ない夜間や日陰においても、測距に必要な撮像画像を得ることができる画像処理装置及び測距装置の画像処理方法を提供することである。

請求項１に記載の画像処理装置は、予め定める間隔だけ離間して設けられ、対象物からの光を複数の異なるフィルタを介して受光することによりそれぞれ画素信号に変換する複数の画素を備えた一対の撮像素子と、前記一対の撮像素子から出力された画像信号同士を比較することにより前記離間方向における撮像素子間の視差を求める視差検出手段と、前記視差検出手段によって求められた視差に基づいて、対象物までの距離を逐次求める距離計測手段と、を有する画像処理装置において、
前記異なるフィルタにおいて前記撮像素子の画素が飽和しやすいフィルタの飽和順位のうち、原色フィルタより上位であるフィルタを通して得られた画像信号又は画像データ同士を比較することを特徴とする。尚、本明細書中、「画素が飽和する」とは、「画素が取得したデータが飽和する」ことを意味するものとする。

近年，夜間の撮像でもカラー画像を可能とする為，Ｒ・Ｇ・Ｂ・Ｉｒいずれかの複数帯域に感度を持つ，いわゆる補色フィルタを採用した固体撮像素子が開発された。図４（ａ）は、補色フィルタの一例にかかる配列を示す図である。図４（ａ）に示す補色フィルタは、各画素に対応して、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅフィルタ、Ｒｉフィルタ、Ｉｒフィルタ、及びＷフィルタとで１つの単位フィルタ群を形成している。尚、これに対して、従来のＲフィルタ、Ｇフィルタ、Ｂフィルタを原色フィルタと呼ぶ。

図４（ａ）の例では、単位フィルタ群において、第１行第１列にＲｉフィルタが配列され、第２行第１列にＷフィルタが配列され、第１行第２列にＹｅフィルタが配列され、第２行第２列にＩｒフィルタが配列されている。これらのフィルタにそれぞれ対応した画素を、それぞれＲｉ画素、Ｗ画素，Ｙｅ画素及びＩｒ画素と呼ぶ。但し、以上は一例であり、他のパターンでＲｉ画素、Ｉｒ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。

Ｙｅ画素はＹｅフィルタを備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を撮像する。Ｒｉ画素はＲｉフィルタを備えているため、Ｒｉの可視カラー画像成分である画像成分Ｒｉ（原画像成分）および赤外画像成分を撮像する。Ｉｒ画素はＩｒフィルタを備えているため、赤外画像成分である画像成分Ｉｒ（原画像成分）を撮像する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分Ｉｒとを含む輝度画像成分である画像成分Ｗ（原画像成分）を撮像する。このように、４つのフィルタは分光透過特性が互いに異なる。

図５は、Ｙｅ、Ｒｉ、Ｉｒフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図５では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。

図５に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒｉフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒｉフィルタは主に赤の光と赤外光とを透過する。

Ｉｒフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

他に似たような特性を実現するには、Ｙｅ、Ｒｉ、Ｉｒの代わりにＹｅ、Ｍ（マゼンタ）＋Ｉｒ、Ｃ（シアン）＋Ｉｒ（但し、Ｍ＋Ｉｒは、グリーンのみを遮蔽し、Ｃ＋Ｉｒはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒｉ画素、Ｉｒ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩｒフィルタやＣ＋Ｉｒフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋Ｉｒフィルタ及びＣ＋Ｉｒフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒｉフィルタ、Ｉｒフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋Ｉｒフィルタ及びＣ＋Ｉｒフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒｉ画素、Ｉｒ画素、Ｙｅ画素、Ｗ画素で撮像素子を構成することで、撮像素子の高性能化を図ることができる。更に、図４（ｂ）〜（ｆ）に示すような補色フィルタを用いることもできる。尚、図４（ｇ）は、各フィルタの相関関係を示す図である。

図６は、補色フィルタを用いた撮像素子からの画像信号を補間処理するフローチャートを示す図である。まず、補色フィルタを用いた撮像素子に１フレームの原画像データを撮像させる。これにより、画像成分Ｙｅ、Ｒｉ、Ｉｒ、Ｗが得られる（ステップＳ１）。

ここで、撮像素子は、Ｙｅ画素により画像成分Ｙｅを撮像し、Ｒｉ画素により画像成分Ｒｉを撮像し、Ｉｒ画素により画像成分Ｉｒを撮像し、Ｗ画素により画像成分Ｗを撮像する。

次に、画像成分Ｙｅ，Ｒｉ，Ｉｒ，Ｗに色補間処理を施す。更に、ｄＲ＝Ｒｉ−Ｉｒ、ｄＧ＝Ｙｅ−Ｒｉ、ｄＢ＝Ｗ−Ｙｅの演算を行い色信号ｄＲ、ｄＧ、ｄＢを算出する（ステップＳ２）。

次に、Ｙ＝０．３ｄＲ＋０．５９ｄＧ＋０．１１ｄＢ、Ｃｂ＝ｄＢ−Ｙ、Ｃｒ＝ｄＲ−Ｙの演算を行い、輝度信号Ｙ、色差信号Ｃｒ，Ｃｂを算出する（ステップＳ３）。

次に、色差信号Ｃｒ、Ｃｂにスムージング処理を行い、色差信号Ｃｒｓ、Ｃｂｓを算出する（ステップＳ４）。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理し、色差信号Ｃｂ、Ｃｒを多重解像度化するフィルタ処理であるカスケードフィルタ処理を採用してもよい。また、比較的サイズの大きな所定サイズのローパスフィルタを用いたフィルタ処理を採用してもよい。

また、発光する被写体に対してはぼけることなく、エッジ以外の領域を平滑化するエッジ保存フィルタ（画素間の信号レベル差がある基準値より小さい場合いに平滑化し、基準値より大きい部分は平滑化しないフィルタ）処理を採用してもよい。なお、発光していることを検出するのは、赤外成分と可視光成分とを比較することにより推測できる。

このように、色差信号Ｃｂ，Ｃｒにスムージング処理を行うことで、色差信号Ｃｂ、Ｃｒに含まれるノイズ成分がぼかされ、色差信号Ｃｂ、ＣｒのＳ／Ｎ比を向上させることができる。

次に、Ｙａｄｄ（１／４）×（Ｒｉ＋Ｉｒ＋Ｗ＋Ｙｅ）の演算を行い、輝度信号Ｙａｄｄを算出する（ステップＳ５）。

次に、Ｃｒｍ＝Ｃｒｓ×Ｙａｄｄ／Ｙ、Ｃｂｍ＝Ｃｂｓ×Ｙａｄｄ／Ｙとして、色差信号Ｃｒｍ、Ｃｂｍを算出する（ステップＳ６）。

次に、ステップＳ２の逆変換することで、輝度信号Ｙａｄｄ、色差信号Ｃｒｍ、Ｃｂｍから色信号ｄＲ´、ｄＧ´、ｄＢ´を算出する（ステップＳ７）。以上のようにして、色補間処理を行うことができる。

このような補色フィルタを用いることで、日中の撮像のみならず、夜間や日陰の撮像を行って、適正な色補間処理を行うことでカラー画像を形成するために必要なＲＧＢ信号を得ることができる。一方、補色フィルタを通した光を受光した画素からの信号を用いて、対象物までの距離を測定することもできる。

まず、特開２００９−１４４４５号公報に記載された技術により、対象物までの距離を求める方法について説明する。図７は、ステレオカメラで対象物までの距離を測定する状態を示す図である。図７において、一対の撮像素子を備えたカメラ１，２は、予め定める基線間隔Ｌだけ離間して、かつ光軸が相互に平行となるように配置される。カメラ１，２で撮像された対象物の撮像画像は、例えば対応点探索手法であるＳＡＤ（Sum of Absolute Difference）法を用いて画素単位で対応点探索を行い、各カメラ１，２間の左右方向における対象物に対する視差を求め、求められた視差に基づいて、以下の式に基づき対象物までの距離を求めることができる。

図７において、少なくとも焦点距離（ｆ）、撮像素子（ＣＣＤ）の画素数、１画素の大きさ（μ）が相互に等しい２台のカメラ１，２を用い、所定の基線長（Ｌ）だけ前記左右に離間させて光軸１Ｘ，２Ｘを平行に配置して対象物ＯＢを撮影する。このとき、図３（ａ）の例では、カメラ１の撮像面１ｂ上で左側の木の先端の画素番号（左端又は右端から数えるものとする）がｘ１，カメラ２における撮像面２ｂ上で同じ左側の木の先端の画素番号がｘ２であったとする（ｙは等しいと仮定）と、撮像面１ｂ，２ｂ上の視差（ずれ画素数）はｄ（＝ｘ１−ｘ２）であり、対象物ＯＢまでの距離（Ｚ）は、斜線を施して示す三角形が相似である。従って、
Ｚ：ｆ＝Ｌ：μ×ｄ
の関係より、
Ｚ＝（Ｌ×ｆ）／（μ×ｄ）・・・（１）
で求めることができる。

以上の測距における重要な画像処理の一つは、２つのカメラから得られた撮像画像において、画素単位で対応点探索を行って、精度良く同一の対象物（図３（ａ）の例では左の木の先端）に対応する画素を見つけだすことである。従来技術での対応点探索は、ＲＧＢ信号から色補間処理を行って、２枚の撮像画像に対してそれぞれ３つの画像データを作成し、少なくとも１つの画像データ同士を比較して、同じ信号値を持つ画素があった場合、同一の対象物と推定するものである。この処理をパターンマッチングという。

図８（ａ）においては、原色フィルタについて色補間処理を示す図である。かかる色補間処理において、隣接する２つのＲ画素の間のＧ画素からの信号を、これを挟むＲ画素の信号の平均値に置き換えることにより、Ｒ画素の信号のみからなる第１の画像データ（フレームデータ又は画像信号ともいう）を形成し、隣接する２つのＧ画素の間のＲ画素又はＢ画素からの信号を、これを挟むＧ画素の信号の平均値に置き換えることにより、Ｇ画素の信号のみからなる第２の画像データを形成し、隣接する２つのＢ画素の間のＧ画素からの信号を、これを挟むＢ画素の信号の平均値に置き換えることにより、Ｂ画素の信号のみからなる第３の画像データを形成する。

図８（ｂ）においては、補色フィルタの一例について色補間処理を示す図である。かかる色補間処理において、隣接する２つのＲｉ画素の間のＹｅ画素又はＷ画素からの信号を、これを挟むＲｉ画素の信号の平均値に置き換えることにより、Ｒｉ画素の信号のみからなる第１の画像データを形成し、隣接する２つのＹｅ画素の間のＲｉ画素又はＩｒ画素からの信号を、これを挟むＹｅ画素の信号の平均値に置き換えることにより、Ｙｅ画素の信号のみからなる第２の画像データを形成し、隣接する２つのＷ画素の間のＲｉ画素又はＩｒ画素からの信号を、これを挟むＷ画素の信号の平均値に置き換えることにより、Ｗ画素の信号のみからなる第３の画像データを形成し、隣接する２つのＩｒ画素の間のＷ画素又はＹｅ画素からの信号を、これを挟むＩｒ画素の信号の平均値に置き換えることにより、Ｉｒ画素の信号のみからなる第４の画像データを形成する。

ここで、Ｒ画素、Ｇ画素、Ｂ画素のいずれかについてパターンマッチングをする場合、夜間や日陰での撮像画像においては、画素値が低くなりすぎてノイズに隠れやすくなり、精度の良いパターンマッチングが行えない恐れがある。これに対し、補色フィルタの一例についての例えばＷ画素は、有感度波長帯域全域で感度があるため、日中のみならず、夜間や日陰での撮像画像においても、比較的画素値が高くなる。これを言い換えると、Ｗ画素は、Ｒ画素、Ｇ画素、Ｂ画素に対して飽和しやすいということである。

本発明者の研究結果によれば、図８（ｂ）の補色フィルタに関しては、図９に示すような飽和順位があることがわかった。より具体的には、Ｗ画素が最も飽和しやすく、次いで、Ｙｅ画素、Ｒｉ画素と続き、原色フィルタを挟んで、Ｉｒ画素は最も飽和しにくい。別な補色フィルタにかかる飽和順位を、図１０に示す。図１０の飽和順位において、Ｗ画素が最も飽和しやすく、次いで、補色フィルタ画素グループ中のＭｇ（マゼンタ）フィルタを持つＭｇ画素、Ｃｙ（シアン）フィルタを持つＣｙ画素、Ｙｅ画素が飽和しやすく、これに対し原色フィルタ画素グループ中のＢ画素、Ｇ画素、Ｒ画素、及びＩｒ画素は比較的飽和しにくい。

本発明者は、画素が飽和しやすいフィルタの飽和順位が、図９又は図１０に示すようになることを導出したことに基づいて、この飽和順位に従って、原色フィルタ（Ｒ、Ｇ、Ｂ）より上位であるフィルタ（例えばＷ、Ｍｇ、Ｃｙ、Ｙｅ，Ｒｉフィルタ）を通して得られた（例えばＷ、Ｍｇ、Ｃｙ、Ｙｅ，Ｒｉ画素からなる）画像データ同士を比較することで、少なくともＲ画素、Ｇ画素、Ｂ画素からなる画像データよりもＳ／Ｎ比が大きな信号に基づいて、最適な対応点探索を行えることを見出したのである。これにより夜間や日陰の撮像でも、有効な測距を行うことができる。尚、「画素が飽和しやすいフィルタの飽和順位」とは、「センサ感度が良い順」又は「分光感度帯が広い順」と同義であるため、これらを相互に置き換えて用いることもできる。

請求項２に記載の画像処理装置は、前記上位であるフィルタを通して対象物からの光が入射したときに画素が飽和したときは、前記視差検出手段は、画素が飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号同士を比較することを特徴とする。原色フィルタより上位であるフィルタ（例えばＷ、Ｍｇ、Ｃｙ、Ｙｅ，Ｒｉフィルタ）を通過する光はフォトンの量が比較的多いので、それを受光する画素（例えばＷ、Ｍｇ、Ｃｙ、Ｙｅ，Ｒｉ画素）は感度が高い反面、飽和し易いという特性がある。画素が飽和してしまうと、信号値が等しい画素が多数存在するようになり、測距エラーであるいわゆるオクルージョン現象を招き、精度の良いステレオマッチングを行えない恐れがある。そこで、あるフィルタを通して対象物からの光が入射したときに画素が飽和したときは、前記視差検出手段は、画素が飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号同士を比較することで、精度の良い測距を行えるようにしている。

請求項３に記載の画像処理装置は、前記視差検出手段が、あるフィルタを通して得られた画像信号により形成される１画像における画素平均値を求め、前記画素平均値が閾値以上である場合、画素が飽和したと判断することを特徴とする。これにより飽和したか否かを容易に判定できる。

請求項４に記載の画像処理装置は、あるフィルタを通して対象物からの光が入射したときに一部の領域の画素が飽和したときは、前記視差検出手段は、飽和した一部の領域の画素については、飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号同士を比較することを特徴とする。例えば、太陽などの高輝度の被写体が画面に写り込んだような場合、太陽以外の画像は有効に利用できることがある。そこで、太陽光などが直接入射して一部の領域の画素が飽和したときは、前記視差検出手段は、飽和した一部の領域の画素については、飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号同士を比較することで、適正な処理を行えるようにしている。

請求項５に記載の画像処理装置は、前記視差検出手段が、あるフィルタを通して得られた画像信号により形成される一部の領域の画素平均値を求め、前記画素平均値が閾値以上である場合、一部の領域の画素が飽和したと判断することを特徴とする。これにより飽和したか否かを容易に判定できる。

請求項６に記載の画像処理装置は、前記一対の撮像素子から出力される画像信号同士をフィルタ毎に比較したときに、画素信号の値が等しい画素の位置が一致するフィルタを選定し、選定されたフィルタを通して得られた画像信号同士を比較することを特徴とする。これにより精度の高いステレオマッチングを行える。

請求項７に記載の画像処理方法は、予め定める間隔だけ離間して設けられ、対象物からの光を複数の異なるフィルタを介して受光することによりそれぞれ画素信号に変換する複数の画素を備えた一対の撮像素子と、前記一対の撮像素子から出力された画像信号同士を比較することにより前記離間方向における撮像素子間の視差を求める視差検出手段と、前記視差検出手段によって求められた視差に基づいて、対象物までの距離を逐次求める距離計測手段と、を有する測距装置の画像処理方法において、
前記異なるフィルタにおいて前記撮像素子の画素が飽和しやすいフィルタの飽和順位のうち、上位であるフィルタを通して対象物からの光が入射したときに画素が飽和しなければ、前記上位であるフィルタを通して得られた画像信号同士を比較し、
前記上位であるフィルタを通して対象物からの光が入射したときに画素が飽和したときは、画素が飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号又は画像データ同士を比較することを特徴とすることを特徴とする。本発明の効果は、上述した請求項１他と同様である。

本発明によれば、フォトンの量が少ない夜間や日陰においても、測距に必要な撮像画像を得ることができる画像処理装置及び測距装置の画像処理方法を提供することができる。

本発明の測距装置を搭載したロボットを示す図である。 ＲＧＢ原色フィルタと赤外フィルタとを示す図である。 一対のカメラを用いて撮影した日中（ａ）と夜間（ｂ）のフレームをそれぞれ示す図である。 補色フィルタの例を示す図である。 Ｙｅ、Ｒｉ、Ｉｒフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。 補色フィルタを用いた撮像素子からの画像信号を補間処理するフローチャートを示す図である。 ステレオカメラで対象物までの距離を測定する状態を示す図である。 原色フィルタと補色フィルタの色補間処理の差を示す図である。 飽和順位の例を示す図である。 飽和順位の例を示す図である。 本実施の形態にかかる測距装置１０のブロック図である。 測距装置１０の動作を説明するための模式図である。 測距装置１０の動作を説明するためのフローチャート図である。 別な実施の形態にかかる測距装置１０の動作を説明するための模式図である。 一部の画素値のみを置き換えて作成したフレームを示す図である。

以下、本発明の実施の形態にかかる測距装置１０について説明する。図１１は、本実施の形態にかかる、撮像ユニットを兼ねる測距装置１０のブロック図である。図１１において、測距装置１０は、ロボット等に搭載され、ボディ左右に設けられた一対の基準カメラ１及び参照カメラ２の撮像画像から、ステレオ法によって対象物までの距離を計測するシステムである。

撮像手段であるカメラ１，２は、図７に示すように、予め定めた基線間隔Ｌだけ離間して、かつ光軸が相互に平行となるようにボディに搭載される。カメラ１，２において、対象物の光はレンズ１ａ、２ａを通過して、補色フィルタを有する撮像素子１ｂ、２ｂの撮像面に入射し、変換された画像信号は画像処理部１ｃ、２ｃに入力されて画像処理され、上述したようにｄＲ’、ｄＧ’、ｄＢ’からなる画像データとして出力されることとなる。制御部１ｄ、２ｄは、外部から制御信号を入力し、撮像素子１ｂ、２ｂ及び画像処理部１ｃ、２ｃを制御する。本発明によれば、図６に示すような画像処理を施すことで、原色フィルタを用いたのと同様なカラー画像を得ることができる。

次に、測距に必要な画像処理について説明する。画像処理部１ｃ、２ｃは、予め実験やシミュレーションで求めた、補色フィルタにおいて撮像素子１ｂ、２ｂの画素が飽和しやすいフィルタの飽和順位を記憶しており、この飽和順位に照らして、上位であるフィルタ（例えばＷフィルタ）を通して対象物からの光が入射したときに、閾値（例えばＬｉｎ−Ｌｏｇセンサであれば、変極点以上又は以下の値が好ましい）と比較して画素が飽和したか否かを判断する。画像処理部１ｃ、２ｃは、上位であるフィルタを通して対象物からの光が入射したときに画素が飽和しなかったと判断したときは、そのフィルタを通して得られた画像信号をステレオ処理部３に出力し、飽和したと判断したときは、画素が飽和したフィルタより飽和順位で下位であるフィルタ（例えばＹｅフィルタ）を通して得られた画像信号を、ステレオ処理部３に出力する。この２つの画像信号に基づいて、ステレオ処理部３によりステレオマッチングを含む画像処理が行われ、画像処理された信号に基づいて、図７を参照して説明した式に基づき、演算部４で対象物までの距離を測定する。本実施の形態では、ステレオ処理部３及び演算部４が視差検出手段を構成し、演算部４が距離計測手段を構成する。

図１２は、測距装置１０の動作を説明するための模式図である。まず、画像処理部１ｃ、２ｃは、図１２（ａ）に示す元画像データから、図８（ｂ）を参照して説明したようにして、図１２（ｂ）に示す４画素に対応した４枚のフレームデータを作成する。次に、画像処理部１ｃ、２ｃは、各フレームデータ内の画素平均値（画素値の平均）を計算する。画素値は２５６段階で表せるものとする。ここで、図１２（ｃ）に示すように、Ｗ画素のフレームでは画素平均値が２５５，Ｙｅ画素のフレームでは画素平均値が２００，Ｒｉ画素のフレームでは画素平均値が１８０，Ｉｒ画素のフレームでは画素平均値が１５０であったものとする。

画像処理部１ｃ、２ｃは、画素が飽和しているか否かの閾値を２４０とする。よって、図１２（ｄ）に示すように、画素平均値が閾値以上であるＷ画素のフレームでは飽和が生じていると判断し、飽和順位で次のＹｅ画素のフレームを選択し、図１２（ｅ）に示すように、カメラ１，２から得られた２つのＹｅ画素のフレームの画像信号を、ステレオ処理部３に出力する。ステレオ処理部３は、２つのＹｅ画素のフレームを用いてステレオマッチング処理を行うこととなる。

図１３は、測距装置１０の動作を説明するためのフローチャート図である。画像処理部１ｃは、ステップＳ１０１で基準カメラ用の各フィルタに応じたフレームを取得し、画像処理部２ｃは、ステップＳ１０２で参照カメラ用の各フィルタに応じたフレームを取得する。画像処理部１ｃ、２ｃは、ステップＳ１０３で、上述したように閾値と比較してＷ画素のフレームが飽和しているか否かを判断し、飽和していないと判断すれば、ステップＳ１０４でＷ画素のフレームの画像信号をステレオ処理部３に出力し、ステレオ処理部３は、２つのＷ画素のフレームを用いてステレオマッチング処理を行い、ステップＳ１１０でマッチング結果を演算部４に出力する。

これに対し、ステップＳ１０３で、Ｗ画素のフレームが飽和していると判断した場合、画像処理部１ｃ、２ｃは、更にステップＳ１０５で、上述したように閾値と比較してＹｅ画素のフレームが飽和しているか否かを判断し、飽和していないと判断すれば、ステップＳ１０６でＹｅ画素のフレームの画像信号をステレオ処理部３に出力し、ステレオ処理部３は、２つのＹｅ画素のフレームを用いてステレオマッチング処理を行い、ステップＳ１１０でマッチング結果を演算部４に出力する。

これに対し、ステップＳ１０５で、Ｙｅ画素のフレームが飽和していると判断した場合、画像処理部１ｃ、２ｃは、更にステップＳ１０７で、上述したように閾値と比較してＲｉ画素のフレームが飽和しているか否かを判断し、飽和していないと判断すれば、ステップＳ１０８でＲｉ画素のフレームの画像信号をステレオ処理部３に出力し、ステレオ処理部３は、２つのＲｉ画素のフレームを用いてステレオマッチング処理を行い、ステップＳ１１０でマッチング結果を演算部４に出力する。

これに対し、ステップＳ１０７で、Ｒｉ画素のフレームが飽和していると判断した場合、画像処理部１ｃ、２ｃは、ステップＳ１０９でＩｒ画素のフレームの画像信号をステレオ処理部３に出力し、ステレオ処理部３は、２つのＩｒ画素のフレームを用いてステレオマッチング処理を行い、ステップＳ１１０でマッチング結果を演算部４に出力する。

本実施の形態の変形例として、図４（ｅ）に示す補色フィルタをカメラ１，２の撮像素子１ｂ、２ｂに備えた場合、図１３のフローチャートにおいて、ＷをＹｅに置き換え、ＹｅをＭｇに置き換え、ＲｉをＣｙに置き換え、ＩｒをＧに置き換えればよい。その他の補色フィルタについても同様である。

但し、図４（ｂ）、（ｃ）、（ｄ）に示す３色の補色フィルタについては、飽和順位に基づいて上位のフィルタから飽和しているか否かの判断が２回になる点のみが異なる。

図１４は、別な実施の形態にかかる測距装置１０の動作を説明するための模式図である。図１２に示す実施の形態と同様に、画像処理部１ｃ、２ｃは、図１４（ａ）に示す元画像データから、図８（ｂ）を参照して説明したようにして、図１４（ｂ）に示す４画素に対応した４枚のフレームデータを作成する。次に、画像処理部１ｃ、２ｃは、各フレームデータ内の画素平均値を計算する。ここで、図１４（ｃ）に示すように、Ｗ画素のフレームでは画素平均値が２５５，Ｙｅ画素のフレームでは画素平均値が２００，Ｒｉ画素のフレームでは画素平均値が１８０，Ｉｒ画素のフレームでは画素平均値が１５０であったものとする。

画像処理部１ｃ、２ｃは、画素が飽和しているか否かの閾値を２４０として、図１４（ｄ）に示すように、画素平均値が閾値以上であるＷ画素のフレームでは飽和が生じていると判断するが、飽和が生じていないフレーム全てを選択する。具体的には、画像処理部１ｃ、２ｃは、Ｙｅ画素のフレーム、Ｒｉ画素のフレーム、Ｉｒ画素のフレームを選択し、図１４（ｅ）に示すように、カメラ１，２から得られた２組のＹｅ画素のフレーム、Ｒｉ画素のフレーム、Ｉｒ画素のフレームの画像信号を、ステレオ処理部３に出力する。ステレオ処理部３は、２つのＹｅ画素のフレーム、Ｒｉ画素のフレーム、Ｉｒ画素のフレーム同士をそれぞれ比較してステレオマッチング処理を行う。

このとき、基準カメラ１の目標画素のＹｅ画素値に対して、参照カメラ２のＹｅ画素値が一致する画素が１００番目であり、基準カメラ１の目標画素のＲｉ画素値に対して、参照カメラ２のＲｉ画素値が一致する画素が１１０番目であり、基準カメラ１の目標画素のＩｒ画素値に対して、参照カメラ２のＩｒ画素値が一致する画素が１００番目であるとする。かかる場合、画像処理部１ｃ、２ｃは、多数決の原理に基づき、基準カメラ１の目標画素には、参照カメラ２の１００番目の画素が対応すると判断するので（図１４（ｆ））、これを図７を参照して説明した式（１）に代入して視差を求めることができる。

尚、撮像シーンによっては、画面上に太陽などの高輝度の被写体が画面に写り込むこともあるが、太陽光以外の光が入射する画素は飽和しておらず、有効に利用できることがある。そこで、画像処理部１ｃ、２ｃは、例えばＷ画素から出力された画素値について閾値を超えたか否かの判断を行い、一部の領域のＷ画素値が閾値を超えているが、残りは超えていないと判断したときは、飽和した一部の領域のＷ画素については、図１５に示すようにＹｅ画素値に置き換えてフレームを作成し、その画像信号同士を比較することで、適正なマッチング処理を行えるようにできる。

本発明は、ロボットカメラや監視カメラ等に適用可能であるが、用途はそれに限られない。

１，２ カメラ
１ａ、２ａ レンズ
１ｂ、２ｂ 撮像素子
１ｃ、２ｃ 画像処理部
１ｄ、２ｄ 制御部
３ ステレオ処理部
４ 演算部
１０ 測距装置

Claims (7)

1. 予め定める間隔だけ離間して設けられ、対象物からの光を複数の異なるフィルタを介して受光することによりそれぞれ画素信号に変換する複数の画素を備えた一対の撮像素子と、前記一対の撮像素子から出力された画像信号同士を比較することにより前記離間方向における撮像素子間の視差を求める視差検出手段と、前記視差検出手段によって求められた視差に基づいて、対象物までの距離を逐次求める距離計測手段と、を有する画像処理装置において、
   前記異なるフィルタにおいて前記撮像素子の画素が飽和しやすいフィルタの飽和順位のうち、原色フィルタより上位であるフィルタを通して得られた画像信号又は画像データ同士を比較することを特徴とする画像処理装置。
2. 前記上位であるフィルタを通して対象物からの光が入射したときに画素が飽和したときは、前記視差検出手段は、画素が飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号同士を比較することを特徴とする請求項１に記載の画像処理装置。
3. 前記視差検出手段は、あるフィルタを通して得られた画像信号により形成される１画像における画素平均値を求め、前記画素平均値が閾値以上である場合、画素が飽和したと判断することを特徴とする請求項１又は２に記載の画像処理装置。
4. あるフィルタを通して対象物からの光が入射したときに一部の領域の画素が飽和したときは、前記視差検出手段は、飽和した一部の領域の画素については、飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号同士を比較することを特徴とする請求項１に記載の画像処理装置。
5. 前記視差検出手段は、あるフィルタを通して得られた画像信号により形成される一部の領域の画素平均値を求め、前記画素平均値が閾値以上である場合、一部の領域の画素が飽和したと判断することを特徴とする請求項４に記載の画像処理装置。
6. 前記一対の撮像素子から出力される画像信号同士をフィルタ毎に比較したときに、画素信号の値が等しい画素の位置が一致するフィルタを選定し、選定されたフィルタを通して得られた画像信号同士を比較することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. 予め定める間隔だけ離間して設けられ、対象物からの光を複数の異なるフィルタを介して受光することによりそれぞれ画素信号に変換する複数の画素を備えた一対の撮像素子と、前記一対の撮像素子から出力された画像信号同士を比較することにより前記離間方向における撮像素子間の視差を求める視差検出手段と、前記視差検出手段によって求められた視差に基づいて、対象物までの距離を逐次求める距離計測手段と、を有する測距装置の画像処理方法において、
   前記異なるフィルタにおいて前記撮像素子の画素が飽和しやすいフィルタの飽和順位のうち、上位であるフィルタを通して対象物からの光が入射したときに画素が飽和しなければ、前記上位であるフィルタを通して得られた画像信号同士を比較し、
   前記上位であるフィルタを通して対象物からの光が入射したときに画素が飽和したときは、画素が飽和したフィルタより前記飽和順位で下位であるフィルタを通して得られた画像信号又は画像データ同士を比較することを特徴とすることを特徴とする画像処理方法。

Images