JP2011009857A - ノイズレベル計測装置および画像処理装置 - Google Patents

Abstract

【課題】ステレオ画像に含まれるランダムノイズを精度良く計測できるようにする。
【解決手段】計測適正判定部３は、各視差画像（左画像ＳＬ、右画像ＳＲ）を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する。差分分散値算出部２は、２つの視差画像間の差分分散値を小ブロック単位で求める。ヒストグラム生成部４は、差分分散値算出部によって求められた差分分散値のうち、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成する。ノイズレベル推定部５は、ヒストグラムを解析して、２つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
【選択図】図１

Description

本発明は、視差画像に含まれるノイズ成分を計測する機能を有するノイズレベル計測装置および画像処理装置に関する。

従来より、入力映像信号に含まれるノイズ成分を計測し、その計測結果に基づいてノイズを除去する装置が開発されている。特許文献１には、時間方向のフレーム差分画像を用いてヒストグラムを生成し、ヒストグラム解析によりノイズレベルを推定する方法が提案されている。特許文献２には、時間方向のフレーム間において、エッジ量や動き量等に基づいてノイズレベル計測に適している領域を判定し、ヒストグラム加算を行う領域を制限する方法が提案されている。

特開２００８−２９４６９６号公報 特開２００９−３５９９号公報

ところで、近年では防犯用途や車載用途として２台のカメラを使用し、それぞれのカメラから同一時刻に撮影された２つの視差画像（左右２枚のステレオ画像）を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。このような装置では、２つの視差画像を用いることにより、奥行情報を取得できるため、人や物体の認識を３次元的に行うことができる。このような装置で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。従って、正しく画像認識を行うためには、撮影されたステレオ画像からノイズ成分を正しく除去する必要がある。

一方、特許文献１，２に記載されているような従来のノイズレベル計測の手法は、時間方向のフレーム間でノイズレベルを推定する手法である。このため、ステレオ画像に適用する場合には、例えば左画像と右画像のそれぞれについて、時間方向にノイズレベル計測を行うことになる。この場合、左画像と右画像とのそれぞれについて、フレームメモリが必要となると共に、求まったノイズレベルを用いてノイズリダクションの強度等を制御する際は、反映にフレーム遅延が生じてしまう。また、差分が生じることが前提となっているステレオ画像では、ステレオ画像の特徴に応じた形で計測領域を制限しないと、信号成分自体の差分値がノイズ成分として誤認識されてしまうことがある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、ステレオ画像に含まれるランダムノイズを精度良く計測することができるようにしたノイズレベル計測装置および、その計測結果に基づいてステレオ画像からランダムノイズ成分を良好に除去することができるようにした画像処理装置を提供することにある。

本発明によるノイズレベル計測装置は、互いに視差のある２つの視差画像が入力されると共に、各視差画像を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、２つの視差画像間の差分分散値を小ブロック単位で求める差分分散値算出部と、差分分散値算出部によって求められた差分分散値のうち、計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成するヒストグラム生成部と、ヒストグラム生成部によって生成されたヒストグラムを解析して、２つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部とを備えたものである。

本発明による画像処理装置は、互いに視差のある２つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、計測されたノイズレベルに基づいて、２つの視差画像のそれぞれに対してランダムノイズを除去するノイズ除去部とを備え、ノイズレベル計測部に、本発明のノイズレベル計測装置を適用したものである。

本発明によるノイズレベル計測装置または画像処理装置では、各視差画像が複数の小ブロックに分割され、複数の小ブロックのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、２つの視差画像間の差分分散値が小ブロック単位で求められ、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムが生成される。そのヒストグラムに基づいて、２つの視差画像に共通して含まれるランダムノイズのノイズレベルが推定される。

本発明のノイズレベル計測装置または画像処理装置によれば、２つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。

特に、本発明の画像処理装置によれば、本発明のノイズレベル計測装置の計測結果に基づいて、ランダムノイズを除去するようにしたので、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体の認識性能の劣化を抑えることができる。

本発明の第１の実施の形態に係るノイズレベル計測装置の構成例を示すブロック図である。 第１の実施の形態に係るノイズレベル計測装置における差分分散値算出部の構成例を示すブロック図である。 第１の実施の形態に係るノイズレベル計測装置における計測適正判定部の構成例を示すブロック図である。 第１の実施の形態に係るノイズレベル計測装置におけるノイズレベル推定部の構成例を示すブロック図である。 第１の実施の形態に係るノイズレベル計測装置によるノイズレベル計測の手法を概念的に示す説明図である。 計測適正判定部による適正判定の手法を概念的に示す説明図である。 ブロック平均を用いた適正判定の手法を概念的に示す説明図である。 エッジ検出を用いた適正判定の手法を概念的に示す説明図である。 本発明の第２の実施の形態に係る画像処理装置の構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施の形態＞
［ノイズレベル計測装置の構成］
図１は、本発明の第１の実施の形態に係るノイズレベル計測装置１の一構成例を示している。図５は、このノイズレベル計測装置１によるノイズレベル計測の手法を概念的に示している。このノイズレベル計測装置１は、例えば左右２台のカメラによって同一時刻に撮影された互いに視差のある２つの視差画像（左右２枚のステレオ画像（左画像ＳＬ，右画像ＳＲ））における、ランダムノイズのノイズレベルを計測するものである。このノイズレベル計測装置１では、左画像ＳＬと右画像ＳＲとの差分画像を用いてノイズレベルを推定する。これは、例えば左右２台のカメラで撮影した際には、２台のカメラはほぼ同条件下での撮影となるため、２台のカメラから得られるステレオ画像に含まれるノイズレベルもほぼ同等になると推定される、という考えに基づいている。

このノイズレベル計測装置１は、差分分散値算出部２と、計測適正判定部３と、ヒストグラム生成部４と、ノイズレベル推定部５とを備えている。２つの視差画像（左画像ＳＬ，右画像ＳＲ）を示す信号は、差分分散値算出部２と計測適正判定部３とに入力されるようになっている。

差分分散値算出部２は、２つの視差画像間の差分分散値を小ブロック３１単位で求めるものである。差分分散値算出部２は、図２および図５に示したように、左画像ＳＬと右画像ＳＲとの差分画像を求める差分器６と、差分画像におけるブロック内分散値（振動成分）を算出するブロック内分散算出部７とを有している。ここでの分散値とは、以下のような平均絶対偏差ＭＡＤや標準分散値σ²などを意味する。ｄｙは輝度差分、ａｖｅは輝度差分値に対するブロック内平均、Ｎはブロック内画素数を示す。
ＭＡＤ＝Σ｜ｄｙ−ａｖｅ｜／Ｎ
σ²＝Σ｛ｄｙ−ａｖｅ｝²／Ｎ

計測適正判定部３は、左画像ＳＬと右画像ＳＲとをそれぞれ、縦方向Ｍ個×横方向Ｎ個の同数の複数の小ブロック３１Ｌ，３１Ｒに分割し、複数の小ブロック３１Ｌ，３１Ｒのそれぞれについてノイズレベル計測に適しているか否かを判定するものである。例えば図６に示したように、オブジェクト３２Ｌが含まれる左画像ＳＬと、オブジェクト３２Ｒが含まれる右画像ＳＲとの差分画像は、大まかにオブジェクト部分３２と背景画像部分３３とに分けることができる。このような差分画像のノイズレベルを計測する場合、オブジェクト部分３２の近辺は信号成分の差分が大きくなりやすく、信号成分をノイズ成分と誤計測してしまうことが生じうるため、なるべくノイズレベル計測を除外することが好ましい。逆に、背景画像部分３３のように信号成分の差分が小さい箇所は、ノイズレベル計測に適していると判定することができる。計測適正判定部３は、このような考えに基づいてノイズレベル計測に適しているか否かを判定するものである。

図３は、計測適正判定部３の一構成例を示している。計測適正判定部３は、ブロック内分散算出部７と、第１のブロック内平均計算部８と、第２のブロック内平均計算部９と、第１のエッジ検出部１０と、第２のエッジ検出部１１と、ステレオマッチング回路１２と、判定部１３とを有している。

第１のブロック内平均計算部８は、左画像ＳＬに対し小ブロック３１Ｌ単位で輝度のブロック内平均を計算するものである。第２のブロック内平均計算部９は、右画像ＳＲに対し小ブロック３１Ｒ単位で輝度のブロック内平均を計算するものである。判定部１３は、図７に示したように、左画像ＳＬと右画像ＳＲとで対応する位置にある小ブロック３１Ｌ，３１Ｒの輝度平均値が大きく異なっているときは、ノイズレベル計測を除外させるよう、ノイズレベル計測に適していないと判定する。これは、ランダムノイズ成分自体は、そのランダム性より平均値は０になるものであり、２つの画像間で輝度平均値の差分が大きいということは、信号成分自体に差分があると考えられるためである。この場合の判定部１３での具体的な判定処理は、左右画像間のブロック内平均値の差分値が、あらかじめ決められた所定の閾値より大きいか否かを判定することにより行う。所定の閾値より大きい場合はノイズレベル計測に適していないと判定し、小さい場合は計測に適していると判定する。

第１のエッジ検出部１０は、左画像ＳＬに対し小ブロック３１Ｌ単位でエッジ検出を行うものである。第２のエッジ検出部１１は、右画像ＳＲに対し小ブロック３１Ｒ単位でエッジ検出を行うものである。判定部１３は、図８に示したように、左画像ＳＬと右画像ＳＲとで対応する位置にある小ブロック３１Ｌ，３１Ｒのうち、どちらか一方にでもエッジ成分が含まれる場合は、その小ブロックはノイズレベル計測に適していないと判定する。これは、左右の画像間で差分を取ったときに、オブジェクトのエッジ近辺は特に差分が生じやすいためである。エッジ検出の方法としては、従来より、隣接する画素の輝度差分の大小で判定する方法や、高域抽出フィルタ、ブロック内分散の大小で判定する方法などがあり、どの方法を用いても良い。

ステレオマッチング回路１２は、左画像ＳＬと右画像ＳＲとに対して小ブロック３１単位でステレオマッチング法による画像解析を行うものである。判定部１３は、ステレオマッチング法による画像解析結果に基づいて、小ブロック３１単位で背景らしさを判定し、背景らしい箇所に相当する小ブロック３１をノイズレベル計測に適していると判定する。逆に、ステレオマッチング法によって左右の画像間で対応する点を探索した際に、対応点の座標位置が２枚の画像間で大きく離れているような解析結果が得られた場合は、背景らしさが低く、図６に示したようなオブジェクト部分３２であると推定される。判定部１３は、そのような小ブロック３１は、ノイズレベル計測に適していないと判定する。

判定部１３では、最終的に、以上のようなブロック内平均、エッジ検出およびステレオマッチングを用いた計測適正判定の結果を合算するようになっている。そして、計測に適していない小ブロックを計測除外するためのヒストグラム加算制御信号を生成してヒストグラム生成部４に出力する。判定部１３はさらに、画面内で計測除外されたブロック数をカウントし、そのカウント結果を含む計測適性判定結果をノイズレベル推定部に出力するようになっている。

ヒストグラム生成部４は、差分分散値算出部２によって求められた左画像ＳＬと右画像ＳＲとの差分画像における小ブロック３１単位の差分分散値のヒストグラムを生成するものである。ヒストグラム生成部４は、図５に示したように、差分分散値のうち、計測適正判定部３においてノイズレベル計測に適していると判定された小ブロック３１に対する値のみ加算してヒストグラムを生成するようになっている。これにより、ノイズレベル計測に適していると判定された小ブロック３１に対する値のみがヒストグラムとして加算されるため、ヒストグラムに加算される母数は減少するが、より精度の高いノイズ成分の分布を表すヒストグラムが得られることとなる。

ノイズレベル推定部５は、ヒストグラム生成部４によって生成されたヒストグラムを解析して、左画像ＳＬと右画像ＳＲとに共通して含まれるランダムノイズのノイズレベルを推定するものである。ノイズレベル推定部５は、図４に示したように、ピーク判定部１４と、信頼度算出部１５と、乗算器１６とを有している。ピーク判定部１４と信頼度算出部１５とには、ヒストグラム生成部４によって生成されたヒストグラムの値が入力されるようになっている。信頼度算出部１５にはまた、計測適正判定部３から出力された、ノイズレベル計測が除外された小ブロック数の情報を含む計測適性判定結果のデータが入力されるようになっている。

ピーク判定部１４は、入力されたヒストグラムに基づいてランダムノイズのノイズレベルを推定するものである。ピーク判定部１４は、後述するように。例えばヒストグラムにおける最も度数が高い分散値、またはヒストグラムにおける重心となる分散値に基づいて、ノイズレベルを推定するようになっている。信頼度算出部１５は、例えばヒストグラムの正規分布らしさから、ピーク判定部１４で推定したノイズレベルの信頼度を算出するようになっている。信頼度算出部１５はまた、計測適正判定部３においてノイズレベル計測に適していないと判定された小ブロック３１の情報（計測除外された小ブロック数）に基づいて、ピーク判定部１４で推定したノイズレベルの信頼度を算出するようになっている。

ノイズレベル推定部５は、信頼度算出部１５によって算出されたノイズレベルの信頼度に応じて、ピーク判定部１４で推定したノイズレベルの値を補正するようになっている。具体的には乗算器１６において、ピーク判定部１４から出力されたノイズレベルに、ノイズレベルの信頼度を掛け合わせることでノイズレベルの値を補正する。ノイズレベル推定部５は、乗算器１６からの出力をノイズレベルの最終的な値として出力するようになっている。ノイズレベル推定部５はまた、最終的なノイズレベルと共にノイズレベルの信頼度も出力するようになっている。

［ノイズレベル計測装置１の動作］
このノイズレベル計測装置１では、計測適正判定部３において左画像ＳＬと右画像ＳＲとが複数の小ブロック３１Ｌ，３１Ｒに分割され、複数の小ブロック３１Ｌ，３１Ｒのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、差分分散値算出部２によって、左画像ＳＬと右画像ＳＲとの差分画像における小ブロック３１単位の差分分散値が求められる。その差分分散値を、ヒストグラム生成部４においてノイズレベル計測に適していると判定された小ブロック３１に対する値のみ加算することで、差分分散値のヒストグラムが生成される。ノイズレベル推定部５では、そのヒストグラムに基づいて、２つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。

以下、ノイズレベル推定部５におけるノイズレベルの推定の具体例を説明する。
左画像ＳＬの信号成分をＳｌ、右画像ＳＲの信号成分をＳｒとする。両画像に乗っているランダムノイズのノイズ成分は等価で平均値０、分散値σ²の正規分布Ｎ（０，σ²）とする。この場合、左画像の輝度値Ｙｌと右画像の輝度値Ｙｒは以下のように表せる。
Ｙｌ＝Ｓｌ＋Ｎ（０，σ²）
Ｙｒ＝Ｓｒ＋Ｎ（０，σ²）

計測除外により、Ｓｌ≒Ｓｒの箇所のみ計測できているとすると、ヒストグラム計測されている分散値は、
Ｙｌ−Ｙｒ＝Ｓｌ−Ｓｒ＋Ｎ（０，２σ²）≒Ｎ（０，２σ²）の分散値であるため、
２σ²の値に対するヒストグラムが得られていることになる。このため、ノイズレベル推定としては、ヒストグラムにおいて最も度数が高かった分散値を、最もらしい分散値として、画面全体のノイズレベルとする方法が考えられる。また、ヒストグラムの重心を画面全体のノイズレベルとする方法などが考えられる。

ノイズレベル推定部５では、ノイズレベルの推定と同時に、ノイズレベルの信頼度も算出する。ランダムノイズが精度良く計測できていれば、ヒストグラムは正規分布の形状を取るようになる。このため、正規分布らしさより信頼度を求めることができる。具体的な方法としては、尖度や歪度を用いる方法がある。例えばヒストグラムの度数が極端に１つの部分に集中している場合やヒストグラム分布の形状に歪みがある場合は信頼度を低くする。さらに、計測適正判定部３からの計測適性判定結果のデータを基にノイズレベルの信頼度を算出することができる。例えば、ノイズレベル計測に適していないと判定された小ブロック３１の数が極端に多い場合は、ノイズレベルの信頼度を低くするというような方法が考えられる。最終的に、得られたノイズレベル信頼度は、ノイズレベル自体に掛け合わせ、信頼度が低い場合は、ノイズレベルを低くするような補正を行うことができる。ノイズレベルの信頼度は、このノイズレベル計測装置１からの出力を利用する画像処理装置等にも利用することができる。例えばノイズレベルに依存して制御される回路ブロックを含む画像処理装置において、ノイズレベル依存性を薄めるといったことに用いることができる。なお、以上のようなノイズレベル推定部５による処理は、ＣＰＵ（Central Processing Unit）によって行うことも可能である。

本実施の形態に係るノイズレベル計測装置１によれば、２つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態に係る画像処理装置について説明する。なお、上記第１の実施の形態に係るノイズレベル計測装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

［画像処理装置の構成］
図９は、本実施の形態に係る画像処理装置の一構成例を示している。この画像処理装置は、ステレオマッチング回路２０と、ノイズレベル計測部２１と、ノイズ除去部２２とを備えている。ノイズレベル計測部２１は、図１に示したノイズレベル計測装置１で構成されている。

ノイズ除去部２２は、ノイズレベル計測部２１によって計測されたノイズレベルに基づいて、２つの視差画像（左右２枚のステレオ画像（左画像ＳＬ，右画像ＳＲ））のそれぞれに対してランダムノイズを除去するものである。ノイズ除去部２２は、フレームメモリ１７と、第１の時間方向巡回型フィルタ１８と、第２の時間方向巡回型フィルタ１９とを有している。第１の時間方向巡回型フィルタ１８は、左画像ＳＬのランダムノイズを除去するものである。第２の時間方向巡回型フィルタ１９は、右画像ＳＲのランダムノイズを除去するものである。第１の時間方向巡回型フィルタ１８と第２の時間方向巡回型フィルタ１９とには、ノイズレベル計測部２１からノイズレベルのデータとノイズレベルの信頼度を示すデータとが共通に入力されるようになっている。第１の時間方向巡回型フィルタ１８と第２の時間方向巡回型フィルタ１９は、ノイズレベルの信頼度に応じて、ランダムノイズの除去を行うか否かをオン・オフ制御することが可能となっている。例えばノイズレベルの信頼度が極端に低い場合にはフィルタ動作をオフにするような制御が可能となっている。

ステレオマッチング回路２０には、ノイズ除去部２２によってランダムノイズが除去された後の左画像ＳＬと右画像ＳＲとが入力されるようになっている。ステレオマッチング回路２０は、左画像ＳＬと右画像ＳＲとからステレオマッチング法により、３Ｄオブジェクトを認識し、その３Ｄ奥行情報を出力するものである。ステレオマッチング法では、例えば、左右どちらかの画像を固定し、もう一方の画像を左右に動かしマッチングする点を小ブロック単位で探索し、左右の画像間のずれ量から奥行情報を算出する。

なお、ステレオマッチング回路２０に代えて３Ｄ表示用の表示画像を生成する回路を備えても良い。そして、ランダムノイズが除去された後の左画像ＳＬと右画像ＳＲとに基づいて３Ｄ表示用の表示画像を生成して出力するようにしても良い。

［画像処理装置の動作および効果］
この画像処理装置では、左画像ＳＬと右画像ＳＲとから算出されたノイズレベルを基に、左画像ＳＬと右画像ＳＲとに対するそれぞれの時間方向巡回型フィルタ１８，１９の帰還率を制御する。具体的には、ノイズレベルが大きいときには、時間方向巡回型フィルタ１８，１９の帰還率を上げる。逆に、ノイズレベルが小さいときには、帰還率を下げる。このようにノイズレベルに応じて帰還率、つまりは、ノイズ除去の強度を制御する。

この画像処理装置では、左画像ＳＬと右画像ＳＲとで独立した巡回型フィルタ１８，１９を用いると共に、左右の画像ＳＬ，ＳＲから算出された共通のノイズレベルを用いて、左右で同じ強度のノイズ除去処理を行う。これにより、ノイズ除去の際に２枚の画像間で生じる差異を最小限に抑えることが可能となる。３Ｄ表示用の表示画像を生成する場合や３Ｄ奥行情報を取得する際に、左右の画像ＳＬ，ＳＲの不釣り合いによる不自然な結果が生じないようにすることが可能である。

近年では防犯用途や車載用途として２台のカメラを使用し、それぞれのカメラから同一時刻に撮影された２つの視差画像（左右２枚のステレオ画像）を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。この画像処理装置は、そのような用途に使用可能である。そのような用途で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。この画像処理装置によれば、そのような悪条件下で撮影された映像であっても、算出されたノイズレベルに応じて、ノイズ成分を正しく除去することにより、ロバストな物体認識性能を提供することが可能となる。一方、ノイズが少ないときは、時間方向巡回型フィルタ１８，１９をオフにすることで、より精度の高い物体認識性能を確保することが可能となる。

ところで、左右のカメラの間で、撮影時のカメラの特性や条件が大きく違っていた場合や、左右の画像間で共通する背景の領域が極端に少ない場合がある。そのような場合は、ノイズレベル計測部２１における計測除外機能によって、ほとんどの領域が計測除外されてしまい、ノイズレベル計測ができない状態になることが考えられる。そのような場合は、ノイズレベル計測部２１から出力されるノイズレベル信頼度を用いると良い。例えば信頼性が低い場合は、時間方向巡回型フィルタ１８，１９をオフにしてシステム全体をより安定する方向へ持っていくことができる。

以上のように、本実施の形態に係る画像処理装置によれば、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体認識性能の劣化を抑えることができる。

ＳＬ…左画像、ＳＲ…右画像、１…ノイズレベル計測装置、２…差分分散値算出部、３…計測適正判定部、４…ヒストグラム生成部、５…ノイズレベル推定部、６…差分器、７…ブロック内分散算出部、８…第１のブロック内平均計算部、９…第２のブロック内平均計算部、１０…第１のエッジ検出部、１１…第２のエッジ検出部、１２…ステレオマッチング回路、１３…判定部、１４…ピーク判定部、１５…信頼度算出部、１６…乗算器、１７…フレームメモリ、１８…第１の時間方向巡回型フィルタ、１９…第２の時間方向巡回型フィルタ、２０…ステレオマッチング回路、２１…ノイズレベル計測部、２２…ノイズ除去部、３１…小ブロック、３１Ｌ…左画像小ブロック、３１Ｒ…右画像小ブロック、３２Ｌ，３２Ｒ…オブジェクト、３２…オブジェクト部分、３３…背景画像部分。

Claims (9)

1. 互いに視差のある２つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
   前記２つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
   前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
   前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記２つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
   を備えたノイズレベル計測装置。
2. 前記ノイズレベル推定部は、前記ヒストグラムの正規分布らしさ、および前記計測適正判定部においてノイズレベル計測に適していないと判定された小ブロックの情報に基づいて、前記推定したノイズレベルの信頼度を算出する
   ようになされている請求項１に記載のノイズレベル計測装置。
3. 前記ノイズレベル推定部は、前記ノイズレベルの信頼度に応じて、前記推定したノイズレベルの値を補正する
   ようになされている請求項２に記載のノイズレベル計測装置。
4. 前記ノイズレベル推定部は、前記ヒストグラムにおける最も度数が高い分散値、または前記ヒストグラムにおける重心となる分散値に基づいて、前記ノイズレベルを推定する
   ようになされている請求項１ないし３のいずれか１項に記載のノイズレベル計測装置。
5. 前記計測適正判定部は、前記２つの視差画像のそれぞれに対し、前記小ブロック単位でエッジ検出を行うエッジ検出部を含み、エッジ成分が含まれる小ブロックはノイズレベル計測に適していないと判定する
   ようになされている請求項１ないし３のいずれか１項に記載のノイズレベル計測装置。
6. 前記計測適正判定部は、前記２つの視差画像のそれぞれに対し、前記小ブロック単位で輝度のブロック内平均を計算するブロック内平均計算部を含み、前記２つの視差画像間で対応する位置にある小ブロックの輝度平均値が大きく異なっていた場合には、その小ブロックはノイズレベル計測に適していないと判定する
   ようになされている請求項１ないし３のいずれか１項に記載のノイズレベル計測装置。
7. 前記計測適正判定部は、前記２つの視差画像に対してステレオマッチング法による画像解析を行うステレオマッチング回路を含み、前記ステレオマッチング法による画像解析に基づいて、前記小ブロック単位で背景らしさを判定し、背景らしい箇所に相当する小ブロックをノイズレベル計測に適していると判定する
   ようになされている請求項１ないし３のいずれか１項に記載のノイズレベル計測装置。
8. 互いに視差のある２つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、
   計測された前記ノイズレベルに基づいて、前記２つの視差画像のそれぞれに対して前記ランダムノイズを除去するノイズ除去部と
   を備え、
   前記ノイズレベル計測部は、
   前記２つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
   前記２つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
   前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
   前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記２つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
   を有する画像処理装置。
9. 前記ノイズレベル推定部は、前記ヒストグラムの正規分布らしさ、および前記計測適正判定部においてノイズレベル計測に適していないと判定された小ブロックの情報に基づいて、前記推定したノイズレベルの信頼度を算出するようになされ、
   前記ノイズ除去部は、前記ノイズレベルの信頼度に応じて、前記ランダムノイズの除去を行うか否かをオン・オフ制御する
   ようになされている請求項８に記載の画像処理装置。

Images