JP2011009857A - ノイズレベル計測装置および画像処理装置 - Google Patents
ノイズレベル計測装置および画像処理装置 Download PDFInfo
- Publication number
- JP2011009857A JP2011009857A JP2009148889A JP2009148889A JP2011009857A JP 2011009857 A JP2011009857 A JP 2011009857A JP 2009148889 A JP2009148889 A JP 2009148889A JP 2009148889 A JP2009148889 A JP 2009148889A JP 2011009857 A JP2011009857 A JP 2011009857A
- Authority
- JP
- Japan
- Prior art keywords
- noise level
- measurement
- noise
- unit
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】ステレオ画像に含まれるランダムノイズを精度良く計測できるようにする。
【解決手段】計測適正判定部3は、各視差画像(左画像SL、右画像SR)を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する。差分分散値算出部2は、2つの視差画像間の差分分散値を小ブロック単位で求める。ヒストグラム生成部4は、差分分散値算出部によって求められた差分分散値のうち、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成する。ノイズレベル推定部5は、ヒストグラムを解析して、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
【選択図】図1
【解決手段】計測適正判定部3は、各視差画像(左画像SL、右画像SR)を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する。差分分散値算出部2は、2つの視差画像間の差分分散値を小ブロック単位で求める。ヒストグラム生成部4は、差分分散値算出部によって求められた差分分散値のうち、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成する。ノイズレベル推定部5は、ヒストグラムを解析して、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
【選択図】図1
Description
本発明は、視差画像に含まれるノイズ成分を計測する機能を有するノイズレベル計測装置および画像処理装置に関する。
従来より、入力映像信号に含まれるノイズ成分を計測し、その計測結果に基づいてノイズを除去する装置が開発されている。特許文献1には、時間方向のフレーム差分画像を用いてヒストグラムを生成し、ヒストグラム解析によりノイズレベルを推定する方法が提案されている。特許文献2には、時間方向のフレーム間において、エッジ量や動き量等に基づいてノイズレベル計測に適している領域を判定し、ヒストグラム加算を行う領域を制限する方法が提案されている。
ところで、近年では防犯用途や車載用途として2台のカメラを使用し、それぞれのカメラから同一時刻に撮影された2つの視差画像(左右2枚のステレオ画像)を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。このような装置では、2つの視差画像を用いることにより、奥行情報を取得できるため、人や物体の認識を3次元的に行うことができる。このような装置で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。従って、正しく画像認識を行うためには、撮影されたステレオ画像からノイズ成分を正しく除去する必要がある。
一方、特許文献1,2に記載されているような従来のノイズレベル計測の手法は、時間方向のフレーム間でノイズレベルを推定する手法である。このため、ステレオ画像に適用する場合には、例えば左画像と右画像のそれぞれについて、時間方向にノイズレベル計測を行うことになる。この場合、左画像と右画像とのそれぞれについて、フレームメモリが必要となると共に、求まったノイズレベルを用いてノイズリダクションの強度等を制御する際は、反映にフレーム遅延が生じてしまう。また、差分が生じることが前提となっているステレオ画像では、ステレオ画像の特徴に応じた形で計測領域を制限しないと、信号成分自体の差分値がノイズ成分として誤認識されてしまうことがある。
本発明はかかる問題点に鑑みてなされたもので、その目的は、ステレオ画像に含まれるランダムノイズを精度良く計測することができるようにしたノイズレベル計測装置および、その計測結果に基づいてステレオ画像からランダムノイズ成分を良好に除去することができるようにした画像処理装置を提供することにある。
本発明によるノイズレベル計測装置は、互いに視差のある2つの視差画像が入力されると共に、各視差画像を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、2つの視差画像間の差分分散値を小ブロック単位で求める差分分散値算出部と、差分分散値算出部によって求められた差分分散値のうち、計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成するヒストグラム生成部と、ヒストグラム生成部によって生成されたヒストグラムを解析して、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部とを備えたものである。
本発明による画像処理装置は、互いに視差のある2つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、計測されたノイズレベルに基づいて、2つの視差画像のそれぞれに対してランダムノイズを除去するノイズ除去部とを備え、ノイズレベル計測部に、本発明のノイズレベル計測装置を適用したものである。
本発明によるノイズレベル計測装置または画像処理装置では、各視差画像が複数の小ブロックに分割され、複数の小ブロックのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、2つの視差画像間の差分分散値が小ブロック単位で求められ、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムが生成される。そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルが推定される。
本発明のノイズレベル計測装置または画像処理装置によれば、2つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。
特に、本発明の画像処理装置によれば、本発明のノイズレベル計測装置の計測結果に基づいて、ランダムノイズを除去するようにしたので、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体の認識性能の劣化を抑えることができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
<第1の実施の形態>
[ノイズレベル計測装置の構成]
図1は、本発明の第1の実施の形態に係るノイズレベル計測装置1の一構成例を示している。図5は、このノイズレベル計測装置1によるノイズレベル計測の手法を概念的に示している。このノイズレベル計測装置1は、例えば左右2台のカメラによって同一時刻に撮影された互いに視差のある2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))における、ランダムノイズのノイズレベルを計測するものである。このノイズレベル計測装置1では、左画像SLと右画像SRとの差分画像を用いてノイズレベルを推定する。これは、例えば左右2台のカメラで撮影した際には、2台のカメラはほぼ同条件下での撮影となるため、2台のカメラから得られるステレオ画像に含まれるノイズレベルもほぼ同等になると推定される、という考えに基づいている。
[ノイズレベル計測装置の構成]
図1は、本発明の第1の実施の形態に係るノイズレベル計測装置1の一構成例を示している。図5は、このノイズレベル計測装置1によるノイズレベル計測の手法を概念的に示している。このノイズレベル計測装置1は、例えば左右2台のカメラによって同一時刻に撮影された互いに視差のある2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))における、ランダムノイズのノイズレベルを計測するものである。このノイズレベル計測装置1では、左画像SLと右画像SRとの差分画像を用いてノイズレベルを推定する。これは、例えば左右2台のカメラで撮影した際には、2台のカメラはほぼ同条件下での撮影となるため、2台のカメラから得られるステレオ画像に含まれるノイズレベルもほぼ同等になると推定される、という考えに基づいている。
このノイズレベル計測装置1は、差分分散値算出部2と、計測適正判定部3と、ヒストグラム生成部4と、ノイズレベル推定部5とを備えている。2つの視差画像(左画像SL,右画像SR)を示す信号は、差分分散値算出部2と計測適正判定部3とに入力されるようになっている。
差分分散値算出部2は、2つの視差画像間の差分分散値を小ブロック31単位で求めるものである。差分分散値算出部2は、図2および図5に示したように、左画像SLと右画像SRとの差分画像を求める差分器6と、差分画像におけるブロック内分散値(振動成分)を算出するブロック内分散算出部7とを有している。ここでの分散値とは、以下のような平均絶対偏差MADや標準分散値σ2などを意味する。dyは輝度差分、aveは輝度差分値に対するブロック内平均、Nはブロック内画素数を示す。
MAD=Σ|dy−ave|/N
σ2=Σ{dy−ave}2/N
MAD=Σ|dy−ave|/N
σ2=Σ{dy−ave}2/N
計測適正判定部3は、左画像SLと右画像SRとをそれぞれ、縦方向M個×横方向N個の同数の複数の小ブロック31L,31Rに分割し、複数の小ブロック31L,31Rのそれぞれについてノイズレベル計測に適しているか否かを判定するものである。例えば図6に示したように、オブジェクト32Lが含まれる左画像SLと、オブジェクト32Rが含まれる右画像SRとの差分画像は、大まかにオブジェクト部分32と背景画像部分33とに分けることができる。このような差分画像のノイズレベルを計測する場合、オブジェクト部分32の近辺は信号成分の差分が大きくなりやすく、信号成分をノイズ成分と誤計測してしまうことが生じうるため、なるべくノイズレベル計測を除外することが好ましい。逆に、背景画像部分33のように信号成分の差分が小さい箇所は、ノイズレベル計測に適していると判定することができる。計測適正判定部3は、このような考えに基づいてノイズレベル計測に適しているか否かを判定するものである。
図3は、計測適正判定部3の一構成例を示している。計測適正判定部3は、ブロック内分散算出部7と、第1のブロック内平均計算部8と、第2のブロック内平均計算部9と、第1のエッジ検出部10と、第2のエッジ検出部11と、ステレオマッチング回路12と、判定部13とを有している。
第1のブロック内平均計算部8は、左画像SLに対し小ブロック31L単位で輝度のブロック内平均を計算するものである。第2のブロック内平均計算部9は、右画像SRに対し小ブロック31R単位で輝度のブロック内平均を計算するものである。判定部13は、図7に示したように、左画像SLと右画像SRとで対応する位置にある小ブロック31L,31Rの輝度平均値が大きく異なっているときは、ノイズレベル計測を除外させるよう、ノイズレベル計測に適していないと判定する。これは、ランダムノイズ成分自体は、そのランダム性より平均値は0になるものであり、2つの画像間で輝度平均値の差分が大きいということは、信号成分自体に差分があると考えられるためである。この場合の判定部13での具体的な判定処理は、左右画像間のブロック内平均値の差分値が、あらかじめ決められた所定の閾値より大きいか否かを判定することにより行う。所定の閾値より大きい場合はノイズレベル計測に適していないと判定し、小さい場合は計測に適していると判定する。
第1のエッジ検出部10は、左画像SLに対し小ブロック31L単位でエッジ検出を行うものである。第2のエッジ検出部11は、右画像SRに対し小ブロック31R単位でエッジ検出を行うものである。判定部13は、図8に示したように、左画像SLと右画像SRとで対応する位置にある小ブロック31L,31Rのうち、どちらか一方にでもエッジ成分が含まれる場合は、その小ブロックはノイズレベル計測に適していないと判定する。これは、左右の画像間で差分を取ったときに、オブジェクトのエッジ近辺は特に差分が生じやすいためである。エッジ検出の方法としては、従来より、隣接する画素の輝度差分の大小で判定する方法や、高域抽出フィルタ、ブロック内分散の大小で判定する方法などがあり、どの方法を用いても良い。
ステレオマッチング回路12は、左画像SLと右画像SRとに対して小ブロック31単位でステレオマッチング法による画像解析を行うものである。判定部13は、ステレオマッチング法による画像解析結果に基づいて、小ブロック31単位で背景らしさを判定し、背景らしい箇所に相当する小ブロック31をノイズレベル計測に適していると判定する。逆に、ステレオマッチング法によって左右の画像間で対応する点を探索した際に、対応点の座標位置が2枚の画像間で大きく離れているような解析結果が得られた場合は、背景らしさが低く、図6に示したようなオブジェクト部分32であると推定される。判定部13は、そのような小ブロック31は、ノイズレベル計測に適していないと判定する。
判定部13では、最終的に、以上のようなブロック内平均、エッジ検出およびステレオマッチングを用いた計測適正判定の結果を合算するようになっている。そして、計測に適していない小ブロックを計測除外するためのヒストグラム加算制御信号を生成してヒストグラム生成部4に出力する。判定部13はさらに、画面内で計測除外されたブロック数をカウントし、そのカウント結果を含む計測適性判定結果をノイズレベル推定部に出力するようになっている。
ヒストグラム生成部4は、差分分散値算出部2によって求められた左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値のヒストグラムを生成するものである。ヒストグラム生成部4は、図5に示したように、差分分散値のうち、計測適正判定部3においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算してヒストグラムを生成するようになっている。これにより、ノイズレベル計測に適していると判定された小ブロック31に対する値のみがヒストグラムとして加算されるため、ヒストグラムに加算される母数は減少するが、より精度の高いノイズ成分の分布を表すヒストグラムが得られることとなる。
ノイズレベル推定部5は、ヒストグラム生成部4によって生成されたヒストグラムを解析して、左画像SLと右画像SRとに共通して含まれるランダムノイズのノイズレベルを推定するものである。ノイズレベル推定部5は、図4に示したように、ピーク判定部14と、信頼度算出部15と、乗算器16とを有している。ピーク判定部14と信頼度算出部15とには、ヒストグラム生成部4によって生成されたヒストグラムの値が入力されるようになっている。信頼度算出部15にはまた、計測適正判定部3から出力された、ノイズレベル計測が除外された小ブロック数の情報を含む計測適性判定結果のデータが入力されるようになっている。
ピーク判定部14は、入力されたヒストグラムに基づいてランダムノイズのノイズレベルを推定するものである。ピーク判定部14は、後述するように。例えばヒストグラムにおける最も度数が高い分散値、またはヒストグラムにおける重心となる分散値に基づいて、ノイズレベルを推定するようになっている。信頼度算出部15は、例えばヒストグラムの正規分布らしさから、ピーク判定部14で推定したノイズレベルの信頼度を算出するようになっている。信頼度算出部15はまた、計測適正判定部3においてノイズレベル計測に適していないと判定された小ブロック31の情報(計測除外された小ブロック数)に基づいて、ピーク判定部14で推定したノイズレベルの信頼度を算出するようになっている。
ノイズレベル推定部5は、信頼度算出部15によって算出されたノイズレベルの信頼度に応じて、ピーク判定部14で推定したノイズレベルの値を補正するようになっている。具体的には乗算器16において、ピーク判定部14から出力されたノイズレベルに、ノイズレベルの信頼度を掛け合わせることでノイズレベルの値を補正する。ノイズレベル推定部5は、乗算器16からの出力をノイズレベルの最終的な値として出力するようになっている。ノイズレベル推定部5はまた、最終的なノイズレベルと共にノイズレベルの信頼度も出力するようになっている。
[ノイズレベル計測装置1の動作]
このノイズレベル計測装置1では、計測適正判定部3において左画像SLと右画像SRとが複数の小ブロック31L,31Rに分割され、複数の小ブロック31L,31Rのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、差分分散値算出部2によって、左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値が求められる。その差分分散値を、ヒストグラム生成部4においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算することで、差分分散値のヒストグラムが生成される。ノイズレベル推定部5では、そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
このノイズレベル計測装置1では、計測適正判定部3において左画像SLと右画像SRとが複数の小ブロック31L,31Rに分割され、複数の小ブロック31L,31Rのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、差分分散値算出部2によって、左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値が求められる。その差分分散値を、ヒストグラム生成部4においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算することで、差分分散値のヒストグラムが生成される。ノイズレベル推定部5では、そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
以下、ノイズレベル推定部5におけるノイズレベルの推定の具体例を説明する。
左画像SLの信号成分をSl、右画像SRの信号成分をSrとする。両画像に乗っているランダムノイズのノイズ成分は等価で平均値0、分散値σ2の正規分布N(0,σ2)とする。この場合、左画像の輝度値Ylと右画像の輝度値Yrは以下のように表せる。
Yl=Sl+N(0,σ2)
Yr=Sr+N(0,σ2)
左画像SLの信号成分をSl、右画像SRの信号成分をSrとする。両画像に乗っているランダムノイズのノイズ成分は等価で平均値0、分散値σ2の正規分布N(0,σ2)とする。この場合、左画像の輝度値Ylと右画像の輝度値Yrは以下のように表せる。
Yl=Sl+N(0,σ2)
Yr=Sr+N(0,σ2)
計測除外により、Sl≒Srの箇所のみ計測できているとすると、ヒストグラム計測されている分散値は、
Yl−Yr=Sl−Sr+N(0,2σ2)≒N(0,2σ2)の分散値であるため、
2σ2の値に対するヒストグラムが得られていることになる。このため、ノイズレベル推定としては、ヒストグラムにおいて最も度数が高かった分散値を、最もらしい分散値として、画面全体のノイズレベルとする方法が考えられる。また、ヒストグラムの重心を画面全体のノイズレベルとする方法などが考えられる。
Yl−Yr=Sl−Sr+N(0,2σ2)≒N(0,2σ2)の分散値であるため、
2σ2の値に対するヒストグラムが得られていることになる。このため、ノイズレベル推定としては、ヒストグラムにおいて最も度数が高かった分散値を、最もらしい分散値として、画面全体のノイズレベルとする方法が考えられる。また、ヒストグラムの重心を画面全体のノイズレベルとする方法などが考えられる。
ノイズレベル推定部5では、ノイズレベルの推定と同時に、ノイズレベルの信頼度も算出する。ランダムノイズが精度良く計測できていれば、ヒストグラムは正規分布の形状を取るようになる。このため、正規分布らしさより信頼度を求めることができる。具体的な方法としては、尖度や歪度を用いる方法がある。例えばヒストグラムの度数が極端に1つの部分に集中している場合やヒストグラム分布の形状に歪みがある場合は信頼度を低くする。さらに、計測適正判定部3からの計測適性判定結果のデータを基にノイズレベルの信頼度を算出することができる。例えば、ノイズレベル計測に適していないと判定された小ブロック31の数が極端に多い場合は、ノイズレベルの信頼度を低くするというような方法が考えられる。最終的に、得られたノイズレベル信頼度は、ノイズレベル自体に掛け合わせ、信頼度が低い場合は、ノイズレベルを低くするような補正を行うことができる。ノイズレベルの信頼度は、このノイズレベル計測装置1からの出力を利用する画像処理装置等にも利用することができる。例えばノイズレベルに依存して制御される回路ブロックを含む画像処理装置において、ノイズレベル依存性を薄めるといったことに用いることができる。なお、以上のようなノイズレベル推定部5による処理は、CPU(Central Processing Unit)によって行うことも可能である。
本実施の形態に係るノイズレベル計測装置1によれば、2つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。
<第2の実施の形態>
次に、本発明の第2の実施の形態に係る画像処理装置について説明する。なお、上記第1の実施の形態に係るノイズレベル計測装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、本発明の第2の実施の形態に係る画像処理装置について説明する。なお、上記第1の実施の形態に係るノイズレベル計測装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
[画像処理装置の構成]
図9は、本実施の形態に係る画像処理装置の一構成例を示している。この画像処理装置は、ステレオマッチング回路20と、ノイズレベル計測部21と、ノイズ除去部22とを備えている。ノイズレベル計測部21は、図1に示したノイズレベル計測装置1で構成されている。
図9は、本実施の形態に係る画像処理装置の一構成例を示している。この画像処理装置は、ステレオマッチング回路20と、ノイズレベル計測部21と、ノイズ除去部22とを備えている。ノイズレベル計測部21は、図1に示したノイズレベル計測装置1で構成されている。
ノイズ除去部22は、ノイズレベル計測部21によって計測されたノイズレベルに基づいて、2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))のそれぞれに対してランダムノイズを除去するものである。ノイズ除去部22は、フレームメモリ17と、第1の時間方向巡回型フィルタ18と、第2の時間方向巡回型フィルタ19とを有している。第1の時間方向巡回型フィルタ18は、左画像SLのランダムノイズを除去するものである。第2の時間方向巡回型フィルタ19は、右画像SRのランダムノイズを除去するものである。第1の時間方向巡回型フィルタ18と第2の時間方向巡回型フィルタ19とには、ノイズレベル計測部21からノイズレベルのデータとノイズレベルの信頼度を示すデータとが共通に入力されるようになっている。第1の時間方向巡回型フィルタ18と第2の時間方向巡回型フィルタ19は、ノイズレベルの信頼度に応じて、ランダムノイズの除去を行うか否かをオン・オフ制御することが可能となっている。例えばノイズレベルの信頼度が極端に低い場合にはフィルタ動作をオフにするような制御が可能となっている。
ステレオマッチング回路20には、ノイズ除去部22によってランダムノイズが除去された後の左画像SLと右画像SRとが入力されるようになっている。ステレオマッチング回路20は、左画像SLと右画像SRとからステレオマッチング法により、3Dオブジェクトを認識し、その3D奥行情報を出力するものである。ステレオマッチング法では、例えば、左右どちらかの画像を固定し、もう一方の画像を左右に動かしマッチングする点を小ブロック単位で探索し、左右の画像間のずれ量から奥行情報を算出する。
なお、ステレオマッチング回路20に代えて3D表示用の表示画像を生成する回路を備えても良い。そして、ランダムノイズが除去された後の左画像SLと右画像SRとに基づいて3D表示用の表示画像を生成して出力するようにしても良い。
[画像処理装置の動作および効果]
この画像処理装置では、左画像SLと右画像SRとから算出されたノイズレベルを基に、左画像SLと右画像SRとに対するそれぞれの時間方向巡回型フィルタ18,19の帰還率を制御する。具体的には、ノイズレベルが大きいときには、時間方向巡回型フィルタ18,19の帰還率を上げる。逆に、ノイズレベルが小さいときには、帰還率を下げる。このようにノイズレベルに応じて帰還率、つまりは、ノイズ除去の強度を制御する。
この画像処理装置では、左画像SLと右画像SRとから算出されたノイズレベルを基に、左画像SLと右画像SRとに対するそれぞれの時間方向巡回型フィルタ18,19の帰還率を制御する。具体的には、ノイズレベルが大きいときには、時間方向巡回型フィルタ18,19の帰還率を上げる。逆に、ノイズレベルが小さいときには、帰還率を下げる。このようにノイズレベルに応じて帰還率、つまりは、ノイズ除去の強度を制御する。
この画像処理装置では、左画像SLと右画像SRとで独立した巡回型フィルタ18,19を用いると共に、左右の画像SL,SRから算出された共通のノイズレベルを用いて、左右で同じ強度のノイズ除去処理を行う。これにより、ノイズ除去の際に2枚の画像間で生じる差異を最小限に抑えることが可能となる。3D表示用の表示画像を生成する場合や3D奥行情報を取得する際に、左右の画像SL,SRの不釣り合いによる不自然な結果が生じないようにすることが可能である。
近年では防犯用途や車載用途として2台のカメラを使用し、それぞれのカメラから同一時刻に撮影された2つの視差画像(左右2枚のステレオ画像)を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。この画像処理装置は、そのような用途に使用可能である。そのような用途で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。この画像処理装置によれば、そのような悪条件下で撮影された映像であっても、算出されたノイズレベルに応じて、ノイズ成分を正しく除去することにより、ロバストな物体認識性能を提供することが可能となる。一方、ノイズが少ないときは、時間方向巡回型フィルタ18,19をオフにすることで、より精度の高い物体認識性能を確保することが可能となる。
ところで、左右のカメラの間で、撮影時のカメラの特性や条件が大きく違っていた場合や、左右の画像間で共通する背景の領域が極端に少ない場合がある。そのような場合は、ノイズレベル計測部21における計測除外機能によって、ほとんどの領域が計測除外されてしまい、ノイズレベル計測ができない状態になることが考えられる。そのような場合は、ノイズレベル計測部21から出力されるノイズレベル信頼度を用いると良い。例えば信頼性が低い場合は、時間方向巡回型フィルタ18,19をオフにしてシステム全体をより安定する方向へ持っていくことができる。
以上のように、本実施の形態に係る画像処理装置によれば、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体認識性能の劣化を抑えることができる。
SL…左画像、SR…右画像、1…ノイズレベル計測装置、2…差分分散値算出部、3…計測適正判定部、4…ヒストグラム生成部、5…ノイズレベル推定部、6…差分器、7…ブロック内分散算出部、8…第1のブロック内平均計算部、9…第2のブロック内平均計算部、10…第1のエッジ検出部、11…第2のエッジ検出部、12…ステレオマッチング回路、13…判定部、14…ピーク判定部、15…信頼度算出部、16…乗算器、17…フレームメモリ、18…第1の時間方向巡回型フィルタ、19…第2の時間方向巡回型フィルタ、20…ステレオマッチング回路、21…ノイズレベル計測部、22…ノイズ除去部、31…小ブロック、31L…左画像小ブロック、31R…右画像小ブロック、32L,32R…オブジェクト、32…オブジェクト部分、33…背景画像部分。
Claims (9)
- 互いに視差のある2つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
前記2つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
を備えたノイズレベル計測装置。 - 前記ノイズレベル推定部は、前記ヒストグラムの正規分布らしさ、および前記計測適正判定部においてノイズレベル計測に適していないと判定された小ブロックの情報に基づいて、前記推定したノイズレベルの信頼度を算出する
ようになされている請求項1に記載のノイズレベル計測装置。 - 前記ノイズレベル推定部は、前記ノイズレベルの信頼度に応じて、前記推定したノイズレベルの値を補正する
ようになされている請求項2に記載のノイズレベル計測装置。 - 前記ノイズレベル推定部は、前記ヒストグラムにおける最も度数が高い分散値、または前記ヒストグラムにおける重心となる分散値に基づいて、前記ノイズレベルを推定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 - 前記計測適正判定部は、前記2つの視差画像のそれぞれに対し、前記小ブロック単位でエッジ検出を行うエッジ検出部を含み、エッジ成分が含まれる小ブロックはノイズレベル計測に適していないと判定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 - 前記計測適正判定部は、前記2つの視差画像のそれぞれに対し、前記小ブロック単位で輝度のブロック内平均を計算するブロック内平均計算部を含み、前記2つの視差画像間で対応する位置にある小ブロックの輝度平均値が大きく異なっていた場合には、その小ブロックはノイズレベル計測に適していないと判定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 - 前記計測適正判定部は、前記2つの視差画像に対してステレオマッチング法による画像解析を行うステレオマッチング回路を含み、前記ステレオマッチング法による画像解析に基づいて、前記小ブロック単位で背景らしさを判定し、背景らしい箇所に相当する小ブロックをノイズレベル計測に適していると判定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 - 互いに視差のある2つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、
計測された前記ノイズレベルに基づいて、前記2つの視差画像のそれぞれに対して前記ランダムノイズを除去するノイズ除去部と
を備え、
前記ノイズレベル計測部は、
前記2つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
前記2つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
を有する画像処理装置。 - 前記ノイズレベル推定部は、前記ヒストグラムの正規分布らしさ、および前記計測適正判定部においてノイズレベル計測に適していないと判定された小ブロックの情報に基づいて、前記推定したノイズレベルの信頼度を算出するようになされ、
前記ノイズ除去部は、前記ノイズレベルの信頼度に応じて、前記ランダムノイズの除去を行うか否かをオン・オフ制御する
ようになされている請求項8に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148889A JP2011009857A (ja) | 2009-06-23 | 2009-06-23 | ノイズレベル計測装置および画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148889A JP2011009857A (ja) | 2009-06-23 | 2009-06-23 | ノイズレベル計測装置および画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011009857A true JP2011009857A (ja) | 2011-01-13 |
Family
ID=43566043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009148889A Pending JP2011009857A (ja) | 2009-06-23 | 2009-06-23 | ノイズレベル計測装置および画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011009857A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231406A (ja) * | 2011-04-27 | 2012-11-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP2013061850A (ja) * | 2011-09-14 | 2013-04-04 | Canon Inc | ノイズ低減のための画像処理装置及び画像処理方法 |
CN103365063A (zh) * | 2012-03-31 | 2013-10-23 | 北京三星通信技术研究有限公司 | 三维图像拍摄方法和设备 |
JP5373222B2 (ja) * | 2011-03-28 | 2013-12-18 | パナソニック株式会社 | 再生装置、再生方法およびコンピュータプログラム |
-
2009
- 2009-06-23 JP JP2009148889A patent/JP2011009857A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5373222B2 (ja) * | 2011-03-28 | 2013-12-18 | パナソニック株式会社 | 再生装置、再生方法およびコンピュータプログラム |
US9031377B2 (en) | 2011-03-28 | 2015-05-12 | Panasonic Intellectual Property Management Co., Ltd. | Playback device, playback method, and computer program |
JP2012231406A (ja) * | 2011-04-27 | 2012-11-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP2013061850A (ja) * | 2011-09-14 | 2013-04-04 | Canon Inc | ノイズ低減のための画像処理装置及び画像処理方法 |
CN103365063A (zh) * | 2012-03-31 | 2013-10-23 | 北京三星通信技术研究有限公司 | 三维图像拍摄方法和设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107370958B (zh) | 图像虚化处理方法、装置及拍摄终端 | |
US9799118B2 (en) | Image processing apparatus, imaging apparatus and distance correction method | |
US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
TWI543608B (zh) | 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置 | |
CN107316326B (zh) | 应用于双目立体视觉的基于边的视差图计算方法和装置 | |
CN107077725B (zh) | 数据处理装置、成像装置和数据处理方法 | |
US9485495B2 (en) | Autofocus for stereo images | |
US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
US9210405B2 (en) | System and method for real time 2D to 3D conversion of video in a digital camera | |
EP3095090B1 (en) | System and method for processing input images before generating a high dynamic range image | |
US9508153B2 (en) | Distance measurement apparatus, imaging apparatus, distance measurement method, and program | |
WO2010024479A1 (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
JP6570296B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
AU2016355215A1 (en) | Methods and systems for large-scale determination of RGBD camera poses | |
CN107481271B (zh) | 一种立体匹配方法、***及移动终端 | |
CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
CN113822942B (zh) | 一种基于二维码的单目摄像头测量物体尺寸的方法 | |
JP2011009857A (ja) | ノイズレベル計測装置および画像処理装置 | |
US8970670B2 (en) | Method and apparatus for adjusting 3D depth of object and method for detecting 3D depth of object | |
JP2015111811A (ja) | 画像処理装置およびその制御方法 | |
JP2015207090A (ja) | 画像処理装置、及びその制御方法 | |
JP5059855B2 (ja) | 大域的動き推定方法 | |
JP6867487B2 (ja) | 撮像装置 | |
CN109313808B (zh) | 图像处理*** | |
US20220245771A1 (en) | Electronic device capable of correcting depth information and performing bokeh processing on image and method of controlling electronic device |